Gateway AI yang menjauhkan data pribadi dari log-nya
Asisten dukungan harus bekerja dengan nama dan alamat email pelanggan, sehingga model yang dipanggilnya harus dapat melihatnya. Gateway di depan model tersebut menyimpan log untuk audit dan debugging, dan log tersebut tidak boleh menyimpannya. Workspace ini mengompilasi gateway semacam itu menjadi manifest Kubernetes.
Yang melakukannya adalah sebuah nilai milik gateway itu sendiri, values.log_masking pada
core/gateway/litellm. Nilai ini menyamarkan salinan setiap panggilan yang diserahkan gateway ke
log-nya, dan tidak ada yang lain: model menerima permintaan persis seperti yang dikirim
pemanggil, dan pemanggil menerima balasan persis seperti yang ditulis model. Itulah
perbedaannya dengan Feature core/data-masking, yang menyembunyikan teks dari
model itu sendiri. Keduanya merupakan alternatif, dan bagian tentang memilih di antara
keduanya di bawah ini menunjukkan apa yang terjadi bila keduanya ditetapkan pada satu gateway.
Workspace ini tidak menulis entitas katalog sendiri. Tiga berkas entitas di sini — sebuah Aggregate, sebuah Manifest, dan sebuah Release — adalah seluruh hal yang ditulis siapa pun.
Apa yang dibangunnya
| instans | Component katalog | perannya di sini |
|---|---|---|
router | core/gateway/litellm | gateway AI: satu alias yang dipublikasikan, assistant, yang dilayani dari model yang terhubung ke soket models-nya |
gpt | core/ai-model/openai | model di balik alias tersebut, API milik OpenAI sendiri, yang dijangkau sebagai referensi: tidak ada yang berjalan untuknya di dalam klaster |
analyzer | core/security/presidio-analyzer | menemukan rentang teks yang sensitif di dalam sebuah teks |
anonymizer | core/security/presidio-anonymizer | mengganti rentang teks yang diberikan kepadanya |
Tiga edge uses: soket models milik gateway ke model, yang membawa sebagai
credential-nya kunci yang diberikan gateway kepada model tersebut, serta soket pii_analyzer dan
pii_anonymizer miliknya ke dua layanan pengenal. Aggregate melampirkan
kredensial tersebut tanpa menyebut nama secret, dan Release menyebutkannya di dalam
infra lampiran tersebut: sebuah Secret yang sudah dimiliki namespace, yang direferensikan oleh realisasi
Manifest dan tidak dirender olehnya. values.log_masking milik gateway
mencantumkan apa yang harus disamarkan: sebuah ekspresi reguler untuk nomor tiket perusahaan di bawah
patterns, serta tipe entitas PERSON dan EMAIL_ADDRESS di bawah entities.
Tidak ada daftar bawaan; gateway yang tidak mencantumkan keduanya tidak menyamarkan apa pun di log-nya,
dan dirender persis seperti tanpa nilai tersebut.
Membuat contoh
Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.
Tulis contoh ke folder baru yang dinamai sesuai contoh itu:
aggrega scaffold --example ai-gateway-log-maskingKemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:
cd ai-gateway-log-maskingBuild
aggrega build --release release.yaml --auto-pullSebuah release memerlukan lockfile sebelum di-build, dan lockfile dihasilkan alih-alih disertakan, sehingga clone baru tidak memilikinya. Resolusikan satu terlebih dahulu, atau biarkan build mengisinya:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildWorkspace ini meresolusi entitas katalog dari registry default yang disebut .aggrega-config.yaml. Recipe milik gateway itu sendiri yang menulis log masking, sehingga build tidak menjalankan plugin apa pun selain yang dibawa oleh compiler.
Build mencetak keluaran berikut, dengan <workspace> mewakili folder contoh ini:
[… omitted: the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 9 files written to <workspace>/distDengan asisten AI
Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.
Gunakan hanya tool Aggrega, dan jangan membuat folder apa pun sendiri. Jika folder workspace belum berisi folder `ai-gateway-log-masking`, panggil tool `scaffold` sekali dengan `example` diatur ke `ai-gateway-log-masking` dan tanpa `dir`: tool itu menulis contoh ke folder baru `ai-gateway-log-masking`. Lalu panggil tool `build` dengan `workspace_root` diatur ke `ai-gateway-log-masking`, `release` diatur ke `release.yaml`, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file mana saja yang ditulis build; file-file itu berada di bawah `ai-gateway-log-masking/dist/`.Pohon hasil render
dist/helm/├── analyzer-default-service.yaml├── analyzer-deployment.yaml├── anonymizer-default-service.yaml├── anonymizer-deployment.yaml├── gpt-service.yaml├── router-default-service.yaml├── router-deployment.yaml└── router/ ├── litellm-gateway-config/ │ └── configmap.yaml └── request-guard/ └── request-guard.yamlNilai tersebut tidak membawa berkas sendiri. Recipe milik gateway menuliskannya ke dalam konfigurasi gateway, dan menambahkan modul yang dimuat oleh konfigurasi itu ke ConfigMap gateway. Model merender satu berkas, gpt-service.yaml, sebuah Service yang memetakan nama di dalam kluster ke host API OpenAI, api.openai.com; kuncinya tidak merender berkas apa pun, karena Secret yang menyimpannya sudah ada.
Tabel perutean, bagian awal isi konfigurasi gateway, memiliki satu entri, yang ditulis dari apa yang dipublikasikan model — endpoint-nya, URL dasar API OpenAI, dan nama modelnya — serta menyebutkan variabel tempat Recipe milik gateway mengirimkan kunci koneksi:
model_list: - model_name: "assistant" litellm_params: model: "openai/gpt-4o" api_base: "https://api.openai.com/v1" api_key: os.environ/LITELLM_MODEL_ASSISTANT_API_KEYEntri guardrail
Berikut adalah isi konfigurasi gateway, yaitu kunci config.yaml dari
dist/helm/router/litellm-gateway-config/configmap.yaml, mulai dari bagian
litellm_settings:
[… omitted: the routing table]litellm_settings: callbacks: - /etc/litellm-request-guard/request_field_filter.filter - log_masking.withhold_failed_calls redact_messages_in_exceptions: trueguardrails: - guardrail_name: "router.log-masking" litellm_params: guardrail: log_masking.LogMasking default_on: true mode: logging_only patterns: - pattern_type: regex name: "ticket" pattern: "\\bTCK-[0-9]{6}\\b" action: MASK pii_entities_config: "PERSON": MASK "EMAIL_ADDRESS": MASKgeneral_settings: disable_error_logs: trueRecipe milik gateway menulis seluruhnya dari values.log_masking, dan menamai
entri tersebut menurut nama gateway, di sini router, dengan titik di tempat entri guardrail
yang ditulis oleh realisasi pustaka standar menggunakan tanda hubung, sehingga tidak ada lampiran
mereka, apa pun namanya, yang dapat menggantikan entri ini. Ada lima hal yang patut
dibaca darinya.
mode: logging_only adalah mode milik gateway sendiri untuk guardrail yang berjalan
di titik ketika panggilan yang telah selesai diserahkan ke log-nya, dan tidak di tempat lain. Kelas yang
dimuat entri tersebut mematuhinya apa pun yang disebutkan suatu entri, sehingga kelas itu tidak pernah dipanggil pada
suatu permintaan sebelum permintaan tersebut diteruskan, atau pada suatu balasan sebelum balasan tersebut
dikembalikan.
default_on: true menjalankannya pada setiap panggilan. Pemanggil tidak dapat menonaktifkannya
dari permintaan, termasuk permintaan yang meminta penonaktifan guardrail gateway yang
selalu aktif.
Pola mencapai gateway persis seperti yang ditulis. Pola dicocokkan di dalam
gateway, tanpa memperhatikan huruf besar-kecil, dan setiap kecocokan diganti secara permanen dengan
nama pola dalam huruf kapital di dalam kurung siku: [TICKET_REDACTED]. Gateway
mengompilasi ekspresi tersebut saat dimulai, dan ekspresi yang tidak dapat dikompilasi menghentikan
proses mulainya — kompiler meneruskan string tersebut tanpa membacanya.
Jenis entitas ditemukan oleh dua layanan recognizer. Entri tersebut tidak menyebutkan
alamat: gateway membaca keduanya dari lingkungannya, yang diisi oleh Recipe milik
gateway dari kedua edge. Dari dist/helm/router-deployment.yaml, yaitu
env dari kontainer gateway:
env: - name: LITELLM_MODEL_ASSISTANT_API_KEY valueFrom: secretKeyRef: name: openai-api-key key: api-key - name: PRESIDIO_ANALYZER_API_BASE value: http://analyzer-default:3000 - name: PRESIDIO_ANONYMIZER_API_BASE value: http://anonymizer-default:3000Yang pertama adalah kunci model, yang dirujuk dari Secret yang disebutkan Release dan
tidak pernah ditulis secara eksplisit; dua lainnya adalah alamat recognizer. Nama
seseorang menjadi <PERSON> dan alamat menjadi <EMAIL_ADDRESS>.
Panggilan yang gagal ditahan alih-alih disamarkan. Gateway tidak menjalankan guardrail
pencatatan log untuk panggilan yang gagal, sehingga modul yang dimuat entri tersebut juga menyediakan
log_masking.withhold_failed_calls, yang didaftarkan tepat setelah pengaman permintaan,
dan Recipe milik gateway menulis kedua pengaturan di sampingnya. Callback tersebut
menerima catatan panggilan yang gagal sebelum callback apa pun yang didaftarkan setelahnya, dan
mengganti setiap teks yang ditulis pemanggil atau model dengan [TEXT_WITHHELD], cocok
atau tidak, serta teks galat dengan [ERROR_TEXT_WITHHELD], dengan membiarkan apa yang dikirim
upaya ulang tetap seperti semula. disable_error_logs menjauhkan panggilan yang gagal dari log
pengeluaran, dan redact_messages_in_exceptions menjauhkan pesan permintaan dari
detail yang dilampirkan gateway pada suatu galat.
ConfigMap yang sama memuat kunci kedua, log_masking.py: modul yang disebutkan oleh
guardrail milik entri tersebut dan entri callbacks kedua. Recipe milik gateway menambahkan
modul tersebut, entri callbacks itu, entri guardrail, dan kedua pengaturan hanya
selama values.log_masking mencantumkan sesuatu, sehingga gateway yang tidak mencantumkan apa pun merender
ConfigMap tanpa satu pun dari semua itu, byte demi byte sama dengan gateway tanpa nilai tersebut.
Apa yang dilihat pembaca log, dan apa yang dilihat model
Ambil contoh seorang pemanggil yang permintaannya memuat teks ini:
My name is David Johnson and my email is david.johnson@example.com, ticket TCK-104882. Call me on 212-555-0147.Blok di atas dan tiga blok di bawah menggambarkan apa yang dilakukan gateway yang sedang berjalan terhadapnya; blok-blok tersebut bukan keluaran build.
Penyedia model menerima permintaan persis seperti yang dikirim pemanggil, dan pemanggil menerima balasan model persis seperti yang datang. Integrasi logging yang menerima panggilan dari gateway menerima pesan yang sama dalam keadaan tersamarkan:
My name is <PERSON> and my email is <EMAIL_ADDRESS>, ticket [TICKET_REDACTED]. Call me on 212-555-0147.Nomor telepon dicatat dalam log seperti yang dikirim, karena lampiran tidak mencantumkan
PHONE_NUMBER dan tidak ada pola yang cocok dengannya. Teks yang tidak cocok dengan apa pun yang dicantumkan tidak pernah
disamarkan.
Setiap salinan panggilan yang berhasil yang diserahkan gateway ke log-nya disamarkan dengan cara yang sama: pesan-pesannya, pesan dan balasan dalam payload logging standar, balasan yang dialirkan sebagaimana dirakit oleh gateway, permintaan dan balasan sebagaimana dilihat oleh penyedia, permintaan yang disimpan oleh log pengeluaran, dan balasan yang diterima setiap integrasi. Balasan model juga disamarkan dalam salinan-salinan tersebut:
Reply for <PERSON> (<EMAIL_ADDRESS>) about [TICKET_REDACTED].Apa yang tetap tidak disamarkan
Penyamaran log tidak menyembunyikan teks dari pihak lain mana pun, dan deskripsi
values.log_masking menyatakan hal itu:
- Penyedia model menerima semuanya tanpa disamarkan, demikian pula gateway dan kedua layanan pengenal.
- Panggilan yang gagal tidak menyimpan teks permintaan di log mana pun yang ditulis gateway, dan hal itu
menimbulkan dua konsekuensi. Baris milik gateway sendiri untuk panggilan yang gagal hanya menyimpan
jenis galatnya, seperti
An error was logged with its text withheld, as log masking is on: BadRequestError, sehingga pesan penyedia dan traceback-nya tidak masuk ke log tersebut; dan panggilan yang gagal tidak masuk ke log pengeluaran maupun total pengeluaran harian, yang hanya menghitung panggilan yang berhasil. Integrasi logging yang dikonfigurasi di luar katalog masih dapat membaca pesan galat milik penyedia sendiri pada exception yang dibawa panggilan yang gagal, dan integrasi yang didaftarkan sebelum callback milik gateway sendiri menerima teks panggilan yang gagal apa adanya. - Hanya log yang ditulis melalui penyamaran yang tercakup: tidak termasuk keluaran debug gateway, dan tidak termasuk log milik penyedia sendiri. Metadata permintaan, definisi tool-nya, dan header-nya dicatat sebagaimana dikirim.
- Panggilan yang salinannya tidak dapat disamarkan dicatat dengan teksnya ditahan.
Ketika pengenal tidak dapat dijangkau, tidak ada salinan yang dicatat dengan penyamaran sebagian: setiap
teks di setiap salinan panggilan itu diganti dengan
[TEXT_WITHHELD], dan catatannya diserahkan ke log seperti biasa, sehingga panggilan tersebut tetap dihitung dalam log pengeluaran. Log milik gateway sendiri mencatat bahwa teks panggilan itu ditahan. Panggilan itu sendiri dijawab seperti biasa.
Sebagaimana katalog merender gateway ini, gateway tidak menyerahkan lognya ke integrasi logging mana pun, dan log pengeluarannya tidak menyimpan teks permintaan atau balasan maupun panggilan yang gagal. Jadi, salinan yang dilindungi penyamaran adalah salinan yang akan diterima oleh integrasi atau log pengeluaran yang menyimpan teks jika dikonfigurasi pada gateway.
Penyamaran log atau penyamaran data
core/data-masking menyembunyikan teks yang tercantum dari model, dan pada gateway ini
realisasinya mematikan pencatatan isi pesan oleh gateway selama ia
terpasang. Di sampingnya, penyamaran log tidak akan memiliki apa pun lagi untuk ditangani, dan pembaca
dapat mengira keduanya sebagai satu perlindungan. Karena itu gateway menolak keduanya bersamaan:
selama values.log_masking mencantumkan sesuatu, pemasangan core/data-masking pada
gateway menghentikan build, melalui sebuah asersi dari Component milik gateway itu sendiri.
Menambahkan satu pemasangan bernama masked ke gateway, dengan realisasinya terikat di
Manifest, mencetak:
[… omitted: what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][DEVELOPER_ERROR E0033] Component/Feature assertions caused by: Component "core/gateway/litellm" instance "router" assertion "log_masking_not_beside_data_masking": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: "router" lists what to mask in its logs under values.log_masking, and the core/data-masking attachment "masked" is on it too: that attachment's realization turns the gateway's logging of message contents off, so log masking would have nothing left to act on, and a reader could take the two for one protection. Remove values.log_masking to mask what travels, or the "masked" attachment to mask only what is loggedGunakan penyamaran log ketika model harus melihat data tetapi log tidak boleh
menyimpannya; gunakan penyamaran data ketika model juga tidak boleh melihatnya. Keduanya
membaca patterns dan entities yang sama, sehingga sebuah daftar bermakna sama pada
keduanya.
Bagian yang tidak ditafsirkan oleh kompiler
Compiler meneruskan pola dan tipe entitas ke dalam konfigurasi gateway sebagai string. Compiler tidak mengompilasi ekspresi tersebut, tidak mengetahui apa itu nomor tiket atau seseorang, dan tidak melihat lalu lintas yang akan dibawa gateway. Setiap penghentian yang dapat ditemui workspace ini — tipe entitas dengan socket recognizer yang tidak tersambung, tipe entitas yang tidak dikenali analyzer dalam bahasa Inggris, log masking di samping data masking pada satu gateway, koneksi ke model terkelola yang tidak membawa kredensial — dideklarasikan oleh entitas katalog itu sendiri, sebagai assertion dari Component gateway atau dari Recipe-nya, dan tidak satu pun bergantung pada pemahaman apa pun atas teks tersebut.
Menyesuaikannya
- Hanya menyamarkan pola. Hapus
entitiesdarivalues.log_masking, serta kedua komponen pengenal beserta edge-nya dan entrinya di Release; pola dicocokkan di dalam gateway dan tidak memerlukan kedua layanan tersebut. - Menyamarkan lebih banyak jenis entitas. Tambahkan jenis tersebut ke
entities, dalam kosakata pengenal itu sendiri; jenis yang tidak dikenali oleh penganalisis dalam bahasa Inggris menghentikan build dan menyebutkan jenis-jenis yang dikenalinya. - Sembunyikan teks dari model juga. Ganti
values.log_maskingdengan lampirancore/data-maskingpada gateway yang mencantumkanpatternsdanentitiesyang sama, lalu ikat realisasinya di Manifest. - Melayani model kedua. Hubungkan komponen model lain ke socket
modelsdengan alias tersendiri, beserta kunci yang diberikan gateway kepadanya pada koneksi tersebut;values.modeltetap menyebut alias yang dipublikasikan gateway. Penyamaran berlaku untuk panggilan setiap alias yang dilayani gateway.