Lewati ke konten
AggregaAggrega
Pilih Bahasa: Bahasa Indonesia
Halaman ini diterjemahkan oleh mesin. Baca versi asli dalam bahasa Inggris.

Gateway AI yang menjauhkan data pribadi dari log-nya

Asisten dukungan harus bekerja dengan nama dan alamat email pelanggan, sehingga model yang dipanggilnya harus dapat melihatnya. Gateway di depan model tersebut menyimpan log untuk audit dan debugging, dan log tersebut tidak boleh menyimpannya. Workspace ini mengompilasi gateway semacam itu menjadi manifest Kubernetes.

Yang melakukannya adalah sebuah nilai milik gateway itu sendiri, values.log_masking pada core/gateway/litellm. Nilai ini menyamarkan salinan setiap panggilan yang diserahkan gateway ke log-nya, dan tidak ada yang lain: model menerima permintaan persis seperti yang dikirim pemanggil, dan pemanggil menerima balasan persis seperti yang ditulis model. Itulah perbedaannya dengan Feature core/data-masking, yang menyembunyikan teks dari model itu sendiri. Keduanya merupakan alternatif, dan bagian tentang memilih di antara keduanya di bawah ini menunjukkan apa yang terjadi bila keduanya ditetapkan pada satu gateway.

Workspace ini tidak menulis entitas katalog sendiri. Tiga berkas entitas di sini — sebuah Aggregate, sebuah Manifest, dan sebuah Release — adalah seluruh hal yang ditulis siapa pun.

Apa yang dibangunnya

instansComponent katalogperannya di sini
routercore/gateway/litellmgateway AI: satu alias yang dipublikasikan, assistant, yang dilayani dari model yang terhubung ke soket models-nya
gptcore/ai-model/openaimodel di balik alias tersebut, API milik OpenAI sendiri, yang dijangkau sebagai referensi: tidak ada yang berjalan untuknya di dalam klaster
analyzercore/security/presidio-analyzermenemukan rentang teks yang sensitif di dalam sebuah teks
anonymizercore/security/presidio-anonymizermengganti rentang teks yang diberikan kepadanya

Tiga edge uses: soket models milik gateway ke model, yang membawa sebagai credential-nya kunci yang diberikan gateway kepada model tersebut, serta soket pii_analyzer dan pii_anonymizer miliknya ke dua layanan pengenal. Aggregate melampirkan kredensial tersebut tanpa menyebut nama secret, dan Release menyebutkannya di dalam infra lampiran tersebut: sebuah Secret yang sudah dimiliki namespace, yang direferensikan oleh realisasi Manifest dan tidak dirender olehnya. values.log_masking milik gateway mencantumkan apa yang harus disamarkan: sebuah ekspresi reguler untuk nomor tiket perusahaan di bawah patterns, serta tipe entitas PERSON dan EMAIL_ADDRESS di bawah entities. Tidak ada daftar bawaan; gateway yang tidak mencantumkan keduanya tidak menyamarkan apa pun di log-nya, dan dirender persis seperti tanpa nilai tersebut.

Membuat contoh

Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.

Tulis contoh ke folder baru yang dinamai sesuai contoh itu:

Terminal window
aggrega scaffold --example ai-gateway-log-masking

Kemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:

Terminal window
cd ai-gateway-log-masking

Build

Terminal window
aggrega build --release release.yaml --auto-pull

Sebuah release memerlukan lockfile sebelum di-build, dan lockfile dihasilkan alih-alih disertakan, sehingga clone baru tidak memilikinya. Resolusikan satu terlebih dahulu, atau biarkan build mengisinya:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Workspace ini meresolusi entitas katalog dari registry default yang disebut .aggrega-config.yaml. Recipe milik gateway itu sendiri yang menulis log masking, sehingga build tidak menjalankan plugin apa pun selain yang dibawa oleh compiler.

Build mencetak keluaran berikut, dengan <workspace> mewakili folder contoh ini:

[… omitted: the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 9 files written to <workspace>/dist

Dengan asisten AI

Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.

Gunakan hanya tool Aggrega, dan jangan membuat folder apa pun sendiri. Jika folder workspace belum berisi folder `ai-gateway-log-masking`, panggil tool `scaffold` sekali dengan `example` diatur ke `ai-gateway-log-masking` dan tanpa `dir`: tool itu menulis contoh ke folder baru `ai-gateway-log-masking`. Lalu panggil tool `build` dengan `workspace_root` diatur ke `ai-gateway-log-masking`, `release` diatur ke `release.yaml`, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file mana saja yang ditulis build; file-file itu berada di bawah `ai-gateway-log-masking/dist/`.

Pohon hasil render

dist/helm/
├── analyzer-default-service.yaml
├── analyzer-deployment.yaml
├── anonymizer-default-service.yaml
├── anonymizer-deployment.yaml
├── gpt-service.yaml
├── router-default-service.yaml
├── router-deployment.yaml
└── router/
├── litellm-gateway-config/
│ └── configmap.yaml
└── request-guard/
└── request-guard.yaml

Nilai tersebut tidak membawa berkas sendiri. Recipe milik gateway menuliskannya ke dalam konfigurasi gateway, dan menambahkan modul yang dimuat oleh konfigurasi itu ke ConfigMap gateway. Model merender satu berkas, gpt-service.yaml, sebuah Service yang memetakan nama di dalam kluster ke host API OpenAI, api.openai.com; kuncinya tidak merender berkas apa pun, karena Secret yang menyimpannya sudah ada.

Tabel perutean, bagian awal isi konfigurasi gateway, memiliki satu entri, yang ditulis dari apa yang dipublikasikan model — endpoint-nya, URL dasar API OpenAI, dan nama modelnya — serta menyebutkan variabel tempat Recipe milik gateway mengirimkan kunci koneksi:

model_list:
- model_name: "assistant"
litellm_params:
model: "openai/gpt-4o"
api_base: "https://api.openai.com/v1"
api_key: os.environ/LITELLM_MODEL_ASSISTANT_API_KEY

Entri guardrail

Berikut adalah isi konfigurasi gateway, yaitu kunci config.yaml dari dist/helm/router/litellm-gateway-config/configmap.yaml, mulai dari bagian litellm_settings:

[… omitted: the routing table]
litellm_settings:
callbacks:
- /etc/litellm-request-guard/request_field_filter.filter
- log_masking.withhold_failed_calls
redact_messages_in_exceptions: true
guardrails:
- guardrail_name: "router.log-masking"
litellm_params:
guardrail: log_masking.LogMasking
default_on: true
mode: logging_only
patterns:
- pattern_type: regex
name: "ticket"
pattern: "\\bTCK-[0-9]{6}\\b"
action: MASK
pii_entities_config:
"PERSON": MASK
"EMAIL_ADDRESS": MASK
general_settings:
disable_error_logs: true

Recipe milik gateway menulis seluruhnya dari values.log_masking, dan menamai entri tersebut menurut nama gateway, di sini router, dengan titik di tempat entri guardrail yang ditulis oleh realisasi pustaka standar menggunakan tanda hubung, sehingga tidak ada lampiran mereka, apa pun namanya, yang dapat menggantikan entri ini. Ada lima hal yang patut dibaca darinya.

mode: logging_only adalah mode milik gateway sendiri untuk guardrail yang berjalan di titik ketika panggilan yang telah selesai diserahkan ke log-nya, dan tidak di tempat lain. Kelas yang dimuat entri tersebut mematuhinya apa pun yang disebutkan suatu entri, sehingga kelas itu tidak pernah dipanggil pada suatu permintaan sebelum permintaan tersebut diteruskan, atau pada suatu balasan sebelum balasan tersebut dikembalikan.

default_on: true menjalankannya pada setiap panggilan. Pemanggil tidak dapat menonaktifkannya dari permintaan, termasuk permintaan yang meminta penonaktifan guardrail gateway yang selalu aktif.

Pola mencapai gateway persis seperti yang ditulis. Pola dicocokkan di dalam gateway, tanpa memperhatikan huruf besar-kecil, dan setiap kecocokan diganti secara permanen dengan nama pola dalam huruf kapital di dalam kurung siku: [TICKET_REDACTED]. Gateway mengompilasi ekspresi tersebut saat dimulai, dan ekspresi yang tidak dapat dikompilasi menghentikan proses mulainya — kompiler meneruskan string tersebut tanpa membacanya.

Jenis entitas ditemukan oleh dua layanan recognizer. Entri tersebut tidak menyebutkan alamat: gateway membaca keduanya dari lingkungannya, yang diisi oleh Recipe milik gateway dari kedua edge. Dari dist/helm/router-deployment.yaml, yaitu env dari kontainer gateway:

env:
- name: LITELLM_MODEL_ASSISTANT_API_KEY
valueFrom:
secretKeyRef:
name: openai-api-key
key: api-key
- name: PRESIDIO_ANALYZER_API_BASE
value: http://analyzer-default:3000
- name: PRESIDIO_ANONYMIZER_API_BASE
value: http://anonymizer-default:3000

Yang pertama adalah kunci model, yang dirujuk dari Secret yang disebutkan Release dan tidak pernah ditulis secara eksplisit; dua lainnya adalah alamat recognizer. Nama seseorang menjadi <PERSON> dan alamat menjadi <EMAIL_ADDRESS>.

Panggilan yang gagal ditahan alih-alih disamarkan. Gateway tidak menjalankan guardrail pencatatan log untuk panggilan yang gagal, sehingga modul yang dimuat entri tersebut juga menyediakan log_masking.withhold_failed_calls, yang didaftarkan tepat setelah pengaman permintaan, dan Recipe milik gateway menulis kedua pengaturan di sampingnya. Callback tersebut menerima catatan panggilan yang gagal sebelum callback apa pun yang didaftarkan setelahnya, dan mengganti setiap teks yang ditulis pemanggil atau model dengan [TEXT_WITHHELD], cocok atau tidak, serta teks galat dengan [ERROR_TEXT_WITHHELD], dengan membiarkan apa yang dikirim upaya ulang tetap seperti semula. disable_error_logs menjauhkan panggilan yang gagal dari log pengeluaran, dan redact_messages_in_exceptions menjauhkan pesan permintaan dari detail yang dilampirkan gateway pada suatu galat.

ConfigMap yang sama memuat kunci kedua, log_masking.py: modul yang disebutkan oleh guardrail milik entri tersebut dan entri callbacks kedua. Recipe milik gateway menambahkan modul tersebut, entri callbacks itu, entri guardrail, dan kedua pengaturan hanya selama values.log_masking mencantumkan sesuatu, sehingga gateway yang tidak mencantumkan apa pun merender ConfigMap tanpa satu pun dari semua itu, byte demi byte sama dengan gateway tanpa nilai tersebut.

Apa yang dilihat pembaca log, dan apa yang dilihat model

Ambil contoh seorang pemanggil yang permintaannya memuat teks ini:

My name is David Johnson and my email is david.johnson@example.com, ticket TCK-104882. Call me on 212-555-0147.

Blok di atas dan tiga blok di bawah menggambarkan apa yang dilakukan gateway yang sedang berjalan terhadapnya; blok-blok tersebut bukan keluaran build.

Penyedia model menerima permintaan persis seperti yang dikirim pemanggil, dan pemanggil menerima balasan model persis seperti yang datang. Integrasi logging yang menerima panggilan dari gateway menerima pesan yang sama dalam keadaan tersamarkan:

My name is <PERSON> and my email is <EMAIL_ADDRESS>, ticket [TICKET_REDACTED]. Call me on 212-555-0147.

Nomor telepon dicatat dalam log seperti yang dikirim, karena lampiran tidak mencantumkan PHONE_NUMBER dan tidak ada pola yang cocok dengannya. Teks yang tidak cocok dengan apa pun yang dicantumkan tidak pernah disamarkan.

Setiap salinan panggilan yang berhasil yang diserahkan gateway ke log-nya disamarkan dengan cara yang sama: pesan-pesannya, pesan dan balasan dalam payload logging standar, balasan yang dialirkan sebagaimana dirakit oleh gateway, permintaan dan balasan sebagaimana dilihat oleh penyedia, permintaan yang disimpan oleh log pengeluaran, dan balasan yang diterima setiap integrasi. Balasan model juga disamarkan dalam salinan-salinan tersebut:

Reply for <PERSON> (<EMAIL_ADDRESS>) about [TICKET_REDACTED].

Apa yang tetap tidak disamarkan

Penyamaran log tidak menyembunyikan teks dari pihak lain mana pun, dan deskripsi values.log_masking menyatakan hal itu:

  • Penyedia model menerima semuanya tanpa disamarkan, demikian pula gateway dan kedua layanan pengenal.
  • Panggilan yang gagal tidak menyimpan teks permintaan di log mana pun yang ditulis gateway, dan hal itu menimbulkan dua konsekuensi. Baris milik gateway sendiri untuk panggilan yang gagal hanya menyimpan jenis galatnya, seperti An error was logged with its text withheld, as log masking is on: BadRequestError, sehingga pesan penyedia dan traceback-nya tidak masuk ke log tersebut; dan panggilan yang gagal tidak masuk ke log pengeluaran maupun total pengeluaran harian, yang hanya menghitung panggilan yang berhasil. Integrasi logging yang dikonfigurasi di luar katalog masih dapat membaca pesan galat milik penyedia sendiri pada exception yang dibawa panggilan yang gagal, dan integrasi yang didaftarkan sebelum callback milik gateway sendiri menerima teks panggilan yang gagal apa adanya.
  • Hanya log yang ditulis melalui penyamaran yang tercakup: tidak termasuk keluaran debug gateway, dan tidak termasuk log milik penyedia sendiri. Metadata permintaan, definisi tool-nya, dan header-nya dicatat sebagaimana dikirim.
  • Panggilan yang salinannya tidak dapat disamarkan dicatat dengan teksnya ditahan. Ketika pengenal tidak dapat dijangkau, tidak ada salinan yang dicatat dengan penyamaran sebagian: setiap teks di setiap salinan panggilan itu diganti dengan [TEXT_WITHHELD], dan catatannya diserahkan ke log seperti biasa, sehingga panggilan tersebut tetap dihitung dalam log pengeluaran. Log milik gateway sendiri mencatat bahwa teks panggilan itu ditahan. Panggilan itu sendiri dijawab seperti biasa.

Sebagaimana katalog merender gateway ini, gateway tidak menyerahkan lognya ke integrasi logging mana pun, dan log pengeluarannya tidak menyimpan teks permintaan atau balasan maupun panggilan yang gagal. Jadi, salinan yang dilindungi penyamaran adalah salinan yang akan diterima oleh integrasi atau log pengeluaran yang menyimpan teks jika dikonfigurasi pada gateway.

Penyamaran log atau penyamaran data

core/data-masking menyembunyikan teks yang tercantum dari model, dan pada gateway ini realisasinya mematikan pencatatan isi pesan oleh gateway selama ia terpasang. Di sampingnya, penyamaran log tidak akan memiliki apa pun lagi untuk ditangani, dan pembaca dapat mengira keduanya sebagai satu perlindungan. Karena itu gateway menolak keduanya bersamaan: selama values.log_masking mencantumkan sesuatu, pemasangan core/data-masking pada gateway menghentikan build, melalui sebuah asersi dari Component milik gateway itu sendiri. Menambahkan satu pemasangan bernama masked ke gateway, dengan realisasinya terikat di Manifest, mencetak:

[… omitted: what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
[DEVELOPER_ERROR E0033]
Component/Feature assertions
caused by: Component "core/gateway/litellm" instance "router" assertion "log_masking_not_beside_data_masking": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: "router" lists what to mask in its logs under values.log_masking, and the core/data-masking attachment "masked" is on it too: that attachment's realization turns the gateway's logging of message contents off, so log masking would have nothing left to act on, and a reader could take the two for one protection. Remove values.log_masking to mask what travels, or the "masked" attachment to mask only what is logged

Gunakan penyamaran log ketika model harus melihat data tetapi log tidak boleh menyimpannya; gunakan penyamaran data ketika model juga tidak boleh melihatnya. Keduanya membaca patterns dan entities yang sama, sehingga sebuah daftar bermakna sama pada keduanya.

Bagian yang tidak ditafsirkan oleh kompiler

Compiler meneruskan pola dan tipe entitas ke dalam konfigurasi gateway sebagai string. Compiler tidak mengompilasi ekspresi tersebut, tidak mengetahui apa itu nomor tiket atau seseorang, dan tidak melihat lalu lintas yang akan dibawa gateway. Setiap penghentian yang dapat ditemui workspace ini — tipe entitas dengan socket recognizer yang tidak tersambung, tipe entitas yang tidak dikenali analyzer dalam bahasa Inggris, log masking di samping data masking pada satu gateway, koneksi ke model terkelola yang tidak membawa kredensial — dideklarasikan oleh entitas katalog itu sendiri, sebagai assertion dari Component gateway atau dari Recipe-nya, dan tidak satu pun bergantung pada pemahaman apa pun atas teks tersebut.

Menyesuaikannya

  • Hanya menyamarkan pola. Hapus entities dari values.log_masking, serta kedua komponen pengenal beserta edge-nya dan entrinya di Release; pola dicocokkan di dalam gateway dan tidak memerlukan kedua layanan tersebut.
  • Menyamarkan lebih banyak jenis entitas. Tambahkan jenis tersebut ke entities, dalam kosakata pengenal itu sendiri; jenis yang tidak dikenali oleh penganalisis dalam bahasa Inggris menghentikan build dan menyebutkan jenis-jenis yang dikenalinya.
  • Sembunyikan teks dari model juga. Ganti values.log_masking dengan lampiran core/data-masking pada gateway yang mencantumkan patterns dan entities yang sama, lalu ikat realisasinya di Manifest.
  • Melayani model kedua. Hubungkan komponen model lain ke socket models dengan alias tersendiri, beserta kunci yang diberikan gateway kepadanya pada koneksi tersebut; values.model tetap menyebut alias yang dipublikasikan gateway. Penyamaran berlaku untuk panggilan setiap alias yang dilayani gateway.