Gateway AI yang menyaring setiap permintaan terhadap upaya mengesampingkan model
Pengguna asisten dukungan dapat mengetik apa saja, dan sebagian dari yang mereka ketik berusaha membuat model mengabaikan instruksi yang diberikan kepadanya. Gateway di depan model dapat mengirim setiap permintaan melalui sebuah guard terlebih dahulu: layanan yang menanyakan kepada classifier terlatih apakah permintaan tersebut merupakan upaya semacam itu, menolaknya jika ya, dan meneruskan sisanya ke model. Workspace ini mengompilasi susunan tersebut menjadi manifest Kubernetes: gateway, guard, dan detector tempat classifier milik guard dijalankan.
Feature yang memintanya adalah core/prompt-injection-shield. Apa yang dilakukannya
lebih sempit daripada yang mungkin tersirat dari namanya, dan halaman ini menghabiskan waktu yang sama banyaknya untuk apa yang
tidak dilakukannya seperti untuk apa yang dilakukannya: putusannya berasal dari classifier probabilistik, ia
melewatkan sebagian serangan dan menolak sebagian permintaan yang sah, ia diketahui
dapat dielakkan, dan ia tidak menilai balasan model, argumen tool-call, maupun
gambar. Ia adalah satu kontrol di antara kontrol lainnya.
Workspace ini tidak menulis entitas katalog sendiri. Tiga berkas entitas di sini — sebuah Aggregate, sebuah Manifest, dan sebuah Release — adalah seluruh hal yang ditulis siapa pun.
Apa yang dibangunnya
| instans | Component katalog | perannya di sini |
|---|---|---|
router | core/gateway/litellm | gateway AI: satu alias, assistant, yang dituliskan ke dalam peta modelnya dan menunjuk ke model di belakang guard |
guard | core/security/nemo-guardrails | server NVIDIA NeMo Guardrails di jalur model, yang memeriksa setiap permintaan chat dan meneruskan yang diterimanya ke model |
detector | core/security/trustyai-huggingface-detector | layanan pengklasifikasi yang ditanyai oleh guard, yang menjalankan pengklasifikasi prompt injection bawaannya |
Dua edge uses: socket guard milik gateway ke guard, dan socket detector milik guard ke detektor. Dua lampiran Feature: shield, yaitu perisai, pada gateway, dengan sensitivity: standard; dan upstream_key, yaitu kredensial yang diberikan guard kepada API model, pada guard.
Membuat contoh
Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.
Tulis contoh ke folder baru yang dinamai sesuai contoh itu:
aggrega scaffold --example ai-gateway-prompt-injection-shieldKemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:
cd ai-gateway-prompt-injection-shieldBuild
aggrega build --release release.yaml --auto-pullSebuah release memerlukan lockfile sebelum di-build, dan lockfile dihasilkan alih-alih disertakan, sehingga clone baru tidak memilikinya. Resolusikan satu terlebih dahulu, atau biarkan build mengisinya:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildWorkspace ini me-resolve entitas katalog dari registry default yang disebut .aggrega-config.yaml. Realisasi shield menjalankan satu plugin yang tidak disertakan baik dalam compiler maupun dalam katalog, yaitu langkah konfigurasi gateway pipeline-step/litellm-gateway-config, yang diambil oleh proses resolusi dari registry yang dinamai oleh default_registry, yaitu hub.aggrega.ai.
Build mencetak keluaran berikut, dengan <workspace> mewakili folder contoh ini:
[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 10 files written to <workspace>/distRelease menyebutkan image guard dan detector, karena katalog
tidak menyebutkan keduanya. infra.image pada setiap Component adalah pengaturan wajib tanpa
nilai default; komentar di sampingnya dalam Component menjelaskan alasannya, dan menyebutkan build
yang perilakunya telah dibuktikan. Kedua nilai di release.yaml adalah placeholder
untuk salinan build yang Anda jalankan, yang dicerminkan ke registry yang Anda kendalikan. Build
meneruskan string apa pun yang ada di sana; ganti keduanya sebelum melakukan deployment.
Dengan asisten AI
Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.
Gunakan hanya tool Aggrega, dan jangan membuat folder apa pun sendiri. Jika folder workspace belum berisi folder `ai-gateway-prompt-injection-shield`, panggil tool `scaffold` sekali dengan `example` diatur ke `ai-gateway-prompt-injection-shield` dan tanpa `dir`: tool itu menulis contoh ke folder baru `ai-gateway-prompt-injection-shield`. Lalu panggil tool `build` dengan `workspace_root` diatur ke `ai-gateway-prompt-injection-shield`, `release` diatur ke `release.yaml`, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file mana saja yang ditulis build; file-file itu berada di bawah `ai-gateway-prompt-injection-shield/dist/`.Pohon hasil render
dist/helm/├── detector-default-service.yaml├── detector-deployment.yaml├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml├── guard-default-service.yaml├── guard-deployment.yaml├── guard/│ └── nemo-guardrails-config.configmap.yaml├── router-default-service.yaml├── router-deployment.yaml└── router/ ├── litellm-gateway-config/ │ └── configmap.yaml └── request-guard/ └── request-guard.yamlShield ini tidak membawa file sendiri. Apa yang dilakukannya dituliskan ke dalam konfigurasi gateway.
Rute, sebagaimana dibaca oleh gateway
Isi konfigurasi gateway, yaitu kunci config.yaml dari
dist/helm/router/litellm-gateway-config/configmap.yaml:
model_list: - model_name: assistant litellm_params: model: openai/gpt-4o-mini api_base: "http://guard-default:8000/v1" api_key: "the-guard-holds-the-upstream-credential"litellm_settings: callbacks: - /etc/litellm-request-guard/request_field_filter.filtercallback_settings: request_field_filter.router-shield: policies: - reason: "sends every model request through a prompt-injection guard, which checks chat completions only" served_request_types: - acompletionAda tiga hal yang patut dibaca darinya.
Setiap alias dialamatkan ke guard. api_base adalah endpoint yang dipublikasikan guard,
dibaca dari edge guard, sehingga permintaan untuk assistant dikirim ke
guard melalui OpenAI API, dengan meminta gpt-4o-mini; guard meneruskan apa yang
diterimanya ke API model yang dinamai release.yaml dalam upstream_endpoint-nya. Jika
shield dihapus, entri ditulis tanpa api_base, persis seperti sebelumnya. Itulah
sebabnya alias diketik ke dalam values.models milik gateway alih-alih dilayani
dari model yang dihubungkan ke soket models-nya: entri model yang dihubungkan ditulis dengan
endpoint milik model itu sendiri dan kunci milik koneksinya sendiri, sehingga permintaannya akan
langsung ke model melewati guard, dan shield menolak koneksi semacam itu, seperti
dijelaskan di bawah.
Gateway tidak menyimpan kredensial untuk model. Entri menyebutkan kata tetap
sebagai pengganti kunci, karena gateway menjangkau guard, bukan
penyedia, dan guard menyajikan kredensialnya sendiri, yaitu kredensial yang dilampirkan pada slot
upstream_key-nya. Header Authorization milik pemanggil sendiri tidak pernah mencapai
model.
Hanya chat completions yang dilayani. Guard memeriksa chat completions dan tidak melayani rute completions, embeddings, responses, atau messages, sehingga kebijakan membuat request guard milik gateway menolak setiap jenis permintaan lain dengan HTTP 400, disertai alasannya, sebelum apa pun diteruskan:
This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.Apa yang dilakukan guard
Konfigurasi guard, yaitu kunci config.yaml dari
dist/helm/guard/nemo-guardrails-config.configmap.yaml, mulai dari bagian rails-nya:
rails: config: hf_classifier: prompt_injection: engine: fms model: "protectai/deberta-v3-base-prompt-injection-v2" base_url: "http://detector-default:8000" threshold: 0.5 blocked_labels: ["INJECTION"] input: flows: - hf classifier check input $classifier=prompt_injectionUntuk setiap permintaan chat, biasa maupun streaming, guard mengirimkan pesan pengguna
terbaru ke detektor, yang menilainya dengan classifier yang dimuatnya, dan
menolak permintaan tersebut ketika detektor melaporkan INJECTION pada atau di atas 0.5. Permintaan
yang ditolak dijawab oleh guard itu sendiri, dengan completion biasa
yang pesannya adalah I’m sorry, I can’t respond to that. — dikirim secara streaming jika
permintaan meminta stream — dan tidak ada bagiannya yang sampai ke model. Permintaan
yang diterimanya sampai ke model persis seperti yang dikirim pemanggil, termasuk pesan sistem dan
giliran-giliran sebelumnya.
Pemanggil tidak dapat mematikan pemeriksaan dari dalam permintaan. Konfigurasi
guard memuat sebuah flow, rails.co, yang menjalankan pemeriksaan apa pun yang diminta
badan permintaan, dan guard hanya menjalankan konfigurasi ini serta menolak permintaan
yang menyebut konfigurasi lain. Pada gateway ini, field guardrails adalah milik gateway sendiri dan
tidak diteruskan, dan field yang tidak dikonfigurasi untuk diteruskan oleh gateway, seperti
extra_body, ditolak.
Yang tidak dilakukannya
- Guard ini melewatkan sebagian serangan dan menolak sebagian permintaan yang sah. Putusannya adalah skor sebuah classifier terhadap sebuah ambang. Upaya yang ditulis ulang, ditulis dalam bahasa lain, dienkode, atau dieja ulang dapat memperoleh skor rendah dan dilayani; sebuah permintaan biasa dapat memperoleh skor tinggi dan ditolak.
- Guard ini hanya membaca pesan pengguna terakhir. Upaya yang ditempatkan dalam pesan sistem, giliran sebelumnya, atau hasil tool sampai ke model tanpa dibaca.
- Guard ini tidak menilai balasan model, argumen pemanggilan tool, maupun gambar.
- Guard ini hanya mencakup lalu lintas yang melewati gateway. Workload yang memanggil alamat model secara langsung akan melewatinya. Guard dan detektor tidak mengautentikasi pemanggil apa pun, sehingga Services keduanya adalah alamat bagi komponen yang memanggilnya, bukan alamat untuk dipublikasikan.
Sensitivitas
standard dan strict dijalankan sebagai ambang batas guard: 0.5 dan 0.001.
Kedua angka tersebut diukur untuk classifier bawaan detektor, yang skornya
berada dekat 0 atau dekat 1. Pada 0.5, guard menolak upaya langsung untuk
mengesampingkan instruksi model. Pada 0.001, guard juga menolak upaya serupa
yang dieja ulang dalam leetspeak, yang diberi skor sekitar 0.008 oleh classifier, dan bersamanya
sebagian permintaan biasa yang diberi skor rendah oleh classifier tetapi tidak mendekati nol.
Ambang batas adalah nilai milik guard itu sendiri, sehingga beralih ke strict memerlukan dua suntingan
sekaligus: sensitivity: strict pada lampiran, dan threshold: 0.001 dalam
values milik guard. Realisasi memeriksa bahwa keduanya sesuai. Realisasi melihat guard
tetapi tidak melihat detektor di belakangnya, sehingga tidak dapat mengetahui model mana yang dimuat
detektor; detektor yang menjalankan model lain memberi skor secara berbeda, dan ambang batasnya
perlu diukur ulang.
Yang menghentikan build
Masing-masing berikut adalah kalimat yang dicetak oleh build, yang menyebutkan apa yang perlu diubah:
-
Sensitivitas dan ambang batas guard tidak sesuai. Tetapkan
sensitivity: strictdan biarkan guard pada nilai bawaannya:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0010] instance routernode "router": pipeline step failed[… omitted: the step, the template position and the template's own source]error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001 -
Tidak ada guard yang terhubung. Hapus blok
usesmilik gateway, yang hanya berisi edgeguard, dan build berhenti sebelum apa pun dirender, dengan menyebutkan socket-nya:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router" -
Sebuah model yang terhubung ke socket
modelsmilik gateway. Entrinya akan dikirim ke endpoint milik model itu sendiri dengan kunci milik koneksinya sendiri, melewati guard. Hubungkan sebuahcore/ai-model/openaike socket sebagaifast, dengan kredensial pada koneksi, di samping alias bertipe — dengan menetapkanvalues.model: assistant, karena gateway kemudian melayani dua alias dan memublikasikan satu, serta menyebutkanfastdi Release dan Recipe-nya di Manifest — dan build berhenti sebelum apa pun dirender, dengan menyebutkan koneksinya:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment -
Kredensial pada slot
provider_keymilik gateway. Kredensial itu akan diberikan kepada guard dan tidak kepada model mana pun; build sebagai gantinya menyebutkan slotupstream_keymilik guard. -
Guard lain. Socket menerima komponen apa pun yang prompt guard-nya berasal dari classifier terlatih, dan realisasi berhenti pada guard apa pun selain
core/security/nemo-guardrails, yang menjadi dasar pengukuran kedua sensitivitasnya — juga pada guard kedua yang terhubung ke socket. -
Target yang tidak ditulis
openai/<model>, yang akan dialamatkan gateway ke guard melalui API lain. -
core/semantic-cachingpada gateway yang sama. Cache meng-embed setiap prompt melalui sebuah alias dari map, yang akan dikirim ke guard, yang tidak menjawab permintaan embeddings; cache tidak akan menyimpan apa pun. -
Shield kedua pada gateway.
Ketika guard atau detektor tidak dapat dijangkau
Permintaan ditolak, dan tidak ada yang mencapai model. Ketika detektor mati, guard menjawab permintaan biasa dengan completion yang melaporkan kesalahan internal, dan permintaan streaming dengan stream yang tidak membawa teks. Ketika guard mati, gateway menjawab dengan kesalahan. Tidak ada bagian dalam konfigurasi ini yang mengirim permintaan melewati guard ketika guard gagal.
Bagian yang tidak ditafsirkan oleh kompiler
Compiler meneruskan nama Service dan port guard ke dalam konfigurasi gateway, serta ambang batas dan alamat detektor ke dalam konfigurasi guard, sebagai string. Compiler tidak mengevaluasi prompt, tidak mengetahui skor yang akan diberikan classifier, dan tidak menghubungi guard, detektor, maupun model. Setiap penghentian di atas dideklarasikan oleh entitas milik katalog itu sendiri, sebagai asersi dalam realisasi shield atau pemeriksaan dalam langkah pipeline-nya, dan tidak satu pun dari penghentian itu bergantung pada pemahaman apa pun tentang lalu lintas.
Menyesuaikannya
- Lebih ketat. Tetapkan
sensitivity: strictpada lampiran danthreshold: 0.001pada guard, secara bersamaan. - Model yang Anda jalankan sendiri. Arahkan
upstream_endpointmilik guard ke endpoint server model —core/ai-model/vllmmenerbitkan satu — dan tulis target alias sebagaiopenai/<the name that server serves>. - Gateway NGINX sebagai gantinya.
core/gateway/nginxmendeklarasikan soketguardyang sama, danprompt-injection-shield-nginx, pada helm dan pada compose, mengarahkan satu-satunya location-nya ke guard sebagai pengganti upstream-nya. Tetapkanupstream_endpointmilik guard ke model yang dinamai oleh soketupstreammilik gateway. Setiap permintaan pada location tersebut diteruskan ke guard, yang melayani chat completions dan menjawab rute model lainnya dengan 404.