Lewati ke konten
AggregaAggrega
Pilih Bahasa: Bahasa Indonesia
Halaman ini diterjemahkan oleh mesin. Baca versi asli dalam bahasa Inggris.

Gateway AI yang menyaring setiap permintaan terhadap upaya mengesampingkan model

Pengguna asisten dukungan dapat mengetik apa saja, dan sebagian dari yang mereka ketik berusaha membuat model mengabaikan instruksi yang diberikan kepadanya. Gateway di depan model dapat mengirim setiap permintaan melalui sebuah guard terlebih dahulu: layanan yang menanyakan kepada classifier terlatih apakah permintaan tersebut merupakan upaya semacam itu, menolaknya jika ya, dan meneruskan sisanya ke model. Workspace ini mengompilasi susunan tersebut menjadi manifest Kubernetes: gateway, guard, dan detector tempat classifier milik guard dijalankan.

Feature yang memintanya adalah core/prompt-injection-shield. Apa yang dilakukannya lebih sempit daripada yang mungkin tersirat dari namanya, dan halaman ini menghabiskan waktu yang sama banyaknya untuk apa yang tidak dilakukannya seperti untuk apa yang dilakukannya: putusannya berasal dari classifier probabilistik, ia melewatkan sebagian serangan dan menolak sebagian permintaan yang sah, ia diketahui dapat dielakkan, dan ia tidak menilai balasan model, argumen tool-call, maupun gambar. Ia adalah satu kontrol di antara kontrol lainnya.

Workspace ini tidak menulis entitas katalog sendiri. Tiga berkas entitas di sini — sebuah Aggregate, sebuah Manifest, dan sebuah Release — adalah seluruh hal yang ditulis siapa pun.

Apa yang dibangunnya

instansComponent katalogperannya di sini
routercore/gateway/litellmgateway AI: satu alias, assistant, yang dituliskan ke dalam peta modelnya dan menunjuk ke model di belakang guard
guardcore/security/nemo-guardrailsserver NVIDIA NeMo Guardrails di jalur model, yang memeriksa setiap permintaan chat dan meneruskan yang diterimanya ke model
detectorcore/security/trustyai-huggingface-detectorlayanan pengklasifikasi yang ditanyai oleh guard, yang menjalankan pengklasifikasi prompt injection bawaannya

Dua edge uses: socket guard milik gateway ke guard, dan socket detector milik guard ke detektor. Dua lampiran Feature: shield, yaitu perisai, pada gateway, dengan sensitivity: standard; dan upstream_key, yaitu kredensial yang diberikan guard kepada API model, pada guard.

Membuat contoh

Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.

Tulis contoh ke folder baru yang dinamai sesuai contoh itu:

Terminal window
aggrega scaffold --example ai-gateway-prompt-injection-shield

Kemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:

Terminal window
cd ai-gateway-prompt-injection-shield

Build

Terminal window
aggrega build --release release.yaml --auto-pull

Sebuah release memerlukan lockfile sebelum di-build, dan lockfile dihasilkan alih-alih disertakan, sehingga clone baru tidak memilikinya. Resolusikan satu terlebih dahulu, atau biarkan build mengisinya:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Workspace ini me-resolve entitas katalog dari registry default yang disebut .aggrega-config.yaml. Realisasi shield menjalankan satu plugin yang tidak disertakan baik dalam compiler maupun dalam katalog, yaitu langkah konfigurasi gateway pipeline-step/litellm-gateway-config, yang diambil oleh proses resolusi dari registry yang dinamai oleh default_registry, yaitu hub.aggrega.ai.

Build mencetak keluaran berikut, dengan <workspace> mewakili folder contoh ini:

[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 10 files written to <workspace>/dist

Release menyebutkan image guard dan detector, karena katalog tidak menyebutkan keduanya. infra.image pada setiap Component adalah pengaturan wajib tanpa nilai default; komentar di sampingnya dalam Component menjelaskan alasannya, dan menyebutkan build yang perilakunya telah dibuktikan. Kedua nilai di release.yaml adalah placeholder untuk salinan build yang Anda jalankan, yang dicerminkan ke registry yang Anda kendalikan. Build meneruskan string apa pun yang ada di sana; ganti keduanya sebelum melakukan deployment.

Dengan asisten AI

Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.

Gunakan hanya tool Aggrega, dan jangan membuat folder apa pun sendiri. Jika folder workspace belum berisi folder `ai-gateway-prompt-injection-shield`, panggil tool `scaffold` sekali dengan `example` diatur ke `ai-gateway-prompt-injection-shield` dan tanpa `dir`: tool itu menulis contoh ke folder baru `ai-gateway-prompt-injection-shield`. Lalu panggil tool `build` dengan `workspace_root` diatur ke `ai-gateway-prompt-injection-shield`, `release` diatur ke `release.yaml`, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file mana saja yang ditulis build; file-file itu berada di bawah `ai-gateway-prompt-injection-shield/dist/`.

Pohon hasil render

dist/helm/
├── detector-default-service.yaml
├── detector-deployment.yaml
├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml
├── guard-default-service.yaml
├── guard-deployment.yaml
├── guard/
│ └── nemo-guardrails-config.configmap.yaml
├── router-default-service.yaml
├── router-deployment.yaml
└── router/
├── litellm-gateway-config/
│ └── configmap.yaml
└── request-guard/
└── request-guard.yaml

Shield ini tidak membawa file sendiri. Apa yang dilakukannya dituliskan ke dalam konfigurasi gateway.

Rute, sebagaimana dibaca oleh gateway

Isi konfigurasi gateway, yaitu kunci config.yaml dari dist/helm/router/litellm-gateway-config/configmap.yaml:

model_list:
- model_name: assistant
litellm_params:
model: openai/gpt-4o-mini
api_base: "http://guard-default:8000/v1"
api_key: "the-guard-holds-the-upstream-credential"
litellm_settings:
callbacks:
- /etc/litellm-request-guard/request_field_filter.filter
callback_settings:
request_field_filter.router-shield:
policies:
-
reason: "sends every model request through a prompt-injection guard, which checks chat completions only"
served_request_types:
- acompletion

Ada tiga hal yang patut dibaca darinya.

Setiap alias dialamatkan ke guard. api_base adalah endpoint yang dipublikasikan guard, dibaca dari edge guard, sehingga permintaan untuk assistant dikirim ke guard melalui OpenAI API, dengan meminta gpt-4o-mini; guard meneruskan apa yang diterimanya ke API model yang dinamai release.yaml dalam upstream_endpoint-nya. Jika shield dihapus, entri ditulis tanpa api_base, persis seperti sebelumnya. Itulah sebabnya alias diketik ke dalam values.models milik gateway alih-alih dilayani dari model yang dihubungkan ke soket models-nya: entri model yang dihubungkan ditulis dengan endpoint milik model itu sendiri dan kunci milik koneksinya sendiri, sehingga permintaannya akan langsung ke model melewati guard, dan shield menolak koneksi semacam itu, seperti dijelaskan di bawah.

Gateway tidak menyimpan kredensial untuk model. Entri menyebutkan kata tetap sebagai pengganti kunci, karena gateway menjangkau guard, bukan penyedia, dan guard menyajikan kredensialnya sendiri, yaitu kredensial yang dilampirkan pada slot upstream_key-nya. Header Authorization milik pemanggil sendiri tidak pernah mencapai model.

Hanya chat completions yang dilayani. Guard memeriksa chat completions dan tidak melayani rute completions, embeddings, responses, atau messages, sehingga kebijakan membuat request guard milik gateway menolak setiap jenis permintaan lain dengan HTTP 400, disertai alasannya, sebelum apa pun diteruskan:

This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.

Apa yang dilakukan guard

Konfigurasi guard, yaitu kunci config.yaml dari dist/helm/guard/nemo-guardrails-config.configmap.yaml, mulai dari bagian rails-nya:

rails:
config:
hf_classifier:
prompt_injection:
engine: fms
model: "protectai/deberta-v3-base-prompt-injection-v2"
base_url: "http://detector-default:8000"
threshold: 0.5
blocked_labels: ["INJECTION"]
input:
flows:
- hf classifier check input $classifier=prompt_injection

Untuk setiap permintaan chat, biasa maupun streaming, guard mengirimkan pesan pengguna terbaru ke detektor, yang menilainya dengan classifier yang dimuatnya, dan menolak permintaan tersebut ketika detektor melaporkan INJECTION pada atau di atas 0.5. Permintaan yang ditolak dijawab oleh guard itu sendiri, dengan completion biasa yang pesannya adalah I’m sorry, I can’t respond to that. — dikirim secara streaming jika permintaan meminta stream — dan tidak ada bagiannya yang sampai ke model. Permintaan yang diterimanya sampai ke model persis seperti yang dikirim pemanggil, termasuk pesan sistem dan giliran-giliran sebelumnya.

Pemanggil tidak dapat mematikan pemeriksaan dari dalam permintaan. Konfigurasi guard memuat sebuah flow, rails.co, yang menjalankan pemeriksaan apa pun yang diminta badan permintaan, dan guard hanya menjalankan konfigurasi ini serta menolak permintaan yang menyebut konfigurasi lain. Pada gateway ini, field guardrails adalah milik gateway sendiri dan tidak diteruskan, dan field yang tidak dikonfigurasi untuk diteruskan oleh gateway, seperti extra_body, ditolak.

Yang tidak dilakukannya

  • Guard ini melewatkan sebagian serangan dan menolak sebagian permintaan yang sah. Putusannya adalah skor sebuah classifier terhadap sebuah ambang. Upaya yang ditulis ulang, ditulis dalam bahasa lain, dienkode, atau dieja ulang dapat memperoleh skor rendah dan dilayani; sebuah permintaan biasa dapat memperoleh skor tinggi dan ditolak.
  • Guard ini hanya membaca pesan pengguna terakhir. Upaya yang ditempatkan dalam pesan sistem, giliran sebelumnya, atau hasil tool sampai ke model tanpa dibaca.
  • Guard ini tidak menilai balasan model, argumen pemanggilan tool, maupun gambar.
  • Guard ini hanya mencakup lalu lintas yang melewati gateway. Workload yang memanggil alamat model secara langsung akan melewatinya. Guard dan detektor tidak mengautentikasi pemanggil apa pun, sehingga Services keduanya adalah alamat bagi komponen yang memanggilnya, bukan alamat untuk dipublikasikan.

Sensitivitas

standard dan strict dijalankan sebagai ambang batas guard: 0.5 dan 0.001. Kedua angka tersebut diukur untuk classifier bawaan detektor, yang skornya berada dekat 0 atau dekat 1. Pada 0.5, guard menolak upaya langsung untuk mengesampingkan instruksi model. Pada 0.001, guard juga menolak upaya serupa yang dieja ulang dalam leetspeak, yang diberi skor sekitar 0.008 oleh classifier, dan bersamanya sebagian permintaan biasa yang diberi skor rendah oleh classifier tetapi tidak mendekati nol.

Ambang batas adalah nilai milik guard itu sendiri, sehingga beralih ke strict memerlukan dua suntingan sekaligus: sensitivity: strict pada lampiran, dan threshold: 0.001 dalam values milik guard. Realisasi memeriksa bahwa keduanya sesuai. Realisasi melihat guard tetapi tidak melihat detektor di belakangnya, sehingga tidak dapat mengetahui model mana yang dimuat detektor; detektor yang menjalankan model lain memberi skor secara berbeda, dan ambang batasnya perlu diukur ulang.

Yang menghentikan build

Masing-masing berikut adalah kalimat yang dicetak oleh build, yang menyebutkan apa yang perlu diubah:

  • Sensitivitas dan ambang batas guard tidak sesuai. Tetapkan sensitivity: strict dan biarkan guard pada nilai bawaannya:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0010] instance router
    node "router": pipeline step failed
    [… omitted: the step, the template position and the template's own source]
    error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001
  • Tidak ada guard yang terhubung. Hapus blok uses milik gateway, yang hanya berisi edge guard, dan build berhenti sebelum apa pun dirender, dengan menyebutkan socket-nya:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router"
  • Sebuah model yang terhubung ke socket models milik gateway. Entrinya akan dikirim ke endpoint milik model itu sendiri dengan kunci milik koneksinya sendiri, melewati guard. Hubungkan sebuah core/ai-model/openai ke socket sebagai fast, dengan kredensial pada koneksi, di samping alias bertipe — dengan menetapkan values.model: assistant, karena gateway kemudian melayani dua alias dan memublikasikan satu, serta menyebutkan fast di Release dan Recipe-nya di Manifest — dan build berhenti sebelum apa pun dirender, dengan menyebutkan koneksinya:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment
  • Kredensial pada slot provider_key milik gateway. Kredensial itu akan diberikan kepada guard dan tidak kepada model mana pun; build sebagai gantinya menyebutkan slot upstream_key milik guard.

  • Guard lain. Socket menerima komponen apa pun yang prompt guard-nya berasal dari classifier terlatih, dan realisasi berhenti pada guard apa pun selain core/security/nemo-guardrails, yang menjadi dasar pengukuran kedua sensitivitasnya — juga pada guard kedua yang terhubung ke socket.

  • Target yang tidak ditulis openai/<model>, yang akan dialamatkan gateway ke guard melalui API lain.

  • core/semantic-caching pada gateway yang sama. Cache meng-embed setiap prompt melalui sebuah alias dari map, yang akan dikirim ke guard, yang tidak menjawab permintaan embeddings; cache tidak akan menyimpan apa pun.

  • Shield kedua pada gateway.

Ketika guard atau detektor tidak dapat dijangkau

Permintaan ditolak, dan tidak ada yang mencapai model. Ketika detektor mati, guard menjawab permintaan biasa dengan completion yang melaporkan kesalahan internal, dan permintaan streaming dengan stream yang tidak membawa teks. Ketika guard mati, gateway menjawab dengan kesalahan. Tidak ada bagian dalam konfigurasi ini yang mengirim permintaan melewati guard ketika guard gagal.

Bagian yang tidak ditafsirkan oleh kompiler

Compiler meneruskan nama Service dan port guard ke dalam konfigurasi gateway, serta ambang batas dan alamat detektor ke dalam konfigurasi guard, sebagai string. Compiler tidak mengevaluasi prompt, tidak mengetahui skor yang akan diberikan classifier, dan tidak menghubungi guard, detektor, maupun model. Setiap penghentian di atas dideklarasikan oleh entitas milik katalog itu sendiri, sebagai asersi dalam realisasi shield atau pemeriksaan dalam langkah pipeline-nya, dan tidak satu pun dari penghentian itu bergantung pada pemahaman apa pun tentang lalu lintas.

Menyesuaikannya

  • Lebih ketat. Tetapkan sensitivity: strict pada lampiran dan threshold: 0.001 pada guard, secara bersamaan.
  • Model yang Anda jalankan sendiri. Arahkan upstream_endpoint milik guard ke endpoint server model — core/ai-model/vllm menerbitkan satu — dan tulis target alias sebagai openai/<the name that server serves>.
  • Gateway NGINX sebagai gantinya. core/gateway/nginx mendeklarasikan soket guard yang sama, dan prompt-injection-shield-nginx, pada helm dan pada compose, mengarahkan satu-satunya location-nya ke guard sebagai pengganti upstream-nya. Tetapkan upstream_endpoint milik guard ke model yang dinamai oleh soket upstream milik gateway. Setiap permintaan pada location tersebut diteruskan ke guard, yang melayani chat completions dan menjawab rute model lainnya dengan 404.