Her isteği modeli geçersiz kılma girişimine karşı tarayan bir AI ağ geçidi
Bir destek asistanının kullanıcıları her şeyi yazabilir ve yazdıklarının bir kısmı modelin kendisine verilen talimatları yok saymasını sağlamaya çalışır. Modelin önündeki ağ geçidi her isteği önce bir korumadan geçirebilir: isteğin böyle bir girişim olup olmadığını eğitilmiş bir sınıflandırıcıya soran, öyleyse isteği reddeden ve geri kalanını modele ileten bir hizmet. Bu çalışma alanı bu düzeni Kubernetes manifestlerine derler: ağ geçidi, koruma ve korumanın sınıflandırıcısının içinde çalıştığı dedektör.
Bunu isteyen Feature core/prompt-injection-shield’dir. Yaptığı şey adının
düşündürebileceğinden daha dardır ve bu sayfa, yapmadığı şeylere yaptığı şeyler kadar
zaman ayırır: karar olasılıksal bir sınıflandırıcıya aittir, bazı saldırıları kaçırır ve
bazı meşru istekleri reddeder, atlatılabildiği bilinmektedir ve ne modelin yanıtını, ne
araç çağrısı argümanlarını ne de görselleri değerlendirir. Diğerlerinin yanında bir
denetimdir.
Bu çalışma alanı kendine ait hiçbir katalog varlığı yazmaz. Buradaki üç varlık dosyası — bir Aggregate, bir Manifest ve bir Release — herhangi birinin yazdığı şeylerin tamamıdır.
Ne oluşturur
| örnek | katalog Component’i | burada ne olduğu |
|---|---|---|
router | core/gateway/litellm | AI ağ geçidi: model eşlemesine yazılmış ve guard’ın arkasındaki bir modeli gösteren tek bir takma ad, assistant |
guard | core/security/nemo-guardrails | Modelin yolunda bulunan, her sohbet isteğini denetleyen ve kabul ettiğini modele ileten NVIDIA NeMo Guardrails sunucusu |
detector | core/security/trustyai-huggingface-detector | guard’ın sorguladığı, varsayılan istem enjeksiyonu sınıflandırıcısını çalıştıran sınıflandırıcı hizmeti |
İki uses kenarı: ağ geçidinin guard soketinden guard’a ve guard’ın
detector soketinden dedektöre. İki Feature eki: ağ geçidinde, sensitivity: standard düzeyinde kalkan olan shield;
ve guard’da, guard’ın model API’sine sunduğu kimlik bilgisi olan upstream_key.
Örneği oluşturun
Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.
Örneği, adını taşıyan yeni bir klasöre yazın:
aggrega scaffold --example ai-gateway-prompt-injection-shieldArdından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:
cd ai-gateway-prompt-injection-shieldDerleme
aggrega build --release release.yaml --auto-pullBir release, derlenmeden önce bir kilit dosyasına ihtiyaç duyar ve kilit dosyaları dağıtılmak yerine üretildiğinden yeni bir klonda hiç kilit dosyası bulunmaz. Önce bir tane çözümleyin ya da derlemenin onu doldurmasına izin verin:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildBu çalışma alanı, katalog varlıklarını .aggrega-config.yaml dosyasının adlandırdığı varsayılan kayıt defterinden çözümler. Kalkanın gerçekleştirilmesi, ne derleyicide ne de katalogda bulunan bir eklentiyi, ağ geçidi yapılandırma adımı pipeline-step/litellm-gateway-config’i çalıştırır; çözümleme bu eklentiyi default_registry’nin adlandırdığı kayıt defterinden, hub.aggrega.ai’dan getirir.
Derleme, <workspace> bu örneğin klasörünü temsil edecek şekilde şunu yazdırır:
[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 10 files written to <workspace>/distRelease, koruyucunun ve algılayıcının imajlarını adlandırır, çünkü katalog
ikisini de adlandırmaz. Her Component’in infra.image ayarı, varsayılanı olmayan zorunlu bir
ayardır; Component’te yanındaki yorum bunun nedenini açıklar ve davranışının
kanıtlandığı derlemeyi adlandırır. release.yaml içindeki iki değer, çalıştırdığınız
derlemenin, denetiminizdeki bir kayıt defterine yansıtılmış bir kopyası için yer tutuculardır. Derleme
orada hangi dize varsa onu aktarır; dağıtımdan önce ikisini de değiştirin.
Bir yapay zekâ asistanıyla
Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.
Yalnızca Aggrega araçlarını kullanın ve kendiniz hiçbir klasör oluşturmayın. Çalışma alanı klasöründe henüz `ai-gateway-prompt-injection-shield` klasörü yoksa `scaffold` aracını `example` değeri `ai-gateway-prompt-injection-shield` olarak ayarlanmış ve `dir` olmadan bir kez çağırın: örneği yeni bir `ai-gateway-prompt-injection-shield` klasörüne yazar. Ardından `build` aracını `workspace_root` değeri `ai-gateway-prompt-injection-shield`, `release` değeri `release.yaml`, `auto_pull` değeri true ve `write` değeri true olarak ayarlanmış şekilde çağırın. Derlemenin hangi dosyaları yazdığını bana söyleyin; dosyalar `ai-gateway-prompt-injection-shield/dist/` altındadır.Oluşturulan ağaç
dist/helm/├── detector-default-service.yaml├── detector-deployment.yaml├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml├── guard-default-service.yaml├── guard-deployment.yaml├── guard/│ └── nemo-guardrails-config.configmap.yaml├── router-default-service.yaml├── router-deployment.yaml└── router/ ├── litellm-gateway-config/ │ └── configmap.yaml └── request-guard/ └── request-guard.yamlKalkan kendine ait bir dosya getirmez. Yaptığı iş, ağ geçidinin yapılandırmasına yazılır.
Ağ geçidinin okuduğu biçimiyle rota
Ağ geçidinin yapılandırma gövdesi, dist/helm/router/litellm-gateway-config/configmap.yaml dosyasının config.yaml anahtarı:
model_list: - model_name: assistant litellm_params: model: openai/gpt-4o-mini api_base: "http://guard-default:8000/v1" api_key: "the-guard-holds-the-upstream-credential"litellm_settings: callbacks: - /etc/litellm-request-guard/request_field_filter.filtercallback_settings: request_field_filter.router-shield: policies: - reason: "sends every model request through a prompt-injection guard, which checks chat completions only" served_request_types: - acompletionBuradan okunmaya değer üç şey var.
Her takma ad koruyucuya yöneltilir. api_base, koruyucunun yayımladığı ve guard kenarından okunan uç noktadır; bu nedenle assistant için gelen bir istek, OpenAI API üzerinden gpt-4o-mini isteyerek koruyucuya gider; koruyucu kabul ettiğini, release.yaml dosyasının upstream_endpoint alanında adını verdiği model API’sine iletir. Kalkan kaldırılırsa girdi, tıpkı önceki gibi api_base olmadan yazılır. Takma adın, ağ geçidinin models soketine bağlanmış bir modelden sunulmak yerine ağ geçidinin values.models alanına elle yazılmasının nedeni budur: bağlanmış bir modelin girdisi o modelin kendi uç noktası ve bağlantısının kendi anahtarıyla yazılır; dolayısıyla istekleri koruyucuyu atlayarak modele gider ve kalkan, aşağıda anlatıldığı gibi, böyle bir bağlantıyı reddeder.
Ağ geçidi, model için hiçbir kimlik bilgisi tutmaz. Girdi, anahtar yerine sabit bir sözcük belirtir; çünkü ağ geçidi sağlayıcıya değil koruyucuya ulaşır ve koruyucu kendi kimlik bilgisini, yani upstream_key yuvasına bağlı olanı sunar. Bir çağıranın kendi Authorization başlığı hiçbir zaman modele ulaşmaz.
Yalnızca sohbet tamamlamaları sunulur. Koruyucu sohbet tamamlamalarını denetler ve completions, embeddings, responses ya da messages rotalarının hiçbirini sunmaz; bu nedenle ilke, ağ geçidinin istek koruyucusunun diğer her tür isteği, herhangi bir şey iletilmeden önce, nedenini belirterek HTTP 400 ile reddetmesini sağlar:
This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.Korumanın yaptıkları
Korumanın yapılandırması, dist/helm/guard/nemo-guardrails-config.configmap.yaml dosyasının
config.yaml anahtarı, raylarından itibaren:
rails: config: hf_classifier: prompt_injection: engine: fms model: "protectai/deberta-v3-base-prompt-injection-v2" base_url: "http://detector-default:8000" threshold: 0.5 blocked_labels: ["INJECTION"] input: flows: - hf classifier check input $classifier=prompt_injectionKoruma, düz ya da akışlı her sohbet isteği için en son kullanıcı mesajını dedektöre gönderir; dedektör mesajı yüklediği sınıflandırıcıyla puanlar ve koruma, dedektör 0.5 veya üzerinde INJECTION bildirdiğinde isteği reddeder. Reddedilen bir isteğe korumanın kendisi, mesajı I’m sorry, I can’t respond to that. olan sıradan bir tamamlamayla yanıt verir — istek akış istediyse akışlı olarak — ve isteğin hiçbir kısmı modele ulaşmaz. Korumanın kabul ettiği bir istek, sistem mesajı ve önceki turlar dahil, çağıranın gönderdiği şekliyle modele ulaşır.
Çağıran, denetimi istekten kapatamaz. Korumanın yapılandırması, istek gövdesi ne isterse istesin denetimi çalıştıran bir akış, rails.co, içerir; koruma yalnızca bu yapılandırmayı çalıştırır ve başka bir yapılandırmayı adlandıran isteği reddeder. Bu ağ geçidinde guardrails alanı ağ geçidinin kendisine aittir ve iletilmez; ağ geçidinin iletmek üzere yapılandırılmadığı bir alan, örneğin extra_body, reddedilir.
Ne yapmadığı
- Bazı saldırıları kaçırır ve bazı meşru istekleri reddeder. Karar, bir sınıflandırıcının puanının bir eşikle karşılaştırılmasıdır. Yeniden ifade edilmiş, başka bir dilde yazılmış, kodlanmış ya da farklı yazılmış bir girişim düşük puan alıp yanıtlanabilir; sıradan bir istek ise yüksek puan alıp reddedilebilir.
- Yalnızca en son kullanıcı mesajını okur. Bir sistem mesajına, önceki bir tura ya da bir araç sonucuna yerleştirilmiş bir girişim modele okunmadan ulaşır.
- Modelin yanıtını, araç çağrısı argümanlarını ya da görselleri değerlendirmez.
- Yalnızca ağ geçidinden geçen trafiği kapsar. Modelin adresini doğrudan çağıran bir iş yükü ağ geçidini atlar. Koruyucu ve dedektör hiçbir çağıranın kimliğini doğrulamaz; bu nedenle Service’leri, onları çağıran bileşenler için adreslerdir, yayımlanacak adresler değildir.
Hassasiyet
standard ve strict, guard’ın eşiği olarak çalıştırılır: 0.5 ve 0.001.
Bu iki sayı, puanları 0’a ya da 1’e yakın olan, dedektörün varsayılan sınıflandırıcısı
için ölçülmüştür. 0.5 değerinde guard, modelin talimatlarını geçersiz kılmaya
yönelik açık girişimleri reddeder. 0.001 değerinde ise sınıflandırıcının yaklaşık
0.008 puan verdiği, leetspeak ile yeniden yazılmış böyle bir girişimi ve onunla
birlikte sınıflandırıcının düşük ama sıfıra yakın olmayan puan verdiği bazı sıradan istekleri de reddeder.
Eşik guard’ın kendi değeridir; bu nedenle strict değerine geçmek birlikte yapılan
iki düzenlemedir: eklentide sensitivity: strict ve guard’ın values alanında
threshold: 0.001. Gerçekleştirme, ikisinin uyuştuğunu denetler. Guard’ı görür,
arkasındaki dedektörü görmez; bu yüzden dedektörün hangi modeli yüklediğini
anlayamaz. Başka bir model çalıştıran dedektör farklı puan verir ve eşikleri
yeniden ölçülür.
Derlemeyi durduran durumlar
Bunların her biri, derlemenin yazdırdığı ve neyin değiştirileceğini belirten bir cümledir:
-
Hassasiyet ile koruyucunun eşiği uyuşmuyor.
sensitivity: strictayarlayın ve koruyucuyu varsayılanında bırakın:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0010] instance routernode "router": pipeline step failed[… omitted: the step, the template position and the template's own source]error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001 -
Bağlı koruyucu yok. Ağ geçidinin yalnızca
guardkenarını tutanusesbloğunu kaldırın; derleme, hiçbir şey oluşturulmadan önce soketi belirterek durur:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router" -
Ağ geçidinin
modelssoketine bağlı bir model. Bu modelin girdisi, koruyucuyu atlayarak o modelin kendi uç noktasına, bağlantısının kendi anahtarıyla gönderilirdi. Tipli takma adın yanına, bağlantıda bir kimlik bilgisiyle, soketefastolarak bircore/ai-model/openaibağlayın — ağ geçidi bu durumda iki takma ada hizmet edip birini yayımladığındanvalues.model: assistantayarlayarak ve Release’tefast’i, Manifest’te de onun Recipe’ini adlandırarak — derleme, hiçbir şey oluşturulmadan önce bağlantıyı belirterek durur:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment -
Ağ geçidinin
provider_keyyuvasında bir kimlik bilgisi. Bu, koruyucuya sunulur ve hiçbir modele sunulmazdı; derleme bunun yerine koruyucununupstream_keyyuvasını belirtir. -
Başka bir koruyucu. Soket, istem koruyucusu eğitilmiş bir sınıflandırıcıya ait olan her bileşeni kabul eder; gerçekleştirme ise iki hassasiyetinin üzerinde ölçüldüğü
core/security/nemo-guardrailsdışındaki her koruyucuda durur — sokete bağlanan ikinci bir koruyucuda da. -
openai/<model>biçiminde yazılmamış bir hedef; ağ geçidi bunu koruyucuya başka bir API üzerinden yöneltirdi. -
Aynı ağ geçidinde
core/semantic-caching. Önbellek her istemi eşlemedeki bir takma ad üzerinden gömer; bu istek, hiçbir gömme isteğini yanıtlamayan koruyucuya gönderilirdi ve önbellek hiçbir şeyi önbelleğe almazdı. -
Ağ geçidinde ikinci bir kalkan.
Koruyucuya veya algılayıcıya ulaşılamadığında
İstek reddedilir ve modele hiçbir şey ulaşmaz. Algılayıcı çalışmıyorken koruyucu, düz bir isteği dahili bir hata bildiren bir tamamlamayla, akışlı bir isteği ise hiç metin taşımayan bir akışla yanıtlar. Koruyucu çalışmıyorken ağ geçidi bir hatayla yanıt verir. Bu yapılandırmadaki hiçbir şey, koruyucu başarısız olduğunda bir isteği koruyucunun etrafından dolaştırarak göndermez.
Derleyicinin yorumlamadığı yerler
Derleyici, guard’ın Service adını ve bağlantı noktasını gateway’in yapılandırmasına, eşik değerini ve detector’ın adresini de guard’ınkine dizgeler olarak aktarır. Bir istemi değerlendirmez, sınıflandırıcının hangi puanı vereceğini bilmez ve guard’a, detector’a ya da modele bağlanmaz. Yukarıdaki her durdurma, kataloğun kendi varlıkları tarafından, kalkanın gerçekleştirimindeki bir onaylama ya da işlem hattı adımındaki bir denetim olarak bildirilir ve hiçbiri trafiğin herhangi bir şekilde anlaşılmasına dayanmaz.
Uyarlama
- Daha sıkı. Eke
sensitivity: strict, guard’a isethreshold: 0.001değerini birlikte ayarlayın. - Kendi çalıştırdığınız bir model. Guard’ın
upstream_endpointdeğerini model sunucusunun uç noktasına yönlendirin —core/ai-model/vllmbir tane yayımlar — ve takma adın hedefiniopenai/<the name that server serves>olarak yazın. - Bunun yerine bir NGINX ağ geçidi.
core/gateway/nginxaynıguardsoketini bildirir veprompt-injection-shield-nginx, helm ve compose üzerinde, tek location’ını upstream’i yerine guard’a yönlendirir. Guard’ınupstream_endpointdeğerini, ağ geçidininupstreamsoketinin adlandırdığı modele ayarlayın. O location’daki her istek guard’a gider; guard sohbet tamamlamalarını sunar ve diğer model rotalarına 404 ile yanıt verir.