İçeriğe geç
AggregaAggrega
Dil seçin: Türkçe
Bu sayfa makine çevirisiyle çevrilmiştir. İngilizce orijinalini okuyun.

Her isteği modeli geçersiz kılma girişimine karşı tarayan bir AI ağ geçidi

Bir destek asistanının kullanıcıları her şeyi yazabilir ve yazdıklarının bir kısmı modelin kendisine verilen talimatları yok saymasını sağlamaya çalışır. Modelin önündeki ağ geçidi her isteği önce bir korumadan geçirebilir: isteğin böyle bir girişim olup olmadığını eğitilmiş bir sınıflandırıcıya soran, öyleyse isteği reddeden ve geri kalanını modele ileten bir hizmet. Bu çalışma alanı bu düzeni Kubernetes manifestlerine derler: ağ geçidi, koruma ve korumanın sınıflandırıcısının içinde çalıştığı dedektör.

Bunu isteyen Feature core/prompt-injection-shield’dir. Yaptığı şey adının düşündürebileceğinden daha dardır ve bu sayfa, yapmadığı şeylere yaptığı şeyler kadar zaman ayırır: karar olasılıksal bir sınıflandırıcıya aittir, bazı saldırıları kaçırır ve bazı meşru istekleri reddeder, atlatılabildiği bilinmektedir ve ne modelin yanıtını, ne araç çağrısı argümanlarını ne de görselleri değerlendirir. Diğerlerinin yanında bir denetimdir.

Bu çalışma alanı kendine ait hiçbir katalog varlığı yazmaz. Buradaki üç varlık dosyası — bir Aggregate, bir Manifest ve bir Release — herhangi birinin yazdığı şeylerin tamamıdır.

Ne oluşturur

örnekkatalog Component’iburada ne olduğu
routercore/gateway/litellmAI ağ geçidi: model eşlemesine yazılmış ve guard’ın arkasındaki bir modeli gösteren tek bir takma ad, assistant
guardcore/security/nemo-guardrailsModelin yolunda bulunan, her sohbet isteğini denetleyen ve kabul ettiğini modele ileten NVIDIA NeMo Guardrails sunucusu
detectorcore/security/trustyai-huggingface-detectorguard’ın sorguladığı, varsayılan istem enjeksiyonu sınıflandırıcısını çalıştıran sınıflandırıcı hizmeti

İki uses kenarı: ağ geçidinin guard soketinden guard’a ve guard’ın detector soketinden dedektöre. İki Feature eki: ağ geçidinde, sensitivity: standard düzeyinde kalkan olan shield; ve guard’da, guard’ın model API’sine sunduğu kimlik bilgisi olan upstream_key.

Örneği oluşturun

Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.

Örneği, adını taşıyan yeni bir klasöre yazın:

Terminal window
aggrega scaffold --example ai-gateway-prompt-injection-shield

Ardından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:

Terminal window
cd ai-gateway-prompt-injection-shield

Derleme

Terminal window
aggrega build --release release.yaml --auto-pull

Bir release, derlenmeden önce bir kilit dosyasına ihtiyaç duyar ve kilit dosyaları dağıtılmak yerine üretildiğinden yeni bir klonda hiç kilit dosyası bulunmaz. Önce bir tane çözümleyin ya da derlemenin onu doldurmasına izin verin:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Bu çalışma alanı, katalog varlıklarını .aggrega-config.yaml dosyasının adlandırdığı varsayılan kayıt defterinden çözümler. Kalkanın gerçekleştirilmesi, ne derleyicide ne de katalogda bulunan bir eklentiyi, ağ geçidi yapılandırma adımı pipeline-step/litellm-gateway-config’i çalıştırır; çözümleme bu eklentiyi default_registry’nin adlandırdığı kayıt defterinden, hub.aggrega.ai’dan getirir.

Derleme, <workspace> bu örneğin klasörünü temsil edecek şekilde şunu yazdırır:

[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 10 files written to <workspace>/dist

Release, koruyucunun ve algılayıcının imajlarını adlandırır, çünkü katalog ikisini de adlandırmaz. Her Component’in infra.image ayarı, varsayılanı olmayan zorunlu bir ayardır; Component’te yanındaki yorum bunun nedenini açıklar ve davranışının kanıtlandığı derlemeyi adlandırır. release.yaml içindeki iki değer, çalıştırdığınız derlemenin, denetiminizdeki bir kayıt defterine yansıtılmış bir kopyası için yer tutuculardır. Derleme orada hangi dize varsa onu aktarır; dağıtımdan önce ikisini de değiştirin.

Bir yapay zekâ asistanıyla

Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.

Yalnızca Aggrega araçlarını kullanın ve kendiniz hiçbir klasör oluşturmayın. Çalışma alanı klasöründe henüz `ai-gateway-prompt-injection-shield` klasörü yoksa `scaffold` aracını `example` değeri `ai-gateway-prompt-injection-shield` olarak ayarlanmış ve `dir` olmadan bir kez çağırın: örneği yeni bir `ai-gateway-prompt-injection-shield` klasörüne yazar. Ardından `build` aracını `workspace_root` değeri `ai-gateway-prompt-injection-shield`, `release` değeri `release.yaml`, `auto_pull` değeri true ve `write` değeri true olarak ayarlanmış şekilde çağırın. Derlemenin hangi dosyaları yazdığını bana söyleyin; dosyalar `ai-gateway-prompt-injection-shield/dist/` altındadır.

Oluşturulan ağaç

dist/helm/
├── detector-default-service.yaml
├── detector-deployment.yaml
├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml
├── guard-default-service.yaml
├── guard-deployment.yaml
├── guard/
│ └── nemo-guardrails-config.configmap.yaml
├── router-default-service.yaml
├── router-deployment.yaml
└── router/
├── litellm-gateway-config/
│ └── configmap.yaml
└── request-guard/
└── request-guard.yaml

Kalkan kendine ait bir dosya getirmez. Yaptığı iş, ağ geçidinin yapılandırmasına yazılır.

Ağ geçidinin okuduğu biçimiyle rota

Ağ geçidinin yapılandırma gövdesi, dist/helm/router/litellm-gateway-config/configmap.yaml dosyasının config.yaml anahtarı:

model_list:
- model_name: assistant
litellm_params:
model: openai/gpt-4o-mini
api_base: "http://guard-default:8000/v1"
api_key: "the-guard-holds-the-upstream-credential"
litellm_settings:
callbacks:
- /etc/litellm-request-guard/request_field_filter.filter
callback_settings:
request_field_filter.router-shield:
policies:
-
reason: "sends every model request through a prompt-injection guard, which checks chat completions only"
served_request_types:
- acompletion

Buradan okunmaya değer üç şey var.

Her takma ad koruyucuya yöneltilir. api_base, koruyucunun yayımladığı ve guard kenarından okunan uç noktadır; bu nedenle assistant için gelen bir istek, OpenAI API üzerinden gpt-4o-mini isteyerek koruyucuya gider; koruyucu kabul ettiğini, release.yaml dosyasının upstream_endpoint alanında adını verdiği model API’sine iletir. Kalkan kaldırılırsa girdi, tıpkı önceki gibi api_base olmadan yazılır. Takma adın, ağ geçidinin models soketine bağlanmış bir modelden sunulmak yerine ağ geçidinin values.models alanına elle yazılmasının nedeni budur: bağlanmış bir modelin girdisi o modelin kendi uç noktası ve bağlantısının kendi anahtarıyla yazılır; dolayısıyla istekleri koruyucuyu atlayarak modele gider ve kalkan, aşağıda anlatıldığı gibi, böyle bir bağlantıyı reddeder.

Ağ geçidi, model için hiçbir kimlik bilgisi tutmaz. Girdi, anahtar yerine sabit bir sözcük belirtir; çünkü ağ geçidi sağlayıcıya değil koruyucuya ulaşır ve koruyucu kendi kimlik bilgisini, yani upstream_key yuvasına bağlı olanı sunar. Bir çağıranın kendi Authorization başlığı hiçbir zaman modele ulaşmaz.

Yalnızca sohbet tamamlamaları sunulur. Koruyucu sohbet tamamlamalarını denetler ve completions, embeddings, responses ya da messages rotalarının hiçbirini sunmaz; bu nedenle ilke, ağ geçidinin istek koruyucusunun diğer her tür isteği, herhangi bir şey iletilmeden önce, nedenini belirterek HTTP 400 ile reddetmesini sağlar:

This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.

Korumanın yaptıkları

Korumanın yapılandırması, dist/helm/guard/nemo-guardrails-config.configmap.yaml dosyasının config.yaml anahtarı, raylarından itibaren:

rails:
config:
hf_classifier:
prompt_injection:
engine: fms
model: "protectai/deberta-v3-base-prompt-injection-v2"
base_url: "http://detector-default:8000"
threshold: 0.5
blocked_labels: ["INJECTION"]
input:
flows:
- hf classifier check input $classifier=prompt_injection

Koruma, düz ya da akışlı her sohbet isteği için en son kullanıcı mesajını dedektöre gönderir; dedektör mesajı yüklediği sınıflandırıcıyla puanlar ve koruma, dedektör 0.5 veya üzerinde INJECTION bildirdiğinde isteği reddeder. Reddedilen bir isteğe korumanın kendisi, mesajı I’m sorry, I can’t respond to that. olan sıradan bir tamamlamayla yanıt verir — istek akış istediyse akışlı olarak — ve isteğin hiçbir kısmı modele ulaşmaz. Korumanın kabul ettiği bir istek, sistem mesajı ve önceki turlar dahil, çağıranın gönderdiği şekliyle modele ulaşır.

Çağıran, denetimi istekten kapatamaz. Korumanın yapılandırması, istek gövdesi ne isterse istesin denetimi çalıştıran bir akış, rails.co, içerir; koruma yalnızca bu yapılandırmayı çalıştırır ve başka bir yapılandırmayı adlandıran isteği reddeder. Bu ağ geçidinde guardrails alanı ağ geçidinin kendisine aittir ve iletilmez; ağ geçidinin iletmek üzere yapılandırılmadığı bir alan, örneğin extra_body, reddedilir.

Ne yapmadığı

  • Bazı saldırıları kaçırır ve bazı meşru istekleri reddeder. Karar, bir sınıflandırıcının puanının bir eşikle karşılaştırılmasıdır. Yeniden ifade edilmiş, başka bir dilde yazılmış, kodlanmış ya da farklı yazılmış bir girişim düşük puan alıp yanıtlanabilir; sıradan bir istek ise yüksek puan alıp reddedilebilir.
  • Yalnızca en son kullanıcı mesajını okur. Bir sistem mesajına, önceki bir tura ya da bir araç sonucuna yerleştirilmiş bir girişim modele okunmadan ulaşır.
  • Modelin yanıtını, araç çağrısı argümanlarını ya da görselleri değerlendirmez.
  • Yalnızca ağ geçidinden geçen trafiği kapsar. Modelin adresini doğrudan çağıran bir iş yükü ağ geçidini atlar. Koruyucu ve dedektör hiçbir çağıranın kimliğini doğrulamaz; bu nedenle Service’leri, onları çağıran bileşenler için adreslerdir, yayımlanacak adresler değildir.

Hassasiyet

standard ve strict, guard’ın eşiği olarak çalıştırılır: 0.5 ve 0.001. Bu iki sayı, puanları 0’a ya da 1’e yakın olan, dedektörün varsayılan sınıflandırıcısı için ölçülmüştür. 0.5 değerinde guard, modelin talimatlarını geçersiz kılmaya yönelik açık girişimleri reddeder. 0.001 değerinde ise sınıflandırıcının yaklaşık 0.008 puan verdiği, leetspeak ile yeniden yazılmış böyle bir girişimi ve onunla birlikte sınıflandırıcının düşük ama sıfıra yakın olmayan puan verdiği bazı sıradan istekleri de reddeder.

Eşik guard’ın kendi değeridir; bu nedenle strict değerine geçmek birlikte yapılan iki düzenlemedir: eklentide sensitivity: strict ve guard’ın values alanında threshold: 0.001. Gerçekleştirme, ikisinin uyuştuğunu denetler. Guard’ı görür, arkasındaki dedektörü görmez; bu yüzden dedektörün hangi modeli yüklediğini anlayamaz. Başka bir model çalıştıran dedektör farklı puan verir ve eşikleri yeniden ölçülür.

Derlemeyi durduran durumlar

Bunların her biri, derlemenin yazdırdığı ve neyin değiştirileceğini belirten bir cümledir:

  • Hassasiyet ile koruyucunun eşiği uyuşmuyor. sensitivity: strict ayarlayın ve koruyucuyu varsayılanında bırakın:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0010] instance router
    node "router": pipeline step failed
    [… omitted: the step, the template position and the template's own source]
    error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001
  • Bağlı koruyucu yok. Ağ geçidinin yalnızca guard kenarını tutan uses bloğunu kaldırın; derleme, hiçbir şey oluşturulmadan önce soketi belirterek durur:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router"
  • Ağ geçidinin models soketine bağlı bir model. Bu modelin girdisi, koruyucuyu atlayarak o modelin kendi uç noktasına, bağlantısının kendi anahtarıyla gönderilirdi. Tipli takma adın yanına, bağlantıda bir kimlik bilgisiyle, sokete fast olarak bir core/ai-model/openai bağlayın — ağ geçidi bu durumda iki takma ada hizmet edip birini yayımladığından values.model: assistant ayarlayarak ve Release’te fast’i, Manifest’te de onun Recipe’ini adlandırarak — derleme, hiçbir şey oluşturulmadan önce bağlantıyı belirterek durur:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment
  • Ağ geçidinin provider_key yuvasında bir kimlik bilgisi. Bu, koruyucuya sunulur ve hiçbir modele sunulmazdı; derleme bunun yerine koruyucunun upstream_key yuvasını belirtir.

  • Başka bir koruyucu. Soket, istem koruyucusu eğitilmiş bir sınıflandırıcıya ait olan her bileşeni kabul eder; gerçekleştirme ise iki hassasiyetinin üzerinde ölçüldüğü core/security/nemo-guardrails dışındaki her koruyucuda durur — sokete bağlanan ikinci bir koruyucuda da.

  • openai/<model> biçiminde yazılmamış bir hedef; ağ geçidi bunu koruyucuya başka bir API üzerinden yöneltirdi.

  • Aynı ağ geçidinde core/semantic-caching. Önbellek her istemi eşlemedeki bir takma ad üzerinden gömer; bu istek, hiçbir gömme isteğini yanıtlamayan koruyucuya gönderilirdi ve önbellek hiçbir şeyi önbelleğe almazdı.

  • Ağ geçidinde ikinci bir kalkan.

Koruyucuya veya algılayıcıya ulaşılamadığında

İstek reddedilir ve modele hiçbir şey ulaşmaz. Algılayıcı çalışmıyorken koruyucu, düz bir isteği dahili bir hata bildiren bir tamamlamayla, akışlı bir isteği ise hiç metin taşımayan bir akışla yanıtlar. Koruyucu çalışmıyorken ağ geçidi bir hatayla yanıt verir. Bu yapılandırmadaki hiçbir şey, koruyucu başarısız olduğunda bir isteği koruyucunun etrafından dolaştırarak göndermez.

Derleyicinin yorumlamadığı yerler

Derleyici, guard’ın Service adını ve bağlantı noktasını gateway’in yapılandırmasına, eşik değerini ve detector’ın adresini de guard’ınkine dizgeler olarak aktarır. Bir istemi değerlendirmez, sınıflandırıcının hangi puanı vereceğini bilmez ve guard’a, detector’a ya da modele bağlanmaz. Yukarıdaki her durdurma, kataloğun kendi varlıkları tarafından, kalkanın gerçekleştirimindeki bir onaylama ya da işlem hattı adımındaki bir denetim olarak bildirilir ve hiçbiri trafiğin herhangi bir şekilde anlaşılmasına dayanmaz.

Uyarlama

  • Daha sıkı. Eke sensitivity: strict, guard’a ise threshold: 0.001 değerini birlikte ayarlayın.
  • Kendi çalıştırdığınız bir model. Guard’ın upstream_endpoint değerini model sunucusunun uç noktasına yönlendirin — core/ai-model/vllm bir tane yayımlar — ve takma adın hedefini openai/<the name that server serves> olarak yazın.
  • Bunun yerine bir NGINX ağ geçidi. core/gateway/nginx aynı guard soketini bildirir ve prompt-injection-shield-nginx, helm ve compose üzerinde, tek location’ını upstream’i yerine guard’a yönlendirir. Guard’ın upstream_endpoint değerini, ağ geçidinin upstream soketinin adlandırdığı modele ayarlayın. O location’daki her istek guard’a gider; guard sohbet tamamlamalarını sunar ve diğer model rotalarına 404 ile yanıt verir.