Bramka AI, która sprawdza każde żądanie pod kątem próby obejścia instrukcji modelu
Użytkownicy asystenta wsparcia mogą wpisać cokolwiek, a część tego, co wpisują, ma skłonić model do zignorowania otrzymanych instrukcji. Bramka stojąca przed modelem może najpierw przepuszczać każde żądanie przez strażnika: usługę, która pyta wytrenowany klasyfikator, czy żądanie jest taką próbą, odrzuca je, jeśli tak, a pozostałe przekazuje do modelu. Ten obszar roboczy kompiluje taki układ do manifestów Kubernetes: bramki, strażnika oraz detektora, w którym działa klasyfikator strażnika.
Encja Feature, która o to prosi, to core/prompt-injection-shield. Jej działanie jest
węższe, niż może sugerować nazwa, a ta strona poświęca tyle samo miejsca temu, czego
nie robi, co temu, co robi: werdykt wydaje klasyfikator probabilistyczny, część ataków
przepuszcza, a część uprawnionych żądań odrzuca, wiadomo, że można go obejść, i nie
ocenia ani odpowiedzi modelu, ani argumentów wywołań narzędzi, ani obrazów. Jest to
jeden mechanizm kontroli obok innych.
Ten obszar roboczy nie definiuje żadnej własnej encji katalogu. Trzy pliki encji w nim — encja Aggregate, encja Manifest i encja Release — to całość tego, co ktokolwiek pisze.
Co powstaje
| instancja | encja Component z katalogu | czym jest tutaj |
|---|---|---|
router | core/gateway/litellm | brama AI: jeden alias, assistant, wpisany do jej mapy modeli i wskazujący model za strażnikiem |
guard | core/security/nemo-guardrails | serwer NVIDIA NeMo Guardrails na ścieżce do modelu, który sprawdza każde żądanie czatu i przekazuje do modelu to, co dopuści |
detector | core/security/trustyai-huggingface-detector | usługa klasyfikatora, którą odpytuje strażnik, uruchamiająca swój domyślny klasyfikator prompt injection |
Dwie krawędzie uses: gniazdo guard bramy do strażnika oraz gniazdo detector strażnika do detektora. Dwa dołączenia encji Feature: shield, czyli osłona, na bramie, z sensitivity: standard; oraz upstream_key, poświadczenie, które strażnik przedstawia API modelu, na strażniku.
Generowanie przykładu
Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.
Należy zapisać przykład w nowym folderze nazwanym tak jak on:
aggrega scaffold --example ai-gateway-prompt-injection-shieldNastępnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:
cd ai-gateway-prompt-injection-shieldKompilacja
aggrega build --release release.yaml --auto-pullWydanie wymaga pliku blokady (lockfile), zanim zostanie zbudowane, a pliki blokady są generowane, a nie dostarczane, więc świeży klon nie ma żadnego. Należy najpierw go rozwiązać albo pozwolić, by budowanie go uzupełniło:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildTen obszar roboczy rozwiązuje encje katalogu z domyślnego rejestru wskazanego w .aggrega-config.yaml. Realizacja tarczy uruchamia jeden plugin, którego nie dostarcza ani kompilator, ani katalog: krok konfiguracji bramy pipeline-step/litellm-gateway-config, który rozwiązywanie pobiera z rejestru wskazanego przez default_registry, czyli hub.aggrega.ai.
Budowanie wypisuje (<workspace> oznacza folder tego przykładu):
[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 10 files written to <workspace>/distEncja Release wskazuje obrazy strażnika i detektora, ponieważ katalog
nie wskazuje żadnego z nich. infra.image każdej encji Component jest wymaganym ustawieniem bez
wartości domyślnej; komentarz obok niego w encji Component wyjaśnia dlaczego i wskazuje kompilację,
na której potwierdzono jej działanie. Dwie wartości w release.yaml są symbolami zastępczymi
kopii uruchamianej kompilacji, umieszczonej w kontrolowanym przez siebie rejestrze. Budowanie
przekazuje dalej dowolny znajdujący się tam ciąg znaków; obie wartości należy zastąpić przed wdrożeniem.
Z asystentem AI
Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.
Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `ai-gateway-prompt-injection-shield`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `ai-gateway-prompt-injection-shield` i bez `dir`: zapisze ono przykład w nowym folderze `ai-gateway-prompt-injection-shield`. Następnie wywołaj narzędzie `build` z `workspace_root` ustawionym na `ai-gateway-prompt-injection-shield`, `release` ustawionym na `release.yaml`, `auto_pull` ustawionym na true i `write` ustawionym na true. Powiedz mi, które pliki zapisało budowanie; znajdują się w `ai-gateway-prompt-injection-shield/dist/`.Wyrenderowane drzewo
dist/helm/├── detector-default-service.yaml├── detector-deployment.yaml├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml├── guard-default-service.yaml├── guard-deployment.yaml├── guard/│ └── nemo-guardrails-config.configmap.yaml├── router-default-service.yaml├── router-deployment.yaml└── router/ ├── litellm-gateway-config/ │ └── configmap.yaml └── request-guard/ └── request-guard.yamlOsłona nie wnosi żadnego własnego pliku. To, co robi, jest zapisane w konfiguracji bramy.
Trasa w odczytaniu bramy
Treść konfiguracji bramy, klucz config.yaml pliku
dist/helm/router/litellm-gateway-config/configmap.yaml:
model_list: - model_name: assistant litellm_params: model: openai/gpt-4o-mini api_base: "http://guard-default:8000/v1" api_key: "the-guard-holds-the-upstream-credential"litellm_settings: callbacks: - /etc/litellm-request-guard/request_field_filter.filtercallback_settings: request_field_filter.router-shield: policies: - reason: "sends every model request through a prompt-injection guard, which checks chat completions only" served_request_types: - acompletionMożna z niej odczytać trzy rzeczy.
Każdy alias jest kierowany do strażnika. api_base to punkt końcowy, który strażnik
publikuje, odczytany z krawędzi guard, więc żądanie dla assistant trafia do
strażnika przez OpenAI API z prośbą o gpt-4o-mini; strażnik przekazuje to, co
dopuści, do API modelu, które release.yaml wskazuje w swoim upstream_endpoint. Po usunięciu
tarczy wpis jest zapisywany bez api_base, dokładnie tak jak wcześniej. Dlatego
alias jest wpisany w values.models bramy, a nie obsługiwany przez model
podłączony do jej gniazda models: wpis podłączonego modelu jest zapisywany z
własnym punktem końcowym tego modelu i własnym kluczem jego połączenia, więc jego żądania
trafiałyby do modelu z pominięciem strażnika, a tarcza odrzuca takie połączenie, jak opisano
poniżej.
Brama nie przechowuje żadnego poświadczenia do modelu. Wpis podaje stałe słowo
zamiast klucza, ponieważ brama łączy się ze strażnikiem, a nie z
dostawcą, a strażnik przedstawia własne poświadczenie, to przypisane do jego
slotu upstream_key. Własny nagłówek Authorization wywołującego nigdy nie dociera do
modelu.
Obsługiwane są tylko uzupełnienia czatu (chat completions). Strażnik sprawdza uzupełnienia czatu i nie obsługuje tras completions, embeddings, responses ani messages, dlatego polityka każe strażnikowi żądań bramy odrzucać każdy inny rodzaj żądania kodem HTTP 400, z podaniem przyczyny, zanim cokolwiek zostanie przekazane dalej:
This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.Co robi strażnik
Konfiguracja strażnika, klucz config.yaml pliku
dist/helm/guard/nemo-guardrails-config.configmap.yaml, od jego zabezpieczeń (rails) dalej:
rails: config: hf_classifier: prompt_injection: engine: fms model: "protectai/deberta-v3-base-prompt-injection-v2" base_url: "http://detector-default:8000" threshold: 0.5 blocked_labels: ["INJECTION"] input: flows: - hf classifier check input $classifier=prompt_injectionDla każdego żądania czatu, zwykłego lub strumieniowanego, strażnik wysyła najnowszą wiadomość
użytkownika do detektora, który ocenia ją załadowanym klasyfikatorem, i
odrzuca żądanie, gdy detektor zgłosi INJECTION z wynikiem równym lub wyższym niż 0.5.
Na odrzucone żądanie odpowiada sam strażnik zwykłym uzupełnieniem,
którego wiadomość brzmi I’m sorry, I can’t respond to that. — strumieniowanym, gdy
żądanie prosiło o strumień — i nic z niego nie trafia do modelu.
Żądanie, które strażnik przepuści, trafia do modelu w postaci wysłanej przez wywołującego, łącznie z wiadomością systemową i
wcześniejszymi turami.
Wywołujący nie może wyłączyć sprawdzania z poziomu żądania. Konfiguracja
strażnika zawiera przepływ rails.co, który uruchamia sprawdzanie niezależnie od tego, o co prosi treść
żądania, a strażnik uruchamia tylko tę jedną konfigurację i odrzuca żądanie
wskazujące inną. W tej bramie pole guardrails należy do samej bramy i
nie jest przekazywane dalej, a pole, którego przekazywania brama nie skonfigurowano, takie jak
extra_body, jest odrzucane.
Czego nie robi
- Część ataków przepuszcza, a część uprawnionych żądań odrzuca. Werdykt to wynik klasyfikatora porównany z progiem. Próba przeformułowana, napisana w innym języku, zakodowana lub zapisana inną pisownią może uzyskać niski wynik i zostać obsłużona; zwykłe żądanie może uzyskać wysoki wynik i zostać odrzucone.
- Czyta tylko ostatnią wiadomość użytkownika. Próba umieszczona w wiadomości systemowej, we wcześniejszej turze lub w wyniku narzędzia dociera do modelu nieprzeczytana.
- Nie ocenia odpowiedzi modelu, argumentów wywołań narzędzi ani obrazów.
- Obejmuje tylko ruch przechodzący przez bramę. Obciążenie wywołujące adres modelu bezpośrednio omija ją. Strażnik i detektor nie uwierzytelniają żadnego wywołującego, więc ich Services są adresami dla komponentów, które je wywołują, a nie adresami do publikowania.
Czułość
standard i strict są realizowane jako próg strażnika: 0.5 i 0.001.
Te dwie liczby zmierzono dla domyślnego klasyfikatora detektora, którego
wyniki leżą blisko 0 albo blisko 1. Przy 0.5 strażnik odrzuca zwykłe próby
nadpisania instrukcji modelu. Przy 0.001 odrzuca też taką próbę
zapisaną w leetspeaku, którą klasyfikator ocenia na około 0.008, a wraz z nią
niektóre zwykłe żądania, które klasyfikator ocenia nisko, ale nie bliska zera.
Próg jest własną wartością strażnika, więc przejście na strict to dwie zmiany wprowadzane
razem: sensitivity: strict w podłączeniu i threshold: 0.001 w
values strażnika. Realizacja sprawdza, czy obie są zgodne. Widzi strażnika,
a nie detektor za nim, więc nie może ustalić, jaki model detektor
załadował; detektor z innym modelem ocenia inaczej, a jego progi
mierzy się ponownie.
Co zatrzymuje kompilację
Każda z tych sytuacji to zdanie, które wypisuje kompilacja, wskazując, co należy zmienić:
-
Czułość i próg strażnika są niezgodne. Należy ustawić
sensitivity: stricti pozostawić strażnika z wartością domyślną:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0010] instance routernode "router": pipeline step failed[… omitted: the step, the template position and the template's own source]error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001 -
Brak podłączonego strażnika. Po usunięciu bloku
usesbramy, który zawiera tylko krawędźguard, kompilacja zatrzymuje się, zanim cokolwiek zostanie wyrenderowane, wskazując gniazdo:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router" -
Model podłączony do gniazda
modelsbramy. Jego wpis byłby wysyłany do własnego punktu końcowego tego modelu z własnym kluczem jego połączenia, z pominięciem strażnika. Po podłączeniucore/ai-model/openaido gniazda jakofast, z poświadczeniem na połączeniu, obok typowanego aliasu — z ustawieniemvalues.model: assistant, ponieważ brama obsługuje wtedy dwa aliasy i publikuje jeden, oraz ze wskazaniemfastw encji Release, a jego encji Recipe w encji Manifest — kompilacja zatrzymuje się, zanim cokolwiek zostanie wyrenderowane, wskazując połączenie:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment -
Poświadczenie w slocie
provider_keybramy. Zostałoby przedstawione strażnikowi i żadnemu modelowi; kompilacja wskazuje zamiast tego slotupstream_keystrażnika. -
Inny strażnik. Gniazdo przyjmuje dowolny komponent, którego strażnik promptów jest wytrenowanym klasyfikatorem, a realizacja zatrzymuje się na każdym poza
core/security/nemo-guardrails, tym, na którym zmierzono jej dwie czułości — także na drugim strażniku podłączonym do gniazda. -
Cel zapisany inaczej niż
openai/<model>, który brama kierowałaby do strażnika przez inne API. -
core/semantic-cachingna tej samej bramie. Pamięć podręczna tworzy embedding każdego promptu przez alias z mapy, który zostałby wysłany do strażnika, a ten nie odpowiada na żadne żądanie embeddingów; pamięć podręczna niczego by nie buforowała. -
Druga tarcza na bramie.
Gdy strażnik lub detektor jest nieosiągalny
Żądanie zostaje odrzucone i nic nie trafia do modelu. Gdy detektor nie działa, strażnik odpowiada na zwykłe żądanie uzupełnieniem zgłaszającym błąd wewnętrzny, a na żądanie strumieniowe strumieniem bez tekstu. Gdy nie działa strażnik, brama odpowiada błędem. Nic w tej konfiguracji nie kieruje żądania z pominięciem strażnika, gdy ten zawiedzie.
Gdzie kompilator nie interpretuje
Kompilator przekazuje nazwę Service strażnika i jego port do konfiguracji bramy, a próg i adres detektora do konfiguracji strażnika, jako ciągi znaków. Nie ocenia promptu, nie wie, jaką ocenę wystawi klasyfikator, i nie łączy się ze strażnikiem, detektorem ani modelem. Każde z opisanych wyżej zatrzymań jest zadeklarowane przez własne encje katalogu, jako asercja w realizacji osłony lub sprawdzenie w jej kroku potoku, i żadne z nich nie opiera się na jakimkolwiek rozumieniu ruchu.
Dostosowywanie przykładu
- Ostrzej. Należy ustawić jednocześnie
sensitivity: strictna dołączeniu ithreshold: 0.001na strażniku. - Model uruchamiany samodzielnie. Należy skierować
upstream_endpointstrażnika na punkt końcowy serwera modelu —core/ai-model/vllmpublikuje taki punkt — i zapisać cel aliasu jakoopenai/<the name that server serves>. - Zamiast tego brama NGINX.
core/gateway/nginxdeklaruje to samo gniazdoguard, aprompt-injection-shield-nginx, zarówno w helm, jak i w compose, kieruje swoją jedyną lokalizację na strażnika zamiast na jej upstream. Należy ustawićupstream_endpointstrażnika na model wskazany przez gniazdoupstreambramy. Każde żądanie w tej lokalizacji trafia do strażnika, który obsługuje uzupełnienia czatu, a na pozostałe trasy modelu odpowiada kodem 404.