Przejdź do głównej zawartości
AggregaAggrega
Wybierz język: Polski
Ta strona została przetłumaczona maszynowo. Przeczytaj oryginał w języku angielskim.

Bramka AI, która sprawdza każde żądanie pod kątem próby obejścia instrukcji modelu

Użytkownicy asystenta wsparcia mogą wpisać cokolwiek, a część tego, co wpisują, ma skłonić model do zignorowania otrzymanych instrukcji. Bramka stojąca przed modelem może najpierw przepuszczać każde żądanie przez strażnika: usługę, która pyta wytrenowany klasyfikator, czy żądanie jest taką próbą, odrzuca je, jeśli tak, a pozostałe przekazuje do modelu. Ten obszar roboczy kompiluje taki układ do manifestów Kubernetes: bramki, strażnika oraz detektora, w którym działa klasyfikator strażnika.

Encja Feature, która o to prosi, to core/prompt-injection-shield. Jej działanie jest węższe, niż może sugerować nazwa, a ta strona poświęca tyle samo miejsca temu, czego nie robi, co temu, co robi: werdykt wydaje klasyfikator probabilistyczny, część ataków przepuszcza, a część uprawnionych żądań odrzuca, wiadomo, że można go obejść, i nie ocenia ani odpowiedzi modelu, ani argumentów wywołań narzędzi, ani obrazów. Jest to jeden mechanizm kontroli obok innych.

Ten obszar roboczy nie definiuje żadnej własnej encji katalogu. Trzy pliki encji w nim — encja Aggregate, encja Manifest i encja Release — to całość tego, co ktokolwiek pisze.

Co powstaje

instancjaencja Component z kataloguczym jest tutaj
routercore/gateway/litellmbrama AI: jeden alias, assistant, wpisany do jej mapy modeli i wskazujący model za strażnikiem
guardcore/security/nemo-guardrailsserwer NVIDIA NeMo Guardrails na ścieżce do modelu, który sprawdza każde żądanie czatu i przekazuje do modelu to, co dopuści
detectorcore/security/trustyai-huggingface-detectorusługa klasyfikatora, którą odpytuje strażnik, uruchamiająca swój domyślny klasyfikator prompt injection

Dwie krawędzie uses: gniazdo guard bramy do strażnika oraz gniazdo detector strażnika do detektora. Dwa dołączenia encji Feature: shield, czyli osłona, na bramie, z sensitivity: standard; oraz upstream_key, poświadczenie, które strażnik przedstawia API modelu, na strażniku.

Generowanie przykładu

Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.

Należy zapisać przykład w nowym folderze nazwanym tak jak on:

Terminal window
aggrega scaffold --example ai-gateway-prompt-injection-shield

Następnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:

Terminal window
cd ai-gateway-prompt-injection-shield

Kompilacja

Terminal window
aggrega build --release release.yaml --auto-pull

Wydanie wymaga pliku blokady (lockfile), zanim zostanie zbudowane, a pliki blokady są generowane, a nie dostarczane, więc świeży klon nie ma żadnego. Należy najpierw go rozwiązać albo pozwolić, by budowanie go uzupełniło:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Ten obszar roboczy rozwiązuje encje katalogu z domyślnego rejestru wskazanego w .aggrega-config.yaml. Realizacja tarczy uruchamia jeden plugin, którego nie dostarcza ani kompilator, ani katalog: krok konfiguracji bramy pipeline-step/litellm-gateway-config, który rozwiązywanie pobiera z rejestru wskazanego przez default_registry, czyli hub.aggrega.ai.

Budowanie wypisuje (<workspace> oznacza folder tego przykładu):

[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 10 files written to <workspace>/dist

Encja Release wskazuje obrazy strażnika i detektora, ponieważ katalog nie wskazuje żadnego z nich. infra.image każdej encji Component jest wymaganym ustawieniem bez wartości domyślnej; komentarz obok niego w encji Component wyjaśnia dlaczego i wskazuje kompilację, na której potwierdzono jej działanie. Dwie wartości w release.yaml są symbolami zastępczymi kopii uruchamianej kompilacji, umieszczonej w kontrolowanym przez siebie rejestrze. Budowanie przekazuje dalej dowolny znajdujący się tam ciąg znaków; obie wartości należy zastąpić przed wdrożeniem.

Z asystentem AI

Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.

Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `ai-gateway-prompt-injection-shield`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `ai-gateway-prompt-injection-shield` i bez `dir`: zapisze ono przykład w nowym folderze `ai-gateway-prompt-injection-shield`. Następnie wywołaj narzędzie `build` z `workspace_root` ustawionym na `ai-gateway-prompt-injection-shield`, `release` ustawionym na `release.yaml`, `auto_pull` ustawionym na true i `write` ustawionym na true. Powiedz mi, które pliki zapisało budowanie; znajdują się w `ai-gateway-prompt-injection-shield/dist/`.

Wyrenderowane drzewo

dist/helm/
├── detector-default-service.yaml
├── detector-deployment.yaml
├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml
├── guard-default-service.yaml
├── guard-deployment.yaml
├── guard/
│ └── nemo-guardrails-config.configmap.yaml
├── router-default-service.yaml
├── router-deployment.yaml
└── router/
├── litellm-gateway-config/
│ └── configmap.yaml
└── request-guard/
└── request-guard.yaml

Osłona nie wnosi żadnego własnego pliku. To, co robi, jest zapisane w konfiguracji bramy.

Trasa w odczytaniu bramy

Treść konfiguracji bramy, klucz config.yaml pliku dist/helm/router/litellm-gateway-config/configmap.yaml:

model_list:
- model_name: assistant
litellm_params:
model: openai/gpt-4o-mini
api_base: "http://guard-default:8000/v1"
api_key: "the-guard-holds-the-upstream-credential"
litellm_settings:
callbacks:
- /etc/litellm-request-guard/request_field_filter.filter
callback_settings:
request_field_filter.router-shield:
policies:
-
reason: "sends every model request through a prompt-injection guard, which checks chat completions only"
served_request_types:
- acompletion

Można z niej odczytać trzy rzeczy.

Każdy alias jest kierowany do strażnika. api_base to punkt końcowy, który strażnik publikuje, odczytany z krawędzi guard, więc żądanie dla assistant trafia do strażnika przez OpenAI API z prośbą o gpt-4o-mini; strażnik przekazuje to, co dopuści, do API modelu, które release.yaml wskazuje w swoim upstream_endpoint. Po usunięciu tarczy wpis jest zapisywany bez api_base, dokładnie tak jak wcześniej. Dlatego alias jest wpisany w values.models bramy, a nie obsługiwany przez model podłączony do jej gniazda models: wpis podłączonego modelu jest zapisywany z własnym punktem końcowym tego modelu i własnym kluczem jego połączenia, więc jego żądania trafiałyby do modelu z pominięciem strażnika, a tarcza odrzuca takie połączenie, jak opisano poniżej.

Brama nie przechowuje żadnego poświadczenia do modelu. Wpis podaje stałe słowo zamiast klucza, ponieważ brama łączy się ze strażnikiem, a nie z dostawcą, a strażnik przedstawia własne poświadczenie, to przypisane do jego slotu upstream_key. Własny nagłówek Authorization wywołującego nigdy nie dociera do modelu.

Obsługiwane są tylko uzupełnienia czatu (chat completions). Strażnik sprawdza uzupełnienia czatu i nie obsługuje tras completions, embeddings, responses ani messages, dlatego polityka każe strażnikowi żądań bramy odrzucać każdy inny rodzaj żądania kodem HTTP 400, z podaniem przyczyny, zanim cokolwiek zostanie przekazane dalej:

This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.

Co robi strażnik

Konfiguracja strażnika, klucz config.yaml pliku dist/helm/guard/nemo-guardrails-config.configmap.yaml, od jego zabezpieczeń (rails) dalej:

rails:
config:
hf_classifier:
prompt_injection:
engine: fms
model: "protectai/deberta-v3-base-prompt-injection-v2"
base_url: "http://detector-default:8000"
threshold: 0.5
blocked_labels: ["INJECTION"]
input:
flows:
- hf classifier check input $classifier=prompt_injection

Dla każdego żądania czatu, zwykłego lub strumieniowanego, strażnik wysyła najnowszą wiadomość użytkownika do detektora, który ocenia ją załadowanym klasyfikatorem, i odrzuca żądanie, gdy detektor zgłosi INJECTION z wynikiem równym lub wyższym niż 0.5. Na odrzucone żądanie odpowiada sam strażnik zwykłym uzupełnieniem, którego wiadomość brzmi I’m sorry, I can’t respond to that. — strumieniowanym, gdy żądanie prosiło o strumień — i nic z niego nie trafia do modelu. Żądanie, które strażnik przepuści, trafia do modelu w postaci wysłanej przez wywołującego, łącznie z wiadomością systemową i wcześniejszymi turami.

Wywołujący nie może wyłączyć sprawdzania z poziomu żądania. Konfiguracja strażnika zawiera przepływ rails.co, który uruchamia sprawdzanie niezależnie od tego, o co prosi treść żądania, a strażnik uruchamia tylko tę jedną konfigurację i odrzuca żądanie wskazujące inną. W tej bramie pole guardrails należy do samej bramy i nie jest przekazywane dalej, a pole, którego przekazywania brama nie skonfigurowano, takie jak extra_body, jest odrzucane.

Czego nie robi

  • Część ataków przepuszcza, a część uprawnionych żądań odrzuca. Werdykt to wynik klasyfikatora porównany z progiem. Próba przeformułowana, napisana w innym języku, zakodowana lub zapisana inną pisownią może uzyskać niski wynik i zostać obsłużona; zwykłe żądanie może uzyskać wysoki wynik i zostać odrzucone.
  • Czyta tylko ostatnią wiadomość użytkownika. Próba umieszczona w wiadomości systemowej, we wcześniejszej turze lub w wyniku narzędzia dociera do modelu nieprzeczytana.
  • Nie ocenia odpowiedzi modelu, argumentów wywołań narzędzi ani obrazów.
  • Obejmuje tylko ruch przechodzący przez bramę. Obciążenie wywołujące adres modelu bezpośrednio omija ją. Strażnik i detektor nie uwierzytelniają żadnego wywołującego, więc ich Services są adresami dla komponentów, które je wywołują, a nie adresami do publikowania.

Czułość

standard i strict są realizowane jako próg strażnika: 0.5 i 0.001. Te dwie liczby zmierzono dla domyślnego klasyfikatora detektora, którego wyniki leżą blisko 0 albo blisko 1. Przy 0.5 strażnik odrzuca zwykłe próby nadpisania instrukcji modelu. Przy 0.001 odrzuca też taką próbę zapisaną w leetspeaku, którą klasyfikator ocenia na około 0.008, a wraz z nią niektóre zwykłe żądania, które klasyfikator ocenia nisko, ale nie bliska zera.

Próg jest własną wartością strażnika, więc przejście na strict to dwie zmiany wprowadzane razem: sensitivity: strict w podłączeniu i threshold: 0.001 w values strażnika. Realizacja sprawdza, czy obie są zgodne. Widzi strażnika, a nie detektor za nim, więc nie może ustalić, jaki model detektor załadował; detektor z innym modelem ocenia inaczej, a jego progi mierzy się ponownie.

Co zatrzymuje kompilację

Każda z tych sytuacji to zdanie, które wypisuje kompilacja, wskazując, co należy zmienić:

  • Czułość i próg strażnika są niezgodne. Należy ustawić sensitivity: strict i pozostawić strażnika z wartością domyślną:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0010] instance router
    node "router": pipeline step failed
    [… omitted: the step, the template position and the template's own source]
    error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001
  • Brak podłączonego strażnika. Po usunięciu bloku uses bramy, który zawiera tylko krawędź guard, kompilacja zatrzymuje się, zanim cokolwiek zostanie wyrenderowane, wskazując gniazdo:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router"
  • Model podłączony do gniazda models bramy. Jego wpis byłby wysyłany do własnego punktu końcowego tego modelu z własnym kluczem jego połączenia, z pominięciem strażnika. Po podłączeniu core/ai-model/openai do gniazda jako fast, z poświadczeniem na połączeniu, obok typowanego aliasu — z ustawieniem values.model: assistant, ponieważ brama obsługuje wtedy dwa aliasy i publikuje jeden, oraz ze wskazaniem fast w encji Release, a jego encji Recipe w encji Manifest — kompilacja zatrzymuje się, zanim cokolwiek zostanie wyrenderowane, wskazując połączenie:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment
  • Poświadczenie w slocie provider_key bramy. Zostałoby przedstawione strażnikowi i żadnemu modelowi; kompilacja wskazuje zamiast tego slot upstream_key strażnika.

  • Inny strażnik. Gniazdo przyjmuje dowolny komponent, którego strażnik promptów jest wytrenowanym klasyfikatorem, a realizacja zatrzymuje się na każdym poza core/security/nemo-guardrails, tym, na którym zmierzono jej dwie czułości — także na drugim strażniku podłączonym do gniazda.

  • Cel zapisany inaczej niż openai/<model>, który brama kierowałaby do strażnika przez inne API.

  • core/semantic-caching na tej samej bramie. Pamięć podręczna tworzy embedding każdego promptu przez alias z mapy, który zostałby wysłany do strażnika, a ten nie odpowiada na żadne żądanie embeddingów; pamięć podręczna niczego by nie buforowała.

  • Druga tarcza na bramie.

Gdy strażnik lub detektor jest nieosiągalny

Żądanie zostaje odrzucone i nic nie trafia do modelu. Gdy detektor nie działa, strażnik odpowiada na zwykłe żądanie uzupełnieniem zgłaszającym błąd wewnętrzny, a na żądanie strumieniowe strumieniem bez tekstu. Gdy nie działa strażnik, brama odpowiada błędem. Nic w tej konfiguracji nie kieruje żądania z pominięciem strażnika, gdy ten zawiedzie.

Gdzie kompilator nie interpretuje

Kompilator przekazuje nazwę Service strażnika i jego port do konfiguracji bramy, a próg i adres detektora do konfiguracji strażnika, jako ciągi znaków. Nie ocenia promptu, nie wie, jaką ocenę wystawi klasyfikator, i nie łączy się ze strażnikiem, detektorem ani modelem. Każde z opisanych wyżej zatrzymań jest zadeklarowane przez własne encje katalogu, jako asercja w realizacji osłony lub sprawdzenie w jej kroku potoku, i żadne z nich nie opiera się na jakimkolwiek rozumieniu ruchu.

Dostosowywanie przykładu

  • Ostrzej. Należy ustawić jednocześnie sensitivity: strict na dołączeniu i threshold: 0.001 na strażniku.
  • Model uruchamiany samodzielnie. Należy skierować upstream_endpoint strażnika na punkt końcowy serwera modelu — core/ai-model/vllm publikuje taki punkt — i zapisać cel aliasu jako openai/<the name that server serves>.
  • Zamiast tego brama NGINX. core/gateway/nginx deklaruje to samo gniazdo guard, a prompt-injection-shield-nginx, zarówno w helm, jak i w compose, kieruje swoją jedyną lokalizację na strażnika zamiast na jej upstream. Należy ustawić upstream_endpoint strażnika na model wskazany przez gniazdo upstream bramy. Każde żądanie w tej lokalizacji trafia do strażnika, który obsługuje uzupełnienia czatu, a na pozostałe trasy modelu odpowiada kodem 404.