NeMo Guardrails sprawdzające żądania agenta za pomocą modeli NemoGuard firmy NVIDIA
Żądania modelu wysyłane przez agenta przechodzą przez NVIDIA NeMo Guardrails, które sprawdza każde z nich za pomocą dwóch modeli NemoGuard firmy NVIDIA — licencjonowanych produktów NVIDIA, do których uruchomienia potrzebna jest licencja od NVIDIA, klucz API NGC i węzeł z GPU.
Czego wymaga
Dwa modele NemoGuard to produkty NVIDIA uruchamiane na warunkach NVIDIA. Wdrożenie tego, co buduje ta przestrzeń robocza, wymaga:
- Licencji od NVIDIA. Dokumentacja NVIDIA dla każdej mikrousługi NemoGuard określa jej warunek wstępny jako „aktywną subskrypcję produktu NVIDIA AI Enterprise lub członkostwo w NVIDIA Developer Program” i stwierdza, że dostęp do kontenerów i modeli jest ograniczony.
- Klucza API NGC, do którego encja Release odwołuje się jako do sekretu. Kontenery NemoGuard są pobierane z rejestru NVIDIA,
nvcr.io, a każdy z nich przy starcie pobiera swój model od NVIDIA za pomocą tego klucza. Encja Release wskazuje dwa obiekty Secret Kubernetes, które go przechowują — jeden, z którego pody odczytują klucz, i drugi, za pomocą którego klaster pobiera obrazy — a żaden plik w tej przestrzeni roboczej ani nic, co zapisuje kompilacja, nie przechowuje samego klucza. - Węzła z GPU. Każdy kontener NemoGuard żąda GPU firmy NVIDIA. NVIDIA podaje, że model bezpieczeństwa treści potrzebuje 48 GB pamięci GPU, na jednym lub dwóch GPU.
Kompilacja nie potrzebuje niczego z tego: kompiluje do manifestów Kubernetes bez obecnego klucza i nie kontaktuje się ani z NVIDIA, ani z klastrem.
Co powstaje
Agent prosi o swój model przez bramę AI. Brama najpierw kieruje każde żądanie modelu przez strażnika, a strażnik sprawdza najnowszą wiadomość użytkownika na trzy sposoby, zanim przekaże do modelu to, co dopuszcza: klasyfikatorem prompt injection, modelem bezpieczeństwa treści firmy NVIDIA i klasyfikatorem jailbreaków firmy NVIDIA. Ta przestrzeń robocza kompiluje ten układ do manifestów Kubernetes.
Pokazuje, że licencjonowany produkt komercyjny jest udostępniany tak samo jak produkt open source: encja Component z katalogu, encja Recipe, krawędź uses i dołączenie poświadczenia, a licencja jest podana tam, gdzie czytelnik wybiera komponent. Nie tworzy żadnej własnej encji katalogu; Aggregate, Manifest i Release to wszystko, co ktokolwiek pisze.
| instancja | encja Component z katalogu | czym jest tutaj |
|---|---|---|
agent | core/ai-agent/langgraph | agent, własny obraz aplikacji encji Release, sięgający do swojego modelu przez bramę |
checkpointer | core/datastore/valkey | miejsce, w którym agent przechowuje stan swojego przebiegu |
router | core/gateway/litellm | brama AI: jeden alias, assistant, kierowany do modelu przez strażnika |
guard | core/security/nemo-guardrails | serwer NVIDIA NeMo Guardrails na ścieżce modelu |
detector | core/security/trustyai-huggingface-detector | klasyfikator prompt injection, o który pyta własny rail strażnika |
safety | core/ai-model/nemoguard-content-safety | Llama 3.1 NemoGuard 8B ContentSafety firmy NVIDIA, udostępniany przez swój NIM |
jailbreak | core/security/nemoguard-jailbreak-detect | NemoGuard JailbreakDetect firmy NVIDIA, udostępniany przez swój NIM |
Krawędzie uses: gniazdo model agenta do bramy i jego gniazdo checkpointer_db do magazynu; gniazdo guard bramy do strażnika; oraz gniazda detector, content_safety i jailbreak_detection strażnika do trzech kontroli. Dołączenia: shield, czyli encja Feature core/prompt-injection-shield, która umieszcza strażnika na ścieżce bramy; upstream_key, poświadczenie, które strażnik przedstawia API modelu; oraz ngc_api_key na każdym komponencie NemoGuard.
Generowanie przykładu
Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.
Należy zapisać przykład w nowym folderze nazwanym tak jak on:
aggrega scaffold --example nemo-guardrails-nemoguard-nimsNastępnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:
cd nemo-guardrails-nemoguard-nimsKompilacja
aggrega build --release release.yaml --auto-pullWydanie wymaga pliku blokady (lockfile), zanim zostanie zbudowane, a pliki blokady są generowane, a nie dostarczane, więc świeży klon nie ma żadnego. Należy najpierw go rozwiązać albo pozwolić, by budowanie go uzupełniło:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildTen obszar roboczy rozwiązuje encje katalogu z domyślnego rejestru wskazanego w .aggrega-config.yaml. Realizacja tarczy uruchamia jeden plugin, którego nie dostarcza ani kompilator, ani katalog: krok konfiguracji bramy pipeline-step/litellm-gateway-config, który rozwiązywanie pobiera z rejestru wskazanego przez default_registry, czyli hub.aggrega.ai.
Budowanie wypisuje (<workspace> oznacza folder tego przykładu):
[… omitted: a line reporting on the gateway configuration step's plugin, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 18 files written to <workspace>/distEncja Release wskazuje każdy obraz, którego nie wskazuje katalog. Obraz agenta to własna aplikacja użytkownika. Obrazy strażnika i detektora to kopie uruchamianych wersji, zreplikowane do rejestru pod własną kontrolą. Dwa obrazy NemoGuard należą do NVIDIA i można je pobierać na podstawie posiadanej licencji; katalog nie wskazuje żadnego z nich, a release.yaml zapisuje każdy z tagiem change-me. Kompilacja przekazuje dalej dowolny ciąg, który się tam znajduje; należy je zastąpić przed wdrożeniem.
Z asystentem AI
Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.
Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder Workspace nie zawiera jeszcze folderu `nemo-guardrails-nemoguard-nims`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `nemo-guardrails-nemoguard-nims` i bez `dir`: zapisuje ono przykład w nowym folderze `nemo-guardrails-nemoguard-nims`. Następnie wywołaj narzędzie `build` z `workspace_root` ustawionym na `nemo-guardrails-nemoguard-nims`, `release` ustawionym na `release.yaml`, `auto_pull` ustawionym na true i `write` ustawionym na true. Powiedz mi, jakie pliki zapisała kompilacja; znajdują się w `nemo-guardrails-nemoguard-nims/dist/`.Wyrenderowane drzewo
dist/helm/├── agent-deployment.yaml├── checkpointer-default-service.yaml├── checkpointer-deployment.yaml├── detector-default-service.yaml├── detector-deployment.yaml├── guard-default-service.yaml├── guard-deployment.yaml├── guard/│ └── nemo-guardrails-config.configmap.yaml├── jailbreak-default-service.yaml├── jailbreak-headless-service.yaml├── jailbreak-statefulset.yaml├── router-default-service.yaml├── router-deployment.yaml├── router/│ ├── litellm-gateway-config/│ │ └── configmap.yaml│ └── request-guard/│ └── request-guard.yaml├── safety-default-service.yaml├── safety-headless-service.yaml└── safety-statefulset.yamlNie ma wśród nich obiektu Secret. Każde poświadczenie jest dołączane jako core/referenced-secret, a encja Manifest wiąże je z helm/k8s-existing-secret, który kieruje obciążenie do obiektu Secret istniejącego już w przestrzeni nazw i sam niczego nie renderuje.
Klucz jako odwołanie
Aggregate zapisuje wyłącznie to, w którym miejscu obiektu Secret znajduje się klucz — klucz danych NGC_API_KEY; Release podaje nazwę obiektu Secret, ngc-api-key, oraz obiektu Secret, za pomocą którego pobierane są obrazy, ngc-registry. W pliku dist/helm/safety-statefulset.yaml, i podobnie w pliku klasyfikatora jailbreaków:
env: - name: NGC_API_KEY valueFrom: secretKeyRef: name: ngc-api-key key: NGC_API_KEY imagePullSecrets: - name: ngc-registryPrzed wdrożeniem należy utworzyć oba obiekty Secret w docelowej przestrzeni nazw: ngc-api-key, przechowujący klucz pod NGC_API_KEY, oraz ngc-registry, obiekt Secret do pobierania obrazów z nvcr.io, który loguje się za pomocą tego klucza. Poświadczenie strażnika do usługi nadrzędnej jest nazwane w ten sam sposób, jako obiekt Secret upstream-provider-key przechowujący klucz API modelu pod upstream-key.
Release nie może zapisać samego klucza w tym miejscu. Blok values: w dołączeniu w encji Release jest odrzucany przy wczytywaniu dokumentu, ponieważ to, co Release tam zapisuje, należy do operatora, a values należą do programisty. Po zastąpieniu bloku infra: w ngc_api_key komponentu safety blokiem values: zawierającym origin kompilacja wypisuje, przed czymkolwiek innym:
[OPS_ERROR E0215] release.yaml document envelope validation failed (Release, at release.yaml); 66:11: spec.components.safety.features.ngc_api_key.values: against /$defs/boundary_component: unexpected property: "values". correct the document to match its kind's schemaJedyny ciąg znaków, który encja Release faktycznie zapisuje, czyli nazwa obiektu Secret, jest publikowany dokładnie tak, jak został zapisany: kompilacja nie odróżnia nazwy od klucza, więc klucz wpisany tam, gdzie powinna stać nazwa, pojawiłby się w manifeście jako ta nazwa. Graf, który wypisuje aggrega build --ir-graph, w obu przypadkach go ukrywa, ponieważ origin jest zadeklarowany jako wrażliwy.
Co robi strażnik
Konfiguracja strażnika, czyli klucz config.yaml w dist/helm/guard/nemo-guardrails-config.configmap.yaml, aż do jego promptów:
models: - type: main engine: openai model: named-by-each-request api_key_env_var: UPSTREAM_API_KEY - type: content_safety engine: openai model: "llama-3.1-nemoguard-8b-content-safety" parameters: base_url: "http://safety-default:8000/v1" api_key: EMPTYpassthrough: truerails: config: hf_classifier: prompt_injection: engine: fms model: "protectai/deberta-v3-base-prompt-injection-v2" base_url: "http://detector-default:8000" threshold: 0.5 blocked_labels: ["INJECTION"] jailbreak_detection: nim_base_url: "http://jailbreak-default:8000/v1/" nim_server_endpoint: classify input: flows: - hf classifier check input $classifier=prompt_injection - jailbreak detection model - content safety check input $model=content_safetyDla każdego żądania czatu strażnik uruchamia na najnowszej wiadomości użytkownika trzy bariery wejściowe, w tej kolejności, i odrzuca żądanie, gdy którakolwiek z nich je odrzuci:
- Klasyfikator wstrzykiwania promptów odrzuca, gdy detektor zgłasza
INJECTIONz wynikiem równym0.5lub wyższym. - Klasyfikator jailbreaków odrzuca, gdy klasyfikator NVIDIA odpowiada, że wiadomość jest próbą jailbreaku. Strażnik wysyła wiadomość na swoją trasę
classify; żaden klucz nie jest skonfigurowany, ponieważ usługa wewnątrz klastra go nie wymaga. - Model bezpieczeństwa treści odrzuca, gdy oceni wiadomość jako niebezpieczną. Strażnik deklaruje go jako model osiągalny przez zgodne z OpenAI API udostępniane przez NIM, pod punktem końcowym i nazwą modelu publikowanymi przez krawędź
safety, a jego prompt — resztaconfig.yaml— to ten, który dokumentacja NeMo Guardrails firmy NVIDIA podaje dla tego modelu; wymienia on kategorie szkód modelu i jest odczytywany parserem, który NeMo Guardrails zapewnia dla jego werdyktu.
Na odrzucone żądanie odpowiada sam strażnik, tekstem I’m sorry, I can’t respond to that., i nic z niego nie dociera do modelu. Konfiguracja strażnika zawiera też przepływ rails.co, który uruchamia bariery wejściowe niezależnie od tego, o co prosi treść żądania.
values.model w safety to nazwa, na którą odpowiada NIM bezpieczeństwa treści i którą NIM pobiera z własnego manifestu modelu; jego lista modeli, /v1/models, pokazuje ją na działającym serwerze. Strażnik wysyła ją przy każdym sprawdzeniu, więc obie muszą być zgodne.
Czego nie robi
- Ocenia wyłącznie najnowszą wiadomość użytkownika. Próba umieszczona w wiadomości systemowej, we wcześniejszej turze lub w wyniku narzędzia dociera do modelu niesprawdzona, a ani odpowiedź modelu, ani argumenty wywołań narzędzi, ani obrazy nie są oceniane.
- Każdy werdykt wydaje model. Trzy sprawdzenia przepuszczają niektóre szkodliwe lub manipulacyjne żądania i odrzucają niektóre zwyczajne.
- Bariera jailbreaków przy awarii przepuszcza żądania. Dokumentacja NVIDIA podaje, że gdy klasyfikator jailbreaków jest nieosiągalny, przekracza limit czasu lub odpowiada błędem, bariera przepuszcza żądanie i niczego nie zgłasza wywołującemu. Pozostałe dwa sprawdzenia nadal działają. Bariera wstrzykiwania promptów odrzuca żądanie, gdy jej detektor jest nieosiągalny.
- Obejmuje tylko ruch przechodzący przez bramę. Obciążenie robocze wywołujące adres modelu bezpośrednio omija go. Strażnik i trzy sprawdzenia nie uwierzytelniają żadnego wywołującego, więc ich obiekty Service są adresami dla komponentów, które je wywołują, a nie adresami do publikowania.
- Jego działanie nie zostało tu udowodnione. Konfiguracja jest tą, którą opisuje dokumentacja NVIDIA, skompilowaną z wyprzedzeniem; nic w tej przestrzeni roboczej nie uruchamiało kontenerów NemoGuard.
Co zatrzymuje kompilację
Recipe strażnika sprawdza, co zawierają jego gniazda NemoGuard. Jeśli safety stanie się zwykłym core/ai-model/nvidia-nim — jego typ w encji Aggregate i jego wiersz w encji Manifest — kompilacja zatrzymuje się, niczego nie zapisując:
[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0364] instance guard rendering node "guard" caused by: [CATALOG_ERROR] nemo-guardrails-config.configmap.yaml artifact "nemo-guardrails-config.configmap.yaml" template eval caused by: [CATALOG_ERROR] artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml] template "artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml]" execute caused by (2): a value template failed while it ran --- [… omitted: the template position and the template's own source]: error calling fail: the guard's content_safety socket is wired to "safety", a core/ai-model/nvidia-nim, but the content-safety rail's prompt and verdict parser are NVIDIA's for core/ai-model/nemoguard-content-safety, which another model answers in a shape the parser does not read; wire a core/ai-model/nemoguard-content-safety to content_safetyGniazdo jailbreak_detection w ten sam sposób przyjmuje core/security/nemoguard-jailbreak-detect i nic innego, a każde gniazdo przyjmuje jeden cel. Własne zatrzymania osłony to te z ai-gateway-prompt-injection-shield, który buduje tę samą bramę i strażnika bez sprawdzeń NemoGuard.
Gdzie kompilator nie interpretuje
Kompilator przekazuje nazwy obiektów Service i porty NIM-ów do konfiguracji strażnika, a nazwy obiektów Secret do podów, jako ciągi znaków. Nie pobiera obrazu, nie pobiera modelu ani nie odczytuje klucza i nie kontaktuje się z NVIDIA, strażnikiem ani modelem. Każde z powyższych zatrzymań jest zadeklarowane przez własne encje katalogu.
Dostosowywanie przykładu
- Bez modelu bezpieczeństwa treści. Należy usunąć komponent
safetyi krawędźcontent_safetystrażnika; konfiguracja strażnika nie zawiera wtedy takiego modelu, bariery ani promptu. Klasyfikator jailbreaków usuwa się w ten sam sposób. - Model uruchamiany samodzielnie. Należy skierować
upstream_endpointstrażnika na punkt końcowy serwera modelu —core/ai-model/vllmpublikuje taki punkt — i zapisać cel aliasu jakoopenai/<the name that server serves>. - Większe GPU lub dwa GPU. Każdy komponent NemoGuard przyjmuje
infra.gpu.count, a takżeinfra.gpu.runtime_classtam, gdzie klaster wybiera swoje środowisko uruchomieniowe GPU według klasy.