Przejdź do głównej zawartości
AggregaAggrega
Wybierz język: Polski
Ta strona została przetłumaczona maszynowo. Przeczytaj oryginał w języku angielskim.

NeMo Guardrails sprawdzające żądania agenta za pomocą modeli NemoGuard firmy NVIDIA

Żądania modelu wysyłane przez agenta przechodzą przez NVIDIA NeMo Guardrails, które sprawdza każde z nich za pomocą dwóch modeli NemoGuard firmy NVIDIA — licencjonowanych produktów NVIDIA, do których uruchomienia potrzebna jest licencja od NVIDIA, klucz API NGC i węzeł z GPU.

Czego wymaga

Dwa modele NemoGuard to produkty NVIDIA uruchamiane na warunkach NVIDIA. Wdrożenie tego, co buduje ta przestrzeń robocza, wymaga:

  • Licencji od NVIDIA. Dokumentacja NVIDIA dla każdej mikrousługi NemoGuard określa jej warunek wstępny jako „aktywną subskrypcję produktu NVIDIA AI Enterprise lub członkostwo w NVIDIA Developer Program” i stwierdza, że dostęp do kontenerów i modeli jest ograniczony.
  • Klucza API NGC, do którego encja Release odwołuje się jako do sekretu. Kontenery NemoGuard są pobierane z rejestru NVIDIA, nvcr.io, a każdy z nich przy starcie pobiera swój model od NVIDIA za pomocą tego klucza. Encja Release wskazuje dwa obiekty Secret Kubernetes, które go przechowują — jeden, z którego pody odczytują klucz, i drugi, za pomocą którego klaster pobiera obrazy — a żaden plik w tej przestrzeni roboczej ani nic, co zapisuje kompilacja, nie przechowuje samego klucza.
  • Węzła z GPU. Każdy kontener NemoGuard żąda GPU firmy NVIDIA. NVIDIA podaje, że model bezpieczeństwa treści potrzebuje 48 GB pamięci GPU, na jednym lub dwóch GPU.

Kompilacja nie potrzebuje niczego z tego: kompiluje do manifestów Kubernetes bez obecnego klucza i nie kontaktuje się ani z NVIDIA, ani z klastrem.

Co powstaje

Agent prosi o swój model przez bramę AI. Brama najpierw kieruje każde żądanie modelu przez strażnika, a strażnik sprawdza najnowszą wiadomość użytkownika na trzy sposoby, zanim przekaże do modelu to, co dopuszcza: klasyfikatorem prompt injection, modelem bezpieczeństwa treści firmy NVIDIA i klasyfikatorem jailbreaków firmy NVIDIA. Ta przestrzeń robocza kompiluje ten układ do manifestów Kubernetes.

Pokazuje, że licencjonowany produkt komercyjny jest udostępniany tak samo jak produkt open source: encja Component z katalogu, encja Recipe, krawędź uses i dołączenie poświadczenia, a licencja jest podana tam, gdzie czytelnik wybiera komponent. Nie tworzy żadnej własnej encji katalogu; Aggregate, Manifest i Release to wszystko, co ktokolwiek pisze.

instancjaencja Component z kataloguczym jest tutaj
agentcore/ai-agent/langgraphagent, własny obraz aplikacji encji Release, sięgający do swojego modelu przez bramę
checkpointercore/datastore/valkeymiejsce, w którym agent przechowuje stan swojego przebiegu
routercore/gateway/litellmbrama AI: jeden alias, assistant, kierowany do modelu przez strażnika
guardcore/security/nemo-guardrailsserwer NVIDIA NeMo Guardrails na ścieżce modelu
detectorcore/security/trustyai-huggingface-detectorklasyfikator prompt injection, o który pyta własny rail strażnika
safetycore/ai-model/nemoguard-content-safetyLlama 3.1 NemoGuard 8B ContentSafety firmy NVIDIA, udostępniany przez swój NIM
jailbreakcore/security/nemoguard-jailbreak-detectNemoGuard JailbreakDetect firmy NVIDIA, udostępniany przez swój NIM

Krawędzie uses: gniazdo model agenta do bramy i jego gniazdo checkpointer_db do magazynu; gniazdo guard bramy do strażnika; oraz gniazda detector, content_safety i jailbreak_detection strażnika do trzech kontroli. Dołączenia: shield, czyli encja Feature core/prompt-injection-shield, która umieszcza strażnika na ścieżce bramy; upstream_key, poświadczenie, które strażnik przedstawia API modelu; oraz ngc_api_key na każdym komponencie NemoGuard.

Generowanie przykładu

Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.

Należy zapisać przykład w nowym folderze nazwanym tak jak on:

Terminal window
aggrega scaffold --example nemo-guardrails-nemoguard-nims

Następnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:

Terminal window
cd nemo-guardrails-nemoguard-nims

Kompilacja

Terminal window
aggrega build --release release.yaml --auto-pull

Wydanie wymaga pliku blokady (lockfile), zanim zostanie zbudowane, a pliki blokady są generowane, a nie dostarczane, więc świeży klon nie ma żadnego. Należy najpierw go rozwiązać albo pozwolić, by budowanie go uzupełniło:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Ten obszar roboczy rozwiązuje encje katalogu z domyślnego rejestru wskazanego w .aggrega-config.yaml. Realizacja tarczy uruchamia jeden plugin, którego nie dostarcza ani kompilator, ani katalog: krok konfiguracji bramy pipeline-step/litellm-gateway-config, który rozwiązywanie pobiera z rejestru wskazanego przez default_registry, czyli hub.aggrega.ai.

Budowanie wypisuje (<workspace> oznacza folder tego przykładu):

[… omitted: a line reporting on the gateway configuration step's plugin, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 18 files written to <workspace>/dist

Encja Release wskazuje każdy obraz, którego nie wskazuje katalog. Obraz agenta to własna aplikacja użytkownika. Obrazy strażnika i detektora to kopie uruchamianych wersji, zreplikowane do rejestru pod własną kontrolą. Dwa obrazy NemoGuard należą do NVIDIA i można je pobierać na podstawie posiadanej licencji; katalog nie wskazuje żadnego z nich, a release.yaml zapisuje każdy z tagiem change-me. Kompilacja przekazuje dalej dowolny ciąg, który się tam znajduje; należy je zastąpić przed wdrożeniem.

Z asystentem AI

Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.

Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder Workspace nie zawiera jeszcze folderu `nemo-guardrails-nemoguard-nims`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `nemo-guardrails-nemoguard-nims` i bez `dir`: zapisuje ono przykład w nowym folderze `nemo-guardrails-nemoguard-nims`. Następnie wywołaj narzędzie `build` z `workspace_root` ustawionym na `nemo-guardrails-nemoguard-nims`, `release` ustawionym na `release.yaml`, `auto_pull` ustawionym na true i `write` ustawionym na true. Powiedz mi, jakie pliki zapisała kompilacja; znajdują się w `nemo-guardrails-nemoguard-nims/dist/`.

Wyrenderowane drzewo

dist/helm/
├── agent-deployment.yaml
├── checkpointer-default-service.yaml
├── checkpointer-deployment.yaml
├── detector-default-service.yaml
├── detector-deployment.yaml
├── guard-default-service.yaml
├── guard-deployment.yaml
├── guard/
│ └── nemo-guardrails-config.configmap.yaml
├── jailbreak-default-service.yaml
├── jailbreak-headless-service.yaml
├── jailbreak-statefulset.yaml
├── router-default-service.yaml
├── router-deployment.yaml
├── router/
│ ├── litellm-gateway-config/
│ │ └── configmap.yaml
│ └── request-guard/
│ └── request-guard.yaml
├── safety-default-service.yaml
├── safety-headless-service.yaml
└── safety-statefulset.yaml

Nie ma wśród nich obiektu Secret. Każde poświadczenie jest dołączane jako core/referenced-secret, a encja Manifest wiąże je z helm/k8s-existing-secret, który kieruje obciążenie do obiektu Secret istniejącego już w przestrzeni nazw i sam niczego nie renderuje.

Klucz jako odwołanie

Aggregate zapisuje wyłącznie to, w którym miejscu obiektu Secret znajduje się klucz — klucz danych NGC_API_KEY; Release podaje nazwę obiektu Secret, ngc-api-key, oraz obiektu Secret, za pomocą którego pobierane są obrazy, ngc-registry. W pliku dist/helm/safety-statefulset.yaml, i podobnie w pliku klasyfikatora jailbreaków:

env:
- name: NGC_API_KEY
valueFrom:
secretKeyRef:
name: ngc-api-key
key: NGC_API_KEY
imagePullSecrets:
- name: ngc-registry

Przed wdrożeniem należy utworzyć oba obiekty Secret w docelowej przestrzeni nazw: ngc-api-key, przechowujący klucz pod NGC_API_KEY, oraz ngc-registry, obiekt Secret do pobierania obrazów z nvcr.io, który loguje się za pomocą tego klucza. Poświadczenie strażnika do usługi nadrzędnej jest nazwane w ten sam sposób, jako obiekt Secret upstream-provider-key przechowujący klucz API modelu pod upstream-key.

Release nie może zapisać samego klucza w tym miejscu. Blok values: w dołączeniu w encji Release jest odrzucany przy wczytywaniu dokumentu, ponieważ to, co Release tam zapisuje, należy do operatora, a values należą do programisty. Po zastąpieniu bloku infra: w ngc_api_key komponentu safety blokiem values: zawierającym origin kompilacja wypisuje, przed czymkolwiek innym:

[OPS_ERROR E0215] release.yaml
document envelope validation failed (Release, at release.yaml); 66:11: spec.components.safety.features.ngc_api_key.values: against /$defs/boundary_component: unexpected property: "values". correct the document to match its kind's schema

Jedyny ciąg znaków, który encja Release faktycznie zapisuje, czyli nazwa obiektu Secret, jest publikowany dokładnie tak, jak został zapisany: kompilacja nie odróżnia nazwy od klucza, więc klucz wpisany tam, gdzie powinna stać nazwa, pojawiłby się w manifeście jako ta nazwa. Graf, który wypisuje aggrega build --ir-graph, w obu przypadkach go ukrywa, ponieważ origin jest zadeklarowany jako wrażliwy.

Co robi strażnik

Konfiguracja strażnika, czyli klucz config.yaml w dist/helm/guard/nemo-guardrails-config.configmap.yaml, aż do jego promptów:

models:
- type: main
engine: openai
model: named-by-each-request
api_key_env_var: UPSTREAM_API_KEY
- type: content_safety
engine: openai
model: "llama-3.1-nemoguard-8b-content-safety"
parameters:
base_url: "http://safety-default:8000/v1"
api_key: EMPTY
passthrough: true
rails:
config:
hf_classifier:
prompt_injection:
engine: fms
model: "protectai/deberta-v3-base-prompt-injection-v2"
base_url: "http://detector-default:8000"
threshold: 0.5
blocked_labels: ["INJECTION"]
jailbreak_detection:
nim_base_url: "http://jailbreak-default:8000/v1/"
nim_server_endpoint: classify
input:
flows:
- hf classifier check input $classifier=prompt_injection
- jailbreak detection model
- content safety check input $model=content_safety

Dla każdego żądania czatu strażnik uruchamia na najnowszej wiadomości użytkownika trzy bariery wejściowe, w tej kolejności, i odrzuca żądanie, gdy którakolwiek z nich je odrzuci:

  • Klasyfikator wstrzykiwania promptów odrzuca, gdy detektor zgłasza INJECTION z wynikiem równym 0.5 lub wyższym.
  • Klasyfikator jailbreaków odrzuca, gdy klasyfikator NVIDIA odpowiada, że wiadomość jest próbą jailbreaku. Strażnik wysyła wiadomość na swoją trasę classify; żaden klucz nie jest skonfigurowany, ponieważ usługa wewnątrz klastra go nie wymaga.
  • Model bezpieczeństwa treści odrzuca, gdy oceni wiadomość jako niebezpieczną. Strażnik deklaruje go jako model osiągalny przez zgodne z OpenAI API udostępniane przez NIM, pod punktem końcowym i nazwą modelu publikowanymi przez krawędź safety, a jego prompt — reszta config.yaml — to ten, który dokumentacja NeMo Guardrails firmy NVIDIA podaje dla tego modelu; wymienia on kategorie szkód modelu i jest odczytywany parserem, który NeMo Guardrails zapewnia dla jego werdyktu.

Na odrzucone żądanie odpowiada sam strażnik, tekstem I’m sorry, I can’t respond to that., i nic z niego nie dociera do modelu. Konfiguracja strażnika zawiera też przepływ rails.co, który uruchamia bariery wejściowe niezależnie od tego, o co prosi treść żądania.

values.model w safety to nazwa, na którą odpowiada NIM bezpieczeństwa treści i którą NIM pobiera z własnego manifestu modelu; jego lista modeli, /v1/models, pokazuje ją na działającym serwerze. Strażnik wysyła ją przy każdym sprawdzeniu, więc obie muszą być zgodne.

Czego nie robi

  • Ocenia wyłącznie najnowszą wiadomość użytkownika. Próba umieszczona w wiadomości systemowej, we wcześniejszej turze lub w wyniku narzędzia dociera do modelu niesprawdzona, a ani odpowiedź modelu, ani argumenty wywołań narzędzi, ani obrazy nie są oceniane.
  • Każdy werdykt wydaje model. Trzy sprawdzenia przepuszczają niektóre szkodliwe lub manipulacyjne żądania i odrzucają niektóre zwyczajne.
  • Bariera jailbreaków przy awarii przepuszcza żądania. Dokumentacja NVIDIA podaje, że gdy klasyfikator jailbreaków jest nieosiągalny, przekracza limit czasu lub odpowiada błędem, bariera przepuszcza żądanie i niczego nie zgłasza wywołującemu. Pozostałe dwa sprawdzenia nadal działają. Bariera wstrzykiwania promptów odrzuca żądanie, gdy jej detektor jest nieosiągalny.
  • Obejmuje tylko ruch przechodzący przez bramę. Obciążenie robocze wywołujące adres modelu bezpośrednio omija go. Strażnik i trzy sprawdzenia nie uwierzytelniają żadnego wywołującego, więc ich obiekty Service są adresami dla komponentów, które je wywołują, a nie adresami do publikowania.
  • Jego działanie nie zostało tu udowodnione. Konfiguracja jest tą, którą opisuje dokumentacja NVIDIA, skompilowaną z wyprzedzeniem; nic w tej przestrzeni roboczej nie uruchamiało kontenerów NemoGuard.

Co zatrzymuje kompilację

Recipe strażnika sprawdza, co zawierają jego gniazda NemoGuard. Jeśli safety stanie się zwykłym core/ai-model/nvidia-nim — jego typ w encji Aggregate i jego wiersz w encji Manifest — kompilacja zatrzymuje się, niczego nie zapisując:

[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
[CATALOG_ERROR E0364] instance guard
rendering node "guard"
caused by: [CATALOG_ERROR] nemo-guardrails-config.configmap.yaml
artifact "nemo-guardrails-config.configmap.yaml" template eval
caused by: [CATALOG_ERROR] artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml]
template "artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml]" execute
caused by (2):
a value template failed while it ran
---
[… omitted: the template position and the template's own source]: error calling fail: the guard's content_safety socket is wired to "safety", a core/ai-model/nvidia-nim, but the content-safety rail's prompt and verdict parser are NVIDIA's for core/ai-model/nemoguard-content-safety, which another model answers in a shape the parser does not read; wire a core/ai-model/nemoguard-content-safety to content_safety

Gniazdo jailbreak_detection w ten sam sposób przyjmuje core/security/nemoguard-jailbreak-detect i nic innego, a każde gniazdo przyjmuje jeden cel. Własne zatrzymania osłony to te z ai-gateway-prompt-injection-shield, który buduje tę samą bramę i strażnika bez sprawdzeń NemoGuard.

Gdzie kompilator nie interpretuje

Kompilator przekazuje nazwy obiektów Service i porty NIM-ów do konfiguracji strażnika, a nazwy obiektów Secret do podów, jako ciągi znaków. Nie pobiera obrazu, nie pobiera modelu ani nie odczytuje klucza i nie kontaktuje się z NVIDIA, strażnikiem ani modelem. Każde z powyższych zatrzymań jest zadeklarowane przez własne encje katalogu.

Dostosowywanie przykładu

  • Bez modelu bezpieczeństwa treści. Należy usunąć komponent safety i krawędź content_safety strażnika; konfiguracja strażnika nie zawiera wtedy takiego modelu, bariery ani promptu. Klasyfikator jailbreaków usuwa się w ten sam sposób.
  • Model uruchamiany samodzielnie. Należy skierować upstream_endpoint strażnika na punkt końcowy serwera modelu — core/ai-model/vllm publikuje taki punkt — i zapisać cel aliasu jako openai/<the name that server serves>.
  • Większe GPU lub dwa GPU. Każdy komponent NemoGuard przyjmuje infra.gpu.count, a także infra.gpu.runtime_class tam, gdzie klaster wybiera swoje środowisko uruchomieniowe GPU według klasy.