NeMo Guardrails prüft die Anfragen eines Agenten mit den NemoGuard-Modellen von NVIDIA
Die Modellanfragen eines Agenten laufen durch NVIDIA NeMo Guardrails, das jede davon mit zwei der NemoGuard-Modelle von NVIDIA prüft, lizenzierten NVIDIA-Produkten, die für ihren Betrieb eine Lizenz von NVIDIA, einen NGC-API-Schlüssel und einen GPU-Knoten benötigen.
Was es voraussetzt
Die beiden NemoGuard-Modelle sind NVIDIA-Produkte, die Sie zu den Bedingungen von NVIDIA betreiben. Das Bereitstellen dessen, was dieser Workspace baut, erfordert:
- Eine Lizenz von NVIDIA. Die Dokumentation von NVIDIA zu jedem NemoGuard-Microservice nennt als Voraussetzung „an active subscription to an NVIDIA AI Enterprise product or be an NVIDIA Developer Program member“ (ein aktives Abonnement eines NVIDIA-AI-Enterprise-Produkts oder Mitglied des NVIDIA Developer Program sein) und gibt an, dass der Zugriff auf die Container und Modelle eingeschränkt ist.
- Ein NGC-API-Schlüssel, vom Release als Secret referenziert. Die NemoGuard-Container werden aus der Registry von NVIDIA,
nvcr.io, gezogen, und jeder ruft beim Start mit dem Schlüssel sein Modell von NVIDIA ab. Das Release nennt zwei Kubernetes-Secrets, die ihn enthalten — eines, aus dem die Pods den Schlüssel lesen, und eines, mit dem der Cluster die Images zieht —, und keine Datei in diesem Workspace und nichts, was der Build schreibt, enthält den Schlüssel selbst. - Ein GPU-Knoten. Jeder NemoGuard-Container fordert eine NVIDIA-GPU an. NVIDIA gibt an, dass das Content-Safety-Modell 48 GB GPU-Speicher benötigt, auf einer GPU oder auf zwei.
Der Build benötigt nichts davon: Er kompiliert ohne vorhandenen Schlüssel zu Kubernetes-Manifesten und kontaktiert weder NVIDIA noch den Cluster.
Was es baut
Ein Agent fordert sein Modell über ein AI-Gateway an. Das Gateway schickt jede Modellanfrage zuerst durch einen Wächter, und der Wächter prüft die letzte Benutzernachricht auf drei Arten, bevor er das, was er zulässt, an das Modell weiterleitet: mit einem Prompt-Injection-Klassifikator, mit dem Content-Safety-Modell von NVIDIA und mit dem Jailbreak-Klassifikator von NVIDIA. Dieser Workspace kompiliert diese Anordnung zu Kubernetes-Manifesten.
Es zeigt, dass ein lizenziertes kommerzielles Produkt so eingerichtet wird wie ein Open-Source-Produkt: eine Katalog-Component, ein Recipe, eine Kante uses und eine Zugangsdaten-Anbindung, mit der Lizenz dort angegeben, wo ein Leser die Komponente auswählt. Es verfasst keine eigene Katalogentität; das Aggregate, das Manifest und das Release sind alles, was irgendjemand schreibt.
| Instanz | Katalog-Component | was es hier ist |
|---|---|---|
agent | core/ai-agent/langgraph | der Agent, das eigene Anwendungs-Image des Release, das sein Modell über das Gateway erreicht |
checkpointer | core/datastore/valkey | wo der Agent seinen Laufzustand speichert |
router | core/gateway/litellm | das AI-Gateway: ein Alias, assistant, der über den Wächter an das Modell gesendet wird |
guard | core/security/nemo-guardrails | der Server von NVIDIA NeMo Guardrails im Pfad zum Modell |
detector | core/security/trustyai-huggingface-detector | der Prompt-Injection-Klassifikator, den die eigene Rail des Wächters fragt |
safety | core/ai-model/nemoguard-content-safety | Llama 3.1 NemoGuard 8B ContentSafety von NVIDIA, ausgeliefert von seinem NIM |
jailbreak | core/security/nemoguard-jailbreak-detect | NemoGuard JailbreakDetect von NVIDIA, ausgeliefert von seinem NIM |
Die Kanten uses: der Socket model des Agenten zum Gateway und sein Socket checkpointer_db zum Store; der Socket guard des Gateways zum Wächter; und die Sockets detector, content_safety und jailbreak_detection des Wächters zu den drei Prüfungen. Die Anbindungen: shield, das Feature core/prompt-injection-shield, das den Wächter in den Pfad des Gateways setzt; upstream_key, die Zugangsdaten, die der Wächter der Modell-API vorlegt; und ngc_api_key an jeder NemoGuard-Komponente.
Das Beispiel generieren
Sie können dieses Beispiel mit den folgenden Befehlen bauen oder es von Ihrem KI-Assistenten für Sie bauen lassen.
Schreiben Sie das Beispiel in einen neuen Ordner, der nach ihm benannt ist:
aggrega scaffold --example nemo-guardrails-nemoguard-nimsDanach gibt er die als Nächstes auszuführenden Befehle aus. Der erste wechselt in den neuen Ordner:
cd nemo-guardrails-nemoguard-nimsBuild
aggrega build --release release.yaml --auto-pullEin Release braucht ein Lockfile, bevor es baut, und Lockfiles werden erzeugt statt mitgeliefert, daher hat ein frischer Klon keines. Lösen Sie zuerst eines auf, oder lassen Sie den Build es füllen:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildDieser Workspace löst die Katalogentitäten aus der Standard-Registry auf, die .aggrega-config.yaml nennt. Die Realisierung des Schilds führt ein Plugin aus, das weder im Compiler noch im Katalog mitgeliefert wird, den Gateway-Konfigurationsschritt pipeline-step/litellm-gateway-config, den die Auflösung aus der Registry abruft, die default_registry nennt, hub.aggrega.ai.
Der Build gibt aus, wobei <workspace> für den Ordner dieses Beispiels steht:
[… omitted: a line reporting on the gateway configuration step's plugin, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 18 files written to <workspace>/distDas Release nennt jedes Image, das der Katalog nicht nennt. Das des Agenten ist Ihre eigene Anwendung. Die des Wächters und des Detektors sind Kopien der Versionen, die Sie betreiben, gespiegelt in eine Registry, die Sie kontrollieren. Die beiden NemoGuard-Images sind die von NVIDIA, die Sie gemäß Ihrer Lizenz ziehen dürfen; der Katalog nennt keines davon, und release.yaml schreibt jedes mit dem Tag change-me. Der Build reicht jeden String durch, der dort steht; ersetzen Sie sie vor der Bereitstellung.
Mit einem KI-Assistenten
Ein KI-Assistent, der mit den Tools von Aggrega eingerichtet ist, kann dasselbe tun: Fügen Sie ihm diesen Prompt ein.
Verwenden Sie ausschließlich die Aggrega-Tools und legen Sie selbst keinen Ordner an. Wenn der Workspace-Ordner noch keinen Ordner `nemo-guardrails-nemoguard-nims` enthält, rufen Sie das Tool `scaffold` einmal auf, mit `example` auf `nemo-guardrails-nemoguard-nims` gesetzt und ohne `dir`: Es schreibt das Beispiel in einen neuen Ordner `nemo-guardrails-nemoguard-nims`. Rufen Sie dann das Tool `build` auf, mit `workspace_root` auf `nemo-guardrails-nemoguard-nims`, `release` auf `release.yaml`, `auto_pull` auf true und `write` auf true gesetzt. Nennen Sie mir die Dateien, die der Build geschrieben hat; sie liegen unter `nemo-guardrails-nemoguard-nims/dist/`.Der gerenderte Baum
dist/helm/├── agent-deployment.yaml├── checkpointer-default-service.yaml├── checkpointer-deployment.yaml├── detector-default-service.yaml├── detector-deployment.yaml├── guard-default-service.yaml├── guard-deployment.yaml├── guard/│ └── nemo-guardrails-config.configmap.yaml├── jailbreak-default-service.yaml├── jailbreak-headless-service.yaml├── jailbreak-statefulset.yaml├── router-default-service.yaml├── router-deployment.yaml├── router/│ ├── litellm-gateway-config/│ │ └── configmap.yaml│ └── request-guard/│ └── request-guard.yaml├── safety-default-service.yaml├── safety-headless-service.yaml└── safety-statefulset.yamlDarunter ist kein Secret. Alle Zugangsdaten sind als core/referenced-secret angebunden, und das Manifest bindet sie an helm/k8s-existing-secret, das eine Arbeitslast auf ein Secret verweist, das bereits im Namespace existiert, und nichts Eigenes rendert.
Der Schlüssel, als Referenz
Das Aggregate schreibt nur, wo innerhalb eines Secret der Schlüssel liegt, den Datenschlüssel NGC_API_KEY; das Release nennt das Secret, ngc-api-key, und das Secret, mit dem die Images gezogen werden, ngc-registry. In dist/helm/safety-statefulset.yaml und ebenso in dem des Jailbreak-Klassifikators:
env: - name: NGC_API_KEY valueFrom: secretKeyRef: name: ngc-api-key key: NGC_API_KEY imagePullSecrets: - name: ngc-registryErstellen Sie vor der Bereitstellung beide Secrets im Ziel-Namespace: ngc-api-key, das den Schlüssel unter NGC_API_KEY enthält, und ngc-registry, ein Image-Pull-Secret für nvcr.io, das sich mit dem Schlüssel anmeldet. Die Upstream-Zugangsdaten des Wächters werden auf dieselbe Weise benannt, als das Secret upstream-provider-key, das den Schlüssel der Modell-API unter upstream-key enthält.
Ein Release kann den Schlüssel nicht an seiner Stelle schreiben. Ein Block values: an einer Anbindung im Release wird beim Laden des Dokuments zurückgewiesen, weil das, was ein Release dort schreibt, dem Betreiber gehört, und Werte dem Entwickler gehören. Ersetzen Sie den Block infra: von ngc_api_key der Komponente safety durch values: mit einem origin, und der Build gibt vor allem anderen aus:
[OPS_ERROR E0215] release.yaml document envelope validation failed (Release, at release.yaml); 66:11: spec.components.safety.features.ngc_api_key.values: against /$defs/boundary_component: unexpected property: "values". correct the document to match its kind's schemaDer eine String, den das Release sehr wohl schreibt, der Name eines Secret, wird genau so veröffentlicht, wie er geschrieben ist: Der Build kann einen Namen nicht von einem Schlüssel unterscheiden, sodass ein Schlüssel, der dort eingetragen wird, wo ein Name hingehört, im Manifest als dieser Name erscheinen würde. Der Graph, den aggrega build --ir-graph ausgibt, hält ihn in jedem Fall zurück, weil origin als sensibel deklariert ist.
Was der Wächter tut
Die Konfiguration des Wächters, der Schlüssel config.yaml von dist/helm/guard/nemo-guardrails-config.configmap.yaml, bis zu seinen Prompts:
models: - type: main engine: openai model: named-by-each-request api_key_env_var: UPSTREAM_API_KEY - type: content_safety engine: openai model: "llama-3.1-nemoguard-8b-content-safety" parameters: base_url: "http://safety-default:8000/v1" api_key: EMPTYpassthrough: truerails: config: hf_classifier: prompt_injection: engine: fms model: "protectai/deberta-v3-base-prompt-injection-v2" base_url: "http://detector-default:8000" threshold: 0.5 blocked_labels: ["INJECTION"] jailbreak_detection: nim_base_url: "http://jailbreak-default:8000/v1/" nim_server_endpoint: classify input: flows: - hf classifier check input $classifier=prompt_injection - jailbreak detection model - content safety check input $model=content_safetyFür jede Chat-Anfrage führt der Wächter die drei Input-Rails auf der letzten Benutzernachricht aus, in dieser Reihenfolge, und weist die Anfrage zurück, wenn eine davon sie zurückweist:
- Der Prompt-Injection-Klassifikator weist zurück, wenn der Detektor
INJECTIONbei oder über0.5meldet. - Der Jailbreak-Klassifikator weist zurück, wenn der Klassifikator von NVIDIA antwortet, dass die Nachricht ein Jailbreak-Versuch ist. Der Wächter sendet die Nachricht an seine Route
classify; es ist kein Schlüssel konfiguriert, weil der clusterinterne Dienst keinen verlangt. - Das Content-Safety-Modell weist zurück, wenn es die Nachricht als unsicher einstuft. Der Wächter deklariert es als Modell, das über die OpenAI-kompatible API erreicht wird, die das NIM bedient, am Endpunkt und unter dem Modellnamen, den die Kante
safetyveröffentlicht, und sein Prompt — der Rest vonconfig.yaml— ist derjenige, den die NeMo-Guardrails-Dokumentation von NVIDIA für dieses Modell angibt, mit der Liste seiner Schadenskategorien, gelesen mit dem Parser, den NeMo Guardrails für sein Urteil bereitstellt.
Eine zurückgewiesene Anfrage beantwortet der Wächter selbst, mit I’m sorry, I can’t respond to that. (Es tut mir leid, darauf kann ich nicht antworten.), und nichts davon erreicht das Modell. Die Konfiguration des Wächters enthält außerdem einen Flow, rails.co, der die Input-Rails ausführt, was auch immer ein Anfragekörper verlangt.
values.model an safety ist der Name, auf den das Content-Safety-NIM antwortet und den das NIM aus seinem eigenen Modellmanifest übernimmt; seine Modellliste, /v1/models, zeigt ihn auf dem laufenden Server. Der Wächter sendet ihn mit jeder Prüfung, daher müssen beide übereinstimmen.
Was es nicht tut
- Es beurteilt nur die letzte Benutzernachricht. Ein Versuch in einer Systemnachricht, einer früheren Gesprächsrunde oder einem Tool-Ergebnis erreicht das Modell ungeprüft, und weder die Antwort des Modells noch Tool-Call-Argumente noch Bilder werden beurteilt.
- Jedes Urteil ist das eines Modells. Die drei Prüfungen verpassen manche schädlichen oder manipulativen Anfragen und weisen manche gewöhnlichen zurück.
- Die Jailbreak-Rail ist fail-open. NVIDIA dokumentiert, dass die Rail die Anfrage durchlässt und dem Aufrufer nichts meldet, wenn der Jailbreak-Klassifikator nicht erreichbar ist, eine Zeitüberschreitung hat oder mit einem Fehler antwortet. Die anderen beiden Prüfungen laufen trotzdem. Die Prompt-Injection-Rail weist die Anfrage zurück, wenn ihr Detektor nicht erreichbar ist.
- Es deckt nur Datenverkehr ab, der das Gateway durchquert. Eine Anwendung, die die Adresse des Modells direkt aufruft, umgeht es. Der Wächter und die drei Prüfungen authentifizieren keinen Aufrufer, daher sind ihre Services Adressen für die Komponenten, die sie aufrufen, keine Adressen zum Veröffentlichen.
- Es ist hier nicht im Betrieb nachgewiesen. Die Konfiguration ist die, die die Dokumentation von NVIDIA beschreibt, vorab kompiliert; nichts in diesem Workspace hat die NemoGuard-Container ausgeführt.
Was den Build abbricht
Das Recipe des Wächters prüft, was seine NemoGuard-Sockets enthalten. Machen Sie safety zu einem einfachen core/ai-model/nvidia-nim — seinen Typ im Aggregate und seine Zeile im Manifest —, und der Build bricht ab und schreibt nichts:
[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0364] instance guard rendering node "guard" caused by: [CATALOG_ERROR] nemo-guardrails-config.configmap.yaml artifact "nemo-guardrails-config.configmap.yaml" template eval caused by: [CATALOG_ERROR] artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml] template "artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml]" execute caused by (2): a value template failed while it ran --- [… omitted: the template position and the template's own source]: error calling fail: the guard's content_safety socket is wired to "safety", a core/ai-model/nvidia-nim, but the content-safety rail's prompt and verdict parser are NVIDIA's for core/ai-model/nemoguard-content-safety, which another model answers in a shape the parser does not read; wire a core/ai-model/nemoguard-content-safety to content_safetyDer Socket jailbreak_detection nimmt auf dieselbe Weise ein core/security/nemoguard-jailbreak-detect und nichts anderes an, und jeder Socket nimmt ein Ziel an. Die eigenen Abbrüche des Schilds sind die von ai-gateway-prompt-injection-shield, das dasselbe Gateway und denselben Wächter ohne die NemoGuard-Prüfungen baut.
Wo der Compiler nicht interpretiert
Der Compiler leitet die Service-Namen und Ports der NIMs in die Konfiguration des Wächters weiter und die Namen der Secrets in die Pods, als Strings. Er zieht kein Image, ruft kein Modell ab, liest keinen Schlüssel und kontaktiert weder NVIDIA noch den Wächter noch das Modell. Jeder Abbruch oben wird von den eigenen Entitäten des Katalogs deklariert.
Anpassen
- Ohne das Content-Safety-Modell. Entfernen Sie die Komponente
safetyund die Kantecontent_safetydes Wächters; die Konfiguration des Wächters enthält dann kein solches Modell, keine solche Rail und keinen solchen Prompt. Der Jailbreak-Klassifikator wird auf dieselbe Weise entfernt. - Ein Modell, das Sie selbst betreiben. Richten Sie den
upstream_endpointdes Wächters auf den Endpunkt des Modellservers —core/ai-model/vllmveröffentlicht einen — und schreiben Sie das Ziel des Alias alsopenai/<the name that server serves>. - Größere GPUs oder zwei davon. Jede NemoGuard-Komponente nimmt
infra.gpu.countan, undinfra.gpu.runtime_class, wo der Cluster seine GPU-Runtime nach Klasse auswählt.