Ein AI-Gateway, das jede Anfrage auf einen Versuch prüft, das Modell zu übersteuern
Die Benutzer eines Support-Assistenten können alles eingeben, und manches davon versucht, das Modell dazu zu bringen, die ihm gegebenen Anweisungen zu ignorieren. Das Gateway vor dem Modell kann jede Anfrage zuerst durch einen Wächter schicken: einen Dienst, der einen trainierten Klassifikator fragt, ob die Anfrage ein solcher Versuch ist, sie in diesem Fall zurückweist und den Rest an das Modell weiterleitet. Dieser Workspace kompiliert diese Anordnung zu Kubernetes-Manifesten: das Gateway, den Wächter und den Detektor, in dem der Klassifikator des Wächters läuft.
Das Feature, das dies anfordert, ist core/prompt-injection-shield. Was es tut, ist enger, als sein Name vermuten lässt, und diese Seite widmet dem, was es nicht tut, ebenso viel Raum wie dem, was es tut: Das Urteil ist das eines probabilistischen Klassifikators, es verpasst manche Angriffe und weist manche legitimen Anfragen zurück, es ist bekanntermaßen umgehbar, und es beurteilt weder die Antwort des Modells noch Tool-Call-Argumente noch Bilder. Es ist eine Kontrolle neben anderen.
Dieser Workspace schreibt keine eigene Katalogentität. Die drei Entitätsdateien hier — ein Aggregate, ein Manifest und ein Release — sind alles, was irgendjemand schreibt.
Was es baut
| Instanz | Katalog-Component | was es hier ist |
|---|---|---|
router | core/gateway/litellm | das AI-Gateway: ein Alias, assistant, von Hand in seine Modell-Map eingetragen und auf ein Modell hinter dem Wächter zeigend |
guard | core/security/nemo-guardrails | der Server von NVIDIA NeMo Guardrails im Pfad zum Modell, der jede Chat-Anfrage prüft und das, was er zulässt, an das Modell weiterleitet |
detector | core/security/trustyai-huggingface-detector | der Klassifikationsdienst, den der Wächter fragt, mit seinem standardmäßigen Prompt-Injection-Klassifikator |
Zwei uses-Kanten: der Socket guard des Gateways zum Wächter und der Socket detector des Wächters zum Detektor. Zwei Feature-Anbindungen: shield, der Schild, am Gateway, mit sensitivity: standard; und upstream_key, die Zugangsdaten, die der Wächter der Modell-API vorlegt, am Wächter.
Das Beispiel generieren
Sie können dieses Beispiel mit den folgenden Befehlen bauen oder es von Ihrem KI-Assistenten für Sie bauen lassen.
Schreiben Sie das Beispiel in einen neuen Ordner, der nach ihm benannt ist:
aggrega scaffold --example ai-gateway-prompt-injection-shieldDanach gibt er die als Nächstes auszuführenden Befehle aus. Der erste wechselt in den neuen Ordner:
cd ai-gateway-prompt-injection-shieldBuild
aggrega build --release release.yaml --auto-pullEin Release braucht ein Lockfile, bevor es baut, und Lockfiles werden erzeugt statt mitgeliefert, daher hat ein frischer Klon keines. Lösen Sie zuerst eines auf, oder lassen Sie den Build es füllen:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildDieser Workspace löst die Katalogentitäten aus der Standard-Registry auf, die .aggrega-config.yaml nennt. Die Realisierung des Schilds führt ein Plugin aus, das weder im Compiler noch im Katalog mitgeliefert wird, den Gateway-Konfigurationsschritt pipeline-step/litellm-gateway-config, den die Auflösung aus der Registry abruft, die default_registry nennt, hub.aggrega.ai.
Der Build gibt aus, wobei <workspace> für den Ordner dieses Beispiels steht:
[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 10 files written to <workspace>/distDas Release nennt die Images des Wächters und des Detektors, weil der Katalog keines von beiden nennt. Das infra.image jeder Component ist eine erforderliche Einstellung ohne Voreinstellung; der Kommentar daneben in der Component sagt, warum, und nennt die Version, an der ihr Verhalten nachgewiesen wurde. Die beiden Werte in release.yaml sind Platzhalter für eine Kopie der Version, die Sie betreiben, gespiegelt in eine Registry, die Sie kontrollieren. Der Build reicht jeden String durch, der dort steht; ersetzen Sie beide vor der Bereitstellung.
Mit einem KI-Assistenten
Ein KI-Assistent, der mit den Tools von Aggrega eingerichtet ist, kann dasselbe tun: Fügen Sie ihm diesen Prompt ein.
Verwenden Sie nur die Aggrega-Tools und legen Sie selbst keinen Ordner an. Wenn der Workspace-Ordner noch keinen Ordner `ai-gateway-prompt-injection-shield` enthält, rufen Sie das Tool `scaffold` einmal auf, mit `example` auf `ai-gateway-prompt-injection-shield` gesetzt und ohne `dir`: Es schreibt das Beispiel in einen neuen Ordner `ai-gateway-prompt-injection-shield`. Rufen Sie dann das Tool `build` auf, mit `workspace_root` auf `ai-gateway-prompt-injection-shield`, `release` auf `release.yaml`, `auto_pull` auf true und `write` auf true gesetzt. Nennen Sie mir die Dateien, die der Build geschrieben hat; sie liegen unter `ai-gateway-prompt-injection-shield/dist/`.Der gerenderte Baum
dist/helm/├── detector-default-service.yaml├── detector-deployment.yaml├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml├── guard-default-service.yaml├── guard-deployment.yaml├── guard/│ └── nemo-guardrails-config.configmap.yaml├── router-default-service.yaml├── router-deployment.yaml└── router/ ├── litellm-gateway-config/ │ └── configmap.yaml └── request-guard/ └── request-guard.yamlDer Schild bringt keine eigene Datei mit. Was er tut, wird in die Konfiguration des Gateways geschrieben.
Die Route, wie das Gateway sie liest
Der Konfigurationsinhalt des Gateways, der Schlüssel config.yaml von dist/helm/router/litellm-gateway-config/configmap.yaml:
model_list: - model_name: assistant litellm_params: model: openai/gpt-4o-mini api_base: "http://guard-default:8000/v1" api_key: "the-guard-holds-the-upstream-credential"litellm_settings: callbacks: - /etc/litellm-request-guard/request_field_filter.filtercallback_settings: request_field_filter.router-shield: policies: - reason: "sends every model request through a prompt-injection guard, which checks chat completions only" served_request_types: - acompletionDrei Dinge lassen sich daran ablesen.
Jeder Alias ist an den Wächter adressiert. api_base ist der Endpunkt, den der Wächter veröffentlicht, abgelesen von der Kante guard, daher geht eine Anfrage für assistant über die OpenAI-API an den Wächter und fordert gpt-4o-mini an; der Wächter leitet, was er zulässt, an die Modell-API weiter, die release.yaml in seinem upstream_endpoint nennt. Entfernen Sie den Schild, und der Eintrag wird ohne api_base geschrieben, genau wie zuvor. Deshalb ist der Alias von Hand in die values.models des Gateways eingetragen, statt von einem Modell bereitgestellt zu werden, das mit seinem Socket models verdrahtet ist: Der Eintrag eines verdrahteten Modells wird mit dem eigenen Endpunkt dieses Modells und dem eigenen Schlüssel seiner Verbindung geschrieben, sodass seine Anfragen am Wächter vorbei zum Modell gingen, und der Schild weist eine solche Verbindung zurück, wie unten gezeigt.
Das Gateway hält keine Zugangsdaten für das Modell. Der Eintrag nennt ein festes Wort anstelle eines Schlüssels, weil das Gateway den Wächter erreicht und nicht den Provider, und der Wächter legt seine eigenen Zugangsdaten vor, die an seinen Slot upstream_key angebundenen. Der eigene Authorization-Header eines Aufrufers erreicht das Modell nie.
Nur Chat-Completions werden bedient. Der Wächter prüft Chat-Completions und bedient keine Route für completions, embeddings, responses oder messages, daher lässt die Policy den Anfragewächter des Gateways jede andere Art von Anfrage mit HTTP 400 zurückweisen, mit Begründung, bevor irgendetwas weitergeleitet wird:
This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.Was der Wächter tut
Die Konfiguration des Wächters, der Schlüssel config.yaml von dist/helm/guard/nemo-guardrails-config.configmap.yaml, ab seinen Rails:
rails: config: hf_classifier: prompt_injection: engine: fms model: "protectai/deberta-v3-base-prompt-injection-v2" base_url: "http://detector-default:8000" threshold: 0.5 blocked_labels: ["INJECTION"] input: flows: - hf classifier check input $classifier=prompt_injectionFür jede Chat-Anfrage, ob einfach oder gestreamt, sendet der Wächter die letzte Benutzernachricht an den Detektor, der sie mit dem geladenen Klassifikator bewertet, und weist die Anfrage zurück, wenn der Detektor INJECTION bei oder über 0.5 meldet. Eine zurückgewiesene Anfrage beantwortet der Wächter selbst, mit einer gewöhnlichen Completion, deren Nachricht I’m sorry, I can’t respond to that. (Es tut mir leid, darauf kann ich nicht antworten.) lautet — gestreamt, wenn die Anfrage einen Stream angefordert hat —, und nichts davon erreicht das Modell. Eine Anfrage, die er zulässt, erreicht das Modell so, wie der Aufrufer sie gesendet hat, einschließlich ihrer Systemnachricht und früherer Gesprächsrunden.
Ein Aufrufer kann die Prüfung nicht über die Anfrage abschalten. Die Konfiguration des Wächters enthält einen Flow, rails.co, der die Prüfung ausführt, was auch immer ein Anfragekörper verlangt, und der Wächter führt diese eine Konfiguration aus und weist eine Anfrage zurück, die eine andere nennt. Auf diesem Gateway gehört ein Feld guardrails dem Gateway selbst und wird nicht weitergeleitet, und ein Feld, für dessen Weiterleitung das Gateway nicht konfiguriert wurde, wie extra_body, wird zurückgewiesen.
Was es nicht tut
- Es verpasst manche Angriffe und weist manche legitimen Anfragen zurück. Das Urteil ist die Bewertung eines Klassifikators gegenüber einem Schwellenwert. Ein umformulierter, in einer anderen Sprache geschriebener, codierter oder anders geschriebener Versuch kann niedrig bewertet und bedient werden; eine gewöhnliche Anfrage kann hoch bewertet und zurückgewiesen werden.
- Es liest nur die letzte Benutzernachricht. Ein Versuch in einer Systemnachricht, einer früheren Gesprächsrunde oder einem Tool-Ergebnis erreicht das Modell ungelesen.
- Es beurteilt die Antwort des Modells nicht, ebenso wenig Tool-Call-Argumente oder Bilder.
- Es deckt nur Datenverkehr ab, der das Gateway durchquert. Eine Anwendung, die die Adresse des Modells direkt aufruft, umgeht es. Der Wächter und der Detektor authentifizieren keinen Aufrufer, daher sind ihre Services Adressen für die Komponenten, die sie aufrufen, keine Adressen zum Veröffentlichen.
Empfindlichkeit
standard und strict werden als Schwellenwert des Wächters umgesetzt: 0.5 und 0.001. Diese beiden Zahlen sind für den Standardklassifikator des Detektors gemessen, dessen Bewertungen nahe 0 oder nahe 1 liegen. Bei 0.5 weist der Wächter einfache Versuche zurück, die Anweisungen des Modells zu übersteuern. Bei 0.001 weist er auch einen solchen Versuch in Leetspeak-Schreibweise zurück, den der Klassifikator mit etwa 0.008 bewertet, und mit ihm einige gewöhnliche Anfragen, die der Klassifikator niedrig, aber nicht nahe null bewertet.
Der Schwellenwert ist ein eigener Wert des Wächters, daher besteht der Wechsel zu strict aus zwei gemeinsam vorgenommenen Änderungen: sensitivity: strict an der Anbindung und threshold: 0.001 in den values des Wächters. Die Realisierung prüft, dass beide übereinstimmen. Sie sieht den Wächter und nicht den Detektor dahinter, daher kann sie nicht erkennen, welches Modell der Detektor geladen hat; ein Detektor mit einem anderen Modell bewertet anders, und seine Schwellenwerte werden neu gemessen.
Was den Build abbricht
Jeder dieser Fälle ist ein Satz, den der Build ausgibt und der nennt, was zu ändern ist:
-
Die Empfindlichkeit und der Schwellenwert des Wächters stimmen nicht überein. Setzen Sie
sensitivity: strictund belassen Sie den Wächter bei seiner Voreinstellung:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0010] instance routernode "router": pipeline step failed[… omitted: the step, the template position and the template's own source]error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001 -
Kein Wächter verdrahtet. Entfernen Sie den Block
usesdes Gateways, der nur die Kanteguardenthält, und der Build bricht ab, bevor irgendetwas gerendert wird, und nennt den Socket:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router" -
Ein Modell, das mit dem Socket
modelsdes Gateways verdrahtet ist. Sein Eintrag würde an den eigenen Endpunkt dieses Modells mit dem eigenen Schlüssel seiner Verbindung gesendet, am Wächter vorbei. Verdrahten Sie eincore/ai-model/openaialsfastmit dem Socket, mit Zugangsdaten an der Verbindung, neben dem von Hand eingetragenen Alias — wobei Sievalues.model: assistantsetzen, da das Gateway dann zwei Aliase bedient und einen veröffentlicht, undfastim Release und sein Recipe im Manifest nennen —, und der Build bricht ab, bevor irgendetwas gerendert wird, und nennt die Verbindung:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment -
Zugangsdaten am Slot
provider_keydes Gateways. Sie würden dem Wächter und keinem Modell vorgelegt; der Build nennt stattdessen den Slotupstream_keydes Wächters. -
Ein anderer Wächter. Der Socket lässt jede Komponente zu, deren Prompt-Wächter der eines trainierten Klassifikators ist, und die Realisierung bricht bei jeder anderen als
core/security/nemo-guardrailsab, derjenigen, an der ihre beiden Empfindlichkeiten gemessen sind — auch bei einem zweiten Wächter, der mit dem Socket verdrahtet ist. -
Ein Ziel, das nicht als
openai/<model>geschrieben ist, das das Gateway über eine andere API an den Wächter adressieren würde. -
core/semantic-cachingam selben Gateway. Der Cache bettet jeden Prompt über einen Alias der Map ein, der an den Wächter gesendet würde, der keine Embeddings-Anfrage beantwortet; der Cache würde nichts zwischenspeichern. -
Ein zweiter Schild am Gateway.
Wenn der Wächter oder der Detektor nicht erreichbar ist
Die Anfrage wird zurückgewiesen, und nichts erreicht das Modell. Ist der Detektor ausgefallen, beantwortet der Wächter eine einfache Anfrage mit einer Completion, die einen internen Fehler meldet, und eine gestreamte mit einem Stream ohne Text. Ist der Wächter ausgefallen, antwortet das Gateway mit einem Fehler. Nichts in dieser Konfiguration leitet eine Anfrage am Wächter vorbei, wenn er ausfällt.
Wo der Compiler nicht interpretiert
Der Compiler leitet den Service-Namen und den Port des Wächters in die Konfiguration des Gateways weiter, und den Schwellenwert und die Adresse des Detektors in die des Wächters, als Strings. Er wertet keinen Prompt aus, weiß nicht, wie der Klassifikator bewerten wird, und kontaktiert weder den Wächter noch den Detektor noch das Modell. Jeder Abbruch oben wird von den eigenen Entitäten des Katalogs deklariert, als Assertion in der Realisierung des Schilds oder als Prüfung in seinem Pipeline-Schritt, und keiner davon beruht auf irgendeinem Verständnis des Datenverkehrs.
Anpassen
- Strenger. Setzen Sie
sensitivity: strictan der Anbindung undthreshold: 0.001am Wächter, beide zusammen. - Ein Modell, das Sie selbst betreiben. Richten Sie den
upstream_endpointdes Wächters auf den Endpunkt des Modellservers —core/ai-model/vllmveröffentlicht einen — und schreiben Sie das Ziel des Alias alsopenai/<the name that server serves>. - Stattdessen ein NGINX-Gateway.
core/gateway/nginxdeklariert denselben Socketguard, undprompt-injection-shield-nginxrichtet, auf helm und auf compose, seine eine Location statt auf seinen Upstream auf den Wächter. Setzen Sie denupstream_endpointdes Wächters auf das Modell, das der Socketupstreamdes Gateways nennt. Jede Anfrage an diese Location geht an den Wächter, der Chat-Completions bedient und die anderen Modellrouten mit 404 beantwortet.