Salta ai contenuti
AggregaAggrega
Seleziona lingua: Italiano
Questa pagina è stata tradotta automaticamente. Leggi l’originale in inglese.

Un AI gateway che esamina ogni richiesta alla ricerca di un tentativo di scavalcare il modello

Gli utenti di un assistente di supporto possono digitare qualsiasi cosa, e parte di ciò che digitano cerca di far ignorare al modello le istruzioni che ha ricevuto. Il gateway davanti al modello può prima far passare ogni richiesta attraverso una guardia: un servizio che chiede a un classificatore addestrato se la richiesta è un tentativo del genere, la rifiuta in caso affermativo e inoltra il resto al modello. Questo workspace compila quella disposizione in manifest Kubernetes: il gateway, la guardia e il rilevatore in cui gira il classificatore della guardia.

La Feature che lo richiede è core/prompt-injection-shield. Ciò che fa è più ristretto di quanto il suo nome possa suggerire, e questa pagina dedica a ciò che non fa tanto spazio quanto a ciò che fa: il verdetto è quello di un classificatore probabilistico, non rileva alcuni attacchi e rifiuta alcune richieste legittime, è noto che può essere elusa, e non giudica né la risposta del modello, né gli argomenti delle chiamate agli strumenti, né le immagini. È un controllo accanto ad altri.

Questo workspace non scrive alcuna entità di catalogo propria. I tre file di entità qui presenti — un Aggregate, un Manifest e una Release — sono tutto ciò che chiunque scrive.

Che cosa costruisce

istanzaComponent del catalogoche cosa è qui
routercore/gateway/litellml’AI gateway: un alias, assistant, scritto a mano nella sua mappa dei modelli e che punta a un modello dietro la guardia
guardcore/security/nemo-guardrailsil server di NVIDIA NeMo Guardrails nel percorso verso il modello, che controlla ogni richiesta di chat e inoltra al modello ciò che ammette
detectorcore/security/trustyai-huggingface-detectoril servizio di classificazione che la guardia interroga, che esegue il suo classificatore predefinito di prompt injection

Due archi uses: il socket guard del gateway verso la guardia, e il socket detector della guardia verso il rilevatore. Due associazioni di Feature: shield, lo scudo, sul gateway, con sensitivity: standard; e upstream_key, la credenziale che la guardia presenta all’API del modello, sulla guardia.

Generare l’esempio

Puoi eseguire la build di questo esempio con i comandi qui sotto, oppure farla eseguire al tuo assistente IA.

Scrivi l’esempio in una nuova cartella che porta il suo nome:

Terminal window
aggrega scaffold --example ai-gateway-prompt-injection-shield

Poi stampa i prossimi comandi da eseguire. Il primo ti porta nella nuova cartella:

Terminal window
cd ai-gateway-prompt-injection-shield

Build

Terminal window
aggrega build --release release.yaml --auto-pull

Una release ha bisogno di un lockfile prima di eseguire il build, e i lockfile sono generati anziché distribuiti, quindi un clone appena creato non ne ha nessuno. Risolvine prima uno, oppure lascia che sia il build a crearlo:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Questo workspace risolve le entità del catalogo dal registry predefinito nominato da .aggrega-config.yaml. La realizzazione dello scudo esegue un plugin che non è incluso né nel compilatore né nel catalogo, il passo di configurazione del gateway pipeline-step/litellm-gateway-config, che la risoluzione scarica dal registry nominato da default_registry, hub.aggrega.ai.

Il build stampa, con <workspace> al posto della cartella di questo esempio:

[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 10 files written to <workspace>/dist

La Release nomina le immagini della guardia e del rilevatore, perché il catalogo non nomina né l’una né l’altra. L’infra.image di ogni Component è un’impostazione obbligatoria senza valore predefinito; il commento accanto a essa nel Component spiega perché, e nomina la versione su cui ne è stato provato il comportamento. I due valori in release.yaml sono segnaposto per una copia della versione che esegui, replicata in un registry che controlli. Il build convoglia qualunque stringa vi si trovi; sostituiscili entrambi prima della distribuzione.

Con un assistente AI

Un assistente IA configurato con gli strumenti di Aggrega può fare lo stesso: incolla questo prompt nell’assistente.

Usa solo gli strumenti di Aggrega e non creare tu stesso alcuna cartella. Se la cartella del workspace non contiene ancora una cartella `ai-gateway-prompt-injection-shield`, chiama una sola volta lo strumento `scaffold` con `example` impostato su `ai-gateway-prompt-injection-shield` e senza `dir`: scrive l’esempio in una nuova cartella `ai-gateway-prompt-injection-shield`. Poi chiama lo strumento `build` con `workspace_root` impostato su `ai-gateway-prompt-injection-shield`, `release` impostato su `release.yaml`, `auto_pull` impostato su true e `write` impostato su true. Dimmi quali file ha scritto la build; si trovano in `ai-gateway-prompt-injection-shield/dist/`.

L’albero renderizzato

dist/helm/
├── detector-default-service.yaml
├── detector-deployment.yaml
├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml
├── guard-default-service.yaml
├── guard-deployment.yaml
├── guard/
│ └── nemo-guardrails-config.configmap.yaml
├── router-default-service.yaml
├── router-deployment.yaml
└── router/
├── litellm-gateway-config/
│ └── configmap.yaml
└── request-guard/
└── request-guard.yaml

Lo scudo non porta alcun file proprio. Ciò che fa è scritto nella configurazione del gateway.

La route, come la legge il gateway

Il corpo della configurazione del gateway, la chiave config.yaml di dist/helm/router/litellm-gateway-config/configmap.yaml:

model_list:
- model_name: assistant
litellm_params:
model: openai/gpt-4o-mini
api_base: "http://guard-default:8000/v1"
api_key: "the-guard-holds-the-upstream-credential"
litellm_settings:
callbacks:
- /etc/litellm-request-guard/request_field_filter.filter
callback_settings:
request_field_filter.router-shield:
policies:
-
reason: "sends every model request through a prompt-injection guard, which checks chat completions only"
served_request_types:
- acompletion

Tre cose meritano di essere lette da qui.

Ogni alias è indirizzato alla guardia. api_base è l’endpoint che la guardia pubblica, letto dall’arco guard, quindi una richiesta per assistant va alla guardia tramite l’API di OpenAI, chiedendo gpt-4o-mini; la guardia inoltra ciò che ammette all’API del modello che release.yaml nomina nel suo upstream_endpoint. Rimuovi lo scudo e la voce viene scritta senza api_base, esattamente come prima. È per questo che l’alias è scritto a mano nei values.models del gateway anziché servito da un modello cablato al suo socket models: la voce di un modello cablato viene scritta con l’endpoint proprio di quel modello e con la chiave propria della sua connessione, quindi le sue richieste andrebbero al modello scavalcando la guardia, e lo scudo rifiuta una connessione del genere, come si vede più sotto.

Il gateway non detiene alcuna credenziale per il modello. La voce nomina una parola fissa al posto di una chiave, perché il gateway raggiunge la guardia anziché il provider, e la guardia presenta la propria credenziale, quella associata al suo slot upstream_key. L’header Authorization proprio di un chiamante non raggiunge mai il modello.

Sono servite solo le chat completion. La guardia controlla le chat completion e non serve alcuna route completions, embeddings, responses o messages, quindi la policy fa sì che la guardia delle richieste del gateway rifiuti ogni altro tipo di richiesta con HTTP 400, spiegando perché, prima che venga inoltrata qualsiasi cosa:

This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.

Che cosa fa la guardia

La configurazione della guardia, la chiave config.yaml di dist/helm/guard/nemo-guardrails-config.configmap.yaml, dai suoi rails in poi:

rails:
config:
hf_classifier:
prompt_injection:
engine: fms
model: "protectai/deberta-v3-base-prompt-injection-v2"
base_url: "http://detector-default:8000"
threshold: 0.5
blocked_labels: ["INJECTION"]
input:
flows:
- hf classifier check input $classifier=prompt_injection

Per ogni richiesta di chat, semplice o in streaming, la guardia invia l’ultimo messaggio dell’utente al rilevatore, che gli assegna un punteggio con il classificatore che ha caricato, e rifiuta la richiesta quando il rilevatore riporta INJECTION a 0.5 o oltre. A una richiesta rifiutata risponde la guardia stessa, con un normale completamento il cui messaggio è I’m sorry, I can’t respond to that. (Mi dispiace, non posso rispondere a questo.) — in streaming quando la richiesta chiedeva uno stream — e nulla di essa raggiunge il modello. Una richiesta che ammette raggiunge il modello così come l’ha inviata il chiamante, compresi il suo messaggio di sistema e i turni precedenti.

Un chiamante non può disattivare il controllo dalla richiesta. La configurazione della guardia contiene un flow, rails.co, che esegue il controllo qualunque cosa chieda il corpo di una richiesta, e la guardia esegue quest’unica configurazione e rifiuta una richiesta che ne nomina un’altra. Su questo gateway, un campo guardrails appartiene al gateway stesso e non viene inoltrato, e un campo che il gateway non è stato configurato per inoltrare, come extra_body, viene rifiutato.

Che cosa non fa

  • Non rileva alcuni attacchi e rifiuta alcune richieste legittime. Il verdetto è il punteggio di un classificatore confrontato con una soglia. Un tentativo riformulato, scritto in un’altra lingua, codificato o scritto con grafie alterate può ottenere un punteggio basso ed essere servito; una richiesta ordinaria può ottenere un punteggio alto ed essere rifiutata.
  • Legge solo l’ultimo messaggio dell’utente. Un tentativo collocato in un messaggio di sistema, in un turno precedente o nel risultato di uno strumento raggiunge il modello senza essere letto.
  • Non giudica la risposta del modello, né gli argomenti delle chiamate agli strumenti né le immagini.
  • Copre solo il traffico che attraversa il gateway. Un carico di lavoro che chiama direttamente l’indirizzo del modello lo aggira. La guardia e il rilevatore non autenticano alcun chiamante, quindi i loro Service sono indirizzi per i componenti che li chiamano, non indirizzi da pubblicare.

Sensibilità

standard e strict vengono applicati come soglia della guardia: 0.5 e 0.001. Questi due numeri sono misurati per il classificatore predefinito del rilevatore, i cui punteggi si collocano vicino a 0 o vicino a 1. A 0.5 la guardia rifiuta i tentativi espliciti di scavalcare le istruzioni del modello. A 0.001 rifiuta anche un tentativo del genere riscritto in leetspeak, a cui il classificatore assegna un punteggio vicino a 0.008, e con esso alcune richieste ordinarie a cui il classificatore assegna un punteggio basso ma non vicino allo zero.

La soglia è un valore proprio della guardia, quindi passare a strict richiede due modifiche fatte insieme: sensitivity: strict sull’associazione e threshold: 0.001 nei values della guardia. La realizzazione controlla che le due concordino. Vede la guardia e non il rilevatore dietro di essa, quindi non può sapere quale modello abbia caricato il rilevatore; un rilevatore che esegue un altro modello assegna punteggi diversi, e le sue soglie vengono misurate di nuovo.

Che cosa arresta il build

Ognuno di questi casi è una frase che il build stampa, e che nomina che cosa cambiare:

  • La sensibilità e la soglia della guardia non concordano. Imposta sensitivity: strict e lascia la guardia al suo valore predefinito:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0010] instance router
    node "router": pipeline step failed
    [… omitted: the step, the template position and the template's own source]
    error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001
  • Nessuna guardia cablata. Rimuovi il blocco uses del gateway, che contiene solo l’arco guard, e il build si arresta prima di renderizzare qualsiasi cosa, nominando il socket:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router"
  • Un modello cablato al socket models del gateway. La sua voce verrebbe inviata all’endpoint proprio di quel modello con la chiave propria della sua connessione, scavalcando la guardia. Cabla un core/ai-model/openai al socket come fast, con una credenziale sulla connessione, accanto all’alias scritto a mano — impostando values.model: assistant, poiché il gateway serve allora due alias e ne pubblica uno, e nominando fast nella Release e la sua Recipe nel Manifest — e il build si arresta prima di renderizzare qualsiasi cosa, nominando la connessione:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment
  • Una credenziale sullo slot provider_key del gateway. Verrebbe presentata alla guardia e a nessun modello; il build nomina invece lo slot upstream_key della guardia.

  • Un’altra guardia. Il socket ammette qualsiasi componente la cui guardia dei prompt sia quella di un classificatore addestrato, e la realizzazione si arresta su qualunque componente diverso da core/security/nemo-guardrails, quello su cui sono misurate le sue due sensibilità — e anche su una seconda guardia cablata al socket.

  • Un target non scritto come openai/<model>, che il gateway indirizzerebbe alla guardia tramite un’altra API.

  • core/semantic-caching sullo stesso gateway. La cache calcola l’embedding di ogni prompt tramite un alias della mappa, che verrebbe inviato alla guardia, la quale non risponde ad alcuna richiesta di embeddings; la cache non memorizzerebbe nulla.

  • Un secondo scudo sul gateway.

Quando la guardia o il rilevatore non sono raggiungibili

La richiesta viene rifiutata e nulla raggiunge il modello. Con il rilevatore non disponibile, la guardia risponde a una richiesta semplice con un completamento che riporta un errore interno, e a una in streaming con uno stream che non contiene testo. Con la guardia non disponibile, il gateway risponde con un errore. Nulla in questa configurazione invia una richiesta aggirando la guardia quando questa fallisce.

Dove il compilatore non interpreta

Il compilatore convoglia il nome del Service e la porta della guardia nella configurazione del gateway, e la soglia e l’indirizzo del rilevatore in quella della guardia, come stringhe. Non valuta alcun prompt, non sa quale punteggio assegnerà il classificatore e non contatta né la guardia, né il rilevatore, né il modello. Ogni arresto descritto sopra è dichiarato dalle entità stesse del catalogo, come asserzione nella realizzazione dello scudo o come controllo nel suo passo di pipeline, e nessuno di essi si basa su una comprensione del traffico.

Adattarlo

  • Più rigoroso. Imposta sensitivity: strict sull’associazione e threshold: 0.001 sulla guardia, insieme.
  • Un modello che esegui tu stesso. Punta l’upstream_endpoint della guardia verso l’endpoint del server del modello — core/ai-model/vllm ne pubblica uno — e scrivi il target dell’alias come openai/<the name that server serves>.
  • Un gateway NGINX al suo posto. core/gateway/nginx dichiara lo stesso socket guard, e prompt-injection-shield-nginx, su helm e su compose, punta la sua unica location verso la guardia al posto del suo upstream. Imposta l’upstream_endpoint della guardia sul modello che il socket upstream del gateway nomina. Ogni richiesta su quella location va alla guardia, che serve le chat completion e risponde 404 alle altre route dei modelli.