Ir al contenido
AggregaAggrega
Seleccionar idioma: Español
Esta página se tradujo automáticamente. Lee el original en inglés.

Un gateway de IA que examina cada solicitud en busca de un intento de anular el modelo

Los usuarios de un asistente de soporte pueden escribir cualquier cosa, y parte de lo que escriben intenta que el modelo ignore las instrucciones que recibió. El gateway situado delante del modelo puede enviar primero cada solicitud a través de una guarda: un servicio que pregunta a un clasificador entrenado si la solicitud es un intento así, la rechaza si lo es y reenvía el resto al modelo. Este workspace compila esa disposición a manifiestos de Kubernetes: el gateway, la guarda y el detector en el que se ejecuta el clasificador de la guarda.

La Feature que lo solicita es core/prompt-injection-shield. Lo que hace es más limitado de lo que su nombre puede sugerir, y esta página dedica tanto espacio a lo que no hace como a lo que hace: el veredicto es el de un clasificador probabilístico, se le escapan algunos ataques y rechaza algunas solicitudes legítimas, se sabe que puede eludirse, y no juzga ni la respuesta del modelo, ni los argumentos de las llamadas a herramientas, ni las imágenes. Es un control junto a otros.

Este workspace no crea ninguna entidad de catálogo propia. Los tres archivos de entidad de aquí — un Aggregate, un Manifest y una Release — son todo lo que se escribe.

Lo que construye

instanciaComponent del catálogoqué es aquí
routercore/gateway/litellmel gateway de IA: un alias, assistant, escrito en su mapa de modelos y que apunta a un modelo detrás de la guarda
guardcore/security/nemo-guardrailsel servidor de NVIDIA NeMo Guardrails en el camino hacia el modelo, que comprueba cada solicitud de chat y reenvía al modelo lo que admite
detectorcore/security/trustyai-huggingface-detectorel servicio clasificador al que pregunta la guarda, que ejecuta su clasificador predeterminado de inyección de prompts

Dos aristas uses: el socket guard del gateway hacia la guarda, y el socket detector de la guarda hacia el detector. Dos vinculaciones de Feature: shield, el escudo, en el gateway, con sensitivity: standard; y upstream_key, la credencial que la guarda presenta a la API del modelo, en la guarda.

Generar el ejemplo

Puedes compilar este ejemplo con los comandos de abajo, o hacer que tu asistente de IA lo compile por ti.

Escribe el ejemplo en una carpeta nueva con su nombre:

Terminal window
aggrega scaffold --example ai-gateway-prompt-injection-shield

Después imprime los comandos que hay que ejecutar a continuación. El primero entra en la carpeta nueva:

Terminal window
cd ai-gateway-prompt-injection-shield

Compilación

Terminal window
aggrega build --release release.yaml --auto-pull

Una release necesita un lockfile antes de compilarse, y los lockfiles se generan en lugar de distribuirse, así que un clon recién hecho no tiene ninguno. Resuelve uno primero, o deja que la compilación lo rellene:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Este workspace resuelve las entidades del catálogo desde el registro predeterminado que nombra .aggrega-config.yaml. La realización del escudo ejecuta un plugin que no se incluye ni en el compilador ni en el catálogo, el paso de configuración del gateway pipeline-step/litellm-gateway-config, que la resolución obtiene del registro que nombra default_registry, hub.aggrega.ai.

La compilación imprime, con <workspace> en lugar de la carpeta de este ejemplo:

[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 10 files written to <workspace>/dist

La Release nombra las imágenes de la guarda y del detector, porque el catálogo no nombra ninguna de las dos. El infra.image de cada Component es un ajuste obligatorio sin valor predeterminado; el comentario junto a él en el Component explica por qué, y nombra la versión en la que se comprobó su comportamiento. Los dos valores de release.yaml son marcadores de posición para una copia de la versión que ejecutas, replicada en un registro que controlas. La compilación canaliza la cadena que haya ahí, sea cual sea; sustituye ambos antes de desplegar.

Con un asistente de IA

Un asistente de IA configurado con las herramientas de Aggrega puede hacer lo mismo: pégale este prompt.

Usa solo las herramientas de Aggrega y no crees ninguna carpeta tú mismo. Si la carpeta del espacio de trabajo aún no contiene una carpeta `ai-gateway-prompt-injection-shield`, llama una sola vez a la herramienta `scaffold` con `example` establecido en `ai-gateway-prompt-injection-shield` y sin `dir`: escribe el ejemplo en una nueva carpeta `ai-gateway-prompt-injection-shield`. Después llama a la herramienta `build` con `workspace_root` establecido en `ai-gateway-prompt-injection-shield`, `release` establecido en `release.yaml`, `auto_pull` establecido en true y `write` establecido en true. Dime qué archivos escribió la compilación; están en `ai-gateway-prompt-injection-shield/dist/`.

El árbol renderizado

dist/helm/
├── detector-default-service.yaml
├── detector-deployment.yaml
├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml
├── guard-default-service.yaml
├── guard-deployment.yaml
├── guard/
│ └── nemo-guardrails-config.configmap.yaml
├── router-default-service.yaml
├── router-deployment.yaml
└── router/
├── litellm-gateway-config/
│ └── configmap.yaml
└── request-guard/
└── request-guard.yaml

El escudo no aporta ningún archivo propio. Lo que hace se escribe en la configuración del gateway.

La ruta, tal como la lee el gateway

El cuerpo de configuración del gateway, la clave config.yaml de dist/helm/router/litellm-gateway-config/configmap.yaml:

model_list:
- model_name: assistant
litellm_params:
model: openai/gpt-4o-mini
api_base: "http://guard-default:8000/v1"
api_key: "the-guard-holds-the-upstream-credential"
litellm_settings:
callbacks:
- /etc/litellm-request-guard/request_field_filter.filter
callback_settings:
request_field_filter.router-shield:
policies:
-
reason: "sends every model request through a prompt-injection guard, which checks chat completions only"
served_request_types:
- acompletion

Vale la pena leer tres cosas en él.

Todo alias se dirige a la guarda. api_base es el endpoint que publica la guarda, leído de la arista guard, así que una solicitud para assistant va a la guarda a través de la API de OpenAI, pidiendo gpt-4o-mini; la guarda reenvía lo que admite a la API del modelo que release.yaml nombra en su upstream_endpoint. Quita el escudo y la entrada se escribe sin api_base, exactamente como antes. Por eso el alias está escrito en los values.models del gateway en lugar de servirlo un modelo conectado a su socket models: la entrada de un modelo conectado se escribe con el endpoint propio de ese modelo y la clave propia de su conexión, así que sus solicitudes irían al modelo sorteando la guarda, y el escudo rechaza una conexión así, como se ve más abajo.

El gateway no guarda ninguna credencial para el modelo. La entrada nombra una palabra fija en lugar de una clave, porque el gateway llega a la guarda y no al proveedor, y la guarda presenta su propia credencial, la vinculada a su slot upstream_key. El encabezado Authorization propio de un llamador nunca llega al modelo.

Solo se sirven las completions de chat. La guarda comprueba las completions de chat y no sirve ninguna ruta completions, embeddings, responses ni messages, así que la política hace que la guarda de solicitudes del gateway rechace cualquier otro tipo de solicitud con HTTP 400, explicando por qué, antes de reenviar nada:

This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.

Qué hace la guarda

La configuración de la guarda, la clave config.yaml de dist/helm/guard/nemo-guardrails-config.configmap.yaml, desde sus rails en adelante:

rails:
config:
hf_classifier:
prompt_injection:
engine: fms
model: "protectai/deberta-v3-base-prompt-injection-v2"
base_url: "http://detector-default:8000"
threshold: 0.5
blocked_labels: ["INJECTION"]
input:
flows:
- hf classifier check input $classifier=prompt_injection

Para cada solicitud de chat, simple o en streaming, la guarda envía el último mensaje del usuario al detector, que lo puntúa con el clasificador que cargó, y rechaza la solicitud cuando el detector informa INJECTION en 0.5 o por encima. A una solicitud rechazada responde la propia guarda, con una completion ordinaria cuyo mensaje es I’m sorry, I can’t respond to that. (Lo siento, no puedo responder a eso.) — en streaming cuando la solicitud pidió un stream — y nada de ella llega al modelo. Una solicitud que admite llega al modelo tal como la envió el llamador, incluidos su mensaje de sistema y los turnos anteriores.

Un llamador no puede desactivar la comprobación desde la solicitud. La configuración de la guarda lleva un flow, rails.co, que ejecuta la comprobación pida lo que pida el cuerpo de una solicitud, y la guarda ejecuta esta única configuración y rechaza una solicitud que nombre otra. En este gateway, un campo guardrails es del propio gateway y no se reenvía, y un campo que el gateway no se configuró para reenviar, como extra_body, se rechaza.

Lo que no hace

  • Se le escapan algunos ataques y rechaza algunas solicitudes legítimas. El veredicto es la puntuación de un clasificador frente a un umbral. Un intento reformulado, escrito en otro idioma, codificado o reescrito con otra grafía puede puntuar bajo y ser servido; una solicitud ordinaria puede puntuar alto y ser rechazada.
  • Solo lee el último mensaje del usuario. Un intento colocado en un mensaje de sistema, un turno anterior o el resultado de una herramienta llega al modelo sin leerse.
  • No juzga la respuesta del modelo, ni los argumentos de las llamadas a herramientas ni las imágenes.
  • Solo cubre el tráfico que atraviesa el gateway. Una carga de trabajo que llama directamente a la dirección del modelo lo rodea. La guarda y el detector no autentican a ningún llamador, así que sus Services son direcciones para los componentes que los llaman, no direcciones para publicar.

Sensibilidad

standard y strict se aplican como el umbral de la guarda: 0.5 y 0.001. Esos dos números están medidos para el clasificador predeterminado del detector, cuyas puntuaciones quedan cerca de 0 o cerca de 1. Con 0.5 la guarda rechaza los intentos simples de anular las instrucciones del modelo. Con 0.001 rechaza también un intento así reescrito en leetspeak, que el clasificador puntúa cerca de 0.008, y con él algunas solicitudes ordinarias que el clasificador puntúa bajo pero no cerca de cero.

El umbral es un valor propio de la guarda, así que pasar a strict son dos cambios hechos a la vez: sensitivity: strict en la vinculación, y threshold: 0.001 en los values de la guarda. La realización comprueba que los dos concuerden. Ve la guarda y no el detector que hay detrás, así que no puede saber qué modelo cargó el detector; un detector que ejecuta otro modelo puntúa de otra manera, y sus umbrales se miden de nuevo.

Qué detiene la compilación

Cada uno de estos casos es una frase que imprime la compilación, y que nombra qué cambiar:

  • La sensibilidad y el umbral de la guarda no concuerdan. Establece sensitivity: strict y deja la guarda en su valor predeterminado:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0010] instance router
    node "router": pipeline step failed
    [… omitted: the step, the template position and the template's own source]
    error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001
  • Ninguna guarda conectada. Quita el bloque uses del gateway, que solo contiene la arista guard, y la compilación se detiene antes de renderizar nada, nombrando el socket:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router"
  • Un modelo conectado al socket models del gateway. Su entrada se enviaría al endpoint propio de ese modelo con la clave propia de su conexión, sorteando la guarda. Conecta un core/ai-model/openai al socket como fast, con una credencial en la conexión, junto al alias escrito a mano — estableciendo values.model: assistant, ya que entonces el gateway sirve dos alias y publica uno, y nombrando fast en la Release y su Recipe en el Manifest — y la compilación se detiene antes de renderizar nada, nombrando la conexión:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment
  • Una credencial en el slot provider_key del gateway. Se presentaría a la guarda y a ningún modelo; la compilación nombra en su lugar el slot upstream_key de la guarda.

  • Otra guarda. El socket admite cualquier componente cuya guarda de prompts sea la de un clasificador entrenado, y la realización se detiene con cualquiera que no sea core/security/nemo-guardrails, aquel con el que se midieron sus dos sensibilidades — y también con una segunda guarda conectada al socket.

  • Un destino que no esté escrito como openai/<model>, que el gateway dirigiría a la guarda a través de otra API.

  • core/semantic-caching en el mismo gateway. La caché calcula el embedding de cada prompt a través de un alias del mapa, que se enviaría a la guarda, que no responde a ninguna solicitud de embeddings; la caché no almacenaría nada.

  • Un segundo escudo en el gateway.

Cuando no se puede alcanzar la guarda o el detector

La solicitud se rechaza, y nada llega al modelo. Con el detector caído, la guarda responde a una solicitud simple con una completion que informa de un error interno y a una en streaming con un stream que no lleva texto. Con la guarda caída, el gateway responde con un error. Nada en esta configuración envía una solicitud sorteando la guarda cuando esta falla.

Dónde el compilador no interpreta

El compilador canaliza el nombre del Service y el puerto de la guarda hacia la configuración del gateway, y el umbral y la dirección del detector hacia la de la guarda, como cadenas. No evalúa ningún prompt, no sabe qué puntuación dará el clasificador, y no contacta ni con la guarda, ni con el detector, ni con el modelo. Cada detención de arriba la declaran las propias entidades del catálogo, como una aserción en la realización del escudo o una comprobación en su paso de pipeline, y ninguna de ellas se basa en comprensión alguna del tráfico.

Adaptarlo

  • Más estricto. Establece sensitivity: strict en la vinculación y threshold: 0.001 en la guarda, a la vez.
  • Un modelo que ejecutas tú mismo. Apunta el upstream_endpoint de la guarda al endpoint del servidor del modelo — core/ai-model/vllm publica uno — y escribe el destino del alias como openai/<the name that server serves>.
  • Un gateway NGINX en su lugar. core/gateway/nginx declara el mismo socket guard, y prompt-injection-shield-nginx, en helm y en compose, apunta su única location a la guarda en lugar de a su upstream. Establece el upstream_endpoint de la guarda en el modelo que nombra el socket upstream del gateway. Toda solicitud en esa location va a la guarda, que sirve las completions de chat y responde 404 a las demás rutas de modelos.