Pular para o conteúdo
AggregaAggrega
Selecionar língua: Português (Portugal)
Esta página foi traduzida automaticamente. Ler o original em inglês.

Um gateway de IA que examina cada pedido em busca de uma tentativa de se sobrepor ao modelo

Os utilizadores de um assistente de suporte podem escrever qualquer coisa, e parte do que escrevem tenta levar o modelo a ignorar as instruções que recebeu. O gateway à frente do modelo pode fazer passar primeiro cada pedido por uma guarda: um serviço que pergunta a um classificador treinado se o pedido é uma tentativa desse tipo, recusa-o em caso afirmativo e reencaminha o resto para o modelo. Este workspace compila essa disposição em manifestos do Kubernetes: o gateway, a guarda e o detetor em que o classificador da guarda é executado.

A Feature que o pede é core/prompt-injection-shield. O que ela faz é mais restrito do que o nome pode sugerir, e esta página dedica tanto espaço ao que não faz como ao que faz: o veredicto é o de um classificador probabilístico, deixa passar alguns ataques e recusa alguns pedidos legítimos, sabe-se que pode ser contornada, e não avalia nem a resposta do modelo, nem os argumentos de chamadas a ferramentas, nem imagens. É um controlo ao lado de outros.

Este workspace não cria nenhuma entidade de catálogo própria. Os três ficheiros de entidade aqui presentes — um Aggregate, um Manifest e uma Release — são tudo o que alguém escreve.

O que constrói

instânciaComponent do catálogoo que é aqui
routercore/gateway/litellmo gateway de IA: um alias, assistant, escrito no seu mapa de modelos e a apontar para um modelo atrás da guarda
guardcore/security/nemo-guardrailso servidor do NVIDIA NeMo Guardrails no caminho do modelo, que verifica cada pedido de chat e reencaminha para o modelo o que admite
detectorcore/security/trustyai-huggingface-detectoro serviço classificador que a guarda consulta, a executar o seu classificador predefinido de injeção de prompt

Duas arestas uses: o socket guard do gateway para a guarda, e o socket detector da guarda para o detetor. Dois anexos de Feature: shield, o escudo, no gateway, com sensitivity: standard; e upstream_key, a credencial que a guarda apresenta à API do modelo, na guarda.

Gerar o exemplo

É possível compilar este exemplo com os comandos abaixo, ou pedir ao assistente de IA que o compile.

Escreva o exemplo numa nova pasta com o nome dele:

Terminal window
aggrega scaffold --example ai-gateway-prompt-injection-shield

Depois, imprime os próximos comandos a executar. O primeiro entra na nova pasta:

Terminal window
cd ai-gateway-prompt-injection-shield

Compilação

Terminal window
aggrega build --release release.yaml --auto-pull

Uma release precisa de um lockfile antes de ser compilada, e os lockfiles são gerados em vez de distribuídos, pelo que um clone novo não tem nenhum. Resolva-se um primeiro, ou deixe-se que a compilação o preencha:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Este workspace resolve as entidades do catálogo a partir do registo predefinido que .aggrega-config.yaml nomeia. A realização do escudo executa um plugin que não vem nem no compilador nem no catálogo, o passo de configuração do gateway pipeline-step/litellm-gateway-config, que a resolução obtém do registo que default_registry nomeia, hub.aggrega.ai.

A compilação imprime, com <workspace> a representar a pasta deste exemplo:

[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 10 files written to <workspace>/dist

A Release nomeia as imagens da guarda e do detetor, porque o catálogo não nomeia nenhuma das duas. O infra.image de cada Component é uma definição obrigatória sem predefinição; o comentário ao lado dele no Component explica porquê, e nomeia a versão em que o seu comportamento foi comprovado. Os dois valores em release.yaml são marcadores de posição para uma cópia da versão em execução, espelhada num registo sob o seu controlo. A compilação encaminha qualquer string que lá esteja; substitua ambos antes da implementação.

Com um assistente de IA

Um assistente de IA configurado com as ferramentas do Aggrega pode fazer o mesmo: cole-lhe este prompt.

Utilize apenas as ferramentas do Aggrega e não crie nenhuma pasta por si. Se a pasta do espaço de trabalho ainda não contiver uma pasta `ai-gateway-prompt-injection-shield`, chame a ferramenta `scaffold` uma única vez com `example` definido como `ai-gateway-prompt-injection-shield` e sem `dir`: esta escreve o exemplo numa nova pasta `ai-gateway-prompt-injection-shield`. Em seguida, chame a ferramenta `build` com `workspace_root` definido como `ai-gateway-prompt-injection-shield`, `release` definido como `release.yaml`, `auto_pull` definido como true e `write` definido como true. Diga-me que ficheiros a compilação escreveu; encontram-se em `ai-gateway-prompt-injection-shield/dist/`.

A árvore renderizada

dist/helm/
├── detector-default-service.yaml
├── detector-deployment.yaml
├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml
├── guard-default-service.yaml
├── guard-deployment.yaml
├── guard/
│ └── nemo-guardrails-config.configmap.yaml
├── router-default-service.yaml
├── router-deployment.yaml
└── router/
├── litellm-gateway-config/
│ └── configmap.yaml
└── request-guard/
└── request-guard.yaml

O escudo não traz nenhum ficheiro próprio. O que faz é escrito na configuração do gateway.

A rota, tal como o gateway a lê

O corpo de configuração do gateway, a chave config.yaml de dist/helm/router/litellm-gateway-config/configmap.yaml:

model_list:
- model_name: assistant
litellm_params:
model: openai/gpt-4o-mini
api_base: "http://guard-default:8000/v1"
api_key: "the-guard-holds-the-upstream-credential"
litellm_settings:
callbacks:
- /etc/litellm-request-guard/request_field_filter.filter
callback_settings:
request_field_filter.router-shield:
policies:
-
reason: "sends every model request through a prompt-injection guard, which checks chat completions only"
served_request_types:
- acompletion

Vale a pena ler três coisas nele.

Cada alias é endereçado à guarda. api_base é o endpoint que a guarda publica, lido da aresta guard, pelo que um pedido para assistant vai para a guarda através da API da OpenAI, a pedir gpt-4o-mini; a guarda reencaminha o que admite para a API do modelo que release.yaml nomeia no seu upstream_endpoint. Ao remover o escudo, a entrada é escrita sem api_base, exatamente como antes. É por isso que o alias é escrito nos values.models do gateway em vez de servido por um modelo ligado ao seu socket models: a entrada de um modelo ligado é escrita com o endpoint próprio desse modelo e a chave própria da sua ligação, pelo que os seus pedidos iriam para o modelo contornando a guarda, e o escudo recusa uma ligação desse tipo, como se vê abaixo.

O gateway não detém nenhuma credencial para o modelo. A entrada nomeia uma palavra fixa no lugar de uma chave, porque o gateway chega à guarda e não ao fornecedor, e a guarda apresenta a sua própria credencial, a anexada ao seu slot upstream_key. O cabeçalho Authorization próprio de um chamador nunca chega ao modelo.

Só são servidas chat completions. A guarda verifica chat completions e não serve nenhuma rota de completions, embeddings, responses ou messages, pelo que a política faz com que a guarda de pedidos do gateway recuse qualquer outro tipo de pedido com HTTP 400, indicando porquê, antes de qualquer coisa ser reencaminhada:

This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.

O que a guarda faz

A configuração da guarda, a chave config.yaml de dist/helm/guard/nemo-guardrails-config.configmap.yaml, a partir dos seus rails:

rails:
config:
hf_classifier:
prompt_injection:
engine: fms
model: "protectai/deberta-v3-base-prompt-injection-v2"
base_url: "http://detector-default:8000"
threshold: 0.5
blocked_labels: ["INJECTION"]
input:
flows:
- hf classifier check input $classifier=prompt_injection

Para cada pedido de chat, simples ou em streaming, a guarda envia a última mensagem do utilizador ao detetor, que a pontua com o classificador que carregou, e recusa o pedido quando o detetor reporta INJECTION em 0.5 ou acima. Um pedido recusado é respondido pela própria guarda, com uma completion comum cuja mensagem é I’m sorry, I can’t respond to that. (Lamento, não posso responder a isso.) — em streaming quando o pedido solicitou um stream — e nada dele chega ao modelo. Um pedido que ela admite chega ao modelo tal como o chamador o enviou, incluindo a sua mensagem de sistema e os turnos anteriores.

Um chamador não pode desligar a verificação a partir do pedido. A configuração da guarda contém um flow, rails.co, que executa a verificação seja o que for que o corpo de um pedido peça, e a guarda executa esta única configuração e recusa um pedido que nomeie outra. Neste gateway, um campo guardrails pertence ao próprio gateway e não é reencaminhado, e um campo que o gateway não foi configurado para reencaminhar, como extra_body, é recusado.

O que não faz

  • Deixa passar alguns ataques e recusa alguns pedidos legítimos. O veredicto é a pontuação de um classificador face a um limiar. Uma tentativa reformulada, escrita noutra língua, codificada ou com a grafia alterada pode ter uma pontuação baixa e ser servida; um pedido comum pode ter uma pontuação alta e ser recusado.
  • Lê apenas a última mensagem do utilizador. Uma tentativa colocada numa mensagem de sistema, num turno anterior ou no resultado de uma ferramenta chega ao modelo sem ser lida.
  • Não avalia a resposta do modelo, nem argumentos de chamadas a ferramentas ou imagens.
  • Cobre apenas o tráfego que atravessa o gateway. Uma carga de trabalho que chame diretamente o endereço do modelo contorna-o. A guarda e o detetor não autenticam nenhum chamador, pelo que os seus Services são endereços para os componentes que os chamam, não endereços a publicar.

Sensibilidade

standard e strict são aplicados como o limiar da guarda: 0.5 e 0.001. Esses dois números são medidos para o classificador predefinido do detetor, cujas pontuações ficam perto de 0 ou perto de 1. Com 0.5, a guarda recusa as tentativas simples de se sobrepor às instruções do modelo. Com 0.001, recusa também uma tentativa desse tipo reescrita em leetspeak, que o classificador pontua perto de 0.008, e com ela alguns pedidos comuns que o classificador pontua baixo, mas não perto de zero.

O limiar é um valor próprio da guarda, pelo que passar para strict são duas alterações feitas em conjunto: sensitivity: strict no anexo, e threshold: 0.001 nos values da guarda. A realização verifica se os dois concordam. Vê a guarda e não o detetor por trás dela, pelo que não consegue saber que modelo o detetor carregou; um detetor que execute outro modelo pontua de forma diferente, e os seus limiares são medidos de novo.

O que interrompe a compilação

Cada um destes casos é uma frase que a compilação imprime, a nomear o que alterar:

  • A sensibilidade e o limiar da guarda não concordam. Defina-se sensitivity: strict e deixe-se a guarda na sua predefinição:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0010] instance router
    node "router": pipeline step failed
    [… omitted: the step, the template position and the template's own source]
    error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001
  • Nenhuma guarda ligada. Retire-se o bloco uses do gateway, que contém apenas a aresta guard, e a compilação é interrompida antes de qualquer coisa ser renderizada, nomeando o socket:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router"
  • Um modelo ligado ao socket models do gateway. A sua entrada seria enviada para o endpoint próprio desse modelo com a chave própria da sua ligação, contornando a guarda. Ligue-se um core/ai-model/openai ao socket como fast, com uma credencial na ligação, ao lado do alias escrito à mão — definindo values.model: assistant, já que o gateway passa então a servir dois aliases e a publicar um, e nomeando fast na Release e a sua Recipe no Manifest — e a compilação é interrompida antes de qualquer coisa ser renderizada, nomeando a ligação:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment
  • Uma credencial no slot provider_key do gateway. Seria apresentada à guarda e a nenhum modelo; a compilação nomeia, em vez disso, o slot upstream_key da guarda.

  • Outra guarda. O socket admite qualquer componente cuja guarda de prompts seja a de um classificador treinado, e a realização é interrompida perante qualquer um que não seja core/security/nemo-guardrails, aquele em que as suas duas sensibilidades foram medidas — e também perante uma segunda guarda ligada ao socket.

  • Um destino não escrito como openai/<model>, que o gateway endereçaria à guarda através de outra API.

  • core/semantic-caching no mesmo gateway. A cache gera o embedding de cada prompt através de um alias do mapa, que seria enviado à guarda, que não responde a nenhum pedido de embeddings; a cache não guardaria nada.

  • Um segundo escudo no gateway.

Quando a guarda ou o detetor não está acessível

O pedido é recusado, e nada chega ao modelo. Com o detetor em baixo, a guarda responde a um pedido simples com uma completion que reporta um erro interno e a um em streaming com um stream sem nenhum texto. Com a guarda em baixo, o gateway responde com um erro. Nada nesta configuração envia um pedido contornando a guarda quando esta falha.

Onde o compilador não interpreta

O compilador canaliza o nome do Service e a porta da guarda para a configuração do gateway, e o limiar e o endereço do detetor para a da guarda, como strings. Não avalia nenhum prompt, não sabe que pontuação o classificador vai atribuir, e não contacta nem a guarda, nem o detetor, nem o modelo. Cada interrupção acima é declarada pelas próprias entidades do catálogo, como uma asserção na realização do escudo ou uma verificação no seu passo de pipeline, e nenhuma delas assenta em qualquer compreensão do tráfego.

Adaptá-lo

  • Mais rigoroso. Defina-se sensitivity: strict no anexo e threshold: 0.001 na guarda, em conjunto.
  • Um modelo executado por si. Aponte-se o upstream_endpoint da guarda para o endpoint do servidor do modelo — core/ai-model/vllm publica um — e escreva-se o destino do alias como openai/<the name that server serves>.
  • Um gateway NGINX em alternativa. core/gateway/nginx declara o mesmo socket guard, e prompt-injection-shield-nginx, em helm e em compose, aponta a sua única location para a guarda em vez do seu upstream. Defina-se o upstream_endpoint da guarda como o modelo que o socket upstream do gateway nomeia. Cada pedido nessa location vai para a guarda, que serve chat completions e responde 404 às outras rotas de modelo.