Перейти к содержимому
AggregaAggrega
Выберите язык: Русский
Эта страница переведена машинным способом. Читать оригинал на английском.

ИИ-шлюз, который проверяет каждый запрос на попытку переопределить поведение модели

Пользователи ассистента поддержки могут ввести что угодно, и часть введённого ими пытается заставить модель игнорировать данные ей инструкции. Шлюз перед моделью может сначала пропускать каждый запрос через защитный сервис (guard): сервис, который спрашивает обученный классификатор, является ли запрос такой попыткой, отклоняет его, если да, и передаёт остальные запросы модели. Это рабочее пространство компилирует такую схему в манифесты Kubernetes: шлюз, защитный сервис и детектор, в котором работает классификатор защитного сервиса.

Сущность Feature, которая это запрашивает, — core/prompt-injection-shield. То, что она делает, уже, чем может подсказать её название, и эта страница уделяет столько же внимания тому, чего она не делает, сколько тому, что она делает: вердикт выносит вероятностный классификатор, он пропускает часть атак и отклоняет часть легитимных запросов, известно, что его можно обойти, и он не оценивает ни ответ модели, ни аргументы вызовов инструментов, ни изображения. Это одна мера защиты наряду с другими.

Это рабочее пространство не определяет ни одной собственной сущности каталога. Три файла сущностей здесь — Aggregate, Manifest и Release — это всё, что кому-либо приходится писать.

Что собирается

экземплярсущность Component из каталогачем он является здесь
routercore/gateway/litellmAI-шлюз: один псевдоним, assistant, заданный в его карте моделей и указывающий на модель за защитным сервисом
guardcore/security/nemo-guardrailsсервер NVIDIA NeMo Guardrails на пути к модели, который проверяет каждый запрос чата и передаёт модели то, что он пропускает
detectorcore/security/trustyai-huggingface-detectorсервис классификатора, к которому обращается защитный сервис; в нём работает классификатор prompt injection по умолчанию

Два ребра uses: от сокета guard шлюза к защитному сервису и от сокета detector защитного сервиса к детектору. Два подключения сущностей Feature: shield, защита, на шлюзе, с sensitivity: standard; и upstream_key, учётные данные, которые защитный сервис предъявляет API модели, на защитном сервисе.

Создание примера

Этот пример можно собрать командами ниже или поручить сборку вашему ИИ-ассистенту.

Запишите пример в новую папку, названную по его имени:

Terminal window
aggrega scaffold --example ai-gateway-prompt-injection-shield

Затем она выводит команды, которые нужно выполнить дальше. Первая переходит в новую папку:

Terminal window
cd ai-gateway-prompt-injection-shield

Сборка

Terminal window
aggrega build --release release.yaml --auto-pull

Перед сборкой релизу нужен lock-файл, а lock-файлы генерируются, а не поставляются, поэтому в свежем клоне его нет. Сначала разрешите его или позвольте сборке его заполнить:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Это рабочее пространство разрешает сущности каталога из реестра по умолчанию, который указывает .aggrega-config.yaml. Реализация щита запускает один плагин, который не поставляется ни с компилятором, ни с каталогом, — шаг конфигурации шлюза pipeline-step/litellm-gateway-config, который при разрешении загружается из реестра, указанного в default_registry, — hub.aggrega.ai.

Сборка выводит следующее (<workspace> обозначает папку этого примера):

[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 10 files written to <workspace>/dist

Сущность Release задаёт образы защитника и детектора, потому что каталог не задаёт ни один из них. Параметр infra.image каждой сущности Component обязателен и не имеет значения по умолчанию; комментарий рядом с ним в сущности Component объясняет причину и называет сборку, на которой было проверено её поведение. Два значения в release.yaml — заполнители для копии используемой вами сборки, зеркалированной в контролируемый вами реестр. Сборка передаёт дальше любую указанную там строку; замените оба значения перед развёртыванием.

С ИИ-ассистентом

ИИ-ассистент, настроенный с инструментами Aggrega, может сделать то же самое: вставьте в него этот промпт.

Используйте только инструменты Aggrega и не создавайте папки сами. Если в папке рабочего пространства ещё нет папки `ai-gateway-prompt-injection-shield`, вызовите один раз инструмент `scaffold`, задав для `example` значение `ai-gateway-prompt-injection-shield` и не задавая `dir`: он запишет пример в новую папку `ai-gateway-prompt-injection-shield`. Затем вызовите инструмент `build`, задав для `workspace_root` значение `ai-gateway-prompt-injection-shield`, для `release` — `release.yaml`, для `auto_pull` — true и для `write` — true. Сообщите мне, какие файлы записала сборка; они находятся в `ai-gateway-prompt-injection-shield/dist/`.

Сгенерированное дерево

dist/helm/
├── detector-default-service.yaml
├── detector-deployment.yaml
├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml
├── guard-default-service.yaml
├── guard-deployment.yaml
├── guard/
│ └── nemo-guardrails-config.configmap.yaml
├── router-default-service.yaml
├── router-deployment.yaml
└── router/
├── litellm-gateway-config/
│ └── configmap.yaml
└── request-guard/
└── request-guard.yaml

Щит не добавляет собственных файлов. То, что он делает, записывается в конфигурацию шлюза.

Маршрут с точки зрения шлюза

Тело конфигурации шлюза, ключ config.yaml файла dist/helm/router/litellm-gateway-config/configmap.yaml:

model_list:
- model_name: assistant
litellm_params:
model: openai/gpt-4o-mini
api_base: "http://guard-default:8000/v1"
api_key: "the-guard-holds-the-upstream-credential"
litellm_settings:
callbacks:
- /etc/litellm-request-guard/request_field_filter.filter
callback_settings:
request_field_filter.router-shield:
policies:
-
reason: "sends every model request through a prompt-injection guard, which checks chat completions only"
served_request_types:
- acompletion

Из него стоит извлечь три вещи.

Каждый псевдоним адресован защитнику. api_base — это конечная точка, которую публикует защитник, взятая из ребра guard, поэтому запрос к assistant идёт к защитнику через OpenAI API с запросом gpt-4o-mini; защитник пересылает допущенные запросы в API модели, который release.yaml указывает в своём upstream_endpoint. Если убрать щит, запись пишется без api_base, в точности как раньше. Именно поэтому псевдоним вписывается в values.models шлюза, а не обслуживается моделью, подключённой к его сокету models: запись подключённой модели пишется с собственной конечной точкой этой модели и собственным ключом её соединения, так что её запросы шли бы к модели в обход защитника, а щит отклоняет такое соединение, как описано ниже.

Шлюз не хранит учётных данных для модели. Запись указывает фиксированное слово вместо ключа, потому что шлюз обращается к защитнику, а не к провайдеру, а защитник предъявляет собственные учётные данные — те, что привязаны к его слоту upstream_key. Собственный заголовок Authorization вызывающей стороны никогда не доходит до модели.

Обслуживаются только chat completions. Защитник проверяет chat completions и не обслуживает маршруты completions, embeddings, responses или messages, поэтому политика заставляет защиту запросов шлюза отклонять любой другой вид запроса с HTTP 400, объясняя причину, до того как что-либо будет переслано:

This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.

Что делает защитный шлюз

Конфигурация защитного шлюза, ключ config.yaml в dist/helm/guard/nemo-guardrails-config.configmap.yaml, начиная с его rails:

rails:
config:
hf_classifier:
prompt_injection:
engine: fms
model: "protectai/deberta-v3-base-prompt-injection-v2"
base_url: "http://detector-default:8000"
threshold: 0.5
blocked_labels: ["INJECTION"]
input:
flows:
- hf classifier check input $classifier=prompt_injection

Для каждого запроса чата, обычного или потокового, защитный шлюз отправляет последнее сообщение пользователя детектору, который оценивает его загруженным классификатором, и отклоняет запрос, когда детектор сообщает INJECTION с оценкой 0.5 или выше. На отклонённый запрос отвечает сам защитный шлюз обычным ответом completion, сообщение которого — I’m sorry, I can’t respond to that. — в потоковом виде, если запрос запрашивал поток, и ничего из запроса не доходит до модели. Допущенный запрос доходит до модели в том виде, в каком его отправил вызывающий, включая системное сообщение и предыдущие реплики.

Вызывающий не может отключить проверку из запроса. Конфигурация защитного шлюза содержит поток rails.co, который выполняет проверку независимо от того, что просит тело запроса, а защитный шлюз работает только с этой конфигурацией и отклоняет запрос, указывающий другую. В этом шлюзе поле guardrails принадлежит самому шлюзу и не пересылается, а поле, пересылка которого в шлюзе не настроена, например extra_body, отклоняется.

Чего он не делает

  • Он пропускает некоторые атаки и отклоняет некоторые легитимные запросы. Вердикт — это оценка классификатора, сравниваемая с порогом. Попытка, переформулированная, написанная на другом языке, закодированная или записанная иначе, может получить низкую оценку и быть обслужена; обычный запрос может получить высокую оценку и быть отклонён.
  • Он читает только последнее сообщение пользователя. Попытка, помещённая в системное сообщение, более раннюю реплику или результат инструмента, доходит до модели непрочитанной.
  • Он не оценивает ответ модели, аргументы вызовов инструментов и изображения.
  • Он охватывает только трафик, проходящий через шлюз. Рабочая нагрузка, обращающаяся напрямую к адресу модели, обходит его. Guard и детектор не аутентифицируют вызывающих, поэтому их Services — это адреса для компонентов, которые к ним обращаются, а не адреса для публикации.

Чувствительность

standard и strict применяются как порог guard: 0.5 и 0.001. Эти два числа измерены для классификатора детектора по умолчанию, чьи оценки лежат близко к 0 или близко к 1. При 0.5 guard отклоняет явные попытки переопределить инструкции модели. При 0.001 он также отклоняет такую попытку, записанную на leetspeak, которую классификатор оценивает около 0.008, а вместе с ней и некоторые обычные запросы, которые классификатор оценивает низко, но не около нуля.

Порог — собственное значение guard, поэтому переход на strict — это две правки, вносимые вместе: sensitivity: strict в подключении и threshold: 0.001 в values guard. Реализация проверяет, что они согласованы. Она видит guard, но не детектор за ним, поэтому не может определить, какую модель загрузил детектор; детектор с другой моделью оценивает иначе, и его пороги измеряются заново.

Что останавливает сборку

Каждый из этих случаев — это предложение, которое выводит сборка, называя, что нужно изменить:

  • Чувствительность и порог guard не совпадают. Задайте sensitivity: strict и оставьте guard со значением по умолчанию:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0010] instance router
    node "router": pipeline step failed
    [… omitted: the step, the template position and the template's own source]
    error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001
  • Guard не подключён. Удалите блок uses шлюза, содержащий только ребро guard, и сборка остановится до того, как что-либо будет отрисовано, назвав сокет:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router"
  • Модель, подключённая к сокету models шлюза. Её запись отправлялась бы на собственную конечную точку этой модели с собственным ключом её соединения, в обход guard. Подключите core/ai-model/openai к сокету как fast, с учётными данными на соединении, рядом с типизированным псевдонимом — задав values.model: assistant, поскольку шлюз тогда обслуживает два псевдонима и публикует один, и назвав fast в Release, а его Recipe в Manifest, — и сборка остановится до того, как что-либо будет отрисовано, назвав соединение:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment
  • Учётные данные в слоте provider_key шлюза. Они предъявлялись бы guard и ни одной модели; вместо этого сборка называет слот upstream_key guard.

  • Другой guard. Сокет принимает любой компонент, чей prompt guard относится к обученному классификатору, а реализация останавливается на любом, кроме core/security/nemo-guardrails, того, на котором измерены две её чувствительности, — и на втором guard, подключённом к сокету, тоже.

  • Цель, записанная не как openai/<model>, которую шлюз адресовал бы guard через другой API.

  • core/semantic-caching на том же шлюзе. Кэш вычисляет эмбеддинг каждого промпта через псевдоним из карты, который отправлялся бы guard, а тот не отвечает ни на один запрос эмбеддингов; кэш ничего бы не кэшировал.

  • Второй щит на шлюзе.

Когда guard или детектор недоступны

Запрос отклоняется, и до модели ничего не доходит. Если детектор недоступен, guard отвечает на обычный запрос completion-ответом с сообщением о внутренней ошибке, а на потоковый — потоком без текста. Если недоступен guard, шлюз отвечает ошибкой. Ничто в этой конфигурации не отправляет запрос в обход guard при его сбое.

Где компилятор не интерпретирует

Компилятор передаёт имя Service и порт guard в конфигурацию шлюза, а порог и адрес детектора — в конфигурацию guard, в виде строк. Он не оценивает промпт, не знает, какую оценку выставит классификатор, и не обращается ни к guard, ни к детектору, ни к модели. Каждую из описанных выше остановок объявляют собственные сущности каталога — как утверждение в реализации щита или как проверку в его шаге конвейера, — и ни одна из них не опирается на какое-либо понимание трафика.

Адаптация примера

  • Строже. Задайте sensitivity: strict в подключении и threshold: 0.001 в guard одновременно.
  • Модель, которую вы запускаете сами. Направьте upstream_endpoint guard на конечную точку сервера модели — core/ai-model/vllm публикует такую — и запишите цель псевдонима как openai/<the name that server serves>.
  • Вместо этого шлюз NGINX. core/gateway/nginx объявляет тот же сокет guard, и prompt-injection-shield-nginx на helm и на compose направляет свой единственный location на guard вместо своего upstream. Задайте для guard upstream_endpoint, указывающий на модель, которую называет сокет upstream шлюза. Каждый запрос к этому location попадает в guard, который обслуживает chat completions и на остальные маршруты модели отвечает 404.