AI-шлюз, який перевіряє кожен запит на спробу перевизначити модель
Користувачі асистента підтримки можуть ввести що завгодно, і дещо з того, що вони вводять, намагається змусити модель ігнорувати надані їй інструкції. Шлюз перед моделлю може спершу пропускати кожен запит через охоронця: сервіс, який запитує навчений класифікатор, чи є запит такою спробою, відхиляє його, якщо так, і пересилає решту моделі. Цей робочий простір компілює таке розміщення в маніфести Kubernetes: шлюз, охоронця і детектор, у якому працює класифікатор охоронця.
Feature, яка цього вимагає, — це core/prompt-injection-shield. Те, що вона робить,
вужче, ніж може підказати її назва, і ця сторінка приділяє стільки ж уваги тому, чого вона
не робить, скільки тому, що робить: вердикт виносить імовірнісний класифікатор, він
пропускає деякі атаки й відхиляє деякі легітимні запити, відомо, що його можна
обійти, і він не оцінює ні відповідь моделі, ні аргументи викликів інструментів, ні
зображення. Це один засіб контролю поряд з іншими.
Цей робочий простір не створює жодної власної сутності каталогу. Три файли сутностей тут — Aggregate, Manifest і Release — це все, що будь-хто пише.
Що він збирає
| екземпляр | Component із каталогу | що це тут |
|---|---|---|
router | core/gateway/litellm | AI-шлюз: один псевдонім, assistant, записаний у його мапу моделей, що вказує на модель за охоронцем |
guard | core/security/nemo-guardrails | сервер NVIDIA NeMo Guardrails на шляху до моделі, який перевіряє кожен запит чату й пересилає моделі те, що пропускає |
detector | core/security/trustyai-huggingface-detector | сервіс класифікатора, до якого звертається охоронець, із типовим класифікатором ін’єкцій у промпт |
Два ребра uses: сокет guard шлюзу до охоронця і сокет detector охоронця до детектора. Два приєднання Feature: shield, щит, на шлюзі, з sensitivity: standard; і upstream_key, облікові дані, які охоронець пред’являє API моделі, на охоронці.
Створення прикладу
Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.
Запишіть приклад у нову теку, названу за ним:
aggrega scaffold --example ai-gateway-prompt-injection-shieldПотім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:
cd ai-gateway-prompt-injection-shieldЗбирання
aggrega build --release release.yaml --auto-pullПерш ніж збирати release, йому потрібен lockfile, а lockfile-и генеруються, а не постачаються, тож у свіжому клоні їх немає. Спершу отримайте його або дозвольте збиранню його заповнити:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildЦей робочий простір знаходить сутності каталогу в реєстрі за замовчуванням, який називає .aggrega-config.yaml. Реалізація щита запускає один плагін, який не постачається ні з компілятором, ні з каталогом, — крок конфігурації шлюзу pipeline-step/litellm-gateway-config, який розв’язання завантажує з реєстру, названого в default_registry, — hub.aggrega.ai.
Збирання виводить таке (<workspace> позначає теку цього прикладу):
[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 10 files written to <workspace>/distСутність Release називає образи охоронця й детектора, бо каталог
не називає жодного з них. infra.image кожної сутності Component — обов’язковий параметр без
значення за замовчуванням; коментар поруч із ним у сутності Component пояснює чому й називає збірку,
на якій перевірено її поведінку. Два значення в release.yaml — це заповнювачі
для копії збірки, яку ви запускаєте, віддзеркаленої в реєстр під вашим контролем. Збирання
передає далі будь-який рядок, що там стоїть; замініть обидва перед розгортанням.
З ШІ-асистентом
ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.
Використовуйте лише інструменти Aggrega і не створюйте жодної теки самостійно. Якщо тека робочого простору ще не містить теки `ai-gateway-prompt-injection-shield`, викличте один раз інструмент `scaffold`, задавши для `example` значення `ai-gateway-prompt-injection-shield` і не задаючи `dir`: він запише приклад у нову теку `ai-gateway-prompt-injection-shield`. Потім викличте інструмент `build`, задавши для `workspace_root` значення `ai-gateway-prompt-injection-shield`, для `release` — `release.yaml`, для `auto_pull` — true і для `write` — true. Скажіть мені, які файли записала збірка; вони лежать у `ai-gateway-prompt-injection-shield/dist/`.Згенероване дерево
dist/helm/├── detector-default-service.yaml├── detector-deployment.yaml├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml├── guard-default-service.yaml├── guard-deployment.yaml├── guard/│ └── nemo-guardrails-config.configmap.yaml├── router-default-service.yaml├── router-deployment.yaml└── router/ ├── litellm-gateway-config/ │ └── configmap.yaml └── request-guard/ └── request-guard.yamlЩит не додає жодного власного файлу. Те, що він робить, записано в конфігурацію шлюзу.
Маршрут, як його читає шлюз
Тіло конфігурації шлюзу, ключ config.yaml файлу
dist/helm/router/litellm-gateway-config/configmap.yaml:
model_list: - model_name: assistant litellm_params: model: openai/gpt-4o-mini api_base: "http://guard-default:8000/v1" api_key: "the-guard-holds-the-upstream-credential"litellm_settings: callbacks: - /etc/litellm-request-guard/request_field_filter.filtercallback_settings: request_field_filter.router-shield: policies: - reason: "sends every model request through a prompt-injection guard, which checks chat completions only" served_request_types: - acompletionЗ нього варто вичитати три речі.
Кожен псевдонім адресовано охоронцю. api_base — це кінцева точка, яку публікує охоронець,
зчитана з ребра guard, тож запит до assistant надходить до
охоронця через OpenAI API із запитом на gpt-4o-mini; охоронець пересилає те, що
пропускає, до API моделі, який release.yaml вказує у своєму upstream_endpoint. Якщо прибрати
щит, запис буде записано без api_base, точно як раніше. Саме
тому псевдонім вписано в values.models шлюзу, а не обслуговується
моделлю, під’єднаною до його сокета models: запис під’єднаної моделі записується з
власною кінцевою точкою цієї моделі та власним ключем її з’єднання, тож її запити
йшли б до моделі в обхід охоронця, а щит відхиляє таке з’єднання, як
описано нижче.
Шлюз не зберігає облікових даних для моделі. Запис містить фіксоване слово
замість ключа, бо шлюз звертається до охоронця, а не до
провайдера, а охоронець пред’являє власні облікові дані, прив’язані до його
слота upstream_key. Власний заголовок Authorization викликача ніколи не досягає
моделі.
Обслуговуються лише chat completions. Охоронець перевіряє chat completions і не обслуговує маршрутів completions, embeddings, responses чи messages, тому політика змушує охоронця запитів шлюзу відхиляти будь-який інший вид запиту з HTTP 400, пояснюючи причину, ще до того, як щось буде переслано:
This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.Що робить захисник
Конфігурація захисника, ключ config.yaml у
dist/helm/guard/nemo-guardrails-config.configmap.yaml, починаючи з його rails:
rails: config: hf_classifier: prompt_injection: engine: fms model: "protectai/deberta-v3-base-prompt-injection-v2" base_url: "http://detector-default:8000" threshold: 0.5 blocked_labels: ["INJECTION"] input: flows: - hf classifier check input $classifier=prompt_injectionДля кожного запиту чату, звичайного чи потокового, захисник надсилає останнє
повідомлення користувача детектору, який оцінює його завантаженим класифікатором, і
відхиляє запит, коли детектор повідомляє INJECTION зі значенням 0.5 або вище.
На відхилений запит відповідає сам захисник звичайним завершенням, повідомлення
якого — I’m sorry, I can’t respond to that. — потоково, якщо запит просив
потік, — і жодна його частина не досягає моделі. Запит, який захисник
пропускає, досягає моделі таким, яким його надіслав клієнт, разом із системним
повідомленням і попередніми репліками.
Клієнт не може вимкнути перевірку із запиту. Конфігурація захисника
містить потік rails.co, який виконує перевірку незалежно від того, що просить тіло
запиту, а захисник виконує лише цю одну конфігурацію й відхиляє запит, що називає
іншу. На цьому шлюзі поле guardrails належить самому шлюзу й не
пересилається, а поле, пересилання якого шлюз не налаштовано, як-от
extra_body, відхиляється.
Чого він не робить
- Він пропускає деякі атаки й відхиляє деякі легітимні запити. Вердикт — це оцінка класифікатора, порівняна з порогом. Спроба, переформульована, написана іншою мовою, закодована або записана інакше, може отримати низьку оцінку й бути обслуженою; звичайний запит може отримати високу оцінку й бути відхиленим.
- Він читає лише останнє повідомлення користувача. Спроба, розміщена в системному повідомленні, попередньому ході розмови або результаті інструмента, доходить до моделі непрочитаною.
- Він не оцінює відповідь моделі, аргументи викликів інструментів чи зображення.
- Він охоплює лише трафік, що проходить через шлюз. Робоче навантаження, яке звертається безпосередньо до адреси моделі, обходить його. Захисник і детектор не автентифікують жодного абонента, тож їхні Services — це адреси для компонентів, які до них звертаються, а не адреси для публікації.
Чутливість
standard і strict виконуються як поріг guard: 0.5 і 0.001.
Ці два числа виміряно для типового класифікатора детектора, чиї
оцінки лежать близько до 0 або близько до 1. За 0.5 guard відхиляє явні спроби
перевизначити інструкції моделі. За 0.001 він також відхиляє таку спробу,
переписану мовою leetspeak, яку класифікатор оцінює приблизно в 0.008, а разом із нею
і деякі звичайні запити, які класифікатор оцінює низько, але не близько до нуля.
Поріг — це власне значення guard, тож перехід на strict складається з двох змін, зроблених
разом: sensitivity: strict у прикріпленні та threshold: 0.001 у
values guard. Реалізація перевіряє, що ці два значення узгоджені. Вона бачить guard,
а не детектор за ним, тому не може визначити, яку модель завантажив детектор;
детектор з іншою моделлю оцінює інакше, і його пороги
вимірюють заново.
Що зупиняє збірку
Кожен із цих випадків — це речення, яке друкує збірка, називаючи, що слід змінити:
-
Чутливість і поріг guard не узгоджуються. Задайте
sensitivity: strictі залиште guard зі значенням за замовчуванням:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0010] instance routernode "router": pipeline step failed[… omitted: the step, the template position and the template's own source]error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001 -
Guard не під’єднано. Видаліть блок
usesшлюзу, що містить лише реброguard, і збірка зупиниться, ще нічого не відрендеривши, і назве сокет:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router" -
Модель, під’єднана до сокета
modelsшлюзу. Її запис надсилався б до власної кінцевої точки цієї моделі з власним ключем її з’єднання, в обхід guard. Під’єднайтеcore/ai-model/openaiдо сокета якfast, з обліковими даними на з’єднанні, поряд із типізованим псевдонімом — задавшиvalues.model: assistant, оскільки шлюз тоді обслуговує два псевдоніми й публікує один, і назвавшиfastу Release, а його Recipe в Manifest, — і збірка зупиниться, ще нічого не відрендеривши, і назве з’єднання:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment -
Облікові дані в слоті
provider_keyшлюзу. Їх було б пред’явлено guard і жодній моделі; натомість збірка називає слотupstream_keyguard. -
Інший guard. Сокет приймає будь-який компонент, чий prompt guard — це навчений класифікатор, а реалізація зупиняється на будь-якому, крім
core/security/nemo-guardrails, на якому виміряно дві її чутливості, — а також на другому guard, під’єднаному до сокета. -
Ціль, записана не як
openai/<model>, яку шлюз адресував би guard через інший API. -
core/semantic-cachingна тому самому шлюзі. Кеш обчислює ембединг кожного запиту через псевдонім мапи, який надсилався б до guard, що не відповідає на жоден запит ембедингів; кеш нічого б не кешував. -
Другий щит на шлюзі.
Коли захисник або детектор недоступні
Запит відхиляється, і до моделі нічого не доходить. Коли детектор недоступний, захисник відповідає на звичайний запит завершенням, що повідомляє про внутрішню помилку, а на потоковий — потоком без тексту. Коли недоступний захисник, шлюз відповідає помилкою. Ніщо в цій конфігурації не надсилає запит в обхід захисника, коли той дає збій.
Де компілятор не інтерпретує
Компілятор передає ім’я Service і порт guard у конфігурацію gateway, а поріг і адресу детектора — у конфігурацію guard, як рядки. Він не оцінює промпт, не знає, яку оцінку дасть класифікатор, і не звертається ні до guard, ні до детектора, ні до моделі. Кожну зупинку, описану вище, оголошують власні сутності каталогу — як твердження в реалізації щита або як перевірку в його кроці конвеєра, — і жодна з них не спирається на розуміння трафіку.
Адаптація прикладу
- Суворіше. Задайте
sensitivity: strictу прикріпленні таthreshold: 0.001у guard, разом. - Модель, яку ви запускаєте самі. Спрямуйте
upstream_endpointguard на кінцеву точку сервера моделі —core/ai-model/vllmпублікує таку — і запишіть ціль псевдоніма якopenai/<the name that server serves>. - Натомість шлюз NGINX.
core/gateway/nginxоголошує той самий сокетguard, аprompt-injection-shield-nginx, на helm і на compose, спрямовує свою єдину location на guard замість її upstream. Задайте для guardupstream_endpointна модель, яку називає сокетupstreamшлюзу. Кожен запит на цій location надходить до guard, який обслуговує chat completions і відповідає 404 на інші маршрути моделі.