Перейти до вмісту
AggregaAggrega
Обрати мову: Українська
Цю сторінку перекладено машинним способом. Читати оригінал англійською.

AI-шлюз, який перевіряє кожен запит на спробу перевизначити модель

Користувачі асистента підтримки можуть ввести що завгодно, і дещо з того, що вони вводять, намагається змусити модель ігнорувати надані їй інструкції. Шлюз перед моделлю може спершу пропускати кожен запит через охоронця: сервіс, який запитує навчений класифікатор, чи є запит такою спробою, відхиляє його, якщо так, і пересилає решту моделі. Цей робочий простір компілює таке розміщення в маніфести Kubernetes: шлюз, охоронця і детектор, у якому працює класифікатор охоронця.

Feature, яка цього вимагає, — це core/prompt-injection-shield. Те, що вона робить, вужче, ніж може підказати її назва, і ця сторінка приділяє стільки ж уваги тому, чого вона не робить, скільки тому, що робить: вердикт виносить імовірнісний класифікатор, він пропускає деякі атаки й відхиляє деякі легітимні запити, відомо, що його можна обійти, і він не оцінює ні відповідь моделі, ні аргументи викликів інструментів, ні зображення. Це один засіб контролю поряд з іншими.

Цей робочий простір не створює жодної власної сутності каталогу. Три файли сутностей тут — Aggregate, Manifest і Release — це все, що будь-хто пише.

Що він збирає

екземплярComponent із каталогущо це тут
routercore/gateway/litellmAI-шлюз: один псевдонім, assistant, записаний у його мапу моделей, що вказує на модель за охоронцем
guardcore/security/nemo-guardrailsсервер NVIDIA NeMo Guardrails на шляху до моделі, який перевіряє кожен запит чату й пересилає моделі те, що пропускає
detectorcore/security/trustyai-huggingface-detectorсервіс класифікатора, до якого звертається охоронець, із типовим класифікатором ін’єкцій у промпт

Два ребра uses: сокет guard шлюзу до охоронця і сокет detector охоронця до детектора. Два приєднання Feature: shield, щит, на шлюзі, з sensitivity: standard; і upstream_key, облікові дані, які охоронець пред’являє API моделі, на охоронці.

Створення прикладу

Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.

Запишіть приклад у нову теку, названу за ним:

Terminal window
aggrega scaffold --example ai-gateway-prompt-injection-shield

Потім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:

Terminal window
cd ai-gateway-prompt-injection-shield

Збирання

Terminal window
aggrega build --release release.yaml --auto-pull

Перш ніж збирати release, йому потрібен lockfile, а lockfile-и генеруються, а не постачаються, тож у свіжому клоні їх немає. Спершу отримайте його або дозвольте збиранню його заповнити:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Цей робочий простір знаходить сутності каталогу в реєстрі за замовчуванням, який називає .aggrega-config.yaml. Реалізація щита запускає один плагін, який не постачається ні з компілятором, ні з каталогом, — крок конфігурації шлюзу pipeline-step/litellm-gateway-config, який розв’язання завантажує з реєстру, названого в default_registry, — hub.aggrega.ai.

Збирання виводить таке (<workspace> позначає теку цього прикладу):

[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 10 files written to <workspace>/dist

Сутність Release називає образи охоронця й детектора, бо каталог не називає жодного з них. infra.image кожної сутності Component — обов’язковий параметр без значення за замовчуванням; коментар поруч із ним у сутності Component пояснює чому й називає збірку, на якій перевірено її поведінку. Два значення в release.yaml — це заповнювачі для копії збірки, яку ви запускаєте, віддзеркаленої в реєстр під вашим контролем. Збирання передає далі будь-який рядок, що там стоїть; замініть обидва перед розгортанням.

З ШІ-асистентом

ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.

Використовуйте лише інструменти Aggrega і не створюйте жодної теки самостійно. Якщо тека робочого простору ще не містить теки `ai-gateway-prompt-injection-shield`, викличте один раз інструмент `scaffold`, задавши для `example` значення `ai-gateway-prompt-injection-shield` і не задаючи `dir`: він запише приклад у нову теку `ai-gateway-prompt-injection-shield`. Потім викличте інструмент `build`, задавши для `workspace_root` значення `ai-gateway-prompt-injection-shield`, для `release` — `release.yaml`, для `auto_pull` — true і для `write` — true. Скажіть мені, які файли записала збірка; вони лежать у `ai-gateway-prompt-injection-shield/dist/`.

Згенероване дерево

dist/helm/
├── detector-default-service.yaml
├── detector-deployment.yaml
├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml
├── guard-default-service.yaml
├── guard-deployment.yaml
├── guard/
│ └── nemo-guardrails-config.configmap.yaml
├── router-default-service.yaml
├── router-deployment.yaml
└── router/
├── litellm-gateway-config/
│ └── configmap.yaml
└── request-guard/
└── request-guard.yaml

Щит не додає жодного власного файлу. Те, що він робить, записано в конфігурацію шлюзу.

Маршрут, як його читає шлюз

Тіло конфігурації шлюзу, ключ config.yaml файлу dist/helm/router/litellm-gateway-config/configmap.yaml:

model_list:
- model_name: assistant
litellm_params:
model: openai/gpt-4o-mini
api_base: "http://guard-default:8000/v1"
api_key: "the-guard-holds-the-upstream-credential"
litellm_settings:
callbacks:
- /etc/litellm-request-guard/request_field_filter.filter
callback_settings:
request_field_filter.router-shield:
policies:
-
reason: "sends every model request through a prompt-injection guard, which checks chat completions only"
served_request_types:
- acompletion

З нього варто вичитати три речі.

Кожен псевдонім адресовано охоронцю. api_base — це кінцева точка, яку публікує охоронець, зчитана з ребра guard, тож запит до assistant надходить до охоронця через OpenAI API із запитом на gpt-4o-mini; охоронець пересилає те, що пропускає, до API моделі, який release.yaml вказує у своєму upstream_endpoint. Якщо прибрати щит, запис буде записано без api_base, точно як раніше. Саме тому псевдонім вписано в values.models шлюзу, а не обслуговується моделлю, під’єднаною до його сокета models: запис під’єднаної моделі записується з власною кінцевою точкою цієї моделі та власним ключем її з’єднання, тож її запити йшли б до моделі в обхід охоронця, а щит відхиляє таке з’єднання, як описано нижче.

Шлюз не зберігає облікових даних для моделі. Запис містить фіксоване слово замість ключа, бо шлюз звертається до охоронця, а не до провайдера, а охоронець пред’являє власні облікові дані, прив’язані до його слота upstream_key. Власний заголовок Authorization викликача ніколи не досягає моделі.

Обслуговуються лише chat completions. Охоронець перевіряє chat completions і не обслуговує маршрутів completions, embeddings, responses чи messages, тому політика змушує охоронця запитів шлюзу відхиляти будь-який інший вид запиту з HTTP 400, пояснюючи причину, ще до того, як щось буде переслано:

This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.

Що робить захисник

Конфігурація захисника, ключ config.yaml у dist/helm/guard/nemo-guardrails-config.configmap.yaml, починаючи з його rails:

rails:
config:
hf_classifier:
prompt_injection:
engine: fms
model: "protectai/deberta-v3-base-prompt-injection-v2"
base_url: "http://detector-default:8000"
threshold: 0.5
blocked_labels: ["INJECTION"]
input:
flows:
- hf classifier check input $classifier=prompt_injection

Для кожного запиту чату, звичайного чи потокового, захисник надсилає останнє повідомлення користувача детектору, який оцінює його завантаженим класифікатором, і відхиляє запит, коли детектор повідомляє INJECTION зі значенням 0.5 або вище. На відхилений запит відповідає сам захисник звичайним завершенням, повідомлення якого — I’m sorry, I can’t respond to that. — потоково, якщо запит просив потік, — і жодна його частина не досягає моделі. Запит, який захисник пропускає, досягає моделі таким, яким його надіслав клієнт, разом із системним повідомленням і попередніми репліками.

Клієнт не може вимкнути перевірку із запиту. Конфігурація захисника містить потік rails.co, який виконує перевірку незалежно від того, що просить тіло запиту, а захисник виконує лише цю одну конфігурацію й відхиляє запит, що називає іншу. На цьому шлюзі поле guardrails належить самому шлюзу й не пересилається, а поле, пересилання якого шлюз не налаштовано, як-от extra_body, відхиляється.

Чого він не робить

  • Він пропускає деякі атаки й відхиляє деякі легітимні запити. Вердикт — це оцінка класифікатора, порівняна з порогом. Спроба, переформульована, написана іншою мовою, закодована або записана інакше, може отримати низьку оцінку й бути обслуженою; звичайний запит може отримати високу оцінку й бути відхиленим.
  • Він читає лише останнє повідомлення користувача. Спроба, розміщена в системному повідомленні, попередньому ході розмови або результаті інструмента, доходить до моделі непрочитаною.
  • Він не оцінює відповідь моделі, аргументи викликів інструментів чи зображення.
  • Він охоплює лише трафік, що проходить через шлюз. Робоче навантаження, яке звертається безпосередньо до адреси моделі, обходить його. Захисник і детектор не автентифікують жодного абонента, тож їхні Services — це адреси для компонентів, які до них звертаються, а не адреси для публікації.

Чутливість

standard і strict виконуються як поріг guard: 0.5 і 0.001. Ці два числа виміряно для типового класифікатора детектора, чиї оцінки лежать близько до 0 або близько до 1. За 0.5 guard відхиляє явні спроби перевизначити інструкції моделі. За 0.001 він також відхиляє таку спробу, переписану мовою leetspeak, яку класифікатор оцінює приблизно в 0.008, а разом із нею і деякі звичайні запити, які класифікатор оцінює низько, але не близько до нуля.

Поріг — це власне значення guard, тож перехід на strict складається з двох змін, зроблених разом: sensitivity: strict у прикріпленні та threshold: 0.001 у values guard. Реалізація перевіряє, що ці два значення узгоджені. Вона бачить guard, а не детектор за ним, тому не може визначити, яку модель завантажив детектор; детектор з іншою моделлю оцінює інакше, і його пороги вимірюють заново.

Що зупиняє збірку

Кожен із цих випадків — це речення, яке друкує збірка, називаючи, що слід змінити:

  • Чутливість і поріг guard не узгоджуються. Задайте sensitivity: strict і залиште guard зі значенням за замовчуванням:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0010] instance router
    node "router": pipeline step failed
    [… omitted: the step, the template position and the template's own source]
    error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001
  • Guard не під’єднано. Видаліть блок uses шлюзу, що містить лише ребро guard, і збірка зупиниться, ще нічого не відрендеривши, і назве сокет:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router"
  • Модель, під’єднана до сокета models шлюзу. Її запис надсилався б до власної кінцевої точки цієї моделі з власним ключем її з’єднання, в обхід guard. Під’єднайте core/ai-model/openai до сокета як fast, з обліковими даними на з’єднанні, поряд із типізованим псевдонімом — задавши values.model: assistant, оскільки шлюз тоді обслуговує два псевдоніми й публікує один, і назвавши fast у Release, а його Recipe в Manifest, — і збірка зупиниться, ще нічого не відрендеривши, і назве з’єднання:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment
  • Облікові дані в слоті provider_key шлюзу. Їх було б пред’явлено guard і жодній моделі; натомість збірка називає слот upstream_key guard.

  • Інший guard. Сокет приймає будь-який компонент, чий prompt guard — це навчений класифікатор, а реалізація зупиняється на будь-якому, крім core/security/nemo-guardrails, на якому виміряно дві її чутливості, — а також на другому guard, під’єднаному до сокета.

  • Ціль, записана не як openai/<model>, яку шлюз адресував би guard через інший API.

  • core/semantic-caching на тому самому шлюзі. Кеш обчислює ембединг кожного запиту через псевдонім мапи, який надсилався б до guard, що не відповідає на жоден запит ембедингів; кеш нічого б не кешував.

  • Другий щит на шлюзі.

Коли захисник або детектор недоступні

Запит відхиляється, і до моделі нічого не доходить. Коли детектор недоступний, захисник відповідає на звичайний запит завершенням, що повідомляє про внутрішню помилку, а на потоковий — потоком без тексту. Коли недоступний захисник, шлюз відповідає помилкою. Ніщо в цій конфігурації не надсилає запит в обхід захисника, коли той дає збій.

Де компілятор не інтерпретує

Компілятор передає ім’я Service і порт guard у конфігурацію gateway, а поріг і адресу детектора — у конфігурацію guard, як рядки. Він не оцінює промпт, не знає, яку оцінку дасть класифікатор, і не звертається ні до guard, ні до детектора, ні до моделі. Кожну зупинку, описану вище, оголошують власні сутності каталогу — як твердження в реалізації щита або як перевірку в його кроці конвеєра, — і жодна з них не спирається на розуміння трафіку.

Адаптація прикладу

  • Суворіше. Задайте sensitivity: strict у прикріпленні та threshold: 0.001 у guard, разом.
  • Модель, яку ви запускаєте самі. Спрямуйте upstream_endpoint guard на кінцеву точку сервера моделі — core/ai-model/vllm публікує таку — і запишіть ціль псевдоніма як openai/<the name that server serves>.
  • Натомість шлюз NGINX. core/gateway/nginx оголошує той самий сокет guard, а prompt-injection-shield-nginx, на helm і на compose, спрямовує свою єдину location на guard замість її upstream. Задайте для guard upstream_endpoint на модель, яку називає сокет upstream шлюзу. Кожен запит на цій location надходить до guard, який обслуговує chat completions і відповідає 404 на інші маршрути моделі.