NeMo Guardrails перевіряє запити агента моделями NemoGuard від NVIDIA
Запити агента до моделі проходять через NVIDIA NeMo Guardrails, який перевіряє кожен із них двома моделями NemoGuard від NVIDIA — ліцензованими продуктами NVIDIA, для запуску яких потрібні ліцензія від NVIDIA, ключ API NGC і вузол із GPU.
Що потрібно
Дві моделі NemoGuard — це продукти NVIDIA, які ви запускаєте на умовах NVIDIA. Щоб розгорнути те, що збирає цей робочий простір, потрібні:
- Ліцензія від NVIDIA. Документація NVIDIA для кожного мікросервісу NemoGuard називає його передумовою «активну підписку на продукт NVIDIA AI Enterprise або членство в NVIDIA Developer Program» і зазначає, що доступ до контейнерів і моделей обмежено.
- Ключ API NGC, на який сутність Release посилається як на секрет. Контейнери NemoGuard завантажуються з реєстру NVIDIA,
nvcr.io, і кожен під час запуску отримує свою модель від NVIDIA за допомогою цього ключа. Сутність Release називає два Kubernetes Secret, що його містять, — один, з якого поди читають ключ, і другий, з яким кластер завантажує образи, — і жоден файл у цьому робочому просторі, як і ніщо, що записує збірка, не містить самого ключа. - Вузол із GPU. Кожен контейнер NemoGuard запитує GPU NVIDIA. NVIDIA зазначає, що моделі безпеки вмісту потрібно 48 ГБ пам’яті GPU на одному чи двох GPU.
Збірці нічого з цього не потрібно: вона компілює в маніфести Kubernetes без жодного ключа й не звертається ні до NVIDIA, ні до кластера.
Що він збирає
Агент запитує свою модель через ШІ-шлюз. Шлюз спершу спрямовує кожен запит до моделі через захисника, і захисник перевіряє останнє повідомлення користувача трьома способами, перш ніж переслати моделі те, що він пропускає: класифікатором prompt injection, моделлю безпеки вмісту від NVIDIA та класифікатором jailbreak від NVIDIA. Цей робочий простір компілює таку схему в маніфести Kubernetes.
Він показує, що ліцензований комерційний продукт надається так само, як продукт з відкритим кодом: сутність Component з каталогу, сутність Recipe, ребро uses і приєднання облікових даних, а ліцензію зазначено там, де читач обирає компонент. Він не створює жодної власної сутності каталогу; Aggregate, Manifest і Release — це все, що будь-хто пише.
| екземпляр | Component із каталогу | що це тут |
|---|---|---|
agent | core/ai-agent/langgraph | агент, власний образ застосунку сутності Release, що звертається до своєї моделі через шлюз |
checkpointer | core/datastore/valkey | де агент зберігає стан свого виконання |
router | core/gateway/litellm | ШІ-шлюз: один псевдонім, assistant, що надсилається до моделі через захисника |
guard | core/security/nemo-guardrails | сервер NVIDIA NeMo Guardrails на шляху до моделі |
detector | core/security/trustyai-huggingface-detector | класифікатор prompt injection, до якого звертається власний rail захисника |
safety | core/ai-model/nemoguard-content-safety | Llama 3.1 NemoGuard 8B ContentSafety від NVIDIA, що обслуговується своїм NIM |
jailbreak | core/security/nemoguard-jailbreak-detect | NemoGuard JailbreakDetect від NVIDIA, що обслуговується своїм NIM |
Ребра uses: сокет model агента — до шлюзу, а його сокет checkpointer_db — до сховища; сокет guard шлюзу — до захисника; сокети detector, content_safety і jailbreak_detection захисника — до трьох перевірок. Приєднання: shield — сутність Feature core/prompt-injection-shield, що ставить захисника на шлях шлюзу; upstream_key — облікові дані, які захисник пред’являє API моделі; і ngc_api_key на кожному компоненті NemoGuard.
Створення прикладу
Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.
Запишіть приклад у нову теку, названу за ним:
aggrega scaffold --example nemo-guardrails-nemoguard-nimsПотім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:
cd nemo-guardrails-nemoguard-nimsЗбирання
aggrega build --release release.yaml --auto-pullПерш ніж збирати release, йому потрібен lockfile, а lockfile-и генеруються, а не постачаються, тож у свіжому клоні їх немає. Спершу отримайте його або дозвольте збиранню його заповнити:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildЦей робочий простір знаходить сутності каталогу в реєстрі за замовчуванням, який називає .aggrega-config.yaml. Реалізація щита запускає один плагін, який не постачається ні з компілятором, ні з каталогом, — крок конфігурації шлюзу pipeline-step/litellm-gateway-config, який розв’язання завантажує з реєстру, названого в default_registry, — hub.aggrega.ai.
Збирання виводить таке (<workspace> позначає теку цього прикладу):
[… omitted: a line reporting on the gateway configuration step's plugin, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 18 files written to <workspace>/distСутність Release називає кожен образ, якого не називає каталог. Образ агента — це ваш власний застосунок. Образи захисника та детектора — копії збірок, які ви запускаєте, віддзеркалені в реєстр під вашим контролем. Два образи NemoGuard належать NVIDIA, і ви маєте право завантажувати їх за своєю ліцензією; каталог не називає жодного з них, а release.yaml записує кожен із тегом change-me. Збірка передає будь-який рядок, що там стоїть; замініть їх перед розгортанням.
З ШІ-асистентом
ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.
Використовуйте лише інструменти Aggrega і не створюйте жодної теки самостійно. Якщо тека Workspace ще не містить теки `nemo-guardrails-nemoguard-nims`, викличте один раз інструмент `scaffold`, задавши для `example` значення `nemo-guardrails-nemoguard-nims` і не задаючи `dir`: він запише приклад у нову теку `nemo-guardrails-nemoguard-nims`. Потім викличте інструмент `build`, задавши для `workspace_root` значення `nemo-guardrails-nemoguard-nims`, для `release` — `release.yaml`, для `auto_pull` — true і для `write` — true. Скажіть мені, які файли записала збірка; вони розташовані в `nemo-guardrails-nemoguard-nims/dist/`.Згенероване дерево
dist/helm/├── agent-deployment.yaml├── checkpointer-default-service.yaml├── checkpointer-deployment.yaml├── detector-default-service.yaml├── detector-deployment.yaml├── guard-default-service.yaml├── guard-deployment.yaml├── guard/│ └── nemo-guardrails-config.configmap.yaml├── jailbreak-default-service.yaml├── jailbreak-headless-service.yaml├── jailbreak-statefulset.yaml├── router-default-service.yaml├── router-deployment.yaml├── router/│ ├── litellm-gateway-config/│ │ └── configmap.yaml│ └── request-guard/│ └── request-guard.yaml├── safety-default-service.yaml├── safety-headless-service.yaml└── safety-statefulset.yamlСеред них немає жодного Secret. Кожні облікові дані приєднано як core/referenced-secret, а сутність Manifest прив’язує їх до helm/k8s-existing-secret, який спрямовує робоче навантаження на Secret, що вже існує в просторі імен, і сам нічого не рендерить.
Ключ як посилання
Aggregate записує лише те, у якому місці об’єкта Secret міститься ключ, — ключ даних NGC_API_KEY; Release називає об’єкт Secret, ngc-api-key, і об’єкт Secret, з яким завантажуються образи, ngc-registry. У файлі dist/helm/safety-statefulset.yaml, і так само у файлі класифікатора джейлбрейків:
env: - name: NGC_API_KEY valueFrom: secretKeyRef: name: ngc-api-key key: NGC_API_KEY imagePullSecrets: - name: ngc-registryПеред розгортанням створіть обидва об’єкти Secret у цільовому просторі імен: ngc-api-key, що зберігає ключ під NGC_API_KEY, і ngc-registry — Secret для завантаження образів із nvcr.io, який входить за допомогою цього ключа. Облікові дані захисного сервісу для висхідного постачальника названо так само: це Secret upstream-provider-key, що зберігає ключ API моделі під upstream-key.
Release не може записати сам ключ на його місці. Блок values: у приєднанні в сутності Release відхиляється під час завантаження документа, оскільки те, що Release записує там, належить операторові, а values належать розробникові. Замініть блок infra: у ngc_api_key компонента safety на values:, що містить origin, і збірка виведе раніше за все інше:
[OPS_ERROR E0215] release.yaml document envelope validation failed (Release, at release.yaml); 66:11: spec.components.safety.features.ngc_api_key.values: against /$defs/boundary_component: unexpected property: "values". correct the document to match its kind's schemaЄдиний рядок, який сутність Release таки записує, — ім’я об’єкта Secret — публікується точно так, як його записано: збірка не може відрізнити ім’я від ключа, тож ключ, введений там, де має стояти ім’я, з’явився б у маніфесті як це ім’я. Граф, який друкує aggrega build --ir-graph, у будь-якому разі приховує його, бо origin оголошено чутливим.
Що робить захисник
Конфігурація захисного сервісу, тобто ключ config.yaml у dist/helm/guard/nemo-guardrails-config.configmap.yaml, аж до його промптів:
models: - type: main engine: openai model: named-by-each-request api_key_env_var: UPSTREAM_API_KEY - type: content_safety engine: openai model: "llama-3.1-nemoguard-8b-content-safety" parameters: base_url: "http://safety-default:8000/v1" api_key: EMPTYpassthrough: truerails: config: hf_classifier: prompt_injection: engine: fms model: "protectai/deberta-v3-base-prompt-injection-v2" base_url: "http://detector-default:8000" threshold: 0.5 blocked_labels: ["INJECTION"] jailbreak_detection: nim_base_url: "http://jailbreak-default:8000/v1/" nim_server_endpoint: classify input: flows: - hf classifier check input $classifier=prompt_injection - jailbreak detection model - content safety check input $model=content_safetyДля кожного запиту чату захисний сервіс запускає три вхідні обмежувачі для останнього повідомлення користувача в цьому порядку й відхиляє запит, коли будь-який із них це робить:
- Класифікатор ін’єкцій промптів відхиляє, коли детектор повідомляє
INJECTIONзі значенням0.5або вище. - Класифікатор джейлбрейків відхиляє, коли класифікатор NVIDIA відповідає, що повідомлення є спробою джейлбрейку. Захисний сервіс надсилає повідомлення на свій маршрут
classify; жоден ключ не налаштовано, оскільки сервіс усередині кластера його не вимагає. - Модель безпеки вмісту відхиляє, коли оцінює повідомлення як небезпечне. Захисний сервіс оголошує її як модель, доступну через OpenAI-сумісний API, який надає NIM, за кінцевою точкою та під назвою моделі, які публікує ребро
safety, а її промпт — рештаconfig.yaml— це той, що наводить документація NeMo Guardrails від NVIDIA для цієї моделі: він перелічує її категорії шкоди й зчитується парсером, який NeMo Guardrails надає для її вердикту.
На відхилений запит відповідає сам захисний сервіс — текстом I’m sorry, I can’t respond to that. — і ніщо з нього не доходить до моделі. Конфігурація захисного сервісу також містить потік rails.co, який запускає вхідні обмежувачі незалежно від того, що просить тіло запиту.
values.model у safety — це назва, на яку відповідає NIM безпеки вмісту і яку NIM бере з власного маніфесту моделі; його список моделей, /v1/models, показує її на запущеному сервері. Захисний сервіс надсилає її з кожною перевіркою, тож вони мають збігатися.
Чого він не робить
- Він оцінює лише останнє повідомлення користувача. Спроба, розміщена в системному повідомленні, у попередньому ході розмови чи в результаті інструмента, доходить до моделі неперевіреною, і ні відповідь моделі, ні аргументи викликів інструментів, ні зображення не оцінюються.
- Кожен вердикт виносить модель. Три перевірки пропускають деякі шкідливі чи маніпулятивні запити й відхиляють деякі звичайні.
- Обмежувач джейлбрейків у разі збою пропускає запити. NVIDIA документує, що коли класифікатор джейлбрейків недоступний, перевищує час очікування або відповідає помилкою, обмежувач пропускає запит і нічого не повідомляє стороні, що викликає. Дві інші перевірки все одно виконуються. Обмежувач ін’єкцій промптів відхиляє запит, коли його детектор недоступний.
- Він охоплює лише трафік, що проходить через шлюз. Робоче навантаження, яке звертається до адреси моделі напряму, оминає його. Захисний сервіс і три перевірки не автентифікують жодної сторони, що викликає, тож їхні Services — це адреси для компонентів, які їх викликають, а не адреси для публікації.
- Його роботу тут не доведено. Конфігурація — це та, яку описує документація NVIDIA, скомпільована заздалегідь; ніщо в цьому робочому просторі не запускало контейнери NemoGuard.
Що зупиняє збірку
Recipe захисного сервісу перевіряє, що містять його сокети NemoGuard. Зробіть safety звичайним core/ai-model/nvidia-nim — його тип у сутності Aggregate і його рядок у сутності Manifest, — і збірка зупиниться, нічого не записавши:
[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0364] instance guard rendering node "guard" caused by: [CATALOG_ERROR] nemo-guardrails-config.configmap.yaml artifact "nemo-guardrails-config.configmap.yaml" template eval caused by: [CATALOG_ERROR] artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml] template "artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml]" execute caused by (2): a value template failed while it ran --- [… omitted: the template position and the template's own source]: error calling fail: the guard's content_safety socket is wired to "safety", a core/ai-model/nvidia-nim, but the content-safety rail's prompt and verdict parser are NVIDIA's for core/ai-model/nemoguard-content-safety, which another model answers in a shape the parser does not read; wire a core/ai-model/nemoguard-content-safety to content_safetyСокет jailbreak_detection так само приймає core/security/nemoguard-jailbreak-detect і нічого іншого, а кожен сокет приймає одну ціль. Власні зупинки щита — ті самі, що й у ai-gateway-prompt-injection-shield, який будує той самий шлюз і захисний сервіс без перевірок NemoGuard.
Де компілятор не інтерпретує
Компілятор передає назви Service і порти NIM у конфігурацію захисного сервісу, а назви об’єктів Secret — у поди, як рядки. Він не завантажує образ, не отримує модель і не читає ключ, а також не звертається до NVIDIA, захисного сервісу чи моделі. Кожну зупинку вище оголошують власні сутності каталогу.
Адаптація прикладу
- Без моделі безпеки вмісту. Вилучіть компонент
safetyі реброcontent_safetyзахисного сервісу; тоді конфігурація захисного сервісу не містить такої моделі, обмежувача чи промпту. Класифікатор джейлбрейків вилучається так само. - Модель, яку ви запускаєте самі. Спрямуйте
upstream_endpointguard на кінцеву точку сервера моделі —core/ai-model/vllmпублікує таку — і запишіть ціль псевдоніма якopenai/<the name that server serves>. - Більші GPU або два GPU. Кожен компонент NemoGuard приймає
infra.gpu.count, а такожinfra.gpu.runtime_class, якщо кластер вибирає своє середовище виконання GPU за класом.