NeMo Guardrails memeriksa permintaan agen dengan model NemoGuard milik NVIDIA
Permintaan model dari sebuah agen melewati NVIDIA NeMo Guardrails, yang memeriksa setiap permintaan dengan dua model NemoGuard milik NVIDIA, produk NVIDIA berlisensi yang memerlukan lisensi dari NVIDIA, kunci API NGC, dan node GPU untuk dijalankan.
Yang diperlukan
Kedua model NemoGuard adalah produk NVIDIA yang Anda jalankan berdasarkan ketentuan NVIDIA. Men-deploy apa yang dibangun workspace ini memerlukan:
- Lisensi dari NVIDIA. Dokumentasi NVIDIA untuk setiap layanan mikro NemoGuard menyebutkan prasyaratnya sebagai “langganan aktif ke produk NVIDIA AI Enterprise atau menjadi anggota NVIDIA Developer Program”, dan menyatakan bahwa akses ke kontainer dan model dibatasi.
- Kunci API NGC, yang dirujuk oleh Release sebagai secret. Kontainer NemoGuard ditarik dari registry NVIDIA,
nvcr.io, dan masing-masing mengambil modelnya dari NVIDIA dengan kunci tersebut saat dimulai. Release menyebutkan dua Kubernetes Secret yang menyimpannya — satu tempat pod membaca kunci, satu lagi yang dipakai klaster untuk menarik image — dan tidak ada file di workspace ini, maupun apa pun yang ditulis build, yang menyimpan kunci itu sendiri. - Node GPU. Setiap kontainer NemoGuard meminta satu GPU NVIDIA. NVIDIA menyatakan bahwa model keamanan konten memerlukan memori GPU 48 GB, pada satu atau dua GPU.
Build tidak memerlukan satu pun dari semua ini: build mengompilasi ke manifes Kubernetes tanpa kunci apa pun, dan tidak menghubungi NVIDIA maupun klaster.
Apa yang dibangunnya
Sebuah agen meminta modelnya melalui gateway AI. Gateway mengirim setiap permintaan model melalui sebuah guard terlebih dahulu, dan guard memeriksa pesan pengguna terbaru dengan tiga cara sebelum meneruskan apa yang diterimanya ke model: dengan pengklasifikasi prompt injection, dengan model keamanan konten milik NVIDIA, dan dengan pengklasifikasi jailbreak milik NVIDIA. Workspace ini mengompilasi susunan tersebut menjadi manifes Kubernetes.
Contoh ini menunjukkan bahwa produk komersial berlisensi disediakan dengan cara yang sama seperti produk open source: sebuah Component katalog, sebuah Recipe, sebuah edge uses, dan sebuah lampiran kredensial, dengan lisensi dinyatakan di tempat pembaca memilih komponen. Contoh ini tidak menulis entitas katalog sendiri; Aggregate, Manifest, dan Release adalah keseluruhan yang ditulis siapa pun.
| instans | Component katalog | perannya di sini |
|---|---|---|
agent | core/ai-agent/langgraph | agen, image aplikasi milik Release itu sendiri, yang menjangkau modelnya melalui gateway |
checkpointer | core/datastore/valkey | tempat agen menyimpan status run-nya |
router | core/gateway/litellm | gateway AI: satu alias, assistant, dikirim ke model melalui guard |
guard | core/security/nemo-guardrails | server NVIDIA NeMo Guardrails di jalur model |
detector | core/security/trustyai-huggingface-detector | pengklasifikasi prompt injection yang ditanyai oleh rail milik guard itu sendiri |
safety | core/ai-model/nemoguard-content-safety | Llama 3.1 NemoGuard 8B ContentSafety milik NVIDIA, dilayani oleh NIM-nya |
jailbreak | core/security/nemoguard-jailbreak-detect | NemoGuard JailbreakDetect milik NVIDIA, dilayani oleh NIM-nya |
Edge uses: socket model milik agen ke gateway dan socket checkpointer_db-nya ke store; socket guard milik gateway ke guard; serta socket detector, content_safety, dan jailbreak_detection milik guard ke tiga pemeriksaan. Lampiran: shield, yaitu Feature core/prompt-injection-shield yang menempatkan guard di jalur gateway; upstream_key, kredensial yang diserahkan guard ke API model; dan ngc_api_key pada setiap komponen NemoGuard.
Membuat contoh
Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.
Tulis contoh ke folder baru yang dinamai sesuai contoh itu:
aggrega scaffold --example nemo-guardrails-nemoguard-nimsKemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:
cd nemo-guardrails-nemoguard-nimsBuild
aggrega build --release release.yaml --auto-pullSebuah release memerlukan lockfile sebelum di-build, dan lockfile dihasilkan alih-alih disertakan, sehingga clone baru tidak memilikinya. Resolusikan satu terlebih dahulu, atau biarkan build mengisinya:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildWorkspace ini me-resolve entitas katalog dari registry default yang disebut .aggrega-config.yaml. Realisasi shield menjalankan satu plugin yang tidak disertakan baik dalam compiler maupun dalam katalog, yaitu langkah konfigurasi gateway pipeline-step/litellm-gateway-config, yang diambil oleh proses resolusi dari registry yang dinamai oleh default_registry, yaitu hub.aggrega.ai.
Build mencetak keluaran berikut, dengan <workspace> mewakili folder contoh ini:
[… omitted: a line reporting on the gateway configuration step's plugin, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 18 files written to <workspace>/distRelease menyebutkan setiap image yang tidak disebutkan katalog. Image agen adalah aplikasi Anda sendiri. Image guard dan detektor adalah salinan build yang Anda jalankan, di-mirror ke registry yang Anda kendalikan. Kedua image NemoGuard adalah milik NVIDIA, yang berhak Anda tarik berdasarkan lisensi Anda; katalog tidak menyebutkan satu pun di antaranya, dan release.yaml menulis masing-masing dengan tag change-me. Build meneruskan string apa pun yang ada di sana; ganti semuanya sebelum melakukan deploy.
Dengan asisten AI
Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.
Gunakan hanya alat Aggrega, dan jangan membuat folder sendiri. Jika folder Workspace belum berisi folder `nemo-guardrails-nemoguard-nims`, panggil alat `scaffold` sekali dengan `example` diatur ke `nemo-guardrails-nemoguard-nims` dan tanpa `dir`: alat ini menulis contoh ke folder `nemo-guardrails-nemoguard-nims` yang baru. Kemudian panggil alat `build` dengan `workspace_root` diatur ke `nemo-guardrails-nemoguard-nims`, `release` diatur ke `release.yaml`, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file apa saja yang ditulis build tersebut; file-file itu ada di bawah `nemo-guardrails-nemoguard-nims/dist/`.Pohon hasil render
dist/helm/├── agent-deployment.yaml├── checkpointer-default-service.yaml├── checkpointer-deployment.yaml├── detector-default-service.yaml├── detector-deployment.yaml├── guard-default-service.yaml├── guard-deployment.yaml├── guard/│ └── nemo-guardrails-config.configmap.yaml├── jailbreak-default-service.yaml├── jailbreak-headless-service.yaml├── jailbreak-statefulset.yaml├── router-default-service.yaml├── router-deployment.yaml├── router/│ ├── litellm-gateway-config/│ │ └── configmap.yaml│ └── request-guard/│ └── request-guard.yaml├── safety-default-service.yaml├── safety-headless-service.yaml└── safety-statefulset.yamlTidak ada Secret di antaranya. Setiap kredensial dilampirkan sebagai core/referenced-secret, dan Manifest mengikatnya ke helm/k8s-existing-secret, yang mengarahkan beban kerja ke Secret yang sudah ada di namespace dan tidak merender apa pun dari dirinya sendiri.
Kunci, sebagai referensi
Aggregate hanya menuliskan di mana letak kunci di dalam sebuah Secret, yaitu kunci data NGC_API_KEY; Release menamai Secret tersebut, ngc-api-key, serta Secret yang digunakan untuk menarik image, ngc-registry. Di dist/helm/safety-statefulset.yaml, dan demikian pula di berkas milik pengklasifikasi jailbreak:
env: - name: NGC_API_KEY valueFrom: secretKeyRef: name: ngc-api-key key: NGC_API_KEY imagePullSecrets: - name: ngc-registrySebelum melakukan penerapan, buat kedua Secret di namespace target: ngc-api-key yang menyimpan kunci di bawah NGC_API_KEY, dan ngc-registry, Secret image-pull untuk nvcr.io yang melakukan login dengan kunci tersebut. Kredensial upstream milik penjaga dinamai dengan cara yang sama, sebagai Secret upstream-provider-key yang menyimpan kunci API model di bawah upstream-key.
Release tidak dapat menuliskan kunci itu sendiri di tempatnya. Blok values: pada sebuah lampiran di Release ditolak saat dokumen dimuat, karena apa yang ditulis Release di sana adalah milik operator, sedangkan values adalah milik pengembang. Ganti blok infra: dari ngc_api_key milik komponen safety dengan values: yang berisi origin, maka build mencetak, sebelum apa pun:
[OPS_ERROR E0215] release.yaml document envelope validation failed (Release, at release.yaml); 66:11: spec.components.safety.features.ngc_api_key.values: against /$defs/boundary_component: unexpected property: "values". correct the document to match its kind's schemaSatu-satunya string yang memang ditulis oleh Release, yaitu nama sebuah Secret, dipublikasikan persis seperti yang ditulis: proses build tidak dapat membedakan nama dari kunci, sehingga kunci yang diketik di tempat nama akan muncul di manifes sebagai nama tersebut. Graf yang dicetak oleh aggrega build --ir-graph tetap menyembunyikannya dalam kedua kasus, karena origin dideklarasikan sebagai sensitif.
Apa yang dilakukan guard
Konfigurasi penjaga, yaitu kunci config.yaml dari dist/helm/guard/nemo-guardrails-config.configmap.yaml, hingga bagian prompt-nya:
models: - type: main engine: openai model: named-by-each-request api_key_env_var: UPSTREAM_API_KEY - type: content_safety engine: openai model: "llama-3.1-nemoguard-8b-content-safety" parameters: base_url: "http://safety-default:8000/v1" api_key: EMPTYpassthrough: truerails: config: hf_classifier: prompt_injection: engine: fms model: "protectai/deberta-v3-base-prompt-injection-v2" base_url: "http://detector-default:8000" threshold: 0.5 blocked_labels: ["INJECTION"] jailbreak_detection: nim_base_url: "http://jailbreak-default:8000/v1/" nim_server_endpoint: classify input: flows: - hf classifier check input $classifier=prompt_injection - jailbreak detection model - content safety check input $model=content_safetyUntuk setiap permintaan chat, penjaga menjalankan tiga rail input pada pesan pengguna terbaru, dengan urutan tersebut, dan menolak permintaan ketika salah satu di antaranya menolak:
- Pengklasifikasi injeksi prompt menolak ketika detektor melaporkan
INJECTIONpada atau di atas0.5. - Pengklasifikasi jailbreak menolak ketika pengklasifikasi NVIDIA menjawab bahwa pesan tersebut adalah upaya jailbreak. Penjaga mengirimkan pesan ke rute
classifymiliknya; tidak ada kunci yang dikonfigurasi, karena layanan di dalam klaster tidak meminta kunci apa pun. - Model keamanan konten menolak ketika model tersebut menilai pesan tidak aman. Penjaga mendeklarasikannya sebagai model yang dijangkau melalui API yang kompatibel dengan OpenAI yang disajikan NIM, pada endpoint dan dengan nama model yang dipublikasikan edge
safety, dan prompt-nya — sisaconfig.yaml— adalah prompt yang diberikan dokumentasi NeMo Guardrails dari NVIDIA untuk model ini, yang mencantumkan kategori bahayanya, dan dibaca dengan parser yang disediakan NeMo Guardrails untuk verdiknya.
Permintaan yang ditolak dijawab oleh penjaga itu sendiri, dengan I’m sorry, I can’t respond to that., dan tidak ada bagiannya yang mencapai model. Konfigurasi penjaga juga membawa sebuah flow, rails.co, yang menjalankan rail input terlepas dari apa yang diminta badan permintaan.
values.model pada safety adalah nama yang dijawab oleh NIM keamanan konten, yang diambil NIM dari manifest modelnya sendiri; daftar modelnya, /v1/models, menampilkannya di server yang sedang berjalan. Penjaga mengirimkannya pada setiap pemeriksaan, sehingga keduanya harus sesuai.
Yang tidak dilakukannya
- Hanya pesan pengguna terbaru yang dinilai. Upaya yang ditempatkan dalam pesan sistem, giliran sebelumnya, atau hasil alat mencapai model tanpa diperiksa, dan baik balasan model, argumen pemanggilan alat, maupun gambar tidak dinilai.
- Setiap verdik berasal dari model. Ketiga pemeriksaan melewatkan sebagian permintaan yang berbahaya atau manipulatif dan menolak sebagian permintaan biasa.
- Rail jailbreak meloloskan permintaan saat gagal. NVIDIA mendokumentasikan bahwa ketika pengklasifikasi jailbreak tidak dapat dijangkau, kehabisan waktu, atau menjawab dengan galat, rail tersebut meloloskan permintaan dan tidak melaporkan apa pun kepada pemanggil. Dua pemeriksaan lainnya tetap berjalan. Rail injeksi prompt menolak permintaan ketika detektornya tidak dapat dijangkau.
- Hanya mencakup lalu lintas yang melewati gateway. Beban kerja yang memanggil alamat model secara langsung akan memintasnya. Penjaga dan ketiga pemeriksaan tidak mengautentikasi pemanggil mana pun, sehingga Services miliknya adalah alamat untuk komponen yang memanggilnya, bukan alamat untuk dipublikasikan.
- Belum terbukti berjalan di sini. Konfigurasinya adalah yang dijelaskan dokumentasi NVIDIA, dikompilasi lebih dahulu; tidak ada apa pun di workspace ini yang pernah menjalankan kontainer NemoGuard.
Yang menghentikan build
Recipe milik penjaga memeriksa apa yang ditampung socket NemoGuard-nya. Jadikan safety sebuah core/ai-model/nvidia-nim biasa — tipenya di Aggregate dan barisnya di Manifest — maka build berhenti, tanpa menulis apa pun:
[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0364] instance guard rendering node "guard" caused by: [CATALOG_ERROR] nemo-guardrails-config.configmap.yaml artifact "nemo-guardrails-config.configmap.yaml" template eval caused by: [CATALOG_ERROR] artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml] template "artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml]" execute caused by (2): a value template failed while it ran --- [… omitted: the template position and the template's own source]: error calling fail: the guard's content_safety socket is wired to "safety", a core/ai-model/nvidia-nim, but the content-safety rail's prompt and verdict parser are NVIDIA's for core/ai-model/nemoguard-content-safety, which another model answers in a shape the parser does not read; wire a core/ai-model/nemoguard-content-safety to content_safetySocket jailbreak_detection dengan cara yang sama hanya menerima core/security/nemoguard-jailbreak-detect dan tidak ada yang lain, dan setiap socket menerima satu target. Penghentian milik perisai itu sendiri adalah penghentian dari ai-gateway-prompt-injection-shield, yang membangun gateway dan penjaga yang sama tanpa pemeriksaan NemoGuard.
Bagian yang tidak ditafsirkan oleh kompiler
Kompiler menyalurkan nama Service dan port milik NIM ke dalam konfigurasi penjaga, dan nama Secret ke dalam pod, sebagai string. Kompiler tidak menarik image, tidak mengambil model atau membaca kunci, dan tidak menghubungi NVIDIA, penjaga, maupun model. Setiap penghentian di atas dideklarasikan oleh entitas milik katalog itu sendiri.
Menyesuaikannya
- Tanpa model keamanan konten. Hapus komponen
safetydan edgecontent_safetymilik penjaga; konfigurasi penjaga kemudian tidak membawa model, rail, atau prompt semacam itu. Pengklasifikasi jailbreak dihapus dengan cara yang sama. - Model yang Anda jalankan sendiri. Arahkan
upstream_endpointmilik guard ke endpoint server model —core/ai-model/vllmmenerbitkan satu — dan tulis target alias sebagaiopenai/<the name that server serves>. - GPU yang lebih besar atau dua GPU. Setiap komponen NemoGuard menerima
infra.gpu.count, sertainfra.gpu.runtime_classjika klaster memilih runtime GPU-nya berdasarkan kelas.