Lewati ke konten
AggregaAggrega
Pilih Bahasa: Bahasa Indonesia
Halaman ini diterjemahkan oleh mesin. Baca versi asli dalam bahasa Inggris.

NeMo Guardrails memeriksa permintaan agen dengan model NemoGuard milik NVIDIA

Permintaan model dari sebuah agen melewati NVIDIA NeMo Guardrails, yang memeriksa setiap permintaan dengan dua model NemoGuard milik NVIDIA, produk NVIDIA berlisensi yang memerlukan lisensi dari NVIDIA, kunci API NGC, dan node GPU untuk dijalankan.

Yang diperlukan

Kedua model NemoGuard adalah produk NVIDIA yang Anda jalankan berdasarkan ketentuan NVIDIA. Men-deploy apa yang dibangun workspace ini memerlukan:

  • Lisensi dari NVIDIA. Dokumentasi NVIDIA untuk setiap layanan mikro NemoGuard menyebutkan prasyaratnya sebagai “langganan aktif ke produk NVIDIA AI Enterprise atau menjadi anggota NVIDIA Developer Program”, dan menyatakan bahwa akses ke kontainer dan model dibatasi.
  • Kunci API NGC, yang dirujuk oleh Release sebagai secret. Kontainer NemoGuard ditarik dari registry NVIDIA, nvcr.io, dan masing-masing mengambil modelnya dari NVIDIA dengan kunci tersebut saat dimulai. Release menyebutkan dua Kubernetes Secret yang menyimpannya — satu tempat pod membaca kunci, satu lagi yang dipakai klaster untuk menarik image — dan tidak ada file di workspace ini, maupun apa pun yang ditulis build, yang menyimpan kunci itu sendiri.
  • Node GPU. Setiap kontainer NemoGuard meminta satu GPU NVIDIA. NVIDIA menyatakan bahwa model keamanan konten memerlukan memori GPU 48 GB, pada satu atau dua GPU.

Build tidak memerlukan satu pun dari semua ini: build mengompilasi ke manifes Kubernetes tanpa kunci apa pun, dan tidak menghubungi NVIDIA maupun klaster.

Apa yang dibangunnya

Sebuah agen meminta modelnya melalui gateway AI. Gateway mengirim setiap permintaan model melalui sebuah guard terlebih dahulu, dan guard memeriksa pesan pengguna terbaru dengan tiga cara sebelum meneruskan apa yang diterimanya ke model: dengan pengklasifikasi prompt injection, dengan model keamanan konten milik NVIDIA, dan dengan pengklasifikasi jailbreak milik NVIDIA. Workspace ini mengompilasi susunan tersebut menjadi manifes Kubernetes.

Contoh ini menunjukkan bahwa produk komersial berlisensi disediakan dengan cara yang sama seperti produk open source: sebuah Component katalog, sebuah Recipe, sebuah edge uses, dan sebuah lampiran kredensial, dengan lisensi dinyatakan di tempat pembaca memilih komponen. Contoh ini tidak menulis entitas katalog sendiri; Aggregate, Manifest, dan Release adalah keseluruhan yang ditulis siapa pun.

instansComponent katalogperannya di sini
agentcore/ai-agent/langgraphagen, image aplikasi milik Release itu sendiri, yang menjangkau modelnya melalui gateway
checkpointercore/datastore/valkeytempat agen menyimpan status run-nya
routercore/gateway/litellmgateway AI: satu alias, assistant, dikirim ke model melalui guard
guardcore/security/nemo-guardrailsserver NVIDIA NeMo Guardrails di jalur model
detectorcore/security/trustyai-huggingface-detectorpengklasifikasi prompt injection yang ditanyai oleh rail milik guard itu sendiri
safetycore/ai-model/nemoguard-content-safetyLlama 3.1 NemoGuard 8B ContentSafety milik NVIDIA, dilayani oleh NIM-nya
jailbreakcore/security/nemoguard-jailbreak-detectNemoGuard JailbreakDetect milik NVIDIA, dilayani oleh NIM-nya

Edge uses: socket model milik agen ke gateway dan socket checkpointer_db-nya ke store; socket guard milik gateway ke guard; serta socket detector, content_safety, dan jailbreak_detection milik guard ke tiga pemeriksaan. Lampiran: shield, yaitu Feature core/prompt-injection-shield yang menempatkan guard di jalur gateway; upstream_key, kredensial yang diserahkan guard ke API model; dan ngc_api_key pada setiap komponen NemoGuard.

Membuat contoh

Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.

Tulis contoh ke folder baru yang dinamai sesuai contoh itu:

Terminal window
aggrega scaffold --example nemo-guardrails-nemoguard-nims

Kemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:

Terminal window
cd nemo-guardrails-nemoguard-nims

Build

Terminal window
aggrega build --release release.yaml --auto-pull

Sebuah release memerlukan lockfile sebelum di-build, dan lockfile dihasilkan alih-alih disertakan, sehingga clone baru tidak memilikinya. Resolusikan satu terlebih dahulu, atau biarkan build mengisinya:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Workspace ini me-resolve entitas katalog dari registry default yang disebut .aggrega-config.yaml. Realisasi shield menjalankan satu plugin yang tidak disertakan baik dalam compiler maupun dalam katalog, yaitu langkah konfigurasi gateway pipeline-step/litellm-gateway-config, yang diambil oleh proses resolusi dari registry yang dinamai oleh default_registry, yaitu hub.aggrega.ai.

Build mencetak keluaran berikut, dengan <workspace> mewakili folder contoh ini:

[… omitted: a line reporting on the gateway configuration step's plugin, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 18 files written to <workspace>/dist

Release menyebutkan setiap image yang tidak disebutkan katalog. Image agen adalah aplikasi Anda sendiri. Image guard dan detektor adalah salinan build yang Anda jalankan, di-mirror ke registry yang Anda kendalikan. Kedua image NemoGuard adalah milik NVIDIA, yang berhak Anda tarik berdasarkan lisensi Anda; katalog tidak menyebutkan satu pun di antaranya, dan release.yaml menulis masing-masing dengan tag change-me. Build meneruskan string apa pun yang ada di sana; ganti semuanya sebelum melakukan deploy.

Dengan asisten AI

Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.

Gunakan hanya alat Aggrega, dan jangan membuat folder sendiri. Jika folder Workspace belum berisi folder `nemo-guardrails-nemoguard-nims`, panggil alat `scaffold` sekali dengan `example` diatur ke `nemo-guardrails-nemoguard-nims` dan tanpa `dir`: alat ini menulis contoh ke folder `nemo-guardrails-nemoguard-nims` yang baru. Kemudian panggil alat `build` dengan `workspace_root` diatur ke `nemo-guardrails-nemoguard-nims`, `release` diatur ke `release.yaml`, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file apa saja yang ditulis build tersebut; file-file itu ada di bawah `nemo-guardrails-nemoguard-nims/dist/`.

Pohon hasil render

dist/helm/
├── agent-deployment.yaml
├── checkpointer-default-service.yaml
├── checkpointer-deployment.yaml
├── detector-default-service.yaml
├── detector-deployment.yaml
├── guard-default-service.yaml
├── guard-deployment.yaml
├── guard/
│ └── nemo-guardrails-config.configmap.yaml
├── jailbreak-default-service.yaml
├── jailbreak-headless-service.yaml
├── jailbreak-statefulset.yaml
├── router-default-service.yaml
├── router-deployment.yaml
├── router/
│ ├── litellm-gateway-config/
│ │ └── configmap.yaml
│ └── request-guard/
│ └── request-guard.yaml
├── safety-default-service.yaml
├── safety-headless-service.yaml
└── safety-statefulset.yaml

Tidak ada Secret di antaranya. Setiap kredensial dilampirkan sebagai core/referenced-secret, dan Manifest mengikatnya ke helm/k8s-existing-secret, yang mengarahkan beban kerja ke Secret yang sudah ada di namespace dan tidak merender apa pun dari dirinya sendiri.

Kunci, sebagai referensi

Aggregate hanya menuliskan di mana letak kunci di dalam sebuah Secret, yaitu kunci data NGC_API_KEY; Release menamai Secret tersebut, ngc-api-key, serta Secret yang digunakan untuk menarik image, ngc-registry. Di dist/helm/safety-statefulset.yaml, dan demikian pula di berkas milik pengklasifikasi jailbreak:

env:
- name: NGC_API_KEY
valueFrom:
secretKeyRef:
name: ngc-api-key
key: NGC_API_KEY
imagePullSecrets:
- name: ngc-registry

Sebelum melakukan penerapan, buat kedua Secret di namespace target: ngc-api-key yang menyimpan kunci di bawah NGC_API_KEY, dan ngc-registry, Secret image-pull untuk nvcr.io yang melakukan login dengan kunci tersebut. Kredensial upstream milik penjaga dinamai dengan cara yang sama, sebagai Secret upstream-provider-key yang menyimpan kunci API model di bawah upstream-key.

Release tidak dapat menuliskan kunci itu sendiri di tempatnya. Blok values: pada sebuah lampiran di Release ditolak saat dokumen dimuat, karena apa yang ditulis Release di sana adalah milik operator, sedangkan values adalah milik pengembang. Ganti blok infra: dari ngc_api_key milik komponen safety dengan values: yang berisi origin, maka build mencetak, sebelum apa pun:

[OPS_ERROR E0215] release.yaml
document envelope validation failed (Release, at release.yaml); 66:11: spec.components.safety.features.ngc_api_key.values: against /$defs/boundary_component: unexpected property: "values". correct the document to match its kind's schema

Satu-satunya string yang memang ditulis oleh Release, yaitu nama sebuah Secret, dipublikasikan persis seperti yang ditulis: proses build tidak dapat membedakan nama dari kunci, sehingga kunci yang diketik di tempat nama akan muncul di manifes sebagai nama tersebut. Graf yang dicetak oleh aggrega build --ir-graph tetap menyembunyikannya dalam kedua kasus, karena origin dideklarasikan sebagai sensitif.

Apa yang dilakukan guard

Konfigurasi penjaga, yaitu kunci config.yaml dari dist/helm/guard/nemo-guardrails-config.configmap.yaml, hingga bagian prompt-nya:

models:
- type: main
engine: openai
model: named-by-each-request
api_key_env_var: UPSTREAM_API_KEY
- type: content_safety
engine: openai
model: "llama-3.1-nemoguard-8b-content-safety"
parameters:
base_url: "http://safety-default:8000/v1"
api_key: EMPTY
passthrough: true
rails:
config:
hf_classifier:
prompt_injection:
engine: fms
model: "protectai/deberta-v3-base-prompt-injection-v2"
base_url: "http://detector-default:8000"
threshold: 0.5
blocked_labels: ["INJECTION"]
jailbreak_detection:
nim_base_url: "http://jailbreak-default:8000/v1/"
nim_server_endpoint: classify
input:
flows:
- hf classifier check input $classifier=prompt_injection
- jailbreak detection model
- content safety check input $model=content_safety

Untuk setiap permintaan chat, penjaga menjalankan tiga rail input pada pesan pengguna terbaru, dengan urutan tersebut, dan menolak permintaan ketika salah satu di antaranya menolak:

  • Pengklasifikasi injeksi prompt menolak ketika detektor melaporkan INJECTION pada atau di atas 0.5.
  • Pengklasifikasi jailbreak menolak ketika pengklasifikasi NVIDIA menjawab bahwa pesan tersebut adalah upaya jailbreak. Penjaga mengirimkan pesan ke rute classify miliknya; tidak ada kunci yang dikonfigurasi, karena layanan di dalam klaster tidak meminta kunci apa pun.
  • Model keamanan konten menolak ketika model tersebut menilai pesan tidak aman. Penjaga mendeklarasikannya sebagai model yang dijangkau melalui API yang kompatibel dengan OpenAI yang disajikan NIM, pada endpoint dan dengan nama model yang dipublikasikan edge safety, dan prompt-nya — sisa config.yaml — adalah prompt yang diberikan dokumentasi NeMo Guardrails dari NVIDIA untuk model ini, yang mencantumkan kategori bahayanya, dan dibaca dengan parser yang disediakan NeMo Guardrails untuk verdiknya.

Permintaan yang ditolak dijawab oleh penjaga itu sendiri, dengan I’m sorry, I can’t respond to that., dan tidak ada bagiannya yang mencapai model. Konfigurasi penjaga juga membawa sebuah flow, rails.co, yang menjalankan rail input terlepas dari apa yang diminta badan permintaan.

values.model pada safety adalah nama yang dijawab oleh NIM keamanan konten, yang diambil NIM dari manifest modelnya sendiri; daftar modelnya, /v1/models, menampilkannya di server yang sedang berjalan. Penjaga mengirimkannya pada setiap pemeriksaan, sehingga keduanya harus sesuai.

Yang tidak dilakukannya

  • Hanya pesan pengguna terbaru yang dinilai. Upaya yang ditempatkan dalam pesan sistem, giliran sebelumnya, atau hasil alat mencapai model tanpa diperiksa, dan baik balasan model, argumen pemanggilan alat, maupun gambar tidak dinilai.
  • Setiap verdik berasal dari model. Ketiga pemeriksaan melewatkan sebagian permintaan yang berbahaya atau manipulatif dan menolak sebagian permintaan biasa.
  • Rail jailbreak meloloskan permintaan saat gagal. NVIDIA mendokumentasikan bahwa ketika pengklasifikasi jailbreak tidak dapat dijangkau, kehabisan waktu, atau menjawab dengan galat, rail tersebut meloloskan permintaan dan tidak melaporkan apa pun kepada pemanggil. Dua pemeriksaan lainnya tetap berjalan. Rail injeksi prompt menolak permintaan ketika detektornya tidak dapat dijangkau.
  • Hanya mencakup lalu lintas yang melewati gateway. Beban kerja yang memanggil alamat model secara langsung akan memintasnya. Penjaga dan ketiga pemeriksaan tidak mengautentikasi pemanggil mana pun, sehingga Services miliknya adalah alamat untuk komponen yang memanggilnya, bukan alamat untuk dipublikasikan.
  • Belum terbukti berjalan di sini. Konfigurasinya adalah yang dijelaskan dokumentasi NVIDIA, dikompilasi lebih dahulu; tidak ada apa pun di workspace ini yang pernah menjalankan kontainer NemoGuard.

Yang menghentikan build

Recipe milik penjaga memeriksa apa yang ditampung socket NemoGuard-nya. Jadikan safety sebuah core/ai-model/nvidia-nim biasa — tipenya di Aggregate dan barisnya di Manifest — maka build berhenti, tanpa menulis apa pun:

[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
[CATALOG_ERROR E0364] instance guard
rendering node "guard"
caused by: [CATALOG_ERROR] nemo-guardrails-config.configmap.yaml
artifact "nemo-guardrails-config.configmap.yaml" template eval
caused by: [CATALOG_ERROR] artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml]
template "artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml]" execute
caused by (2):
a value template failed while it ran
---
[… omitted: the template position and the template's own source]: error calling fail: the guard's content_safety socket is wired to "safety", a core/ai-model/nvidia-nim, but the content-safety rail's prompt and verdict parser are NVIDIA's for core/ai-model/nemoguard-content-safety, which another model answers in a shape the parser does not read; wire a core/ai-model/nemoguard-content-safety to content_safety

Socket jailbreak_detection dengan cara yang sama hanya menerima core/security/nemoguard-jailbreak-detect dan tidak ada yang lain, dan setiap socket menerima satu target. Penghentian milik perisai itu sendiri adalah penghentian dari ai-gateway-prompt-injection-shield, yang membangun gateway dan penjaga yang sama tanpa pemeriksaan NemoGuard.

Bagian yang tidak ditafsirkan oleh kompiler

Kompiler menyalurkan nama Service dan port milik NIM ke dalam konfigurasi penjaga, dan nama Secret ke dalam pod, sebagai string. Kompiler tidak menarik image, tidak mengambil model atau membaca kunci, dan tidak menghubungi NVIDIA, penjaga, maupun model. Setiap penghentian di atas dideklarasikan oleh entitas milik katalog itu sendiri.

Menyesuaikannya

  • Tanpa model keamanan konten. Hapus komponen safety dan edge content_safety milik penjaga; konfigurasi penjaga kemudian tidak membawa model, rail, atau prompt semacam itu. Pengklasifikasi jailbreak dihapus dengan cara yang sama.
  • Model yang Anda jalankan sendiri. Arahkan upstream_endpoint milik guard ke endpoint server model — core/ai-model/vllm menerbitkan satu — dan tulis target alias sebagai openai/<the name that server serves>.
  • GPU yang lebih besar atau dua GPU. Setiap komponen NemoGuard menerima infra.gpu.count, serta infra.gpu.runtime_class jika klaster memilih runtime GPU-nya berdasarkan kelas.