İçeriğe geç
AggregaAggrega
Dil seçin: Türkçe
Bu sayfa makine çevirisiyle çevrilmiştir. İngilizce orijinalini okuyun.

NVIDIA'nın NemoGuard modelleriyle bir ajanın isteklerini denetleyen NeMo Guardrails

Bir ajanın model istekleri NVIDIA NeMo Guardrails’den geçer; NeMo Guardrails her birini NVIDIA’nın iki NemoGuard modeliyle denetler. Bunlar, çalışmak için NVIDIA’dan bir lisans, bir NGC API anahtarı ve bir GPU düğümü gerektiren, lisanslı NVIDIA ürünleridir.

Neler gerektirir

İki NemoGuard modeli, NVIDIA’nın koşulları altında çalıştırdığınız NVIDIA ürünleridir. Bu çalışma alanının derlediği şeyi dağıtmak için şunlar gerekir:

  • NVIDIA’dan bir lisans. NVIDIA’nın her NemoGuard mikro hizmeti için belgeleri, ön koşulu “bir NVIDIA AI Enterprise ürününe etkin bir abonelik ya da NVIDIA Developer Program üyesi olmak” olarak belirtir ve kapsayıcılara ve modellere erişimin kısıtlı olduğunu ifade eder.
  • Release tarafından bir gizli bilgi olarak başvurulan bir NGC API anahtarı. NemoGuard kapsayıcıları NVIDIA’nın kayıt defteri nvcr.io’dan çekilir ve her biri başlarken modelini bu anahtarla NVIDIA’dan getirir. Release, anahtarı tutan iki Kubernetes Secret nesnesini adlandırır — biri pod’ların anahtarı okuduğu, diğeri kümenin görüntüleri çekerken kullandığı — ve bu çalışma alanındaki hiçbir dosya, derlemenin yazdığı hiçbir şey anahtarın kendisini tutmaz.
  • Bir GPU düğümü. Her NemoGuard kapsayıcısı bir NVIDIA GPU’su ister. NVIDIA, içerik güvenliği modelinin bir ya da iki GPU üzerinde 48 GB GPU belleğine ihtiyaç duyduğunu belirtir.

Derleme bunların hiçbirine ihtiyaç duymaz: ortada bir anahtar olmadan Kubernetes manifestlerine derler ve ne NVIDIA ile ne de kümeyle iletişim kurar.

Ne oluşturur

Bir ajan, modelini bir yapay zekâ ağ geçidi üzerinden ister. Ağ geçidi her model isteğini önce bir korumadan geçirir ve koruma, kabul ettiğini modele iletmeden önce en son kullanıcı iletisini üç yolla denetler: bir istem enjeksiyonu sınıflandırıcısıyla, NVIDIA’nın içerik güvenliği modeliyle ve NVIDIA’nın jailbreak sınıflandırıcısıyla. Bu çalışma alanı, bu düzeni Kubernetes manifestlerine derler.

Lisanslı ticari bir ürünün de açık kaynaklı bir ürün gibi sağlandığını gösterir: bir katalog Component’i, bir Recipe, bir uses kenarı ve bir kimlik bilgisi eki; lisans ise okuyucunun bileşeni seçtiği yerde belirtilir. Kendine ait hiçbir katalog varlığı yazmaz; Aggregate, Manifest ve Release, herhangi birinin yazdığı şeylerin tamamıdır.

örnekkatalog Component’iburada ne olduğu
agentcore/ai-agent/langgraphajan; Release’in kendi uygulama görüntüsü, modeline ağ geçidi üzerinden ulaşır
checkpointercore/datastore/valkeyajanın çalıştırma durumunu tuttuğu yer
routercore/gateway/litellmyapay zekâ ağ geçidi: tek bir takma ad, assistant, koruma üzerinden modele gönderilir
guardcore/security/nemo-guardrailsNVIDIA NeMo Guardrails’in model yolundaki sunucusu
detectorcore/security/trustyai-huggingface-detectorkorumanın kendi rail’inin sorduğu istem enjeksiyonu sınıflandırıcısı
safetycore/ai-model/nemoguard-content-safetyNVIDIA’nın Llama 3.1 NemoGuard 8B ContentSafety modeli, kendi NIM’i tarafından sunulur
jailbreakcore/security/nemoguard-jailbreak-detectNVIDIA’nın NemoGuard JailbreakDetect modeli, kendi NIM’i tarafından sunulur

uses kenarları: ajanın model soketi ağ geçidine ve checkpointer_db soketi depoya; ağ geçidinin guard soketi korumaya; korumanın detector, content_safety ve jailbreak_detection soketleri de üç denetime. Ekler: korumayı ağ geçidinin yoluna yerleştiren core/prompt-injection-shield Feature’ı olan shield; korumanın model API’sine sunduğu kimlik bilgisi olan upstream_key; ve her NemoGuard bileşenindeki ngc_api_key.

Örneği oluşturun

Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.

Örneği, adını taşıyan yeni bir klasöre yazın:

Terminal window
aggrega scaffold --example nemo-guardrails-nemoguard-nims

Ardından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:

Terminal window
cd nemo-guardrails-nemoguard-nims

Derleme

Terminal window
aggrega build --release release.yaml --auto-pull

Bir release, derlenmeden önce bir kilit dosyasına ihtiyaç duyar ve kilit dosyaları dağıtılmak yerine üretildiğinden yeni bir klonda hiç kilit dosyası bulunmaz. Önce bir tane çözümleyin ya da derlemenin onu doldurmasına izin verin:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Bu çalışma alanı, katalog varlıklarını .aggrega-config.yaml dosyasının adlandırdığı varsayılan kayıt defterinden çözümler. Kalkanın gerçekleştirilmesi, ne derleyicide ne de katalogda bulunan bir eklentiyi, ağ geçidi yapılandırma adımı pipeline-step/litellm-gateway-config’i çalıştırır; çözümleme bu eklentiyi default_registry’nin adlandırdığı kayıt defterinden, hub.aggrega.ai’dan getirir.

Derleme, <workspace> bu örneğin klasörünü temsil edecek şekilde şunu yazdırır:

[… omitted: a line reporting on the gateway configuration step's plugin, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 18 files written to <workspace>/dist

Release, kataloğun adlandırmadığı her görüntüyü adlandırır. Ajanınki sizin kendi uygulamanızdır. Korumanınki ve algılayıcınınki, çalıştırdığınız derlemelerin, denetiminizdeki bir kayıt defterine yansıtılmış kopyalarıdır. İki NemoGuard görüntüsü NVIDIA’nındır ve lisansınız kapsamında bunları çekme hakkınız vardır; katalog bunların hiçbirini adlandırmaz ve release.yaml her birini change-me etiketiyle yazar. Derleme orada hangi dize varsa onu aktarır; dağıtmadan önce bunları değiştirin.

Bir yapay zekâ asistanıyla

Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.

Yalnızca Aggrega araçlarını kullanın ve kendiniz hiçbir klasör oluşturmayın. Workspace klasöründe henüz `nemo-guardrails-nemoguard-nims` klasörü yoksa, `scaffold` aracını `example` değeri `nemo-guardrails-nemoguard-nims` olacak şekilde ve `dir` olmadan bir kez çağırın: örneği yeni bir `nemo-guardrails-nemoguard-nims` klasörüne yazar. Ardından `build` aracını `workspace_root` değeri `nemo-guardrails-nemoguard-nims`, `release` değeri `release.yaml`, `auto_pull` değeri true ve `write` değeri true olacak şekilde çağırın. Derlemenin hangi dosyaları yazdığını bana söyleyin; bunlar `nemo-guardrails-nemoguard-nims/dist/` altındadır.

Oluşturulan ağaç

dist/helm/
├── agent-deployment.yaml
├── checkpointer-default-service.yaml
├── checkpointer-deployment.yaml
├── detector-default-service.yaml
├── detector-deployment.yaml
├── guard-default-service.yaml
├── guard-deployment.yaml
├── guard/
│ └── nemo-guardrails-config.configmap.yaml
├── jailbreak-default-service.yaml
├── jailbreak-headless-service.yaml
├── jailbreak-statefulset.yaml
├── router-default-service.yaml
├── router-deployment.yaml
├── router/
│ ├── litellm-gateway-config/
│ │ └── configmap.yaml
│ └── request-guard/
│ └── request-guard.yaml
├── safety-default-service.yaml
├── safety-headless-service.yaml
└── safety-statefulset.yaml

Aralarında hiçbir Secret yoktur. Her kimlik bilgisi core/referenced-secret olarak eklenir ve Manifest onu helm/k8s-existing-secret’e bağlar; bu da bir iş yükünü ad alanında zaten var olan bir Secret nesnesine yönlendirir ve kendine ait hiçbir şey işlemez.

Referans olarak anahtar

Aggregate yalnızca anahtarın bir Secret içinde nerede durduğunu, yani NGC_API_KEY veri anahtarını yazar; Release ise Secret’in adını, ngc-api-key, ve imajların çekilmesinde kullanılan Secret’in adını, ngc-registry, verir. dist/helm/safety-statefulset.yaml içinde ve aynı şekilde jailbreak sınıflandırıcısının dosyasında:

env:
- name: NGC_API_KEY
valueFrom:
secretKeyRef:
name: ngc-api-key
key: NGC_API_KEY
imagePullSecrets:
- name: ngc-registry

Dağıtımdan önce hedef ad alanında her iki Secret’i de oluşturun: anahtarı NGC_API_KEY altında tutan ngc-api-key ve anahtarla oturum açan, nvcr.io için bir imaj çekme Secret’i olan ngc-registry. Koruma hizmetinin yukarı akış kimlik bilgisi de aynı şekilde adlandırılır: model API’sinin anahtarını upstream-key altında tutan Secret upstream-provider-key.

Release, anahtarın kendisini onun yerine yazamaz. Release’teki bir ek üzerindeki values: bloğu belge yüklenirken reddedilir; çünkü Release’in oraya yazdığı şey operatöre, values ise geliştiriciye aittir. safety bileşeninin ngc_api_key öğesindeki infra: bloğunu origin içeren bir values: ile değiştirin; derleme, her şeyden önce şunu yazdırır:

[OPS_ERROR E0215] release.yaml
document envelope validation failed (Release, at release.yaml); 66:11: spec.components.safety.features.ngc_api_key.values: against /$defs/boundary_component: unexpected property: "values". correct the document to match its kind's schema

Release’in gerçekten yazdığı tek dize, yani bir Secret’in adı, tam olarak yazıldığı gibi yayımlanır: derleme bir adı bir anahtardan ayırt edemez, bu nedenle ad yerine yazılan bir anahtar manifestte o ad olarak görünür. aggrega build --ir-graph komutunun yazdırdığı graf her iki durumda da onu gizler, çünkü origin hassas olarak bildirilmiştir.

Korumanın yaptıkları

Koruma hizmetinin yapılandırması, yani dist/helm/guard/nemo-guardrails-config.configmap.yaml dosyasının config.yaml anahtarı, istemlerine kadar:

models:
- type: main
engine: openai
model: named-by-each-request
api_key_env_var: UPSTREAM_API_KEY
- type: content_safety
engine: openai
model: "llama-3.1-nemoguard-8b-content-safety"
parameters:
base_url: "http://safety-default:8000/v1"
api_key: EMPTY
passthrough: true
rails:
config:
hf_classifier:
prompt_injection:
engine: fms
model: "protectai/deberta-v3-base-prompt-injection-v2"
base_url: "http://detector-default:8000"
threshold: 0.5
blocked_labels: ["INJECTION"]
jailbreak_detection:
nim_base_url: "http://jailbreak-default:8000/v1/"
nim_server_endpoint: classify
input:
flows:
- hf classifier check input $classifier=prompt_injection
- jailbreak detection model
- content safety check input $model=content_safety

Koruma hizmeti, her sohbet isteği için en son kullanıcı mesajı üzerinde üç giriş korkuluğunu bu sırayla çalıştırır ve bunlardan herhangi biri reddettiğinde isteği reddeder:

  • İstem enjeksiyonu sınıflandırıcısı, algılayıcı INJECTION değerini 0.5 veya üzerinde bildirdiğinde reddeder.
  • Jailbreak sınıflandırıcısı, NVIDIA’nın sınıflandırıcısı mesajın bir jailbreak girişimi olduğunu yanıtladığında reddeder. Koruma hizmeti mesajı kendi classify yoluna gönderir; küme içi hizmet hiçbir anahtar istemediği için hiçbir anahtar yapılandırılmamıştır.
  • İçerik güvenliği modeli, mesajı güvensiz olarak değerlendirdiğinde reddeder. Koruma hizmeti onu, NIM’in sunduğu OpenAI uyumlu API üzerinden, safety kenarının yayımladığı uç noktada ve model adıyla erişilen bir model olarak bildirir; istemi — config.yaml dosyasının geri kalanı — NVIDIA’nın NeMo Guardrails dokümantasyonunun bu model için verdiği istemdir, modelin zarar kategorilerini listeler ve NeMo Guardrails’in kararı için sağladığı ayrıştırıcıyla okunur.

Reddedilen bir isteği koruma hizmetinin kendisi I’m sorry, I can’t respond to that. ile yanıtlar ve isteğin hiçbir kısmı modele ulaşmaz. Koruma hizmetinin yapılandırması ayrıca, bir istek gövdesi ne isterse istesin giriş korkuluklarını çalıştıran bir akış olan rails.co dosyasını da içerir.

safety üzerindeki values.model, içerik güvenliği NIM’inin yanıt verdiği addır ve NIM bu adı kendi model manifestinden alır; model listesi /v1/models, çalışan sunucuda bu adı gösterir. Koruma hizmeti bunu her denetimle birlikte gönderir; bu nedenle ikisinin uyuşması gerekir.

Ne yapmadığı

  • Yalnızca en son kullanıcı mesajını değerlendirir. Bir sistem mesajına, daha önceki bir tura veya bir araç sonucuna yerleştirilen bir girişim modele denetlenmeden ulaşır; ne modelin yanıtı ne araç çağrısı argümanları ne de görseller değerlendirilir.
  • Her karar bir modele aittir. Üç denetim bazı zararlı veya manipülatif istekleri kaçırır ve bazı sıradan istekleri reddeder.
  • Jailbreak korkuluğu hata durumunda istekleri geçirir. NVIDIA’nın belgelerine göre jailbreak sınıflandırıcısına ulaşılamadığında, sınıflandırıcı zaman aşımına uğradığında veya bir hatayla yanıt verdiğinde korkuluk isteğin geçmesine izin verir ve çağırana hiçbir şey bildirmez. Diğer iki denetim yine de çalışır. İstem enjeksiyonu korkuluğu, algılayıcısına ulaşılamadığında isteği reddeder.
  • Yalnızca ağ geçidinden geçen trafiği kapsar. Modelin adresini doğrudan çağıran bir iş yükü onu atlatır. Koruma hizmeti ve üç denetim hiçbir çağıranın kimliğini doğrulamaz; bu nedenle onların Services nesneleri, onları çağıran bileşenler için adreslerdir, yayımlanacak adresler değildir.
  • Burada çalıştığı kanıtlanmamıştır. Yapılandırma, NVIDIA’nın belgelerinin tanımladığı ve önceden derlenmiş yapılandırmadır; bu çalışma alanındaki hiçbir şey NemoGuard kapsayıcılarını çalıştırmamıştır.

Derlemeyi durduran durumlar

Koruma hizmetinin Recipe’si, NemoGuard soketlerinin ne içerdiğini denetler. safety’yi düz bir core/ai-model/nvidia-nim yapın — Aggregate’teki türünü ve Manifest’teki satırını — ve derleme hiçbir şey yazmadan durur:

[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
[CATALOG_ERROR E0364] instance guard
rendering node "guard"
caused by: [CATALOG_ERROR] nemo-guardrails-config.configmap.yaml
artifact "nemo-guardrails-config.configmap.yaml" template eval
caused by: [CATALOG_ERROR] artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml]
template "artifacts[nemo-guardrails/nemo-guardrails-config.configmap.yaml]" execute
caused by (2):
a value template failed while it ran
---
[… omitted: the template position and the template's own source]: error calling fail: the guard's content_safety socket is wired to "safety", a core/ai-model/nvidia-nim, but the content-safety rail's prompt and verdict parser are NVIDIA's for core/ai-model/nemoguard-content-safety, which another model answers in a shape the parser does not read; wire a core/ai-model/nemoguard-content-safety to content_safety

jailbreak_detection soketi de aynı şekilde yalnızca bir core/security/nemoguard-jailbreak-detect kabul eder, başka hiçbir şey kabul etmez ve her soket tek bir hedef alır. Kalkanın kendi durdurmaları, NemoGuard denetimleri olmadan aynı ağ geçidini ve koruma hizmetini derleyen ai-gateway-prompt-injection-shield örneğininkilerle aynıdır.

Derleyicinin yorumlamadığı yerler

Derleyici, NIM’lerin Service adlarını ve bağlantı noktalarını koruma hizmetinin yapılandırmasına, Secret’lerin adlarını da pod’lara dize olarak aktarır. İmaj çekmez, model getirmez veya anahtar okumaz ve NVIDIA ile, koruma hizmetiyle ya da modelle iletişim kurmaz. Yukarıdaki her durdurma, kataloğun kendi varlıkları tarafından bildirilir.

Uyarlama

  • İçerik güvenliği modeli olmadan. safety bileşenini ve koruma hizmetinin content_safety kenarını kaldırın; koruma hizmetinin yapılandırması artık böyle bir model, korkuluk veya istem içermez. Jailbreak sınıflandırıcısı da aynı şekilde kaldırılır.
  • Kendi çalıştırdığınız bir model. Guard’ın upstream_endpoint değerini model sunucusunun uç noktasına yönlendirin — core/ai-model/vllm bir tane yayımlar — ve takma adın hedefini openai/<the name that server serves> olarak yazın.
  • Daha büyük GPU’lar veya iki GPU. Her NemoGuard bileşeni infra.gpu.count alır; kümenin GPU çalışma zamanını sınıfa göre seçtiği durumlarda infra.gpu.runtime_class de alır.