Component
core/security/nemo-guardrails
NVIDIA NeMo Guardrails' server as a guard in a model's path: a service speaking the OpenAI chat-completions API that checks each request against its input rail, forwards what it admits to the upstream model API in infra.upstream_endpoint, and returns the upstream's answer, streamed or not. A request the rail refuses is answered by the guard itself with an ordinary completion, and nothing of it reaches the upstream. The rail sends the latest user message to the detector wired on the detector socket and refuses the request when the detector reports one of values.blocked_labels at or above values.threshold; a detector that cannot be reached, or answers with an error, refuses the request too. It judges the latest user message alone. Its verdict is a probabilistic classifier's: it misses some attacks, refuses some legitimate requests and is known to be evadable. Only a flow in its configuration, redefining the product's own, keeps a request body from switching the rail off, and that closure has to be proved again for any image or flow it was not proved on. NVIDIA's NemoGuard models add rails on the content_safety and jailbreak_detection sockets; the jailbreak rail admits a request when its classifier is unreachable. It authenticates no caller, and with no credential attached to its upstream_key slot a caller can reach the upstream on a credential of its own. The Release supplies the image in infra.image and the catalog names none: TrustyAI's published build carries NLTK's punkt tokenizer model, whose licence is unresolved upstream, and is published only under a floating tag, whose superseded digests stop resolving. Nothing renders until the Release sets `infra.image`.
Nguồn gốc
- Digest nội dung
- sha256:f871e845d92afd93e2d6d8c7fc6a9b33f86abbcfe1730cc89aab9d44fb3f2721
- Đã xuất bản
- 2026-11-10T10:13:39Z
- Danh tính ký
- https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
Chữ ký
- Chính thứcapplication/vnd.dev.sigstore.bundle.v0.3+json
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
sha256:4a2b09d9b13c5c2efc29928cc9bd5abc2304b72043e199a4b9ffddab6eb8b06e
Tham chiếu ở phiên bản này
oci://hub.aggrega.ai/component/core/security/nemo-guardrails:1.0.0Tham số của nhà phát triển
Các giá trị mà nhà phát triển đặt trong Aggregate.
| Tên | Kiểu | Mặc định | Bắt buộc | Mô tả |
|---|---|---|---|---|
| threshold | number (min 0, max 1) | 0.5 | không | Probability at or above which a label the detector reports refuses the request. Measured with the detector's default model, which scores most texts close to 0 or close to 1: at 0.5 the guard refuses plain attempts to override a model's instructions; at 0.001 it also refuses an override respelled in leetspeak, which the model scores near 0.008, and with it some ordinary requests the model scores low but not near zero. At either value it refuses the ordinary requests the model scores close to 1, and serves attacks it scores close to 0. Those two numbers hold for that model only, and are measured again for any other. |
| blocked_labels | array (min 1) | INJECTION | không | Labels of the detector's classifier that refuse a request when reported at or above the threshold. The default is the label the detector's default model gives an attempt to override a model's instructions; another model labels by its own vocabulary, which this list follows. It may not be empty, because a guard refusing on no label forwards everything. |
Định cỡ của người vận hành
Định cỡ hạ tầng mà người vận hành tinh chỉnh theo từng môi trường.
| Tên | Kiểu | Mặc định | Bắt buộc | Mô tả |
|---|---|---|---|---|
| port | integer (min 1024, max 65535) | 8000 | không | Port the guard listens on and its Service accepts callers on. Most operators should omit this and let the Recipe assign the default (8000), the port the published image listens on unless told otherwise. |
| upstream_endpoint | string | — | có | Base URL of the OpenAI-compatible model API the guard forwards the requests it admits to, with its API path, for example http://model-server:8000/v1. A deterministic pointer string the guard resolves when it forwards; the compiler never contacts it. The request is forwarded under the model name the caller asked for. |
| image | string | — | có | Image the guard runs, supplied by the Release; the catalog names none. The Recipes run the published build's own start-up and paths, so the image is TrustyAI's NeMo Guardrails server or a copy of it. That build carries a data package whose licence is unresolved upstream and is tagged only as latest, under which the registry stops serving a build once the tag moves on, so a Release that must keep one build mirrors it and names the copy here. The guard's refusal of a request-body switch was proved on one build, and is proved again for any other image. |
| compute | object | — | không | — |
Hợp đồng đầu ra
Các giá trị mà thành phần này xuất bản cho bên tiêu thụ qua cấu trúc liên kết uses.
| Tên | Kiểu | Mặc định | Bắt buộc | Mô tả |
|---|---|---|---|---|
| host | string | — | có | In-cluster DNS name of the Service fronting the guard. Every caller reaching this name can send requests through the guard, so it is an address for the component routing model traffic through it rather than one to publish. |
| port | integer | — | có | TCP port that Service accepts callers on. It follows the port an operator set in the Release, so a consumer reads it rather than assuming a default. |
| endpoint | string | — | có | Base URL of the OpenAI-compatible API the guard serves, with the host, the port and the API path already composed. A consumer hands it to a client library as its base URL, and sends chat completions to it. |
| protocol | string | — | không | URL scheme to reach `host` and `port` over, for a consumer composing its own address rather than reading `endpoint`. |
| threshold | number | — | có | values.threshold, the probability at or above which a label the detector reports refuses the request. |
Các socket uses
Các socket phụ thuộc mà thành phần này kết nối qua. Đích của mọi kết nối được nối qua một socket phải thỏa mãn bộ chọn nhãn của socket đó, và mỗi kết nối có thể mang theo phần đính kèm trong các slot mà socket khai báo. Một slot bắt buộc phải được đáp ứng bởi mỗi kết nối mà Aggregate hoặc Release nối qua socket.
detector
- Bộ chọn
- security.aggrega.ai/text-detection=detector
- Tiêm
- —
Socket này không khai báo slot đính kèm nào, nên một kết nối qua nó không mang theo phần đính kèm nào.
content_safety
- Bộ chọn
- component.aggrega.ai/category=ai-model, model.aggrega.ai/api=openai
- Tiêm
- —
Socket này không khai báo slot đính kèm nào, nên một kết nối qua nó không mang theo phần đính kèm nào.
jailbreak_detection
- Bộ chọn
- component.aggrega.ai/category=security
- Tiêm
- —
Socket này không khai báo slot đính kèm nào, nên một kết nối qua nó không mang theo phần đính kèm nào.
Slot đính kèm
Các điểm liên kết có tên mà tại đó một Feature được gắn vào thành phần này. Bộ chọn của một slot giới hạn Feature nào có thể lấp đầy nó, và danh sách tiêm của slot nêu cách nội dung của Feature có thể được chuyển giao. Một slot bắt buộc phải được liên kết trên mọi thể hiện, bằng một phần đính kèm trên thể hiện đó hoặc ở một phạm vi phía trên nó, và một slot nhạy cảm được khai báo để xử lý nội dung bí mật. Một Feature cũng có thể được gắn dưới một tên mà không slot nào khai báo.
| Slot | Bộ chọn | Bắt buộc | Tiêm | Nhạy cảm | Mô tả |
|---|---|---|---|---|---|
| upstream_key | feature.aggrega.ai/kind=secret | không | env | có | Optional credential the guard presents to the upstream model API as a bearer token. Attached, every forwarded request carries it, whatever the caller sends. Unattached, the guard holds no upstream credential, which suits an upstream that asks for none: the product then sends a fixed placeholder in its place, which an upstream requiring a key refuses, or passes a caller's X-Authorization header on as the credential when the caller sends one. |
Danh sách cho phép tự tiêm
Chưa khai báo đường ống tự tiêm nào.
Quan hệ
Các cạnh có kiểu đi tới và đi từ các thực thể đã xuất bản khác. Một tham chiếu không có đích đã xuất bản được hiển thị là một cạnh bị đứt thay vì một liên kết.
Sử dụng
- sử dụngsử dụng socket «detector»
security.aggrega.ai/text-detection=detector
Không khai báo slot đính kèm nào.
- sử dụngsử dụng socket «content_safety»
component.aggrega.ai/category=ai-model, model.aggrega.ai/api=openai
Không khai báo slot đính kèm nào.
core/ai-model/docker-model-runner v1.0.0 →core/ai-model/litellm v1.0.0 →core/ai-model/nvidia-api v1.0.0 →core/ai-model/nvidia-nim v1.0.0 →core/ai-model/ollama v1.0.0 →core/ai-model/openai v1.0.0 →core/ai-model/openai-compatible v1.0.0 →core/ai-model/openai-embedding v1.0.0 →core/ai-model/tei v1.0.0 →core/ai-model/tgi v1.0.0 →core/ai-model/vllm v1.0.0 → - sử dụngsử dụng socket «jailbreak_detection»
component.aggrega.ai/category=security
Không khai báo slot đính kèm nào.
core/security/cert-manager v1.0.0 →core/security/external-secrets v1.0.0 →core/security/fms-guardrails-orchestrator v1.0.0 →core/security/keycloak v1.0.0 →core/security/kong-ai-pii-service v1.0.0 →core/security/nemoguard-jailbreak-detect v1.0.0 →core/security/openbao v1.0.0 →core/security/presidio-analyzer v1.0.0 →core/security/presidio-anonymizer v1.0.0 →core/security/sealed-secrets v1.0.0 →core/security/supertokens v1.0.0 →core/security/trustyai-guardrails-gateway v1.0.0 →core/security/trustyai-huggingface-detector v1.0.0 →
Được sử dụng bởi
sử dụng socket «auth_core»
sử dụng socket «auth_core»
sử dụng socket «auth_core»
sử dụng socket «auth_core»
sử dụng socket «guard»
sử dụng socket «upstream»
sử dụng socket «guard»
sử dụng socket «forward_target»
sử dụng socket «scrape_target»
sử dụng socket «store»
áp dụng cho
áp dụng cho
áp dụng cho
áp dụng cho
áp dụng cho
áp dụng cho
áp dụng cho
triển khai
triển khai