Recipe
nvidia-nim
NVIDIA Inference Microservice as a self-hosted, GPU-native inference server on a single Docker host via Docker Compose, synthesized from the Workload kind. The NIM container resolves the model profile into a named model-cache volume at start and serves the OpenAI-compatible API on the compose network; the compiler never fetches the profile. The image is infra.image, which the Release supplies: the catalog names no NIM image, since NIM images are distributed under NVIDIA's own terms. Docker pulls it with the host's own registry login, so where the image needs credentials, log the host in to nvcr.io first; infra.image_pull_secret names a Kubernetes Secret, and a Release setting it here halts the build. An attached ngc_api_key arrives on the inject pipe and is rendered as the NGC_API_KEY variable, written into the file as delivered: attach a Compose variable reference such as ${NGC_API_KEY} to keep the key out of it. Unattached, no such variable is emitted. The service always reserves infra.gpu.count NVIDIA GPUs, at least one, which the host must hand to containers through the NVIDIA Container Toolkit. The replica count and the GPU runtime class are reported as unsupported-field warnings, and the service declares no healthcheck, because NVIDIA does not document a health client inside the image. provides.host is the compose service name; provides.metrics_endpoint is always set, since compose runs one instance.
来歴
- コンテンツダイジェスト
- sha256:88d4fcd5b645ad6e02fddbacf61693a180ed07c9ee8b444810df1b2b3aaa8f06
- 公開日
- 2026-11-10T10:20:03Z
- 署名 ID
- https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
署名
- 公式application/vnd.dev.sigstore.bundle.v0.3+json
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
sha256:948a87634e4104444fa05f09a5700101c4eefd2948e5306754268012bfcad8a6
このバージョンの参照
oci://hub.aggrega.ai/recipe/compose/nvidia-nim:1.0.0- ターゲット
- —
- 実装対象
- core/ai-model/nvidia-nim:1.0.0
提供
このレシピが利用側のために配線する決定論的なポインターテンプレートです。
| 名前 | テンプレート |
|---|---|
| host | {{ .context.instance_id }} |
| port | {{ .infra.port }} |
| endpoint | http://{{ .context.instance_id }}:{{ .infra.port }}/v1 |
| model | {{ .values.model }} |
| protocol | http |
| metrics_endpoint | http://{{ .context.instance_id }}:{{ .infra.port }}/v1/metrics |
| metrics_service | |
| metrics_service_port | |
| metrics_path |
Workload
Workload · form: stateless · replicas: {{ · containers: main
ローカル変数
ローカル変数は宣言されていません。
値のマッピング
値のマッピングは宣言されていません。
関係
他の公開エンティティとの間の型付きエッジです。公開されたターゲットがない参照は、リンクではなく切れたエッジとして表示されます。
使用先
- 実装実装コントラクト互換
core/ai-model/nvidia-nim:1.0.0
必須の出力はすべて満たされており、提供されるすべての出力がコントラクトに記載されています。
使用元
カタログ内にこのエンティティに依存しているものはありません。