Recipe
nvidia-nim
NVIDIA Inference Microservice as a self-hosted, GPU-native inference server on Kubernetes via the helm provider's Workload synthesis, running the NIM container directly with no chart. Using it needs an NVIDIA account and an NGC API key, under NVIDIA's licence terms: the serving image comes from infra.image, a NIM image the reader must be entitled to pull, and the catalog names none. Renders a StatefulSet whose container resolves the model profile into a per-replica model-cache volume at start and serves the OpenAI-compatible API behind a ClusterIP Service. It always requests a GPU (nvidia.com/gpu), and schedules the pod under infra.gpu.runtime_class when one is named. An attached ngc_api_key reaches the container as an env secretKeyRef, so the key never appears in the rendered manifest. provides.host is the bare in-cluster Service name. Reach for this realization where no NIM Operator runs and the build must fetch nothing. Reach for `nvidia-nim-chart` where NVIDIA's nim-llm chart is wanted and its repository is reachable from the build, and for `nvidia-nim-service` where the NIM Operator runs or is declared beside the model.
来歴
- コンテンツダイジェスト
- sha256:efd7b7358ad4fd148b0b3f4a55fb81c847e184c51d8b7e9679e1d0ba2be51925
- 公開日
- 2026-11-10T10:26:03Z
- 署名 ID
- https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
署名
- 公式application/vnd.dev.sigstore.bundle.v0.3+json
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
sha256:5ca1db81cbd568e92cdcafaebd3662bfcea761ce81b587fc930c3816698e2570
このバージョンの参照
oci://hub.aggrega.ai/recipe/helm/nvidia-nim:1.0.0- ターゲット
- —
- 実装対象
- core/ai-model/nvidia-nim:1.0.0
提供
このレシピが利用側のために配線する決定論的なポインターテンプレートです。
| 名前 | テンプレート |
|---|---|
| host | {{ .context.rendered_name }}-default |
| port | {{ .infra.port }} |
| endpoint | http://{{ .context.rendered_name }}-default:{{ .infra.port }}/v1 |
| model | {{ .values.model }} |
| protocol | http |
| metrics_endpoint | {{ if le (int .infra.replicas) 1 }}http://{{ .context.rendered_name }}-default:{{ .infra.port }}/v1/metrics{{ end }} |
| metrics_service | {{ if gt (int .infra.replicas) 1 }}{{ .context.rendered_name }}-default{{ end }} |
| metrics_service_port | {{ if gt (int .infra.replicas) 1 }}http{{ end }} |
| metrics_path | {{ if gt (int .infra.replicas) 1 }}/v1/metrics{{ end }} |
Workload
Workload · form: stateful · replicas: {{ · containers: main
ローカル変数
ローカル変数は宣言されていません。
値のマッピング
値のマッピングは宣言されていません。
関係
他の公開エンティティとの間の型付きエッジです。公開されたターゲットがない参照は、リンクではなく切れたエッジとして表示されます。
使用先
- 実装実装コントラクト互換
core/ai-model/nvidia-nim:1.0.0
必須の出力はすべて満たされており、提供されるすべての出力がコントラクトに記載されています。
使用元
カタログ内にこのエンティティに依存しているものはありません。