Cette page a été traduite automatiquement. Lire l’original en anglais.

Recipe

nvidia-nim

NVIDIA Inference Microservice as a self-hosted, GPU-native inference server on Kubernetes via the helm provider's Workload synthesis, running the NIM container directly with no chart. Using it needs an NVIDIA account and an NGC API key, under NVIDIA's licence terms: the serving image comes from infra.image, a NIM image the reader must be entitled to pull, and the catalog names none. Renders a StatefulSet whose container resolves the model profile into a per-replica model-cache volume at start and serves the OpenAI-compatible API behind a ClusterIP Service. It always requests a GPU (nvidia.com/gpu), and schedules the pod under infra.gpu.runtime_class when one is named. An attached ngc_api_key reaches the container as an env secretKeyRef, so the key never appears in the rendered manifest. provides.host is the bare in-cluster Service name. Reach for this realization where no NIM Operator runs and the build must fetch nothing. Reach for `nvidia-nim-chart` where NVIDIA's nim-llm chart is wanted and its repository is reachable from the build, and for `nvidia-nim-service` where the NIM Operator runs or is declared beside the model.

Provenance

OfficielSigné par une identité de signature que ce catalogue reconnaît comme éditeur officiel.
Empreinte du contenu
sha256:efd7b7358ad4fd148b0b3f4a55fb81c847e184c51d8b7e9679e1d0ba2be51925
Publié
2026-11-10T10:26:03Z
Identité de signature
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

Signature

  • Officielapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:5ca1db81cbd568e92cdcafaebd3662bfcea761ce81b587fc930c3816698e2570

Référence à cette version

oci://hub.aggrega.ai/recipe/helm/nvidia-nim:1.0.0
Cible
—
Implémente
core/ai-model/nvidia-nim:1.0.0

Fournit

Modèles de pointeurs déterministes que cette recette câble pour les consommateurs.

NomModèle
host{{ .context.rendered_name }}-default
port{{ .infra.port }}
endpointhttp://{{ .context.rendered_name }}-default:{{ .infra.port }}/v1
model{{ .values.model }}
protocolhttp
metrics_endpoint{{ if le (int .infra.replicas) 1 }}http://{{ .context.rendered_name }}-default:{{ .infra.port }}/v1/metrics{{ end }}
metrics_service{{ if gt (int .infra.replicas) 1 }}{{ .context.rendered_name }}-default{{ end }}
metrics_service_port{{ if gt (int .infra.replicas) 1 }}http{{ end }}
metrics_path{{ if gt (int .infra.replicas) 1 }}/v1/metrics{{ end }}

Workload

Workload · form: stateful · replicas: {{ · containers: main

Variables locales

Aucune variable locale déclarée.

Correspondance des valeurs

Aucune correspondance des valeurs déclarée.

Relations

Arêtes typées vers et depuis d’autres entités publiées. Une référence sans cible publiée s’affiche comme une arête rompue plutôt que comme un lien.

Utilise

  • implémenteimplémentecontrat compatible

    core/ai-model/nvidia-nim:1.0.0

    Toutes les sorties obligatoires sont satisfaites et chaque sortie fournie est nommée dans le contrat.

Utilisé par

Rien dans le catalogue ne dépend de cette entité.

Référence du concept Recipe →

Le catalogue Aggrega — un index ouvert de composants, de fonctionnalités, de recettes et des plugins qui en assurent le rendu.

Conçu avec le système de design partagé d’Aggrega.

Confidentialité