Esta página se tradujo automáticamente. Leer el original en inglés.

Recipe

tgi

Text Generation Inference as a self-hosted inference server on Kubernetes via the helm provider's Workload synthesis, running the official upstream image directly (no external Helm chart). Renders a StatefulSet: a weights-pull initContainer resolves the model pointer into a per-replica model-cache volume, and the serving container mounts the same volume and serves the API behind a ClusterIP Service. The model value is a deterministic pointer the initContainer resolves at pod start; the compiler never fetches weights. When the optional model_pull_token credential slot is attached the token reaches the initContainer as an env secretKeyRef, so it never appears in the rendered manifest; unattached, weights are pulled anonymously, byte-identically to a recipe with no slot. When the optional api_key slot is attached the key reaches the serving container as API_KEY the same way, and the server requires it of every caller on its generation routes; unattached, it requires none. provides.host is the bare, self-contained in-cluster service name; a consumer in another namespace qualifies it on its own side. provides.metrics_endpoint names the server's metrics on the same Service while it runs one replica; above one it is empty and metrics_service names that Service for a scraper to discover every replica behind it.

Procedencia

OficialFirmado por una identidad de firma que este catálogo reconoce como editor oficial.
Digest del contenido
sha256:c8b7893730d761d2b587fb42ce111d4a894faf7a3f17ef32df5b8a26b330ab41
Publicado
2026-11-10T10:27:31Z
Identidad de firma
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

Firma

  • Oficialapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:8a0a362bf100833fa0c13844f030023bfbe117bc1a8e583e58672182af92bdfb

Referencia en esta versión

oci://hub.aggrega.ai/recipe/helm/tgi:1.0.0
Destino
—
Implementa
core/ai-model/tgi:1.0.0

Proporciona

Plantillas de punteros deterministas que esta receta cablea para los consumidores.

NombrePlantilla
host{{ .context.rendered_name }}-default
port{{ .infra.port }}
endpointhttp://{{ .context.rendered_name }}-default:{{ .infra.port }}/v1
model{{ .values.model }}
protocolhttp
metrics_endpoint{{ if le (int .infra.replicas) 1 }}http://{{ .context.rendered_name }}-default:{{ .infra.port }}/metrics{{ end }}
metrics_service{{ if gt (int .infra.replicas) 1 }}{{ .context.rendered_name }}-default{{ end }}
metrics_service_port{{ if gt (int .infra.replicas) 1 }}http{{ end }}
metrics_path{{ if gt (int .infra.replicas) 1 }}/metrics{{ end }}

Workload

Workload · form: stateful · replicas: {{ · containers: main

Variables locales

No se declararon variables locales.

Mapeo de valores

No se declaró ningún mapeo de valores.

Relaciones

Aristas tipadas hacia y desde otras entidades publicadas. Una referencia sin un destino publicado se muestra como una arista rota en lugar de como un enlace.

Usa

  • implementaimplementacontrato compatible

    core/ai-model/tgi:1.0.0

    Todas las salidas obligatorias se satisfacen y cada salida proporcionada está nombrada en el contrato.

Usado por

Nada en el catálogo depende de esta entidad.

Referencia del concepto Recipe →

El catálogo de Aggrega — un índice abierto de componentes, funcionalidades, recetas y los plugins que los renderizan.

Creado con el sistema de diseño compartido de Aggrega.

Privacidad