Bu sayfa makine çevirisiyle çevrilmiştir. İngilizce aslını okuyun.

Recipe

tgi

Text Generation Inference as a self-hosted inference server on Kubernetes via the helm provider's Workload synthesis, running the official upstream image directly (no external Helm chart). Renders a StatefulSet: a weights-pull initContainer resolves the model pointer into a per-replica model-cache volume, and the serving container mounts the same volume and serves the API behind a ClusterIP Service. The model value is a deterministic pointer the initContainer resolves at pod start; the compiler never fetches weights. When the optional model_pull_token credential slot is attached the token reaches the initContainer as an env secretKeyRef, so it never appears in the rendered manifest; unattached, weights are pulled anonymously, byte-identically to a recipe with no slot. When the optional api_key slot is attached the key reaches the serving container as API_KEY the same way, and the server requires it of every caller on its generation routes; unattached, it requires none. provides.host is the bare, self-contained in-cluster service name; a consumer in another namespace qualifies it on its own side. provides.metrics_endpoint names the server's metrics on the same Service while it runs one replica; above one it is empty and metrics_service names that Service for a scraper to discover every replica behind it.

Köken

ResmiBu kataloğun resmi yayıncı olarak tanıdığı bir imzalama kimliğiyle imzalanmıştır.
İçerik özeti
sha256:c8b7893730d761d2b587fb42ce111d4a894faf7a3f17ef32df5b8a26b330ab41
Yayımlanma
2026-11-10T10:27:31Z
İmzalama kimliği
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

İmza

  • Resmiapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:8a0a362bf100833fa0c13844f030023bfbe117bc1a8e583e58672182af92bdfb

Bu sürümdeki referans

oci://hub.aggrega.ai/recipe/helm/tgi:1.0.0
Hedef
—
Uygular
core/ai-model/tgi:1.0.0

Sağlar

Bu tarifin tüketiciler için bağladığı deterministik işaretçi şablonları.

AdŞablon
host{{ .context.rendered_name }}-default
port{{ .infra.port }}
endpointhttp://{{ .context.rendered_name }}-default:{{ .infra.port }}/v1
model{{ .values.model }}
protocolhttp
metrics_endpoint{{ if le (int .infra.replicas) 1 }}http://{{ .context.rendered_name }}-default:{{ .infra.port }}/metrics{{ end }}
metrics_service{{ if gt (int .infra.replicas) 1 }}{{ .context.rendered_name }}-default{{ end }}
metrics_service_port{{ if gt (int .infra.replicas) 1 }}http{{ end }}
metrics_path{{ if gt (int .infra.replicas) 1 }}/metrics{{ end }}

Workload

Workload · form: stateful · replicas: {{ · containers: main

Yerel değerler

Yerel değer bildirilmemiş.

Değer eşlemesi

Değer eşlemesi bildirilmemiş.

İlişkiler

Diğer yayımlanmış varlıklara giden ve onlardan gelen tipli kenarlar. Yayımlanmış bir hedefi olmayan bir başvuru, bağlantı yerine kopuk bir kenar olarak gösterilir.

Kullanır

  • uygularuygularsözleşme uyumlu

    core/ai-model/tgi:1.0.0

    Tüm zorunlu çıktılar karşılanır ve sağlanan her çıktı sözleşmede adlandırılmıştır.

Kullananlar

Katalogdaki hiçbir şey bu varlığa bağımlı değildir.

Recipe kavram başvurusu →

Aggrega kataloğu — bileşenlerin, özelliklerin, tariflerin ve bunları oluşturan eklentilerin açık bir dizini.

Ortak Aggrega tasarım sistemiyle oluşturuldu.

Gizlilik