Bu sayfa makine çevirisiyle çevrilmiştir. İngilizce aslını okuyun.

Recipe

tgi

Text Generation Inference as a self-hosted inference server for local development via Docker Compose, synthesized from the Workload kind by the compose provider. A weights-pull step, running the runtime's own downloader from the serving image at the same tag, resolves the model pointer into a named model-cache volume before the server starts; the compiler never fetches weights. The server is started under the weights identifier, which is the model name published to consumers. An attached model_pull_token is rendered as the HF_TOKEN environment variable on the pull step, which is also the key the credential must publish under; unattached, weights are pulled anonymously. An attached api_key is rendered the same way as API_KEY on the serving service, and the server then requires it of every caller on its generation routes. A GPU count is honoured: the compose provider reserves that many NVIDIA GPUs for the serving service, which the Docker host must be able to hand out. Compose is single-host: the replica count and the GPU runtime class are authored all the same, and the build reports each as an unsupported-field warning naming the setting. provides.host is the compose service name, which a consumer on the same compose network resolves directly.

Köken

ResmiBu kataloğun resmi yayıncı olarak tanıdığı bir imzalama kimliğiyle imzalanmıştır.
İçerik özeti
sha256:957c5f867ba3afbaa0e06bd205048758f2a232c688cfeaf46213e2eba0daf764
Yayımlanma
2026-11-10T10:21:06Z
İmzalama kimliği
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

İmza

  • Resmiapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:cc2dfa9a8128165b647879bb71193d014bd641b07e790e5766d18527afd8420d

Bu sürümdeki referans

oci://hub.aggrega.ai/recipe/compose/tgi:1.0.0
Hedef
—
Uygular
core/ai-model/tgi:1.0.0

Sağlar

Bu tarifin tüketiciler için bağladığı deterministik işaretçi şablonları.

AdŞablon
host{{ .context.instance_id }}
port{{ .infra.port }}
endpointhttp://{{ .context.instance_id }}:{{ .infra.port }}/v1
model{{ .values.model }}
protocolhttp
metrics_endpointhttp://{{ .context.instance_id }}:{{ .infra.port }}/metrics
metrics_service
metrics_service_port
metrics_path

Workload

Workload · form: stateless · replicas: {{ · containers: main

Yerel değerler

Yerel değer bildirilmemiş.

Değer eşlemesi

Değer eşlemesi bildirilmemiş.

İlişkiler

Diğer yayımlanmış varlıklara giden ve onlardan gelen tipli kenarlar. Yayımlanmış bir hedefi olmayan bir başvuru, bağlantı yerine kopuk bir kenar olarak gösterilir.

Kullanır

  • uygularuygularsözleşme uyumlu

    core/ai-model/tgi:1.0.0

    Tüm zorunlu çıktılar karşılanır ve sağlanan her çıktı sözleşmede adlandırılmıştır.

Kullananlar

Katalogdaki hiçbir şey bu varlığa bağımlı değildir.

Recipe kavram başvurusu →

Aggrega kataloğu — bileşenlerin, özelliklerin, tariflerin ve bunları oluşturan eklentilerin açık bir dizini.

Ortak Aggrega tasarım sistemiyle oluşturuldu.

Gizlilik