Эта страница переведена автоматически. Читать английский оригинал.

Recipe

tgi

Text Generation Inference as a self-hosted inference server for local development via Docker Compose, synthesized from the Workload kind by the compose provider. A weights-pull step, running the runtime's own downloader from the serving image at the same tag, resolves the model pointer into a named model-cache volume before the server starts; the compiler never fetches weights. The server is started under the weights identifier, which is the model name published to consumers. An attached model_pull_token is rendered as the HF_TOKEN environment variable on the pull step, which is also the key the credential must publish under; unattached, weights are pulled anonymously. An attached api_key is rendered the same way as API_KEY on the serving service, and the server then requires it of every caller on its generation routes. A GPU count is honoured: the compose provider reserves that many NVIDIA GPUs for the serving service, which the Docker host must be able to hand out. Compose is single-host: the replica count and the GPU runtime class are authored all the same, and the build reports each as an unsupported-field warning naming the setting. provides.host is the compose service name, which a consumer on the same compose network resolves directly.

Происхождение

ОфициальныйПодписано идентичностью подписи, которую этот каталог признаёт официальным издателем.
Дайджест содержимого
sha256:957c5f867ba3afbaa0e06bd205048758f2a232c688cfeaf46213e2eba0daf764
Опубликовано
2026-11-10T10:21:06Z
Идентичность подписи
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

Подпись

  • Официальныйapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:cc2dfa9a8128165b647879bb71193d014bd641b07e790e5766d18527afd8420d

Ссылка на эту версию

oci://hub.aggrega.ai/recipe/compose/tgi:1.0.0
Цель
—
Реализует
core/ai-model/tgi:1.0.0

Предоставляет

Детерминированные шаблоны указателей, которые этот рецепт связывает для потребителей.

ИмяШаблон
host{{ .context.instance_id }}
port{{ .infra.port }}
endpointhttp://{{ .context.instance_id }}:{{ .infra.port }}/v1
model{{ .values.model }}
protocolhttp
metrics_endpointhttp://{{ .context.instance_id }}:{{ .infra.port }}/metrics
metrics_service
metrics_service_port
metrics_path

Workload

Workload · form: stateless · replicas: {{ · containers: main

Локальные значения

Локальные значения не объявлены.

Сопоставление values

Сопоставление values не объявлено.

Связи

Типизированные рёбра к другим опубликованным сущностям и от них. Ссылка без опубликованной цели отображается как разорванное ребро, а не как ссылка.

Использует

  • реализуетреализуетконтракт совместим

    core/ai-model/tgi:1.0.0

    Все обязательные выходные значения обеспечены, и каждое предоставляемое выходное значение названо в контракте.

Используется в

Ничто в каталоге не зависит от этой сущности.

Справочник по понятию Recipe →

Каталог Aggrega — открытый указатель компонентов, функций, рецептов и плагинов, которые их рендерят.

Создано на общей дизайн-системе Aggrega.

Конфиденциальность