Цю сторінку перекладено машинно. Читати англійський оригінал.

Recipe

tgi

Text Generation Inference as a self-hosted inference server on Kubernetes via the helm provider's Workload synthesis, running the official upstream image directly (no external Helm chart). Renders a StatefulSet: a weights-pull initContainer resolves the model pointer into a per-replica model-cache volume, and the serving container mounts the same volume and serves the API behind a ClusterIP Service. The model value is a deterministic pointer the initContainer resolves at pod start; the compiler never fetches weights. When the optional model_pull_token credential slot is attached the token reaches the initContainer as an env secretKeyRef, so it never appears in the rendered manifest; unattached, weights are pulled anonymously, byte-identically to a recipe with no slot. When the optional api_key slot is attached the key reaches the serving container as API_KEY the same way, and the server requires it of every caller on its generation routes; unattached, it requires none. provides.host is the bare, self-contained in-cluster service name; a consumer in another namespace qualifies it on its own side. provides.metrics_endpoint names the server's metrics on the same Service while it runs one replica; above one it is empty and metrics_service names that Service for a scraper to discover every replica behind it.

Походження

ОфіційнийПідписано ідентичністю підписувача, яку цей каталог визнає офіційним видавцем.
Дайджест вмісту
sha256:c8b7893730d761d2b587fb42ce111d4a894faf7a3f17ef32df5b8a26b330ab41
Опубліковано
2026-11-10T10:27:31Z
Ідентичність підписувача
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

Підпис

  • Офіційнийapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:8a0a362bf100833fa0c13844f030023bfbe117bc1a8e583e58672182af92bdfb

Посилання на цю версію

oci://hub.aggrega.ai/recipe/helm/tgi:1.0.0
Ціль
—
Реалізує
core/ai-model/tgi:1.0.0

Надає

Детерміновані шаблони вказівників, які цей рецепт під’єднує для споживачів.

НазваШаблон
host{{ .context.rendered_name }}-default
port{{ .infra.port }}
endpointhttp://{{ .context.rendered_name }}-default:{{ .infra.port }}/v1
model{{ .values.model }}
protocolhttp
metrics_endpoint{{ if le (int .infra.replicas) 1 }}http://{{ .context.rendered_name }}-default:{{ .infra.port }}/metrics{{ end }}
metrics_service{{ if gt (int .infra.replicas) 1 }}{{ .context.rendered_name }}-default{{ end }}
metrics_service_port{{ if gt (int .infra.replicas) 1 }}http{{ end }}
metrics_path{{ if gt (int .infra.replicas) 1 }}/metrics{{ end }}

Workload

Workload · form: stateful · replicas: {{ · containers: main

Локальні значення

Локальних значень не оголошено.

Відображення значень

Відображення значень не оголошено.

Зв’язки

Типізовані ребра до інших опублікованих сутностей і від них. Відсилання без опублікованої цілі відображається як розірване ребро, а не як посилання.

Використовує

  • реалізуєреалізуєконтракт сумісний

    core/ai-model/tgi:1.0.0

    Усі обов’язкові виходи задоволено, і кожен наданий вихід названо в контракті.

Використовується в

Ніщо в каталозі не залежить від цієї сутності.

Довідка про поняття Recipe →

Каталог Aggrega — відкритий індекс компонентів, функцій, рецептів і плагінів, які їх рендерять.

Створено на основі спільної дизайн-системи Aggrega.

Конфіденційність