このページは機械翻訳されています。英語の原文を読む。

Recipe

vllm

vLLM as a self-hosted inference server for local development via Docker Compose. Synthesized-mode Workload: the image, the command line, the environment, the model-cache volume and the weights-pull step are translated from the Workload kind by the compose provider. The weights pull is an init container, so it becomes a run-to-completion service that the serving service waits on before it starts. The model value is a deterministic pointer that step resolves at start; the compiler never fetches weights. Both services mount the same named model-cache volume, so the weights outlive the containers and a restart re-runs the pull step against an already-populated cache — how the downloader reconciles that is the downloader's own behaviour. When the optional model_pull_token credential slot is attached its value arrives on the inject pipe and is rendered as the HF_TOKEN environment variable on the weights-pull service, which is therefore also the key the attached credential must publish under; unattached, no such variable is emitted and weights are pulled anonymously. An attached api_key is rendered the same way as VLLM_API_KEY on the serving service, and the server then requires it of every caller under /v1. A GPU count is reserved as that many NVIDIA GPUs for the serving service, which the Docker host must provide. Compose is single-host, so the replica count and the GPU runtime class the Kubernetes realization honours are not honoured here; the build reports each as an unsupported-field warning naming the setting rather than dropping it in silence. provides.host is the compose service name, which a consumer on the same compose network resolves directly.

来歴

公式このカタログが公式の公開者として認めている署名 ID によって署名されています。
コンテンツダイジェスト
sha256:c28c526c53c3493724e66dd87738ab3f4d13555f15acd0c558dd9a2f70d5ecbc
公開日
2026-11-10T10:21:30Z
署名 ID
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

署名

  • 公式application/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:e91af8a7f9d69936f300bfb1f65c533703b680658ffbbe37ba386ecbccd012bf

このバージョンの参照

oci://hub.aggrega.ai/recipe/compose/vllm:1.0.0
ターゲット
—
実装対象
core/ai-model/vllm:1.0.0

提供

このレシピが利用側のために配線する決定論的なポインターテンプレートです。

名前テンプレート
host{{ .context.instance_id }}
port{{ .infra.port }}
endpointhttp://{{ .context.instance_id }}:{{ .infra.port }}/v1
model{{ default .values.model .values.served_model_name }}
protocolhttp
metrics_endpointhttp://{{ .context.instance_id }}:{{ .infra.port }}/metrics
metrics_service
metrics_service_port
metrics_pod_selector
metrics_pod_port
metrics_path

Workload

Workload · form: stateless · replicas: {{ · containers: main

ローカル変数

ローカル変数は宣言されていません。

値のマッピング

値のマッピングは宣言されていません。

関係

他の公開エンティティとの間の型付きエッジです。公開されたターゲットがない参照は、リンクではなく切れたエッジとして表示されます。

使用先

  • 実装実装コントラクト互換

    core/ai-model/vllm:1.0.0

    必須の出力はすべて満たされており、提供されるすべての出力がコントラクトに記載されています。

使用元

カタログ内にこのエンティティに依存しているものはありません。

Recipe の概念リファレンス →

Aggrega カタログ — コンポーネント、機能、レシピ、およびそれらをレンダリングするプラグインのオープンなインデックスです。

共有の Aggrega デザインシステムで構築されています。

プライバシー