Recipe
vllm-kserve
vLLM realized as a KServe InferenceService the KServe controller reconciles, rather than a directly synthesized StatefulSet — the controller-driven realization of the same model component, selectable in the Manifest alongside the synthesis recipe. The recipe emits an InferenceService custom resource whose predictor resolves the model pointer as a storage URI; the controller turns it into a running serving workload and its predictor Service. The model value is a deterministic pointer the controller resolves at reconcile time; the compiler never fetches weights. GPU is requested directly on the predictor as the extended resource nvidia.com/gpu, with an optional runtime class. provides is filled from the predictor Service the controller creates, so a consumer wires to it exactly as it would to the synthesized realization. An attached api_key reaches the predictor as VLLM_API_KEY, taken from the credential's secret by name, so the key never appears in the custom resource. The KServe control plane is a runtime prerequisite: the build halts unless the operator affirms it is installed (infra.control_plane_present), so no custom resource is emitted into a cluster that cannot reconcile it. The InferenceService is written into the namespace the Release, or else the Aggregate, names for this component through the aggrega.ai/namespace annotation, where one is set. Every metrics key is published empty: the port and path of the metrics belong to the serving runtime the cluster registered, which the catalog does not know.
Походження
- Дайджест вмісту
- sha256:4614aae2e413c2ce4f5fa5ae9da4867bf75e2848f0131f9231b6073f6bd8704e
- Опубліковано
- 2026-11-10T10:27:57Z
- Ідентичність підписувача
- https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
Підпис
- Офіційнийapplication/vnd.dev.sigstore.bundle.v0.3+json
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
sha256:a379bf3be43ccc8543136b5da2fd6ecc2d3f88eb85e69bdededb983ef056a8aa
Посилання на цю версію
oci://hub.aggrega.ai/recipe/helm/vllm-kserve:1.0.0- Ціль
- —
- Реалізує
- core/ai-model/vllm:1.0.0
Надає
Детерміновані шаблони вказівників, які цей рецепт під’єднує для споживачів.
| Назва | Шаблон |
|---|---|
| host | {{ .context.instance_id }}-predictor |
| port | 80 |
| endpoint | http://{{ .context.instance_id }}-predictor/v1 |
| model | {{ default .values.model .values.served_model_name }} |
| protocol | http |
| metrics_endpoint | |
| metrics_service | |
| metrics_service_port | |
| metrics_pod_selector | |
| metrics_pod_port | |
| metrics_path |
Workload
Шаблон робочого навантаження не оголошено.
Локальні значення
Локальних значень не оголошено.
Відображення значень
Відображення значень не оголошено.
Зв’язки
Типізовані ребра до інших опублікованих сутностей і від них. Відсилання без опублікованої цілі відображається як розірване ребро, а не як посилання.
Використовує
- реалізуєреалізуєконтракт сумісний
core/ai-model/vllm:1.0.0
Усі обов’язкові виходи задоволено, і кожен наданий вихід названо в контракті.
Використовується в
Ніщо в каталозі не залежить від цієї сутності.