Recipe
vllm-kserve
vLLM realized as a KServe InferenceService the KServe controller reconciles, rather than a directly synthesized StatefulSet — the controller-driven realization of the same model component, selectable in the Manifest alongside the synthesis recipe. The recipe emits an InferenceService custom resource whose predictor resolves the model pointer as a storage URI; the controller turns it into a running serving workload and its predictor Service. The model value is a deterministic pointer the controller resolves at reconcile time; the compiler never fetches weights. GPU is requested directly on the predictor as the extended resource nvidia.com/gpu, with an optional runtime class. provides is filled from the predictor Service the controller creates, so a consumer wires to it exactly as it would to the synthesized realization. An attached api_key reaches the predictor as VLLM_API_KEY, taken from the credential's secret by name, so the key never appears in the custom resource. The KServe control plane is a runtime prerequisite: the build halts unless the operator affirms it is installed (infra.control_plane_present), so no custom resource is emitted into a cluster that cannot reconcile it. The InferenceService is written into the namespace the Release, or else the Aggregate, names for this component through the aggrega.ai/namespace annotation, where one is set. Every metrics key is published empty: the port and path of the metrics belong to the serving runtime the cluster registered, which the catalog does not know.
Nguồn gốc
- Digest nội dung
- sha256:4614aae2e413c2ce4f5fa5ae9da4867bf75e2848f0131f9231b6073f6bd8704e
- Đã xuất bản
- 2026-11-10T10:27:57Z
- Danh tính ký
- https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
Chữ ký
- Chính thứcapplication/vnd.dev.sigstore.bundle.v0.3+json
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
sha256:a379bf3be43ccc8543136b5da2fd6ecc2d3f88eb85e69bdededb983ef056a8aa
Tham chiếu ở phiên bản này
oci://hub.aggrega.ai/recipe/helm/vllm-kserve:1.0.0- Đích
- —
- Triển khai
- core/ai-model/vllm:1.0.0
Cung cấp
Các mẫu con trỏ xác định mà công thức này nối cho bên tiêu thụ.
| Tên | Mẫu |
|---|---|
| host | {{ .context.instance_id }}-predictor |
| port | 80 |
| endpoint | http://{{ .context.instance_id }}-predictor/v1 |
| model | {{ default .values.model .values.served_model_name }} |
| protocol | http |
| metrics_endpoint | |
| metrics_service | |
| metrics_service_port | |
| metrics_pod_selector | |
| metrics_pod_port | |
| metrics_path |
Workload
Chưa khai báo mẫu khối lượng công việc nào.
Giá trị cục bộ
Chưa khai báo giá trị cục bộ nào.
Ánh xạ values
Chưa khai báo ánh xạ values nào.
Quan hệ
Các cạnh có kiểu đi tới và đi từ các thực thể đã xuất bản khác. Một tham chiếu không có đích đã xuất bản được hiển thị là một cạnh bị đứt thay vì một liên kết.
Sử dụng
- triển khaitriển khaihợp đồng tương thích
core/ai-model/vllm:1.0.0
Tất cả đầu ra bắt buộc đều được đáp ứng và mọi đầu ra được cung cấp đều được nêu tên trong hợp đồng.
Được sử dụng bởi
Không có gì trong danh mục phụ thuộc vào thực thể này.