Recipe
vllm
vLLM as a self-hosted inference server on Kubernetes via the helm provider's Workload synthesis, running the official upstream image directly (no external Helm chart). Renders a StatefulSet: a weights-pull initContainer resolves the model pointer into a per-replica model-cache volume, and the serving container mounts the same volume and serves the OpenAI-compatible API behind a ClusterIP Service. The model value is a deterministic pointer the initContainer resolves at pod start; the compiler never fetches weights. When the optional model_pull_token credential slot is attached the token reaches the initContainer as an env secretKeyRef, so it never appears in the rendered manifest; unattached, weights are pulled anonymously, byte-identically to a recipe with no slot. When the optional api_key slot is attached the key reaches the serving container as VLLM_API_KEY the same way, and the server requires it of every caller under /v1; unattached, it requires none. provides.host is the bare, self-contained in-cluster service name; a consumer in another namespace qualifies it on its own side. provides.metrics_endpoint names the server's metrics on the same Service while it runs one replica; above one it is empty and metrics_service names that Service for a scraper to discover every replica behind it.
Nguồn gốc
- Digest nội dung
- sha256:b7e2a07da70253727e8cce5267d1000fb9f03ee57bea809b17922fae4b5bf62c
- Đã xuất bản
- 2026-11-10T10:28:02Z
- Danh tính ký
- https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
Chữ ký
- Chính thứcapplication/vnd.dev.sigstore.bundle.v0.3+json
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
sha256:aac522f6ab46c06eba722df4dd23c4c23e1d2d7b257c557dd91e852f8cd02822
Tham chiếu ở phiên bản này
oci://hub.aggrega.ai/recipe/helm/vllm:1.0.0- Đích
- —
- Triển khai
- core/ai-model/vllm:1.0.0
Cung cấp
Các mẫu con trỏ xác định mà công thức này nối cho bên tiêu thụ.
| Tên | Mẫu |
|---|---|
| host | {{ .context.rendered_name }}-default |
| port | {{ .infra.port }} |
| endpoint | http://{{ .context.rendered_name }}-default:{{ .infra.port }}/v1 |
| model | {{ default .values.model .values.served_model_name }} |
| protocol | http |
| metrics_endpoint | {{ if le (int .infra.replicas) 1 }}http://{{ .context.rendered_name }}-default:{{ .infra.port }}/metrics{{ end }} |
| metrics_service | {{ if gt (int .infra.replicas) 1 }}{{ .context.rendered_name }}-default{{ end }} |
| metrics_service_port | {{ if gt (int .infra.replicas) 1 }}http{{ end }} |
| metrics_pod_selector | |
| metrics_pod_port | |
| metrics_path | {{ if gt (int .infra.replicas) 1 }}/metrics{{ end }} |
Workload
Workload · form: stateful · replicas: {{ · containers: main
Giá trị cục bộ
Chưa khai báo giá trị cục bộ nào.
Ánh xạ values
Chưa khai báo ánh xạ values nào.
Quan hệ
Các cạnh có kiểu đi tới và đi từ các thực thể đã xuất bản khác. Một tham chiếu không có đích đã xuất bản được hiển thị là một cạnh bị đứt thay vì một liên kết.
Sử dụng
- triển khaitriển khaihợp đồng tương thích
core/ai-model/vllm:1.0.0
Tất cả đầu ra bắt buộc đều được đáp ứng và mọi đầu ra được cung cấp đều được nêu tên trong hợp đồng.
Được sử dụng bởi
Không có gì trong danh mục phụ thuộc vào thực thể này.