Trang này được dịch bằng máy. Đọc bản gốc tiếng Anh.

Recipe

vllm

vLLM as a self-hosted inference server on Kubernetes via the helm provider's Workload synthesis, running the official upstream image directly (no external Helm chart). Renders a StatefulSet: a weights-pull initContainer resolves the model pointer into a per-replica model-cache volume, and the serving container mounts the same volume and serves the OpenAI-compatible API behind a ClusterIP Service. The model value is a deterministic pointer the initContainer resolves at pod start; the compiler never fetches weights. When the optional model_pull_token credential slot is attached the token reaches the initContainer as an env secretKeyRef, so it never appears in the rendered manifest; unattached, weights are pulled anonymously, byte-identically to a recipe with no slot. When the optional api_key slot is attached the key reaches the serving container as VLLM_API_KEY the same way, and the server requires it of every caller under /v1; unattached, it requires none. provides.host is the bare, self-contained in-cluster service name; a consumer in another namespace qualifies it on its own side. provides.metrics_endpoint names the server's metrics on the same Service while it runs one replica; above one it is empty and metrics_service names that Service for a scraper to discover every replica behind it.

Nguồn gốc

Chính thứcĐược ký bởi một danh tính ký mà danh mục này công nhận là nhà phát hành chính thức.
Digest nội dung
sha256:b7e2a07da70253727e8cce5267d1000fb9f03ee57bea809b17922fae4b5bf62c
Đã xuất bản
2026-11-10T10:28:02Z
Danh tính ký
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

Chữ ký

  • Chính thứcapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:aac522f6ab46c06eba722df4dd23c4c23e1d2d7b257c557dd91e852f8cd02822

Tham chiếu ở phiên bản này

oci://hub.aggrega.ai/recipe/helm/vllm:1.0.0
Đích
—
Triển khai
core/ai-model/vllm:1.0.0

Cung cấp

Các mẫu con trỏ xác định mà công thức này nối cho bên tiêu thụ.

TênMẫu
host{{ .context.rendered_name }}-default
port{{ .infra.port }}
endpointhttp://{{ .context.rendered_name }}-default:{{ .infra.port }}/v1
model{{ default .values.model .values.served_model_name }}
protocolhttp
metrics_endpoint{{ if le (int .infra.replicas) 1 }}http://{{ .context.rendered_name }}-default:{{ .infra.port }}/metrics{{ end }}
metrics_service{{ if gt (int .infra.replicas) 1 }}{{ .context.rendered_name }}-default{{ end }}
metrics_service_port{{ if gt (int .infra.replicas) 1 }}http{{ end }}
metrics_pod_selector
metrics_pod_port
metrics_path{{ if gt (int .infra.replicas) 1 }}/metrics{{ end }}

Workload

Workload · form: stateful · replicas: {{ · containers: main

Giá trị cục bộ

Chưa khai báo giá trị cục bộ nào.

Ánh xạ values

Chưa khai báo ánh xạ values nào.

Quan hệ

Các cạnh có kiểu đi tới và đi từ các thực thể đã xuất bản khác. Một tham chiếu không có đích đã xuất bản được hiển thị là một cạnh bị đứt thay vì một liên kết.

Sử dụng

  • triển khaitriển khaihợp đồng tương thích

    core/ai-model/vllm:1.0.0

    Tất cả đầu ra bắt buộc đều được đáp ứng và mọi đầu ra được cung cấp đều được nêu tên trong hợp đồng.

Được sử dụng bởi

Không có gì trong danh mục phụ thuộc vào thực thể này.

Tài liệu tham khảo khái niệm Recipe →

Danh mục Aggrega — chỉ mục mở gồm các thành phần, tính năng, công thức và các plugin kết xuất chúng.

Được xây dựng bằng hệ thống thiết kế dùng chung của Aggrega.

Quyền riêng tư