Recipe
litellm
LiteLLM as a self-hosted, OpenAI-compatible model proxy for local development via Docker Compose, synthesized from the Workload kind by the compose provider. A compose config carries the proxy's configuration, which publishes the alias in values.model and points it at values.upstream_model. The configuration contract is authored against LiteLLM v1.103.1. Compose has no env-from-secret primitive, so an attached credential is rendered as a plain environment variable, and a credential written as a Compose variable reference lands as that reference rather than its value. On every Release two further configs carry a request guard, which forwards only the request fields the proxy declares for the route, plus any the Release admits in infra.admitted_request_fields, and refuses the rest naming the field; and a path allowlist, a service of its own running the official nginx image (BSD-2-Clause) in the proxy's network namespace on infra.port, which answers 403 to every path but the model routes, the model listing, the health routes and key management. Both come from the LiteLLMGuard bundle. PROXY_BASE_URL is emitted only when infra.external_base_url is set, the build halting on one carrying a path. With `values.metrics_enabled` true the proxy serves its Prometheus metrics on its loopback address, and the path allowlist forwards a GET of /metrics alone there from port 9090, which every peer on the compose network reaches, published as provides.metrics_endpoint; false leaves that key empty. The port checks no caller, and the metrics name the hashed keys, key aliases and user emails the proxy attributes spend to.
Nguồn gốc
- Digest nội dung
- sha256:887b26237802ad5625a1a1fd2fc7fcb7da336364e5b359f0feb6014dc1a72485
- Đã xuất bản
- 2026-11-10T10:19:32Z
- Danh tính ký
- https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
Chữ ký
- Chính thứcapplication/vnd.dev.sigstore.bundle.v0.3+json
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
sha256:991eb8cd793b320763398edf8fe5c43adb654fcff47fed165e824176b099e5ca
Tham chiếu ở phiên bản này
oci://hub.aggrega.ai/recipe/compose/litellm:1.0.0- Đích
- —
- Triển khai
- core/ai-model/litellm:1.0.0
Cung cấp
Các mẫu con trỏ xác định mà công thức này nối cho bên tiêu thụ.
| Tên | Mẫu |
|---|---|
| host | {{ .context.instance_id }} |
| port | {{ .infra.port }} |
| endpoint | http://{{ .context.instance_id }}:{{ .infra.port }}/v1 |
| model | {{ .values.model }} |
| protocol | http |
| metrics_endpoint | {{ if .values.metrics_enabled }}http://{{ .context.instance_id }}:{{ .locals.metrics_port }}/metrics{{ end }} |
Workload
Workload · form: stateless · containers: main
Giá trị cục bộ
| Tên | Mẫu |
|---|---|
| config_file | config.yaml |
| config_name | {{ .context.instance_id }}-config |
| request_filter_module | request_field_filter |
| gateway_address | 127.0.0.1 |
| gateway_port | {{ if eq (int .infra.port) 65535 }}65534{{ else }}{{ add1 (int .infra.port) }}{{ end }} |
| metrics_port | 9090 |
| gateway_metrics_port | 9091 |
| path_allowlist_file | path-allowlist.conf |
| path_allowlist_image_tag | 1.27.5-alpine |
| request_guard_delivery | compose_configs |
| request_guard_module_config_name | {{ .context.instance_id }}-request-guard-module |
| request_guard_allowlist_config_name | {{ .context.instance_id }}-request-guard-allowlist |
| request_guard_dir | /etc/litellm-request-guard |
| forward_organization_routes | false |
Ánh xạ values
Chưa khai báo ánh xạ values nào.
Quan hệ
Các cạnh có kiểu đi tới và đi từ các thực thể đã xuất bản khác. Một tham chiếu không có đích đã xuất bản được hiển thị là một cạnh bị đứt thay vì một liên kết.
Sử dụng
- triển khaitriển khaihợp đồng tương thích
core/ai-model/litellm:1.0.0
Tất cả đầu ra bắt buộc đều được đáp ứng và mọi đầu ra được cung cấp đều được nêu tên trong hợp đồng.
Được sử dụng bởi
Không có gì trong danh mục phụ thuộc vào thực thể này.