Recipe
litellm-gateway
The AI gateway for local development via Docker Compose, running the official upstream proxy image. Its configuration, the routing table from values.models and the models socket, is a compose config the proxy reads, from the bundle the Kubernetes realizations import. It is proven at LiteLLM v1.103.1 and halts on any other engine_version. As on Kubernetes, a request guard forwards only the request fields the proxy declares for the route, plus any in infra.admitted_request_fields, and a path allowlist, the official nginx image (BSD-2-Clause) in the proxy's network namespace on infra.port, answers 403 to every path but the gateway's routes. values.log_masking is honoured, entity types through the Presidio services on the pii_analyzer and pii_anonymizer sockets. core/prompt-deny-patterns and core/fallback-chain are written into the configuration from their attachments. Compose has no env-from-secret primitive, so an attached credential is rendered as a plain variable; a Compose variable reference stays one. The cache_store socket is refused: the semantic cache it serves has no Compose realization.
Nguồn gốc
- Digest nội dung
- sha256:fde851c13ac2fef43cc9caed2f47a52002e5cd1a231fe38cabf95b15e65b82a6
- Đã xuất bản
- 2026-11-10T10:19:31Z
- Danh tính ký
- https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
Chữ ký
- Chính thứcapplication/vnd.dev.sigstore.bundle.v0.3+json
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
sha256:3e702ae81775eb574c3aca015be6d6f484961b6d53e489833ee08fadfbf7c77d
Tham chiếu ở phiên bản này
oci://hub.aggrega.ai/recipe/compose/litellm-gateway:1.0.0- Đích
- —
- Triển khai
- core/gateway/litellm:1.0.0
Cung cấp
Các mẫu con trỏ xác định mà công thức này nối cho bên tiêu thụ.
| Tên | Mẫu |
|---|---|
| host | {{ .context.instance_id }} |
| port | {{ .infra.port }} |
| endpoint | http://{{ .context.instance_id }}:{{ .infra.port }}/v1 |
| model | {{ .locals.published_model }} |
| protocol | http |
| metrics_endpoint | {{ if .values.metrics_enabled }}http://{{ .context.instance_id }}:{{ .locals.metrics_port }}/metrics{{ end }} |
Workload
Workload · form: stateless · containers: main
Giá trị cục bộ
| Tên | Mẫu |
|---|---|
| config_file | config.yaml |
| provider_key_variable | LITELLM_PROVIDER_API_KEY |
| connection_key_variable_prefix | LITELLM_MODEL_ |
| connection_key_variable_suffix | _API_KEY |
| guard_api_key | the-guard-holds-the-upstream-credential |
| caller_identity_module | caller_identity |
| masking_module | data_masking |
| field_entity_masking_class | FieldEntityMasking |
| reply_masking_class | ReplyMasking |
| buffered_reply_masking_class | BufferedReplyMasking |
| field_pattern_masking_class | FieldPatternMasking |
| held_reply_class | HeldStreamedReply |
| log_masking_module | log_masking |
| log_masking_class | LogMasking |
| log_masking_failure_callback | withhold_failed_calls |
| request_filter_module | request_field_filter |
| gateway_address | 127.0.0.1 |
| gateway_port | {{ if eq (int .infra.port) 65535 }}65534{{ else }}{{ add1 (int .infra.port) }}{{ end }} |
| metrics_port | 9090 |
| gateway_metrics_port | 9091 |
| path_allowlist_file | path-allowlist.conf |
| path_allowlist_image_tag | 1.27.5-alpine |
| proxy_image | ghcr.io/berriai/litellm:{{ .infra.engine_version }} |
| request_guard_delivery | compose_configs |
| request_guard_module_config_name | {{ .context.instance_id }}-request-guard-module |
| request_guard_allowlist_config_name | {{ .context.instance_id }}-request-guard-allowlist |
| request_guard_dir | /etc/litellm-request-guard |
| gateway_config_name | {{ .context.instance_id }}-config |
| log_masking_config_name | {{ .context.instance_id }}-log-masking |
| forward_organization_routes | false |
| model_aliases | {{ $aliases := list }}{{ range (optional .values "models" list) }}{{ $aliases = append $aliases .name }}{{ end }}{{ toJson $aliases }} |
| model_entries | {{ toJson (optional .values "models" list) }} |
| published_model | {{ with optional .values "model" "" }}{{ . }}{{ else }}{{ with optional .values "models" list }}{{ (index . 0).name }}{{ end }}{{ end }} |
| analyzer_entity_types | ["CREDIT_CARD", "CRYPTO", "DATE_TIME", "EMAIL_ADDRESS", "IBAN_CODE", "IP_ADDRESS", "LOCATION", "MAC_ADDRESS", "MEDICAL_LICENSE", "NRP", "PERSON", "PHONE_NUMBER", "UK_NHS", "URL", "US_BANK_NUMBER", "US_DRIVER_LICENSE", "US_ITIN", "US_PASSPORT", "US_SSN"] |
| proven_engine_versions | ["v1.103.1"] |
Ánh xạ values
Chưa khai báo ánh xạ values nào.
Quan hệ
Các cạnh có kiểu đi tới và đi từ các thực thể đã xuất bản khác. Một tham chiếu không có đích đã xuất bản được hiển thị là một cạnh bị đứt thay vì một liên kết.
Sử dụng
- triển khaitriển khaihợp đồng tương thích
core/gateway/litellm:1.0.0
Tất cả đầu ra bắt buộc đều được đáp ứng và mọi đầu ra được cung cấp đều được nêu tên trong hợp đồng.
Được sử dụng bởi
Không có gì trong danh mục phụ thuộc vào thực thể này.