Recipe
litellm-gateway-chart
An AI gateway on Kubernetes via BerriAI's own litellm-helm chart, pulled from its OCI registry, running the official upstream proxy image at infra.engine_version. The chart's README calls it community maintained; it was checked for being official, complete and maintained against the chart itself. Its bundled PostgreSQL and Redis stay off, and its schema-migration Job renders only with database_url attached. It is proven at LiteLLM v1.103.1 and halts on any other engine_version. The gateway's configuration, its routing table and the modules Features rely on, comes from the LiteLLMGatewayConfig bundle, and the request guard and the path allowlist in front of the gateway from the LiteLLMGuard bundle, exactly as on the synthesis, the allowlist as a second container of the chart's pod. Every credential reaches the gateway as a secretKeyRef, so no credential value is rendered; unattached, api_key leaves the gateway with no master key, as on the synthesis. A cache store publishing redis-tls is reached over TLS, its certificate checked against the connection's server_ca or the image's trust store and for the store's published host; its password is expanded into the cache's connection URL in the container, so keep it to letters and digits. With `values.metrics_enabled` true the allowlist forwards a GET of /metrics alone from port 9090, on the chart's metrics Service, published as provides.metrics_endpoint; false leaves that key empty. Reach for this realization where a chart registry is reachable at build time; reach for `litellm-gateway`, the workload synthesis, where the build must complete with nothing fetched.
Nguồn gốc
- Digest nội dung
- sha256:ff8682203fae528f7ee3a1eb655d145e7b2e52ded0d8ec568758ba047957cf77
- Đã xuất bản
- 2026-11-10T10:25:04Z
- Danh tính ký
- https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
Chữ ký
- Chính thứcapplication/vnd.dev.sigstore.bundle.v0.3+json
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
sha256:92c4afcdd75e04e37eaaad6aa958b43a8172c696b010f21a6d3d358fce45e7f5
Tham chiếu ở phiên bản này
oci://hub.aggrega.ai/recipe/helm/litellm-gateway-chart:1.0.0- Đích
- —
- Triển khai
- core/gateway/litellm:1.0.0
Cung cấp
Các mẫu con trỏ xác định mà công thức này nối cho bên tiêu thụ.
| Tên | Mẫu |
|---|---|
| host | {{ .context.rendered_name }} |
| port | {{ .infra.port }} |
| endpoint | http://{{ .context.rendered_name }}:{{ .infra.port }}/v1 |
| model | {{ .locals.published_model }} |
| protocol | http |
| metrics_endpoint | {{ if .values.metrics_enabled }}http://{{ .context.rendered_name }}-metrics:{{ .locals.metrics_port }}/metrics{{ end }} |
Workload
Chưa khai báo mẫu khối lượng công việc nào.
Giá trị cục bộ
| Tên | Mẫu |
|---|---|
| config_file | config.yaml |
| provider_key_variable | LITELLM_PROVIDER_API_KEY |
| connection_key_variable_prefix | LITELLM_MODEL_ |
| connection_key_variable_suffix | _API_KEY |
| guard_api_key | the-guard-holds-the-upstream-credential |
| caller_identity_module | caller_identity |
| masking_module | data_masking |
| field_entity_masking_class | FieldEntityMasking |
| reply_masking_class | ReplyMasking |
| buffered_reply_masking_class | BufferedReplyMasking |
| field_pattern_masking_class | FieldPatternMasking |
| held_reply_class | HeldStreamedReply |
| log_masking_module | log_masking |
| log_masking_class | LogMasking |
| log_masking_failure_callback | withhold_failed_calls |
| request_filter_module | request_field_filter |
| gateway_address | 127.0.0.1 |
| gateway_port | {{ if eq (int .infra.port) 65535 }}65534{{ else }}{{ add1 (int .infra.port) }}{{ end }} |
| metrics_port | 9090 |
| gateway_metrics_port | 9091 |
| path_allowlist_file | path-allowlist.conf |
| path_allowlist_image_tag | 1.27.5-alpine |
| request_guard_config_map_name | {{ .context.instance_id }}-request-guard |
| request_guard_dir | /etc/litellm-request-guard |
| request_guard_delivery | config_map |
| forward_organization_routes | false |
| model_aliases | {{ $aliases := list }}{{ range (optional .values "models" list) }}{{ $aliases = append $aliases .name }}{{ end }}{{ toJson $aliases }} |
| model_entries | {{ toJson (optional .values "models" list) }} |
| published_model | {{ with optional .values "model" "" }}{{ . }}{{ else }}{{ with optional .values "models" list }}{{ (index . 0).name }}{{ end }}{{ end }} |
| analyzer_entity_types | ["CREDIT_CARD", "CRYPTO", "DATE_TIME", "EMAIL_ADDRESS", "IBAN_CODE", "IP_ADDRESS", "LOCATION", "MAC_ADDRESS", "MEDICAL_LICENSE", "NRP", "PERSON", "PHONE_NUMBER", "UK_NHS", "URL", "US_BANK_NUMBER", "US_DRIVER_LICENSE", "US_ITIN", "US_PASSPORT", "US_SSN"] |
| proven_engine_versions | ["v1.103.1"] |
| cache_store_host_variable | SEMANTIC_CACHE_STORE_HOST |
| cache_store_port_variable | SEMANTIC_CACHE_STORE_PORT |
| cache_store_password_variable | REDIS_PASSWORD |
| cache_store_url_variable | SEMANTIC_CACHE_STORE_URL |
Ánh xạ values
Chưa khai báo ánh xạ values nào.
Quan hệ
Các cạnh có kiểu đi tới và đi từ các thực thể đã xuất bản khác. Một tham chiếu không có đích đã xuất bản được hiển thị là một cạnh bị đứt thay vì một liên kết.
Sử dụng
- triển khaitriển khaihợp đồng tương thích
core/gateway/litellm:1.0.0
Tất cả đầu ra bắt buộc đều được đáp ứng và mọi đầu ra được cung cấp đều được nêu tên trong hợp đồng.
Được sử dụng bởi
Không có gì trong danh mục phụ thuộc vào thực thể này.