Cette page a été traduite automatiquement. Lire l’original en anglais.

Recipe

litellm-gateway

The AI gateway for local development via Docker Compose, running the official upstream proxy image. Its configuration, the routing table from values.models and the models socket, is a compose config the proxy reads, from the bundle the Kubernetes realizations import. It is proven at LiteLLM v1.103.1 and halts on any other engine_version. As on Kubernetes, a request guard forwards only the request fields the proxy declares for the route, plus any in infra.admitted_request_fields, and a path allowlist, the official nginx image (BSD-2-Clause) in the proxy's network namespace on infra.port, answers 403 to every path but the gateway's routes. values.log_masking is honoured, entity types through the Presidio services on the pii_analyzer and pii_anonymizer sockets. core/prompt-deny-patterns and core/fallback-chain are written into the configuration from their attachments. Compose has no env-from-secret primitive, so an attached credential is rendered as a plain variable; a Compose variable reference stays one. The cache_store socket is refused: the semantic cache it serves has no Compose realization.

Provenance

OfficielSigné par une identité de signature que ce catalogue reconnaît comme éditeur officiel.
Empreinte du contenu
sha256:fde851c13ac2fef43cc9caed2f47a52002e5cd1a231fe38cabf95b15e65b82a6
Publié
2026-11-10T10:19:31Z
Identité de signature
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

Signature

  • Officielapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:3e702ae81775eb574c3aca015be6d6f484961b6d53e489833ee08fadfbf7c77d

Référence à cette version

oci://hub.aggrega.ai/recipe/compose/litellm-gateway:1.0.0
Cible
—
Implémente
core/gateway/litellm:1.0.0

Fournit

Modèles de pointeurs déterministes que cette recette câble pour les consommateurs.

NomModèle
host{{ .context.instance_id }}
port{{ .infra.port }}
endpointhttp://{{ .context.instance_id }}:{{ .infra.port }}/v1
model{{ .locals.published_model }}
protocolhttp
metrics_endpoint{{ if .values.metrics_enabled }}http://{{ .context.instance_id }}:{{ .locals.metrics_port }}/metrics{{ end }}

Workload

Workload · form: stateless · containers: main

Variables locales

NomModèle
config_fileconfig.yaml
provider_key_variableLITELLM_PROVIDER_API_KEY
connection_key_variable_prefixLITELLM_MODEL_
connection_key_variable_suffix_API_KEY
guard_api_keythe-guard-holds-the-upstream-credential
caller_identity_modulecaller_identity
masking_moduledata_masking
field_entity_masking_classFieldEntityMasking
reply_masking_classReplyMasking
buffered_reply_masking_classBufferedReplyMasking
field_pattern_masking_classFieldPatternMasking
held_reply_classHeldStreamedReply
log_masking_modulelog_masking
log_masking_classLogMasking
log_masking_failure_callbackwithhold_failed_calls
request_filter_modulerequest_field_filter
gateway_address127.0.0.1
gateway_port{{ if eq (int .infra.port) 65535 }}65534{{ else }}{{ add1 (int .infra.port) }}{{ end }}
metrics_port9090
gateway_metrics_port9091
path_allowlist_filepath-allowlist.conf
path_allowlist_image_tag1.27.5-alpine
proxy_imageghcr.io/berriai/litellm:{{ .infra.engine_version }}
request_guard_deliverycompose_configs
request_guard_module_config_name{{ .context.instance_id }}-request-guard-module
request_guard_allowlist_config_name{{ .context.instance_id }}-request-guard-allowlist
request_guard_dir/etc/litellm-request-guard
gateway_config_name{{ .context.instance_id }}-config
log_masking_config_name{{ .context.instance_id }}-log-masking
forward_organization_routesfalse
model_aliases{{ $aliases := list }}{{ range (optional .values "models" list) }}{{ $aliases = append $aliases .name }}{{ end }}{{ toJson $aliases }}
model_entries{{ toJson (optional .values "models" list) }}
published_model{{ with optional .values "model" "" }}{{ . }}{{ else }}{{ with optional .values "models" list }}{{ (index . 0).name }}{{ end }}{{ end }}
analyzer_entity_types["CREDIT_CARD", "CRYPTO", "DATE_TIME", "EMAIL_ADDRESS", "IBAN_CODE", "IP_ADDRESS", "LOCATION", "MAC_ADDRESS", "MEDICAL_LICENSE", "NRP", "PERSON", "PHONE_NUMBER", "UK_NHS", "URL", "US_BANK_NUMBER", "US_DRIVER_LICENSE", "US_ITIN", "US_PASSPORT", "US_SSN"]
proven_engine_versions["v1.103.1"]

Correspondance des valeurs

Aucune correspondance des valeurs déclarée.

Relations

Arêtes typées vers et depuis d’autres entités publiées. Une référence sans cible publiée s’affiche comme une arête rompue plutôt que comme un lien.

Utilise

  • implémenteimplémentecontrat compatible

    core/gateway/litellm:1.0.0

    Toutes les sorties obligatoires sont satisfaites et chaque sortie fournie est nommée dans le contrat.

Utilisé par

Rien dans le catalogue ne dépend de cette entité.

Référence du concept Recipe →

Le catalogue Aggrega — un index ouvert de composants, de fonctionnalités, de recettes et des plugins qui en assurent le rendu.

Conçu avec le système de design partagé d’Aggrega.

Confidentialité