Cette page a été traduite automatiquement. Lire l’original en anglais.

Recipe

litellm

LiteLLM as a self-hosted, OpenAI-compatible model proxy on Kubernetes via the helm provider's Workload synthesis, running the official upstream image directly (no external Helm chart). Renders a Deployment, a ClusterIP Service and a ConfigMap carrying the proxy's configuration, which publishes the alias in values.model and points it at values.upstream_model. An attached api_key, provider_key or database_url reaches the proxy as an env secretKeyRef, so no credential value appears in the proxy's own resources. The configuration contract is authored against LiteLLM v1.103.1. On every Release a second ConfigMap carries a request guard, which forwards only the request fields the proxy declares for the route, plus any the Release admits in infra.admitted_request_fields, and refuses the rest naming the field. The same ConfigMap configures a path allowlist, a second container running the official nginx image (BSD-2-Clause) in front of the proxy on infra.port, which answers 403 to every path but the model routes, the model listing, the health routes and key management. Both come from the LiteLLMGuard bundle. PROXY_BASE_URL is emitted only when infra.external_base_url is set, the build halting on one carrying a path. With `values.metrics_enabled` true the proxy serves its Prometheus metrics on its loopback address, and the path allowlist forwards a GET of /metrics alone there from port 9090, on the ClusterIP Service, published as provides.metrics_endpoint; false leaves that key empty. Reach for this realization where the build must fetch nothing; reach for `litellm-chart`, BerriAI's own chart, where its registry is reachable at build time.

Provenance

OfficielSigné par une identité de signature que ce catalogue reconnaît comme éditeur officiel.
Empreinte du contenu
sha256:682e3cc45fe21819a0a95e7ffe22930a1b97c775d51292f2cf4e87109b7c3ace
Publié
2026-11-10T10:25:06Z
Identité de signature
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

Signature

  • Officielapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:396ce3bfb8ab0d412cdcc7a560a126b9667bed3619c60499c0623acc97696f70

Référence à cette version

oci://hub.aggrega.ai/recipe/helm/litellm:1.0.0
Cible
—
Implémente
core/ai-model/litellm:1.0.0

Fournit

Modèles de pointeurs déterministes que cette recette câble pour les consommateurs.

NomModèle
host{{ .context.rendered_name }}-default
port{{ .infra.port }}
endpointhttp://{{ .context.rendered_name }}-default:{{ .infra.port }}/v1
model{{ .values.model }}
protocolhttp
metrics_endpoint{{ if .values.metrics_enabled }}http://{{ .context.rendered_name }}-default:{{ .locals.metrics_port }}/metrics{{ end }}

Workload

Workload · form: stateless · replicas: 1 · containers: main

Variables locales

NomModèle
config_fileconfig.yaml
request_filter_modulerequest_field_filter
gateway_address127.0.0.1
gateway_port{{ if eq (int .infra.port) 65535 }}65534{{ else }}{{ add1 (int .infra.port) }}{{ end }}
metrics_port9090
gateway_metrics_port9091
path_allowlist_filepath-allowlist.conf
path_allowlist_image_tag1.27.5-alpine
request_guard_config_map_name{{ .context.instance_id }}-request-guard
request_guard_dir/etc/litellm-request-guard
request_guard_deliveryconfig_map
forward_organization_routesfalse

Correspondance des valeurs

Aucune correspondance des valeurs déclarée.

Relations

Arêtes typées vers et depuis d’autres entités publiées. Une référence sans cible publiée s’affiche comme une arête rompue plutôt que comme un lien.

Utilise

  • implémenteimplémentecontrat compatible

    core/ai-model/litellm:1.0.0

    Toutes les sorties obligatoires sont satisfaites et chaque sortie fournie est nommée dans le contrat.

Utilisé par

Rien dans le catalogue ne dépend de cette entité.

Référence du concept Recipe →

Le catalogue Aggrega — un index ouvert de composants, de fonctionnalités, de recettes et des plugins qui en assurent le rendu.

Conçu avec le système de design partagé d’Aggrega.

Confidentialité