Diese Seite wurde maschinell übersetzt. Englisches Original lesen.

Recipe

litellm

LiteLLM as a self-hosted, OpenAI-compatible model proxy for local development via Docker Compose, synthesized from the Workload kind by the compose provider. A compose config carries the proxy's configuration, which publishes the alias in values.model and points it at values.upstream_model. The configuration contract is authored against LiteLLM v1.103.1. Compose has no env-from-secret primitive, so an attached credential is rendered as a plain environment variable, and a credential written as a Compose variable reference lands as that reference rather than its value. On every Release two further configs carry a request guard, which forwards only the request fields the proxy declares for the route, plus any the Release admits in infra.admitted_request_fields, and refuses the rest naming the field; and a path allowlist, a service of its own running the official nginx image (BSD-2-Clause) in the proxy's network namespace on infra.port, which answers 403 to every path but the model routes, the model listing, the health routes and key management. Both come from the LiteLLMGuard bundle. PROXY_BASE_URL is emitted only when infra.external_base_url is set, the build halting on one carrying a path. With `values.metrics_enabled` true the proxy serves its Prometheus metrics on its loopback address, and the path allowlist forwards a GET of /metrics alone there from port 9090, which every peer on the compose network reaches, published as provides.metrics_endpoint; false leaves that key empty. The port checks no caller, and the metrics name the hashed keys, key aliases and user emails the proxy attributes spend to.

Herkunft

OffiziellSigniert von einer Signaturidentität, die dieser Katalog als offiziellen Herausgeber anerkennt.
Inhalts-Digest
sha256:887b26237802ad5625a1a1fd2fc7fcb7da336364e5b359f0feb6014dc1a72485
Veröffentlicht
2026-11-10T10:19:32Z
Signaturidentität
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

Signatur

  • Offiziellapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:991eb8cd793b320763398edf8fe5c43adb654fcff47fed165e824176b099e5ca

Referenz zu dieser Version

oci://hub.aggrega.ai/recipe/compose/litellm:1.0.0
Ziel
—
Implementiert
core/ai-model/litellm:1.0.0

Stellt bereit

Deterministische Zeigervorlagen, die dieses Rezept für Konsumenten verdrahtet.

NameVorlage
host{{ .context.instance_id }}
port{{ .infra.port }}
endpointhttp://{{ .context.instance_id }}:{{ .infra.port }}/v1
model{{ .values.model }}
protocolhttp
metrics_endpoint{{ if .values.metrics_enabled }}http://{{ .context.instance_id }}:{{ .locals.metrics_port }}/metrics{{ end }}

Workload

Workload · form: stateless · containers: main

Lokale Variablen

NameVorlage
config_fileconfig.yaml
config_name{{ .context.instance_id }}-config
request_filter_modulerequest_field_filter
gateway_address127.0.0.1
gateway_port{{ if eq (int .infra.port) 65535 }}65534{{ else }}{{ add1 (int .infra.port) }}{{ end }}
metrics_port9090
gateway_metrics_port9091
path_allowlist_filepath-allowlist.conf
path_allowlist_image_tag1.27.5-alpine
request_guard_deliverycompose_configs
request_guard_module_config_name{{ .context.instance_id }}-request-guard-module
request_guard_allowlist_config_name{{ .context.instance_id }}-request-guard-allowlist
request_guard_dir/etc/litellm-request-guard
forward_organization_routesfalse

Wertezuordnung

Keine Wertezuordnung deklariert.

Beziehungen

Typisierte Kanten zu und von anderen veröffentlichten Entitäten. Eine Referenz ohne veröffentlichtes Ziel wird als unterbrochene Kante statt als Link dargestellt.

Verwendet

  • implementiertimplementiertVertrag kompatibel

    core/ai-model/litellm:1.0.0

    Alle erforderlichen Ausgaben sind erfüllt, und jede bereitgestellte Ausgabe ist im Vertrag genannt.

Verwendet von

Nichts im Katalog hängt von dieser Entität ab.

Konzeptreferenz zu Recipe →

Der Aggrega-Katalog — ein offener Index von Komponenten, Funktionen, Rezepten und den Plugins, die sie rendern.

Erstellt mit dem gemeinsamen Aggrega-Designsystem.

Datenschutz