Component
core/ai-model/litellm
LiteLLM running in-cluster as a self-hosted, OpenAI-compatible model proxy. The published alias in values.model is the name the proxy serves under, and it forwards each request to the provider-qualified upstream model in values.upstream_model, so a consumer reaches one stable in-cluster endpoint and name while the target behind it changes independently. The proxy holds the upstream credential attached to its provider_key slot and presents it on a caller's behalf. Exports its host, port, endpoint, model and protocol, the contract every other model component publishes. Because it holds that credential, its Recipes forward only the request fields the proxy declares for the route, plus any the Release admits through infra.admitted_request_fields, and refuse the rest with an error naming the field. They answer only the model routes, the model listing, the health checks and key management, and refuse every other path, so its token-count, pass-through and other administrative routes, its console and model paths carrying the model name are not available through any. On Kubernetes, reach for helm/litellm, which synthesizes the proxy, where the build must fetch nothing, and for helm/litellm-chart, BerriAI's chart, where its registry is reachable; for local development, the compose Recipe. With `values.metrics_enabled` true each Recipe has the proxy serve its Prometheus metrics, its path allowlist forwarding a GET of /metrics alone to them from port 9090, and publishes that address as `metrics_endpoint`; false, that key is empty. The port checks no caller, and the metrics name the hashed keys, key aliases and user emails the proxy attributes spend to.
Походження
- Дайджест вмісту
- sha256:c9e4f18a552bb4bfccc17282661ddd96f87aca6478c7f7a0dddcdda6a35a93b4
- Опубліковано
- 2026-11-10T10:09:16Z
- Ідентичність підписувача
- https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
Підпис
- Офіційнийapplication/vnd.dev.sigstore.bundle.v0.3+json
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
sha256:d6b38e6c33e02b29347f6d8447b229b897aedadd5cec8c00546dc926d8187ea1
Посилання на цю версію
oci://hub.aggrega.ai/component/core/ai-model/litellm:1.0.0Параметри розробника
Значення, які розробник задає в сутності Aggregate.
Розширює BaseComponents#/schemas/BaseModelParameter
| Назва | Тип | Типове значення | Обов’язкове | Опис |
|---|---|---|---|---|
| upstream_model | string | — | так | The provider-qualified upstream model the proxy forwards to, in the proxy's own provider/model notation (for example openai/gpt-4o or anthropic/claude-sonnet-4). A deterministic pointer string the runtime resolves per request; the compiler never contacts the provider. |
| provider_key_variable | string | OPENAI_API_KEY | ні | Name of the environment variable under which the upstream provider's credential is delivered, and the variable the proxy's configuration names in its place. The correct name follows the provider chosen in upstream_model — the default suits an OpenAI-notation target; an Anthropic target uses ANTHROPIC_API_KEY, and so on per the provider's own convention. |
| metrics_enabled | boolean | false | ні | Has the proxy serve its own Prometheus metrics through its path allowlist on port 9090, where a GET of /metrics alone is forwarded, and publishes their address as `metrics_endpoint`; while false that key is empty. The port checks no caller, and the metrics name the hashed keys, key aliases and user emails the proxy attributes spend to, so anything that reaches the port reads them. |
Розміри, задані оператором
Розміри інфраструктури, які оператор налаштовує для кожного середовища.
Розширює LiteLLMGuardSchemas#/schemas/RequestGuardInfra
| Назва | Тип | Типове значення | Обов’язкове | Опис |
|---|---|---|---|---|
| port | integer (min 1024, max 65535) | 4000 | ні | Server listen port for the proxy API. Most operators should omit this and let the Recipe assign the default (4000). |
| external_base_url | string | — | ні | Externally reachable origin of the proxy, as assembled at the ingress tier — scheme, host and, where it is not the scheme's default, port, with no path; for example https://llm.example.com. The proxy composes from this the sign-in callback address it hands an identity provider, the address of its admin console it sends a browser to after sign-in, and the proxy address it writes into every alert it sends. The product documents this setting as an origin only, so the Recipes halt the build on an address carrying a path. Omitted, the proxy composes each of those addresses from the request that arrives, which is correct for a proxy nobody signs in to from outside the cluster. |
| engine_version | string | v1.103.1 | ні | LiteLLM proxy image tag. Selects the image tag of the proxy container on every Recipe. |
| source_version | string | — | ні | Version of BerriAI's litellm-helm chart the chart-backed Recipe pulls, defaulting to the version that Recipe was checked against. The workload-synthesis and compose Recipes pull no chart and read nothing here. |
| compute | object | — | ні | — |
| overrides | object (open) | — | ні | Provider-specific overrides. Accepts any nested structure. Each Recipe documents which keys it reads. |
Вихідний контракт
Значення, які цей компонент публікує для споживачів через топологію uses.
| Назва | Тип | Типове значення | Обов’язкове | Опис |
|---|---|---|---|---|
| host | string | — | так | In-cluster DNS name of the Service fronting the proxy. A consumer that composes its own address dials this name; one that does not reads `endpoint` instead. |
| port | integer | — | так | TCP port that Service accepts proxy requests on. It follows the port an operator set in the Release, so a consumer reads it rather than assuming a default. |
| endpoint | string | — | так | Full base URL of the OpenAI-compatible API the proxy serves, with the host, the port and the API path already composed. A consumer hands it to a client library as its base URL. |
| model | string | — | так | Name a request must ask the proxy for. The proxy maps it onto whichever upstream provider it is configured to forward to, so a consumer names this rather than an upstream model. |
| protocol | string | — | ні | URL scheme to reach `host` and `port` over, for a consumer composing its own address rather than reading `endpoint`. |
| metrics_endpoint | string | — | ні | The full address Prometheus scrapes this component's metrics at — scheme, host, port and path, `http://<host>:9090/metrics`, the host being the name of the Service the Recipe serves them on. Empty while values.metrics_enabled is false. |
Сокети uses
Сокети залежностей, через які під’єднується цей компонент. Ціль кожного з’єднання, прокладеного через сокет, має задовольняти його селектор міток, а кожне з’єднання може нести приєднання в слотах, які оголошує сокет. Обов’язковий слот має заповнити кожне з’єднання, яке сутність Aggregate або сутність Release прокладає через сокет.
Сокетів uses не оголошено.
Слоти приєднання
Іменовані точки прив’язки, у яких сутність Feature приєднується до цього компонента. Селектор слота обмежує, яка сутність Feature може його заповнити, а його список inject визначає, як можна доставити матеріал сутності Feature. Обов’язковий слот має бути прив’язаний у кожному екземплярі, приєднанням в екземплярі або в області вище за нього, а чутливий слот оголошено для роботи з секретним матеріалом. Сутність Feature також може приєднатися під назвою, яку не оголошує жоден слот.
| Слот | Селектор | Обов’язкове | Ін’єкція | Чутливий | Опис |
|---|---|---|---|---|---|
| api_key | feature.aggrega.ai/kind=secret | ні | env | так | Optional administrative key guarding the proxy's own API, which LiteLLM calls its master key. When attached, the Recipe delivers it as LITELLM_MASTER_KEY, the environment variable the proxy reads at startup, so callers and the management API must present it. Unlike a server that checks one key, the proxy also accepts the keys it issues through its key-management API and keeps in its bookkeeping database: with database_url attached a caller may present such a key instead, and with none the proxy accepts this key alone. Unattached, the proxy starts with no administrative key and treats every caller as an unprivileged internal user, which suits a development Release and not a shared one. |
| provider_key | feature.aggrega.ai/kind=secret | ні | env | так | Optional credential the proxy presents to the upstream provider it routes to, delivered as the environment variable named in values.provider_key_variable. Unattached, the proxy runs and serves its API but holds no upstream credential, so a routed request fails at the provider; attach one for any Release that must actually reach a model. |
| database_url | feature.aggrega.ai/kind=secret | ні | env | так | Optional connection string for the proxy's own bookkeeping database, which backs key management, spend tracking and request logs. When attached, the Recipe delivers it as DATABASE_URL, the environment variable the proxy reads at startup — on helm referenced from the secret that holds it, so the proxy's Deployment carries the reference and never the string; on compose as the value its credential delivers under that name, which a Compose variable reference keeps out of the file. The compiler never connects to the database. Unattached, the proxy runs stateless — it serves and routes normally, and the features that need persistence are simply inactive. |
Список дозволених самоін’єкцій
env
Зв’язки
Типізовані ребра до інших опублікованих сутностей і від них. Відсилання без опублікованої цілі відображається як розірване ребро, а не як посилання.
Використовує
- $refрозширює схему (values)
BaseComponents#/schemas/BaseModelParameter
- $refрозширює схему (infra)
LiteLLMGuardSchemas#/schemas/RequestGuardInfra
Використовується в
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «model»
використовує сокет «target_model»
використовує сокет «extraction_model»
використовує сокет «embedding_model»
використовує сокет «models»
використовує сокет «models»
використовує сокет «models»
використовує сокет «models»
використовує сокет «models»
використовує сокет «models»
використовує сокет «models»
використовує сокет «upstream»
використовує сокет «models»
використовує сокет «forward_target»
використовує сокет «scrape_target»
використовує сокет «store»
використовує сокет «content_safety»
застосовується до
застосовується до
застосовується до
застосовується до
застосовується до
застосовується до
застосовується до
реалізує
реалізує
реалізує