Ta strona została przetłumaczona maszynowo. Przeczytaj oryginał w języku angielskim.

FeatureRecipe

concurrency-limit-litellm

Realizes core/concurrency-limit on the AI gateway core/gateway/litellm; a Release binds it in its Manifest. Each Recipe of the gateway reads the attachment and writes max_in_flight as the max_parallel_requests of every entry of the model map, typed by hand and wired alike. The proxy keeps each entry's count in memory, where a record lapses ten minutes after it is made and a new count starts at zero while requests counted by the old one are in flight, so the Recipe also sets that lifetime to a century, keeping each count as long as the proxy runs. The proxy takes one of an entry's slots for each request it sends there, so at most max_in_flight requests are in flight to each entry at once. A request finding its entry full is answered 429: after the gateway's retries where its alias has one entry, and at once where it has several, even while another of them has room, since the proxy picks the entry before it counts; a fallback chain attached to the gateway sends it on to its alias's fallbacks instead. The count is each running proxy's own. The proxy keeps no total that holds — its one total is read only by a request limiter an environment variable switches on, which counts a request for its first second — so this recipe halts on scope gateway, the Feature's default. It halts on a model map of more than 100 entries, past which the store the counts are kept in, 200 records, can drop one, on a second such attachment, and on any component other than core/gateway/litellm; and the gateway refuses a request carrying priority, whose queue the century lifetime would keep.

Pochodzenie

OficjalnyPodpisano tożsamością podpisującą, którą ten katalog uznaje za oficjalnego wydawcę.
Skrót zawartości
sha256:4bc0edd05182b96fdcbfdfec82f8337d4ba62bf3ded7553b7aef287c926b07d3
Opublikowano
2026-11-10T10:15:18Z
Tożsamość podpisująca
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

Podpis

  • Oficjalnyapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:ff15716a5d82add0372a66d1e2cd887af5de7d3a9c6c19358c3a767e63e6fe9c

Referencja w tej wersji

oci://hub.aggrega.ai/featurerecipe/helm/concurrency-limit-litellm:1.0.0
Cel
—
Implementuje
core/concurrency-limit:1.0.0

Udostępnia

Deterministyczne szablony wskaźników, które ta receptura podłącza dla konsumentów.

Nie zadeklarowano szablonów provides.

Workload

Nie zadeklarowano szablonu obciążenia roboczego.

Zmienne lokalne

Nie zadeklarowano zmiennych lokalnych.

Mapowanie wartości

Nie zadeklarowano mapowania wartości.

Relacje

Typowane krawędzie do innych opublikowanych encji i od nich. Odwołanie bez opublikowanego celu jest renderowane jako przerwana krawędź, a nie jako łącze.

Używa

Używane przez

Nic w katalogu nie zależy od tej encji.

Dokumentacja pojęcia FeatureRecipe →

Katalog Aggrega — otwarty indeks komponentów, funkcji, receptur oraz wtyczek, które je renderują.

Zbudowano przy użyciu wspólnego systemu projektowego Aggrega.

Prywatność