Trang này được dịch bằng máy. Đọc bản gốc tiếng Anh.

Feature

core/concurrency-limit

Caps how many requests a gateway carries at once — the control that keeps a burst of callers from becoming a queue at the upstream. scope names what one cap counts: gateway, every request the gateway forwards, counted together; or model, each target the gateway sends requests to, counted apart. A target is each upstream entry the gateway routes to, so where one model name has several entries each entry is counted apart. The count is per running proxy, so where several replicas run each of them admits max_in_flight: size it against one replica, not against the whole. Every input is the operator's, so the operator attaches it in the Release, on the gateway's entry under that component's features, and sets max_in_flight in infra, with scope where the default, gateway, is not the count wanted. It attaches to a component in the request path that declares it can keep such a cap (dataplane.aggrega.ai/concurrency-cap, whichever value), and each realization refuses the scope its gateway does not count, naming the cap the gateway keeps. On core/gateway/nginx scope gateway is realized and a request past the cap is answered 503; scope model is refused, because NGINX keeps one total. On core/gateway/envoy-gateway scope model is realized, one cap for each wired model, and a request past it is answered 503; scope gateway is refused, because Envoy Gateway keeps a cap for each backend and none on their total. On core/gateway/litellm scope model is realized, one cap for each entry of its model map, and a request past it is answered 429 unless a fallback chain sends it on; scope gateway is refused, because the proxy keeps no total that holds.

Nguồn gốc

Chính thứcĐược ký bởi một danh tính ký mà danh mục này công nhận là nhà phát hành chính thức.
Digest nội dung
sha256:8f20e59cffb4e898dccdc2abb9e12c3c2cd3c9409b8350257d8aca7c121ec73e
Đã xuất bản
2026-11-10T10:17:01Z
Danh tính ký
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

Chữ ký

  • Chính thứcapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:5e9450f993be21df92acc29be844b33bfdc4b53d3830e5e7e572fde1a681a914

Tham chiếu ở phiên bản này

oci://hub.aggrega.ai/feature/core/concurrency-limit:1.0.0
Áp dụng cho
dataplane.aggrega.ai/concurrency-cap
Xung đột với
—

Tham số của nhà phát triển

Các giá trị mà nhà phát triển đặt khi gắn tính năng này.

Mở rộng BaseComponents#/schemas/BaseFeatureParameter

Hợp đồng đầu ra

Các giá trị mà tính năng này xuất bản cho bên tiêu thụ.

Chưa khai báo giá trị đầu ra nào.

Chú thích

Chưa khai báo chú thích nào.

Quan hệ

Các cạnh có kiểu đi tới và đi từ các thực thể đã xuất bản khác. Một tham chiếu không có đích đã xuất bản được hiển thị là một cạnh bị đứt thay vì một liên kết.

Sử dụng

Được sử dụng bởi

Tài liệu tham khảo khái niệm Feature →

Danh mục Aggrega — chỉ mục mở gồm các thành phần, tính năng, công thức và các plugin kết xuất chúng.

Được xây dựng bằng hệ thống thiết kế dùng chung của Aggrega.

Quyền riêng tư