Przejdź do głównej zawartości
AggregaAggrega
Wybierz język: Polski
Ta strona została przetłumaczona maszynowo. Przeczytaj oryginał w języku angielskim.

Features AI

Zestaw Feature AI w projekcie Aggrega

Aby sprostać szczególnym wymaganiom, zmienności i zagrożeniom bezpieczeństwa współczesnych systemów AI, Aggrega osadza wyspecjalizowaną inteligencję bezpośrednio w swojej otwartoźródłowej bibliotece standardowej AI (Katalogu). Zapewnia to, że zarówno ogólne rusztowanie cloud-native, jak i wysoce wyspecjalizowane silniki wnioskowania natywne dla AI bezpiecznie ze sobą współistnieją.

Główny kompilator Go jest uniwersalnym routerem neutralnym wobec treści; cała inteligencja specyficzna dla AI znajduje się w podłączanych politykach WebAssembly (Wasm) oraz w deklaracjach JSON Schema 2020-12, które architekci platformy tworzą na encjach Katalogu.

1. Operacyjna ontologia chmury i duck typing AI

Aby połączyć ogólny Open Application Model (OAM) z rygorystycznymi realiami nowoczesnej infrastruktury, etykieta component.aggrega.ai/type mapuje się wyłącznie na zamknięty zbiór uniwersalnych prymitywów cloud-native. Tę tożsamość semantyczną odczytują selektor gniazda, appliesTo encji Feature i polityka zarządcza, aby wiedzieć, jak komponent traktuje stan, ruch przychodzący sieci i cykle życia; kompilator dopasowuje ją jako nieprzezroczysty ciąg znaków i nie rozgałęzia się na jej podstawie, a o tym, jak komponent jest renderowany, decyduje encja Recipe, na którą mapuje go encja Manifest.

Typy cloud-native (baza infrastruktury):

  • server: długo działające, bezstanowe obliczenia, które oczekują przychodzącego ruchu aplikacyjnego (np. AI Gateway lub Chat UI).
  • worker: długo działające, bezstanowe obliczenia, które pobierają z kolejek lub wykonują pętle w tle bez żadnych przychodzących portów aplikacyjnych (np. agent LangGraph lub worker Celery).
  • task: efemeryczne obliczenia, które działają do zakończenia i kończą pracę (np. skrypty migracji bazy danych).
  • function: obliczenia sterowane zdarzeniami, skalujące się do zera (np. AWS Lambda).
  • stateful-server: obliczenia w klastrze wymagające stabilnych tożsamości sieciowych i trwałych dysków (np. wektorowa baza danych Qdrant, broker Kafka).
  • resource: zewnętrzna infrastruktura zarządzana przez platformę (np. AWS RDS PostgreSQL, buckety S3, hostowana magistrala zdarzeń).

Zbiór należy do Aggrega i jest zamknięty. Opublikowany schemat encji Component wylicza te wartości, a dokument zawierający cokolwiek innego jest odrzucany podczas wczytywania — E0215 wskazuje etykietę i wymienia akceptowane przez nią wartości. To właśnie daje ta oś: Feature lub selektor socketu napisany względem stateful-server oznacza to samo w każdym katalogu, z którym się zetknie.

To, czym komponent jest we własnym słowniku, trafia do własnego klucza. Poziom, strefa danych, klasa usługi, drobniejszy podział prymitywów — każdy z nich to klucz etykiety tworzony obok zarezerwowanego, ponieważ schemat encji Component akceptuje każdy dodatkowy klucz etykiety z wartością tekstową, a każda powierzchnia selektorów odczytuje go identycznie. To ten sam mechanizm, którego używają już opisane niżej etykiety duck typingu AI; zarezerwowany klucz jest wspólną podstawą, a wszystko powyżej należy do autora.

Typ operacyjny nie jest kategorią przeglądania i są to celowo oddzielne osie. Broker Kafka znajduje się w kategorii messaging — tam, gdzie użytkownik go szuka — i ma stateful-server jako typ, ponieważ to właśnie infrastruktura musi dla niego zapewnić. Selektor napisany względem jednej osi nigdy nie dopasowuje się na drugiej.

Zob. entities/component, gdzie znajdują się tabele taksonomii etykiet semantycznych — etykiety Generic Cloud Layer, Specialized AI Layer, Cross-Cutters i Dynamic Business Context, których architekci używają do nakładania tożsamości kognitywnej na typy bazowe.


1.1 Standard katalogu open source: „Naga baza, wyspecjalizowane krawędzie”

Przy stosowaniu tych etykiet istnieje kluczowe rozróżnienie między Oficjalnym katalogiem open source Aggrega (core/*) a Prywatnym katalogiem przedsiębiorstwa (acme/*).

Aby oficjalny katalog open source pozostał uniwersalnie użyteczny, musi ściśle rozróżniać niezmienną fizykę techniczną i subiektywną intencję kognitywną. Jeśli uniwersalny core/datastore/postgres ma na stałe wpisane engine: relational, wtyczka werdyktu zarządzania skonfigurowana do wymuszania zgodności typu magazynu danych zatrzyma kompilację, gdy programista włączy rozszerzenie pgvector w swoich values i spróbuje podłączyć agenta AI wymagającego magazynu danych vector.

Aby zachować główny katalog bez własnego zdania, oficjalne komponenty stosują ten standard: pozostaw bazę nagą, a krawędzie wyspecjalizuj.

  1. Naga baza: otwartoźródłowy Component na poziomie korzenia ma na stałe wpisane tylko to, co jest obiektywnie prawdziwe dla produktu i czego nie może zmienić nic, co skonfiguruje autor — przede wszystkim i zawsze prymityw operacyjny (component.aggrega.ai/type). Baza danych Postgres jest obiektywnie stateful-server; ten fakt nie może się zmienić. Ten sam test dopuszcza etykietę zdolności tam, gdzie tożsamością produktu jest ta zdolność: core/datastore/qdrant i core/datastore/weaviate są silnikami wyszukiwania wektorowego i nic, co napisze autor, nie uczyni z nich czegoś innego, więc każdy z nich ma datastore.aggrega.ai/engine: vector na bazie, dokładnie tak jak core/datastore/redis ma kv. To, co naga baza odrzuca, to przypadek odwrotny — cecha zależna od tego, jak komponent jest skonfigurowany lub używany, dla której istnieje trzeci mechanizm opisany niżej.
  2. Wyspecjalizowane interfejsy (dziedziczenie schematu): encja Component może zadeklarować extends, wskazując inną encję Component jako swoją bazę, a tym, co w ten sposób się komponuje, jest struktura: etykiety, adnotacje, sloty załączników, lista dozwolonych samowstrzyknięć, sockety topologii i nazwane assertions. Trzy filary danych się nie komponują — rozszerzająca encja Component zapisuje dosłowny znacznik schema: inherited i nie tworzy własnej zawartości values, infra ani provides, więc jej kontrakt jest identyczny z kontraktem bazy. Dlatego ten mechanizm zawęża, a nie różnicuje: ponieważ kontrakt się nie zmienia, każda encja Recipe napisana dla bazy już obsługuje specjalizację, a specjalizacja kosztuje jedną encję katalogu i jeden wiersz mapowania w encji Manifest. To, co specjalizacja dodaje, jest więc tożsamością odczytywaną przez selektor lub politykę — poziom audytu, strefa danych, kontakt ds. zarządzania lub socket, którego selektor dopuszcza mniej niż selektor bazy. Nie może dodać innego kontraktu, ponieważ nie ma powierzchni, na której mogłaby go utworzyć. Łatwo przeoczyć jedną konsekwencję: wiersz mapowania jest nadal wymagany. Wybór encji Recipe odbywa się według dokładnego klucza mapowania, więc specjalizacja potrzebuje własnego wpisu mappings.components.type, nawet jeśli nie potrzebuje własnej encji Recipe. Zob. examples/extends-wrapper — opublikowany wrapper, który dodaje etykietę przejrzanego poziomu i zawęża na jej podstawie socket, wraz z kompilacją, która zatrzymuje się, gdy krawędź podłączona do tego socketu opuszcza ten poziom. Cecha zależna od tego, jak komponent jest skonfigurowany, nie jest przedmiotem tego mechanizmu: specjalizacja przypina artefakt swojej bazy i dziedziczy jej kontrakt, więc cecha prawdziwa dla specjalizacji jest już prawdziwa dla bazy, gdzie umieszcza ją reguła nagiej bazy. Taka cecha należy do opisanego niżej dynamicznego mutatora.
  3. Dynamiczny mutator (promocja Wasm): jeśli cechę dyktuje ładunek programisty (np. enable_vector: true), przedsiębiorstwo używa roli label-transform socketu zarządzania podczas budowania topologii, aby dynamicznie odczytać nieprzezroczyste values i automatycznie wstrzyknąć etykietę datastore.aggrega.ai/engine: vector do grafu IR, zanim uruchomią się polityki. W tym miejscu cecha zależna od konfiguracji staje się dostępna dla ścisłej ewaluacji polityk — to zadeklarowane przez programistę values ją promują, a transformacja uruchamia się, zanim jakakolwiek polityka odczyta etykietę.

Wyjątek przedsiębiorstwa: ponieważ kompilator jest bez własnego zdania, przedsiębiorstwa tworzące własne wewnętrzne katalogi mogą swobodnie łamać tę regułę. Jeśli korporacyjna polityka bezpieczeństwa stanowi, że wszystkie wewnętrzne bazy danych są wysoce wrażliwe, architekt platformy może i powinien wpisać na stałe compliance.aggrega.ai/data-class: restricted (lub podobną etykietę narzuconą przez firmę) bezpośrednio w swoim komponencie bazowym acme/postgres, tak aby każda jego instancja miała tę klasę, a polityka dołączona przez przedsiębiorstwo odczytywała ją na każdej z nich. Sama etykieta niczego nie wymusza: kompilator przenosi ją jako ciąg znaków, a to dołączona polityka zatrzymuje kompilację. Tam, gdzie tylko niektóre zastosowania produktu w danym środowisku przechowują takie dane, klasę przenosi zamiast tego specjalizacja przez extends — zob. examples/policy-data-class-route, w którym asystent ds. roszczeń to agent LangGraph z biblioteki standardowej z dodaną jedną etykietą klasy, obok odczytującej ją polityki.

1.2 Jak etykiety semantyczne napędzają potok kompilatora

Aby etykiety pozostały w domenie architekta platformy, programiści nie mogą zapisywać etykiet na swoich instancjach Component wewnątrz Aggregate: schemat encji Aggregate nie daje instancji komponentu klucza labels. Etykiety węzła to etykiety jego encji katalogu wraz z tymi, które podczas budowania topologii dodaje skonfigurowany przez operatora załącznik zarządczy label-transform. Oto dokładnie, jak te etykiety napędzają potok kompilacji bez potrzeby pisania własnego kodu Go:

1. component.aggrega.ai/type (prymityw bazowy)

  • Kto ją zapisuje? Architekt platformy (domena 2). Jest obowiązkowa dla każdego komponentu w katalogu.
  • Kto ją konsumuje? Analizator statyczny i Plugins renderowania Wasm.
  • Zastosowanie w kompilatorze: to podstawowa operacyjna ontologia chmury. Analizator statyczny natywnie w Go ewaluuje ciągi selektorów usesSchema, aby zagwarantować, że programista nie może podłączyć agenta do standardowej bazy danych, jeśli socket wymaga konkretnej zdolności AI. Ponadto DevOps używa tej etykiety, aby jawnie kierować prymitywy stanowe (stateful-server, resource) do fizycznych granic klastra obsługujących trwałe dyski, a rola werdyktu zarządzania może wymusić, by komponenty stanowe nigdy nie były umieszczane w granicach wyłącznie efemerycznych.

2. model.aggrega.ai/capability

  • Kto ją zapisuje? Architekt platformy.
  • Kto ją konsumuje? Analizator statyczny (za pomocą selektorów etykiet w stylu Kubernetes w gniazdach usesSchema).
  • Zastosowanie w kompilatorze: gdy architekt tworzy selektor usesSchema wskazujący wymaganą etykietę zdolności, natywny silnik dopasowywania etykiet kompilatora odrzuca połączenia niespełniające selektora, zanim zostaną wygenerowane artefakty. Kompilator traktuje te etykiety jako nieprzezroczyste ciągi znaków; semantyczne znaczenie „text-generation” w odróżnieniu od „embedding” tkwi w selektorze utworzonym przez architekta.

3. component.aggrega.ai/hosting

  • Kto ją zapisuje? Architekt platformy.
  • Kto ją konsumuje? Silnik polityk (rola werdyktu zarządzania), Plugins renderowania Wasm oraz należące do biblioteki standardowej elementy wywołujące model lub agenta: jej agenci, których asercja odczytuje ją na każdym połączeniu model, core/ai-tool/agent-invocation, którego asercja odczytuje ją na jego połączeniu target_agent, podobnie jak jego realizacja Kubernetes, odmawiająca poświadczenia agentowi external osiąganemu przez http, brama AI, której asercja odczytuje ją na każdym połączeniu z jej socketami models i cache_store, oraz core/gateway/kong, core/gateway/kong-enterprise, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/traefik-hub, core/gateway/agentgateway i core/gateway/higress, których asercje odczytują ją na każdym połączeniu z ich socketami models, a także z backend obu Kongów, z socketami cache_store APISIX i Traefik Hub oraz z socketami cache Envoy Gateway, Higress i Traefik Hub — zob. „Klucz, który przedstawia wywołujący” poniżej.
  • Zastosowanie w kompilatorze: rejestruje, kto obsługuje zasób bazowy komponentu, co pozwala polityce dołączonej przez operatora ocenić ryzyko eksfiltracji danych; kompilator odczytuje wartość jako ciąg znaków i niczego nie ocenia. Gdy agent, którego etykieta klasy mówi, że przechowuje dane internal, łączy się z modelem oznaczonym managed — usługą obsługiwaną poza granicą samej encji Release — taka polityka może odczytać, że dane opuszczają tę granicę, i zatrzymać kompilację, chyba że połączenie jest kierowane przez bramę AI z core/data-masking, która maskuje tekst czatu i uzupełnień przekazywany przez bramę. Socket model agenta przyjmuje taką bramę zamiast modelu, więc ta trasa jest krawędzią grafu odczytywanego przez politykę, a model, który brama obsługuje ze swojego socketu models, jest osobną krawędzią, od bramy do komponentu modelu, którego etykiety odczytuje polityka — dzięki temu ścieżka od agenta przez bramę do modelu managed znajduje się w grafie od końca do końca. Upstream wpisany ręcznie do mapy modeli bramy już nie: jest ciągiem znaków, którego kompilator nie rozwiązuje, więc polityka odczytująca graf widzi bramę i nic za nią. examples/policy-data-class-route jest taką polityką: jej ustawienia klasyfikują model managed jako public, a ona zatrzymuje kompilację, w której asystent przechowujący dane restricted dociera do takiego modelu bez bramy maskującej na trasie. To cecha przekrojowa: te same wartości self-hosted | managed | external opisują zarządzaną bazę danych lub samodzielnie utrzymywany serwer inferencji tak samo jak model, dlatego etykieta znajduje się we wspólnej przestrzeni nazw component.aggrega.ai/, a nie w przestrzeni specyficznej dla modeli.

4. agent.aggrega.ai/autonomy

  • Kto ją zapisuje? Architekt platformy.
  • Kto ją konsumuje? Silnik polityk (rola werdyktu zarządzania).
  • Zastosowanie w kompilatorze: identyfikuje ryzyko wykonania pętli kognitywnej. Jeśli agent jest oznaczony jako autonomous (co oznacza, że wykonuje pętle w tle bez poleceń użytkownika) i łączy się z wysoce wrażliwą bazą danych, silnik polityk może zatrzymać kompilację, chyba że autor dołączy encję Feature zatwierdzania lub izolacji, której wymagają własne reguły przedsiębiorstwa, tak aby pętla bez nadzoru nie mogła dotrzeć do tych danych bez przeglądu.
  • Co oznacza komponent bez etykiety na tej osi, bo brak jest zamierzony. Etykieta opisuje ryzyko wykonania pętli kognitywnej, więc komponent, który nie zawiera własnej pętli, nie ma tu żadnej wartości zamiast niższej z dwóch. Sporo komponentów w kategorii agentów nie ma etykiety właśnie z tego powodu: elementy pomocnicze, które platforma agentowa dostarcza obok swojego serwera — konsola w przeglądarce, przebieg migracji schematu, task worker, piaskownica kodu, proxy ruchu wychodzącego — są w tej kategorii, bo tam się ich szuka, podczas gdy pętla, którą wspierają, działa w serwerze platformy, i tam znajduje się etykieta. Najwyraźniejszym przypadkiem jest jeden produkt podzielony między oba sposoby traktowania: serwer platformy ma copilot, a dostarczana obok niego piaskownica kodu nie ma nic. Kryterium jest to, gdzie działa pętla, a nie jaki kształt ma element, więc środowisko uruchomieniowe hostujące kod agenta dostarczony przez użytkownika również nie ma etykiety — pętlą jest tam to, co się w nim wdroży, a nie coś, co deklaruje produkt. Selektor wskazujący którąkolwiek z wartości dopasowuje się więc do komponentów zawierających pętlę i do żadnych innych, a selektor napisany tak, by dopasować dowolny poziom autonomii, pomija elementy pomocnicze zamiast traktować je jako najmniej autonomiczny element wdrożenia.

5. gateway.aggrega.ai/intelligence

  • Kto ją zapisuje? Architekt platformy.
  • Kto ją konsumuje? Analizator statyczny oraz tworzone przez przedsiębiorstwo wtyczki lintera Wasm.
  • Zastosowanie w kompilatorze: określa, jakie funkcje router może fizycznie obsługiwać. Encja Feature AI fallback-chain deklaruje appliesTo: gateway.aggrega.ai/intelligence=semantic, a analizator statyczny ewaluuje ten selektor względem etykiet komponentu docelowego, zanim zostanie wyrenderowany jakikolwiek artefakt. Jeśli programista dołączy ją do standardowej bramy l4-mesh, kompilacja zatrzymuje się z naruszeniem selektora, które wskazuje encję Feature i selektor, którego nie spełniła, ponieważ architekt utworzył ten selektor, wiedząc, że standardowa siatka TCP nie potrafi parsować ładunków JSON LLM, aby odczytać model wskazany w żądaniu. Odmowa opiera się na braku semantic, a nie na obecności l4-mesh, więc obowiązuje tak samo na routerze, który w ogóle nie ma etykiety inteligencji. Kompilator traktuje etykietę jako nieprzezroczysty ciąg znaków, dokładnie jak wyżej: znaczenie semantic tkwi w selektorze utworzonym przez architekta. Na routerze, który ma semantic, dołączenie przechodzi przez selektor, a to, co dzieje się dalej, zależy od jego realizacji: realizacja z biblioteki standardowej zapisuje łańcuch w konfiguracji routingu bramy AI.
  • Co zawiera biblioteka standardowa. Te komponenty mają semantic: core/gateway/litellm, którego realizacja renderuje tablicę routingu proxy: mapę modeli obejmującą wielu dostawców upstream; core/gateway/cloudflare-ai-gateway, hostowana brama Cloudflare, która odczytuje każde przekazywane żądanie do modelu — model, który wskazuje, tokeny, za które jest naliczana opłata, oraz, gdy włączone są własne kontrole bramy, jego treść; core/gateway/azure-api-management, brama AI w Azure API Management, usługa hostowana, która odczytuje każde żądanie do modelu na API obsługującym model — prompt porównywany przez jej semantyczną pamięć podręczną, tokeny raportowane w odpowiedzi oraz treść, którą jej kontrola bezpieczeństwa wysyła do inspekcji; core/gateway/apisix, którego proxy AI odczytuje treść każdego żądania na trasie obsługującej model oraz tokeny raportowane w odpowiedzi modelu; core/gateway/envoy-gateway, którego rozszerzenie Envoy AI Gateway odczytuje treść każdego żądania na trasie obsługującej podłączone do niego modele, aby znaleźć wskazany model, oraz tokeny raportowane w każdej odpowiedzi; core/gateway/kong-enterprise, Kong Gateway Enterprise, którego proxy AI odczytuje treść każdego żądania na trasie obsługującej podłączony model — wskazany model i przenoszone wiadomości — oraz tokeny raportowane w każdej odpowiedzi; core/gateway/traefik-hub, Traefik Hub, którego middleware Chat Completion odczytuje treść każdego żądania na trasie obsługującej podłączony model, sprawdza ją względem schematu chat completion i odczytuje tokeny raportowane w każdej odpowiedzi; core/gateway/agentgateway, agentgateway, który odczytuje treść każdego żądania na swoich ścieżkach obsługi modeli, aby znaleźć wskazany model, co jest sposobem, w jaki wybiera podłączony model, do którego wysyłane jest żądanie, oraz tokeny raportowane w każdej odpowiedzi; oraz core/gateway/higress, Higress, którego proxy AI odczytuje treść każdego żądania na trasie obsługującej podłączony model — wskazany model i to, czy żądanie jest strumieniowane — a którego wtyczki odczytują tokeny raportowane w każdej odpowiedzi — dzięki temu Features AI wymagające tej wartości rozwiązują się względem każdego z nich, a każda realizacja określa, co jej brama respektuje, lub zatrzymuje kompilację tam, gdzie jej brama nie respektuje niczego z tego; Feature bez realizacji dla danej bramy zatrzymuje tam kompilację, podając swój typ. Żaden komponent nie ma l4-mesh, a pozostałe komponenty bram z biblioteki standardowej w ogóle nie mają etykiety inteligencji: te, które kierują ruchem, terminują HTTP i kierują ruch w warstwie 7, a jeden z nich jest płaszczyzną sterowania, która niczego nie kieruje, więc żadna z dwóch wartości go nie opisuje. Siatka TCP warstwy 4 to z kolei jeszcze inna klasa produktów. Pozostawia to w pełni w mocy opisaną wyżej odmowę, ponieważ opiera się ona na braku semantic: dołączenie wymagające tej wartości zatrzymuje się na każdym z nich. Architekt, którego katalog rzeczywiście uruchamia siatkę warstwy 4, nadaje temu komponentowi l4-mesh, co sprawia, że rozróżnienie można wybierać selektorem w obu kierunkach.
  • Ta oś nazywa poziom produktu, a to inne pytanie niż to, co komponent może zrobić z ruchem, i odczytywanie jej w tym drugim sensie to błąd, do którego skłania. semantic mówi, że router parsuje treść żądania, czego potrzebuje kontrola działająca na model wskazany w żądaniu — jest to więc właściwa oś do tego celu. Nie mówi nic o tym, czy router potrafi kopiować ruch, przenosić tożsamość wywołującego, weryfikować certyfikat upstreamu, odrzucać prompt pasujący do listy wzorców ani utrzymywać budżet w danym okresie, a encja Feature, która potrzebuje jednej z tych możliwości, nie ma powodu pytać o poziom: większość komponentów, które je oferują, to zwykłe proxy warstwy 7 bez żadnej wartości inteligencji, a tam, gdzie router semantic oferuje którąś z nich, oferuje ją z powodów, których poziom nie odnotowuje. Poziom trafia więc w niewłaściwy zbiór w obu kierunkach — całkowicie wyklucza zwykłe proxy i nie mówi nic o tym, jakie możliwości faktycznie ma bramka AI, do której trafia. To pytanie należy do opisanej niżej osi ścieżki danych, a obie osie można łączyć — encja Feature może wymagać routera semantic, który dodatkowo wykonuje mirroring, wskazując obie.

6. tool.aggrega.ai/impact

  • Kto ją zapisuje? Architekt platformy.
  • Kto z niej korzysta? Silnik polityk oraz Plugins Wasm do renderowania.
  • Zastosowanie w kompilatorze: Przeniesienie tej informacji z modyfikowalnego bloku values dewelopera do niezmiennej tożsamości etykiet pozwala silnikowi polityk oceniać ścisłe konfiguracje oparte na zasadzie najmniejszych uprawnień. Wtyczka renderująca może wygenerować standardowe uprawnienia invoke dla narzędzia wyszukiwania w sieci read-only, ale zażądać ścisłych konfiguracji podpisu kryptograficznego do wywołania narzędzia mutating wykonującego SQL drop.

7. compliance.aggrega.ai/data-class

  • Kto ją zapisuje? Architekt platformy własnego katalogu danego środowiska IT (lub jest wstrzykiwana dynamicznie przez rolę ładu label-transform).
  • Kto ją konsumuje? Silnik polityk (rola werdyktu zarządzania).
  • Zastosowanie w kompilatorze: Nadaje danym przechowywanym przez komponent tożsamość z zakresu ładu, którą polityka może śledzić wzdłuż grafu. Kompilator przenosi etykietę do grafu IR jako ciąg znaków i niczego nie szereguje: nie wie, że restricted jest bardziej wrażliwe niż public, ani że którekolwiek z tych słów cokolwiek znaczy. Polityka dołączona do roli ir-verdict dostarcza to znaczenie we własnych ustawieniach — jakie klasy istnieją i jak się szeregują — i odczytuje etykietę na komponentach tras, które kompilator wylicza po krawędziach uses, dzięki czemu może zatrzymać kompilację, w której komponent przechowujący dane restricted dociera do komponentu innej klasy trasą, na której nie dołączono żadnej encji Feature uznawanej przez politykę za deklasyfikującą, takiej jak core/data-masking na bramce AI, przez którą przechodzi trasa. Wyliczanie jest ograniczone dla każdego komponentu początkowego i nie wymienia niczego poza tym limitem, więc trasa odczytana przez politykę jest rzeczywista, natomiast brak trasy nie dowodzi, że żadna nie istnieje. examples/policy-data-class-route to właśnie ta polityka, napisana dla silników Rego i CEL wkompilowanych w CLI oraz dla OPA, z zatrzymanymi kompilacjami i tą zakończoną pomyślnie zestawionymi obok siebie.
  • Co zawiera biblioteka standardowa. Żadna encja Component core/ nie nosi tej etykiety. Klasa danych komponentu jest stwierdzeniem o tym, jak dane środowisko IT używa komponentu, a nie właściwością produktu prawdziwą w każdej encji Release, więc zgodnie z regułą Naked Base pozostaje poza bazą: środowisko IT umieszcza ją na własnej encji Component — specjalizacji przez extends, jaką jest asystent ds. szkód z omówionego przykładu, lub własnej bazie w ramach opisanego wyżej Enterprise Exception.

8. hardware.aggrega.ai/accelerator

  • Kto ją zapisuje? Architekt platformy. Pakując komponent modelu lokalnego, wie, że do działania zasadniczo wymaga on GPU.
  • Kto z niej korzysta? DevOps (domena 4).
  • Zastosowanie w kompilatorze: DevOps jawnie kieruje komponenty oznaczone etykietą GPU do granic fizycznych pul sprzętowych w Release za pomocą mapy components: {}. Deweloper po prostu prosi o model kognitywny w swoim Aggregate, a DevOps umieszcza go w granicy kosztownego klastra GPU, w pełni zachowując rozdzielenie odpowiedzialności. Rola werdyktu z zakresu ładu może dodatkowo wymuszać, by żaden komponent z tą etykietą nigdy nie został umieszczony w granicy pozbawionej infrastruktury GPU.

9. datastore.aggrega.ai/engine

  • Kto ją zapisuje? Architekt platformy, na komponentach kategorii datastore (statycznie, na specjalizacji typu flavored lub wstrzykiwaną przez rolę label-transform, gdy values dewelopera promują rolę). Wartości używane w katalogu to: relational, document, kv, vector, graph, semantic-memory, search. Każda wartość nazywa silnik przechowywania, którym produkt jest — search nazywa silnik wyszukiwania i analityki, który indeksuje także wektory — więc cecha, która tkwi we własnym schemacie i wzorcu dostępu aplikacji, a nie w jakimkolwiek wdrażalnym magazynie, nie jest wartością na tej osi.
  • Kto z niej korzysta? Analizator statyczny (poprzez ciągi selektorów) i silnik polityk.
  • Zastosowanie w kompilatorze: Selektory wskazują semantykę przechowywania, a nie produkty — gniazdo bazy wiedzy agenta wybiera datastore.aggrega.ai/engine in (vector, semantic-memory, search), a silnik polityk może odrzucić kierowanie ładunków SQL do silnika wektorowego. Istotność dla AI w magazynach danych podwójnego zastosowania jest wyprowadzana z tej etykiety i nigdy nie jest przechowywana jako osobna wartość logiczna.
  • Co zawiera biblioteka standardowa. core/datastore/qdrant, core/datastore/weaviate, core/datastore/chroma, core/datastore/pgvector i core/datastore/milvus noszą vector, core/datastore/cognee nosi semantic-memory, a core/datastore/opensearch i core/datastore/elasticsearch noszą search, więc opisany wyżej selektor bazy wiedzy rozwiązuje się względem każdego z nich. core/datastore/redis, core/datastore/valkey i core/datastore/memcached noszą kv. Każda z tych etykiet znajduje się na własnej bazie komponentu, ponieważ tożsamością produktu jest ten silnik. W przypadku core/datastore/pgvector tą tożsamością jest przypinany artefakt: uruchamia on własny obraz PostgreSQL projektu pgvector, który zawiera rozszerzenie, a każda encja Recipe włącza rozszerzenie w bazie danych tworzonej przez komponent — jego cecha wektorowa nie zależy więc od żadnego ustawienia i właśnie to odróżnia go od opisanego wyżej w „Naked Base, Flavored Edges” przypadku skonfigurowanego, w którym PostgreSQL ogólnego przeznaczenia zyskuje tę cechę dopiero wtedy, gdy deweloper włączy rozszerzenie. relational, document i graph nie mają komponentu w bibliotece standardowej, więc selektor wskazujący tylko wartości spośród nich nie pasuje tu do niczego i jest spełniany przez katalog, który taki komponent zawiera.

10. pipeline.aggrega.ai/mode

  • Kto ją zapisuje? Architekt platformy, na komponentach kategorii pipeline. Każda wartość nazywa sposób, w jaki produkt wykonuje wieloetapowe zadanie, a wartości wynikają z komponentów, które je noszą, a nie z listy ustalonej z góry. Biblioteka standardowa zawiera dwie: durable na core/ai-pipeline/temporal, którego silnik zapisuje wynik każdego kroku jako historię zdarzeń i odtwarza ją, dzięki czemu zadanie, którego worker uległ awarii, wznawia się w miejscu, w którym się zatrzymało; oraz reconciled na core/ai-pipeline/argo-workflows, którego kontroler uruchamia każdy krok jako pod na podstawie zasobu workflow przechowywanego we własnym API klastra.
  • Kto z niej korzysta? Silnik polityk oraz Plugins Wasm do renderowania.
  • Zastosowanie w kompilatorze: Pozwala politykom i rendererom rozróżniać silniki potoków według tego, jak przebieg przetrwa awarię — odtworzona historia zdarzeń lub uzgodniony zasób klastra — a nie według nazwy produktu.

11. dataplane.aggrega.ai/* (Możliwości ścieżki danych)

  • Kto ją zapisuje? Architekt platformy, na każdym komponencie znajdującym się na ścieżce ruchu — reverse proxy, bramce wejściowej, service mesh, bramce AI.
  • Kto z niej korzysta? Analizator statyczny, poprzez appliesTo encji Feature i selektor usesSchema gniazda.
  • Zastosowanie w kompilatorze: Odpowiada na pytanie, co ten komponent może zrobić z ruchem, czyli na to, co kontrola w czasie działania faktycznie musi wiedzieć i czego etykieta poziomu produktu nie potrafi powiedzieć. core/traffic-shadowing, który kopiuje żądania na żywo do drugiej usługi w celu oceny, deklaruje appliesTo: dataplane.aggrega.ai/request-mirroring — sam klucz — a analizator statyczny ocenia to względem etykiet celu, zanim cokolwiek zostanie wyrenderowane, więc dołączenie go do komponentu, który w ogóle nie potrafi wykonywać mirroringu, zatrzymuje kompilację z naruszeniem selektora wskazującym encję Feature i niespełniony selektor. Kompilator traktuje każdy z tych ciągów jako nieprzezroczysty, dokładnie tak jak pozostałe.
  • Dlaczego prefiks nazywa ścieżkę ruchu, a nie rodzaj komponentu. Mirroring, tożsamość wywołującego i weryfikacja upstreamu nie są właściwościami bramek — są właściwościami wszystkiego, co znajduje się na ścieżce żądania, a service mesh dodany do katalogu ma wszystkie trzy. Nazwanie rodziny od rodzaju komponentu, który akurat jako pierwszy je nosił, zmusiłoby każdy późniejszy rodzaj do powtórzenia tego samego słownictwa pod własnym prefiksem, pozostawiając jedną możliwość z kilkoma nazwami i bez selektora zdolnego objąć je wszystkie.
  • Dlaczego wierność jest zapisana w wartości. Dwa komponenty mogą oba wykonywać mirroring żądań, a mimo to różnić się w sposób istotny dla encji Feature: jeden kopiuje każde pasujące żądanie, drugi kopiuje ich konfigurowalną część. Klucz mówiący tylko, czy komponent wykonuje mirroring, dopuściłby oba i zostawił różnicę do odkrycia po renderowaniu. Umieszczenie wierności w wartości pozwala o nią poprosić na ten z dwóch sposobów, który pasuje do encji Feature. Encja Feature, która w ogóle nie może działać bez określonej wierności, wskazuje tę wartość w swoim selektorze. Encja Feature, która działa także przy niższej wierności, wybiera według samego klucza, a jej realizacja odrzuca ustawienie, którego komponent nie potrafi spełnić: kopiowanie całego strumienia działa na każdym komponencie wykonującym mirroring, więc core/traffic-shadowing dołącza się do wszystkich z nich, a realizacja dla komponentu deklarującego full-rate odrzuca część poniżej 100 komunikatem wskazującym żądaną część i wierność deklarowaną przez komponent — dwie rzeczy, których naruszenie selektora nie mówi. Wartości są zatem wyprowadzane z tego, co implementują dostępne na rynku produkty, a nie układane jako taksonomia: request-mirroring nosi full-rate i sampled, ponieważ rzeczywiste proxy dzielą się dokładnie w ten sposób — jedno oferuje ustawienie częstotliwości kopiowania, a inne żadnego.
  • Wartość stwierdza możliwość, nigdy stan konfiguracji. Dla dewelopera obie rzeczy brzmią identycznie, a tylko jedna z nich jest właściwością komponentu. Proxy zdolne do weryfikacji certyfikatu upstreamu nosi upstream-tls: trust-anchor niezależnie od tego, czy jakiekolwiek wdrożenie włącza tę kontrolę — etykieta jest tym, według czego encja Feature wybiera, zanim cokolwiek zostanie skonfigurowane, więc obciążenie jej konfiguracją uczyniłoby ją nieczytelną dokładnie w chwili, gdy jest używana.
  • Co zawiera biblioteka standardowa. core/gateway/nginx nosi request-mirroring: full-rate, upstream-tls: trust-anchor i concurrency-cap: total, jeden limit na wszystkie przekazywane żądania. core/gateway/contour nosi request-mirroring: sampled, caller-identity: client-certificate i upstream-tls: trust-anchor. core/gateway/envoy-gateway nosi te same trzy wartości co core/gateway/contour, a także period-budget: tokens, liczący tokeny zgłaszane w każdej odpowiedzi modelu obsługiwanego przez Envoy AI Gateway, oraz concurrency-cap: per-target, limit żądań w toku do każdego obsługiwanego modelu. core/gateway/kong nosi upstream-tls: trust-anchor i prompt-guard: pattern-list, przy czym jego AI Prompt Guard dopasowuje wiadomości żądania do modelu do list przechowywanych w jego trasach. core/gateway/tyk nosi upstream-pinning: public-key, które wybiera core/upstream-key-pinning. core/gateway/litellm nosi caller-identity: injected-header, content-masking: entity-recognition, period-budget: cost, prompt-guard: pattern-list, upstream-tls: trust-anchor i concurrency-cap: per-target, limit żądań w toku do każdego wpisu jego mapy modeli. core/gateway/cloudflare-ai-gateway nosi period-budget: cost. core/gateway/apisix nosi period-budget: tokens, liczący tokeny zgłaszane w odpowiedzi każdego modelu bez wyceniania czegokolwiek, oraz prompt-guard: pattern-list. core/gateway/kong-enterprise nosi period-budget: tokens, liczący tokeny zgłaszane w odpowiedzi każdego modelu, oraz content-masking: entity-recognition. core/gateway/traefik-hub nosi content-masking: entity-recognition i prompt-guard: pattern-list, przy czym jego middleware Content Guard maskuje dopasowania wzorców zapisanych w jego konfiguracji lub typy encji wykryte przez wywoływany analizator Presidio albo odrzuca żądanie, do którego pasuje wzorzec, a także period-budget: cost, wyceniany według cennika dla poszczególnych modeli dostarczanego z jego middleware limitów, który zamiast tego może liczyć tokeny zgłaszane w każdej odpowiedzi. core/gateway/agentgateway nosi content-masking: pattern-list i prompt-guard: pattern-list, przy czym jego strażnik oparty na wyrażeniach regularnych maskuje lub odrzuca dopasowania wzorców zapisanych w jego konfiguracji i nie rozpoznaje żadnych typów encji, a także period-budget: cost, budżety prowadzone dla każdego klucza API w dolarach amerykańskich, wyceniane według jego katalogu kosztów modeli, lub w tokenach. core/gateway/higress nosi content-masking: pattern-list, przy czym jego wtyczka ai-data-masking maskuje dopasowania wzorców zapisanych w jego konfiguracji w tekście wiadomości żądania czatu i nie rozpoznaje żadnych typów encji, a także period-budget: tokens, liczący łącznie tokeny promptu i uzupełnienia zgłaszane w każdej odpowiedzi bez wyceniania czegokolwiek. core/gateway/azure-api-management nosi period-budget: tokens, liczący łącznie tokeny promptu i uzupełnienia zgłaszane w każdej odpowiedzi, z osobnym licznikiem na każdej bramce instancji, bez wyceniania czegokolwiek. core/security/nemo-guardrails i core/security/trustyai-guardrails-gateway, dwaj strażnicy stojący na ścieżce modelu i oceniający żądanie za pomocą wytrenowanego klasyfikatora, noszą prompt-guard: classifier, które wybierają gniazda guard bramki AI i bramki NGINX. Bramki AI wśród nich — core/gateway/litellm, core/gateway/cloudflare-ai-gateway, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/kong-enterprise, core/gateway/traefik-hub, core/gateway/agentgateway, core/gateway/higress i core/gateway/azure-api-management — noszą semantic, a pozostałe nie noszą żadnej wartości gateway.aggrega.ai/intelligence, co jest działającym rozdzieleniem, a nie wyjątkiem od niego: encja Feature potrzebująca mirroringu trafia do trzech komponentów, które go mają, podczas gdy selektor poziomu produktu trafiłby spośród nich tylko do Envoy Gateway, z powodu, który nic nie mówi o mirroringu, a encja Feature potrzebująca strażnika promptów, maskowania treści lub budżetu okresowego trafia do bramki AI na podstawie tego, co ta może zrobić, a nie poziomu, na którym się znajduje, natomiast encja ograniczająca żądania w toku trafia do bramki NGINX, która nie nosi wartości poziomu, tak samo jak trafia do Envoy Gateway i bramki AI, a encja odrzucająca żądanie na podstawie listy wzorców trafia do open source’owego Konga, który również żadnej nie nosi, tak samo jak trafia do APISIX. Komponent, który na jednej z tych osi nie ma nic do opisania, nie nosi tam żadnej wartości zamiast najsłabszej, więc selektor wskazujący dowolną wartość na tej osi słusznie się do niego nie dołącza.

12. security.aggrega.ai/text-anonymization

  • Kto ją zapisuje? Architekt platformy, na usłudze uczestniczącej w maskowaniu wrażliwego tekstu. Gdy ta praca jest podzielona między dwie usługi, analyzer trafia na tę, która znajduje wrażliwe fragmenty w tekście i je zgłasza, a anonymizer na tę, która przepisuje przekazane jej fragmenty; sanitizer trafia na usługę, która robi jedno i drugie w jednym wywołaniu, znajdując wrażliwe fragmenty w przesłanym jej tekście i samodzielnie je przepisując, a w odpowiedzi zwracając przepisany tekst.
  • Kto z niej korzysta? Analizator statyczny, poprzez selektor usesSchema gniazda.
  • Zastosowanie w kompilatorze: w ten sposób konsument otrzymuje właściwy adres. core/gateway/litellm deklaruje gniazdo pii_analyzer wybierające security.aggrega.ai/text-anonymization=analyzer oraz gniazdo pii_anonymizer wybierające wartość anonymizer, więc podłączenie którejkolwiek z tych usług do gniazda drugiej zatrzymuje build z naruszeniem selektora, które wskazuje gniazdo. core/gateway/kong-enterprise deklaruje jedno gniazdo, pii_sanitizer, wybierające wartość sanitizer, a core/gateway/traefik-hub jedno, pii_analyzer, wybierające wyłącznie wartość analyzer, ponieważ Content Guard, który jego Recipe typu chart zapisuje dla core/data-masking, sam zastępuje to, co znajdzie analizator. Kompilator przekazuje adres publikowany przez wybrany komponent i nie sprawdza niczego w kwestii tego, co pod nim odpowiada.
  • Co zawiera biblioteka standardowa. core/security/presidio-analyzer nosi analyzer, a core/security/presidio-anonymizer nosi anonymizer. Obie usługi obsługują API HTTP Presidio, które wywołuje bramka AI, gdy dołączenie core/data-masking lub własne values.log_masking bramki wymienia typy encji, a Content Guard z Traefik Hub wywołuje sam analizator, gdy wymienia je dołączenie core/data-masking na tej bramce. core/security/kong-ai-pii-service nosi sanitizer i obsługuje API usługi AI PII firmy Kong, które AI PII Sanitizer z Kong Gateway Enterprise wywołuje z każdym maskowanym tekstem, łącznie ze swoimi wyrażeniami regularnymi, dopóki na tej bramce jest dołączenie core/data-masking. Sanitizer nie przedstawia mu żadnych poświadczeń, a każdy tekst dociera do niego niezamaskowany, więc jego adres jest adresem wewnątrz klastra, nieprzeznaczonym do udostępniania poza klastrem.

13. model.aggrega.ai/api

  • Kto to zapisuje? Platform Architect, na każdym komponencie kategorii model i na bramce, która udostępnia API modeli. Wartość określa, które API modeli odpowiada pod adresem publikowanym przez komponent: openai, gdy jest to API OpenAI — samego dostawcy lub jego implementacja w serwerze — anthropic, gdy jest to Messages API firmy Anthropic, gemini, gdy jest to Gemini API firmy Google, oraz native, gdy jest to własne API produktu i żadne z powyższych, do którego konsument dociera przez klienta tego produktu. Każdą wartość odczytuje się z dokumentacji referencyjnej samego produktu, a komponent nosi ją niezależnie od tego, co konfiguruje dana encja Release.
  • Kto to wykorzystuje? Static Analyzer, za pomocą selektora usesSchema gniazda, oraz asercje bramki AI, core/gateway/kong, core/gateway/kong-enterprise, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/traefik-hub, core/gateway/agentgateway i core/gateway/higress, przy każdym połączeniu z ich gniazdami models.
  • Zastosowanie w kompilatorze: dzięki temu jedno gniazdo może przyjąć zarówno model, jak i bramkę udostępniającą modele. Gniazdo model każdego agenta z wyjątkiem pięciu środowisk uruchomieniowych wymienionych niżej, gniazdo target_model komponentu core/ai-tool/model-invocation i dwa gniazda modeli komponentu core/datastore/cognee wybierają component.aggrega.ai/category in (ai-model, gateway), model.aggrega.ai/api: wymaganie kategorii dopuszcza obie kategorie, a wymaganie klucza dopuszcza spośród ich komponentów tylko te, które noszą etykietę, więc podłączenie takiego gniazda do bramki, która nie udostępnia żadnego API modeli, zatrzymuje build z naruszeniem selektora wskazującym gniazdo. Wszystkie wymagania selektora muszą być spełnione, a jego alternatywy mieszczą się w zbiorze jednego klucza, więc jedyny klucz, na który odpowiadają oba rodzaje komponentów, musi znajdować się na każdym komponencie modelu, a także na bramce — dlatego etykieta wskazuje API, zamiast oznaczać same bramki. Bramka, która ją nosi, publikuje klucze endpoint i model, które publikuje model, więc Recipe konsumenta odczytuje jedno i drugie w ten sam sposób. Agent, którego Recipes dostarczają zmienne jednego API modeli, wskazuje zamiast tego jego wartość: gniazda model komponentów core/ai-agent/openai-agents-sdk, core/ai-agent/agent-framework i core/ai-agent/mastra wybierają model.aggrega.ai/api=openai, gniazdo core/ai-agent/claude-agent-sdk wybiera model.aggrega.ai/api=anthropic, a gniazdo core/ai-agent/google-adk wybiera model.aggrega.ai/api=gemini, więc podłączenie jednego z nich do modelu lub bramki udostępniającej inne API zatrzymuje build z naruszeniem selektora wskazującym gniazdo. Gniazdo core/ai-agent/google-adk dodatkowo zawęża kategorię do ai-model, odrzucając każdą bramkę, ponieważ klient ADK nie odczytuje żadnego adresu i wysłałby poświadczenia bramki na własny adres Google. Bramka AI odczytuje wartość, zamiast według niej wybierać: jej gniazdo models wybiera component.aggrega.ai/category=ai-model, dopuszczając każdy model, a ponieważ bramka opisuje swojemu proxy podłączony tam model wyłącznie przez API OpenAI, asercja jej encji Component zatrzymuje build przy połączeniu, którego cel nosi jakąkolwiek wartość inną niż openai, wskazując połączenie i zalecając wpisanie tego upstreamu do ręcznie pisanej mapy modeli bramki. core/gateway/kong, core/gateway/kong-enterprise, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/traefik-hub, core/gateway/agentgateway i core/gateway/higress odczytują ją tak samo na własnych gniazdach models, ponieważ każdy z nich zapisuje trasę podłączonego modelu, a w agentgateway jego wpis modelu, wyłącznie dla API OpenAI. Kompilator traktuje wartość jako nieprzezroczysty ciąg znaków i nie sprawdza niczego w kwestii tego, co odpowiada pod adresem.
  • Co zawiera biblioteka standardowa. core/gateway/litellm, core/gateway/kong, core/gateway/kong-enterprise, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/traefik-hub, core/gateway/agentgateway i core/gateway/higress noszą openai, podobnie jak samodzielnie hostowane serwery core/ai-model/vllm, ollama, docker-model-runner, tgi, tei, nvidia-nim i litellm, zarządzane API core/ai-model/openai, openai-embedding i nvidia-api oraz broker core/ai-model/openai-compatible, który kieruje się na usługę obsługującą to API. core/ai-model/anthropic nosi anthropic, a core/ai-model/gemini nosi gemini. Każdy inny komponent modelu nosi native.

14. tool.aggrega.ai/transport

  • Kto to zapisuje? Platform Architect, na narzędziu, do którego konsument dociera przez transport, który musi obsługiwać. Wartość wskazuje ten transport.
  • Kto to wykorzystuje? Static Analyzer, za pomocą gniazda narzędzi konsumenta.
  • Zastosowanie w kompilatorze: w ten sposób konsument otrzymuje tylko te narzędzia, z którymi potrafi się komunikować. Gniazdo narzędzi wybiera component.aggrega.ai/category=ai-tool, tool.aggrega.ai/transport=http: wymaganie kategorii dopuszcza narzędzia i nic innego, a wymaganie transportu dopuszcza tylko narzędzia osiągane przez HTTP, więc podłączenie takiego gniazda do narzędzia, które nie nosi takiej etykiety, zatrzymuje build z naruszeniem selektora wskazującym gniazdo. Sposób dotarcia do narzędzia musi być etykietą, a nie publikowaną wartością, ponieważ selektor odczytuje etykiety, a nigdy zawartość wartości. Kompilator traktuje wartość jako nieprzezroczysty ciąg znaków i nie sprawdza niczego w kwestii tego, co odpowiada pod adresem.
  • Co zawiera biblioteka standardowa. core/ai-tool/mcp nosi http. Dołącza on serwer Model Context Protocol do agenta, a encja Manifest wybiera, jak ten serwer jest realizowany: helm/mcp i compose/mcp uruchamiają obraz udostępniający protokół przez HTTP; helm/mcp-stdio-bridge i compose/mcp-stdio-bridge uruchamiają pakiet obsługujący tylko stdio za przypiętym mostem, który udostępnia go przez HTTP; helm/mcp-remote i compose/mcp-remote docierają do serwera prowadzonego przez kogoś innego i niczego nie uruchamiają. Każda realizacja publikuje te same host, port, endpoint, protocol i credential_header, więc okablowanie konsumenta nie zmienia się wraz z realizacją. Własne poświadczenia serwera są zmiennymi środowiskowymi, przechowywanymi w slocie server_env narzędzia: dostarczanymi do mostu przez referencję na Kubernetes, a na Docker Compose zapisywanymi do środowiska usługi w postaci dostarczonej, gdzie referencja do zmiennej Compose utrzymuje poświadczenia poza plikiem; poświadczenia serwera zdalnego przechowuje konsument na własnym połączeniu z narzędziem i przedstawia je w nagłówku wskazanym przez credential_header, czyli Authorization, chyba że encja Release wskaże inny. Gdy serwer zdalny odczytuje swój klucz z własnego adresu, konsument przechowuje na tym połączeniu również cały adres, w slocie endpoint wypełnianym na Kubernetes referencją do obiektu Secret, a na Docker Compose referencją do zmiennej Compose, więc klucz nie trafia do żadnego wyrenderowanego pliku, podczas gdy infra.endpoint narzędzia zawiera adres bez części niosącej klucz; examples/mcp-address-from-secret buduje oba warianty. core/ai-agent/openai-agents-sdk, core/ai-agent/claude-agent-sdk, core/ai-agent/agent-framework, core/ai-agent/google-adk i core/ai-agent/mastra oraz platformy przepływów core/ai-agent/flowise i core/ai-agent/n8n deklarują gniazdo narzędzi tej postaci, tools, i dostarczają adres każdego podłączonego narzędzia oraz poświadczenia połączenia przez referencję w zmiennych nazwanych według aliasu połączenia, podczas gdy połączenie zapisujące blok inject: otrzymuje to, co dyktuje ten blok, zamiast zmiennych wyprowadzonych z tego, co publikuje narzędzie, a zawartość jego slotów credential i endpoint pozostaje pod nazwą aliasu; własny konsument deklaruje takie gniazdo w ten sam sposób. Każda z trzech platform przepływów przenosi do platformy podczas wdrożenia przepływ napisany w encji Aggregate, na obu celach: Langflow ładuje przeniesioną definicję ze swojego katalogu przepływów przy każdym uruchomieniu, chatflow Flowise jest zasilany przez jednorazowy krok zalogowany jako konto właściciela wskazane przez encję Release, a workflow n8n jest importowany przez krok init przed uruchomieniem platformy. core/ai-agent/langflow deklaruje gniazdo tools tej samej postaci, które nie dopuszcza bloku inject:, i zamiast tego dostarcza każde połączenie przez ten przepływ, ponieważ komponent MCP Tools w Langflow przyjmuje adres serwera wyłącznie z ustawień samego Langflow lub z przepływu, nigdy ze zmiennej: jego Recipes zapisują adres narzędzia w węźle MCP Tools, którego serwer nosi nazwę aliasu połączenia, dostarczają poświadczenia połączenia przez referencję jako zmienną wskazaną przez nagłówek tego węzła — w Authorization zmienną zawierającą Bearer i poświadczenia — i przepuszczają hosty podłączonych narzędzi i magazynów przez zabezpieczenie Langflow przed adresami prywatnymi. Wszystkie trzy platformy deklarują też gniazdo vector_store wybierające datastore.aggrega.ai/engine in (vector, semantic-memory, search), które w ten sam sposób dostarcza adres każdego podłączonego magazynu — publikowany przez niego endpoint, dla core/datastore/pgvector URI połączenia bez hasła, albo adres złożony z jego protokołu, hosta i portu — oraz poświadczenia połączenia przez referencję; magazyn, który publikuje także swoją bazę danych i użytkownika, jak robi to core/datastore/pgvector, trafia do Flowise i n8n również w tych częściach, ponieważ węzeł wektorowy PostgreSQL żadnej z tych platform nie przyjmuje ciągu połączenia; Langflow, którego komponent PGVector przyjmuje jeden ciąg, otrzymuje taki magazyn jako AGGREGA_VECTOR_STORE_<ALIAS>_CONNECTION_STRING, z poświadczeniami połączenia jako hasłem, przez referencję na Kubernetes i w postaci dostarczonej na Docker Compose. Chatflow Flowise odczytuje dostarczoną zmienną przez zmienną Runtime o tej samej nazwie utworzoną na stronie Variables w Flowise, a workflow n8n odczytuje ją przez $env tylko tam, gdzie encja Aggregate ustawia wartość allow_env_access_in_nodes platformy, ponieważ domyślnie Recipes tej platformy utrzymują blokadę n8n dla dostępu do środowiska w węzłach.

2. Abstrakcja portów (konwencja zera portów)

Otwartoźródłowy katalog biblioteki standardowej Aggrega zaleca pomijanie deklaracji fizycznych portów w warstwie kognitywnej encji Components i kierowanie wyboru portu przez Recipe Ops. Autorzy stosujący się do tego zalecenia unikają kolizji portów między celami wdrożenia, zapobiegają powstawaniu API typu backdoor omijających Injection Contract i zachowują elastyczność topografii sieci u różnych dostawców. Sam kompilator jest agnostyczny wobec portów — przekazuje dowolne wartości, na które pozwala rozwiązany JSON Schema. Konwencja przewiduje jawną furtkę dla systemów legacy, których fizycznych portów nie można zmienić.

  • Domyślne podejście cloud-native (dynamiczne wstrzykiwanie): w nowoczesnych obciążeniach Components całkowicie pomijają fizyczne porty (brak tablic ports czy expose) w swojej deklaracji schema:. Recipes Platform Ops wybierają wewnętrzny port TCP/UDP i publikują go jako nazwany klucz provides, który konsumenci niższego poziomu odczytują przez Injection Contract .context.uses.
  • Furtka dla systemów legacy (jawna deklaracja): gdy komponent legacy ma niezmienny, zakodowany na stałe port, Platform Architect jawnie udostępnia pole port w deklaracji schema: encji Component. Daje to roli Developer zweryfikowany sposób zadeklarowania fizycznego ograniczenia. Kompilator przenosi wartość przez potok bez zmian; Recipe konsumuje ją przez {{ .values.port }}.
  • Porty operacyjne (poza pasmem): porty używane wyłącznie przez infrastrukturę klastra (np. scrapowanie przez Prometheus, metryki sidecarów Envoy) pozostają ukryte przed warstwą kognitywną roli Developer. Platform Ops wstrzykuje je poza pasmem za pomocą Features (np. przez dołączenie encji Feature core/prometheus-exporter, której port scrapowania jest operatorskim infra).

3. Schematy specyficzne dla domeny (inteligencja konfiguracji)

Bloki values dewelopera (nieprzezroczyste dla kompilatora Go, ale ściśle typowane przez deklarację schema: encji Component) są walidowane pod kątem obsługi jawnych przepływów pracy AI:

  • Powiązania agentów (tablice zależności): współdzielony schemat parametrów agentów w bibliotece standardowej zawiera tools_allowed i agents_allowed jako tablice values wskazujące Components katalogu, które agent może wywoływać lub którym może delegować zadania — to udokumentowana konwencja, której kompilator nie ewaluuje. Powiązanie, które kompilator okablowuje jako krawędź topologiczną, to gniazdo uses deklarowane przez encję Component agenta w jej usesSchema, a build sprawdza selektor tego gniazda.
  • Głęboki podział pamięci kognitywnej (CoALA): zamiast jednego płaskiego zasobnika pamięci architekt może zadeklarować gniazdo cognitive_memory, którego połączenia mapują pamięć semantyczną, epizodyczną i proceduralną na odrębne cele infrastrukturalne jako jawne krawędzie topologiczne, dzięki czemu silniki polityk mogą oceniać i narzucać szczegółowe zabezpieczenia dostępu (np. zapewniając, że agent może odczytywać pamięć semantyczną, ale nie może jej nadpisać w razie przejęcia). Biblioteka standardowa nie deklaruje takiego gniazda.
  • Potoki multimodalne: schema: encji Component może deklarować jawne etapy wykonania, takie jak document_chunking, embedding_generation i storage_routing, jako typowane values, dzięki czemu deklaratywny przepływ danych jest walidowany, zanim cokolwiek zostanie wyrenderowane. Biblioteka standardowa nie deklaruje takich etapów.

4. Inteligencja bramek i routing

Bramki AI biblioteki standardowej niosą mechanizmy kontroli routingu żądań do API modeli LLM: core/gateway/litellm, która działa w klastrze, oraz dwie usługi hostowane — core/gateway/cloudflare-ai-gateway, hostowana bramka Cloudflare, którą jej Recipe terraform tworzy na koncie Cloudflare, oraz core/gateway/azure-api-management, bramka AI usługi Azure API Management, której Recipe terraform dodaje API udostępniające model, wraz z jego backendem i polityką, do już istniejącej instancji API Management. Recipes helm i compose każdej hostowanej bramki odwołują się do niej tam, gdzie jest już skonfigurowana. Niektóre mechanizmy kontroli są wartościami na samej bramce, a niektóre są dołączonymi do niej encjami Features, a każda encja Feature poniżej podaje, na której bramce biblioteka standardowa ją realizuje. Na bramce hostowanej każdy mechanizm kontroli jest zapisywany we własnej konfiguracji bramki — jako ustawienie zasobu bramki Cloudflare lub element polityki API w Azure API Management — więc tylko jej Recipe terraform może go nieść, a jej Recipes helm i compose zatrzymują build przy każdym dołączeniu. Poniżej „bramka AI” to core/gateway/litellm, „bramka hostowana” to core/gateway/cloudflare-ai-gateway, a bramka Azure API Management jest nazywana pełną nazwą.

Poza Aggrega, w czasie działania

agent

jego gniazdo model podłączone do bramy

brama AI

z dołączonymi do niej mechanizmami kontroli

budżet tokenów

semantyczna pamięć podręczna

ochrona przed wstrzykiwaniem promptów

model

dostawca za bramą

Żądania agenta przechodzą przez bramę, do której podłączone jest jego gniazdo model, więc każdy mechanizm kontroli dołączony do bramy stoi między agentem a modelem. Trzy pokazane tutaj to encje Features core/period-budget, core/semantic-caching i core/prompt-injection-shield, przedstawione obok siebie ze względu na miejsce, które zajmują, a nie jako konfiguracja jednej bramy: wpisy poniżej mówią, która brama realizuje każdy mechanizm kontroli i co zatrzymuje kompilację.

  • Modele za nią: mapa modeli bramki AI — aliasy, które udostępnia, każdy z upstreamem, do którego wysyłane jest żądanie o niego — ma dwie części. Komponent modelu podłączony do gniazda models bramki, zarządzany lub hostowany samodzielnie, jest udostępniany pod aliasem połączenia, a jego wpis jest zapisywany na podstawie endpoint i model publikowanych przez model — ciągów, które kompilator przekazuje do konfiguracji bramki i nigdy ich nie rozwiązuje; model jest więc komponentem grafu, osiąganym przez własną krawędź. Bramka opisuje taki model swojemu proxy wyłącznie przez API OpenAI, więc połączenie z modelem, którego model.aggrega.ai/api nie jest openai, zatrzymuje build i wskazuje połączenie. Drugą częścią jest values.models bramki, czyli wpisy wprowadzane ręcznie we własnej notacji dostawca/model proxy: dla upstreamu, którego katalog nie modeluje, dla dostawcy, którego własne API nie jest API OpenAI, oraz dla kilku wpisów współdzielących jeden alias, czego podłączone modele nie mogą robić, ponieważ każdy jest udostępniany pod aliasem własnego połączenia. Podłączony wpis przedstawia poświadczenia niesione przez jego własne połączenie, jak opisuje to „Klucz przedstawiany przez wywołującego” poniżej, a nigdy provider_key bramki; każdy ręcznie wprowadzony wpis przedstawia jedyne poświadczenia z tego slotu. Alias publikowany przez obie części zatrzymuje build, który go wskazuje, podobnie jak bramka, której żadna z części nie daje modelu.

  • Na ścieżce agenta: bramka publikuje endpoint i model, czyli klucze publikowane przez komponent modelu, i nosi model.aggrega.ai/api: openai, więc gniazdo model agenta przyjmuje bramkę bezpośrednio, a każdy dołączony do niej mechanizm kontroli stoi między tym agentem a dostawcami za nią. Publikowany przez nią model to alias wskazany przez jej values.model, na którym build się zatrzymuje, gdy żadna część mapy go nie publikuje; można go pominąć tylko wtedy, gdy bramka udostępnia jeden alias, a publikuje go wpis values.models, który jest wówczas aliasem publikowanym. Wywołujący, który chce innego aliasu publikowanego przez mapę, prosi o niego po nazwie ten sam endpoint. core/gateway/cloudflare-ai-gateway publikuje te same dwa klucze — adres jednego z endpointów bramki, złożony z konta Cloudflare i identyfikatora bramki, oraz model, o który prosi wywołujący, przekazywany przez bramkę bez sprawdzania — ale nie nosi żadnego model.aggrega.ai/api, więc gniazdo model agenta go nie przyjmuje. core/gateway/azure-api-management również je publikuje — adres swojego API, złożony z hosta instancji i ścieżki API, oraz model, o który prosi wywołujący, przekazywany bez sprawdzania — i również nie nosi żadnego model.aggrega.ai/api: API odpowiada na żądanie chat completions OpenAI, ale domyślnie wywołujący przedstawia klucz subskrypcji API Management we własnym nagłówku zamiast tokenu bearer OpenAI, więc zwykły klient OpenAI nie wystarczy, aby je wywołać.

  • Kong przed modelami: core/gateway/kong, otwartoźródłowa bramka Kong, udostępnia modele podłączone do własnego gniazda models przez AI Proxy firmy Kong i spośród poniższych mechanizmów kontroli realizuje wyłącznie wzorce odrzucania promptów, jako AI Prompt Guard firmy Kong na każdej trasie każdego podłączonego modelu. Każdy podłączony model otrzymuje trasę chat i trasę completion pod /<alias>/v1, zapisane na podstawie endpoint i model publikowanych przez model, a jej Recipes importują te trasy do backendu PostgreSQL bramki przed jej uruchomieniem. To trasa wybiera model, więc żądanie jest wysyłane do modelu wskazanego przez jego ścieżkę, niezależnie od nazwy modelu, którą niesie. Bramka przedstawia własne poświadczenia każdego połączenia jako token bearer, który jej konfiguracja odczytuje po nazwie ze środowiska bramki, a połączenie z modelem, którego model.aggrega.ai/api nie jest openai, zatrzymuje build. Publikuje trasę aliasu wskazanego przez jej values.model jako swój endpoint, a ten alias jako swój model, i nosi model.aggrega.ai/api: openai, więc gniazdo model agenta przyjmuje ją tak, jak przyjmuje bramkę AI. Gdy nic nie jest podłączone do tego gniazda, bramka nie udostępnia żadnego modelu i publikuje oba klucze puste, a podłączony do niej agent nie odczytuje wtedy żadnego adresu ani nazwy modelu. Import dodaje i aktualizuje trasy, ale żadnych nie usuwa, więc trasa, której połączenie zostało usunięte, nadal odpowiada, a zabezpieczenie promptów zapisane przez dołączenie core/prompt-deny-patterns nadal odrzuca żądania po usunięciu dołączenia, dopóki każde z nich nie zostanie usunięte przez Admin API Kong. Z tego samego powodu bramka nie deklaruje wywołujących, a jej trasy modeli nie sprawdzają klucza żadnego wywołującego: Kong rozróżnia wywołujących tylko jako konsumentów wskazanych przez wtyczkę uwierzytelniania, a konsument i jego klucz, raz zaimportowani, nadal mogliby się uwierzytelniać po usunięciu wywołującego z encji Release, przy czym rotowany klucz pozostawiłby działający stary; klucza key-auth nie można też przechowywać przez referencję, więc klucz wywołującego mógłby dotrzeć do Kong tylko jako literał w wyrenderowanym pliku.

  • Kong Gateway Enterprise przed modelami: core/gateway/kong-enterprise, płatna edycja tej samej bramy Kong opartej na bazie danych, obsługuje modele podłączone do jej własnego gniazda models na trasach, które obsługuje core/gateway/kong, zapisanych z tej samej konfiguracji i importowanych do jej backendu PostgreSQL przez krok we własnym podzie bramy, zanim brama się uruchomi, i publikuje swoje endpoint i model tak jak Kong. Jej jedyną realizacją jest Recipe typu chart oparta na oficjalnym chartcie Helm firmy Kong; realizacji compose nie ma. Uruchamia obraz, który encja Release wskazuje w infra.image, łącznie z tagiem wersji, ponieważ Kong rozpowszechnia obraz enterprise na własnych warunkach, a katalog w związku z tym nie wskazuje żadnego; kompilacja jest przerywana, dopóki ten klucz nie jest ustawiony lub jego tag nie zawiera wersji. Licencja trafia do bramy przez odwołanie do obiektu Secret powiązanego z jej wymaganym slotem license, nigdy jako wartość, a kompilacja jest przerywana, dopóki nic nie wiąże tego slotu. Kompilator nie weryfikuje żadnej licencji i nie kontaktuje się z żadnym dostawcą, więc encja Release, która kompiluje się bez błędów, nic nie mówi o licencji: Kong odczytuje licencję przy starcie węzła, a węzeł bez ważnej licencji zachowuje się jak z wygasłą — konfiguracja jego encji jest tylko do odczytu, a ruch proxy jest obsługiwany z konfiguracją już obowiązującą. Kong sprzedaje swoje wtyczki AI jako ofertę AI Gateway Enterprise, uprawnienie zawarte w licencji, którego żadna kompilacja nie widzi, i pomija taką wtyczkę zamiast ją odrzucić tam, gdzie licencja nie obejmuje tego uprawnienia, więc dołączenie core/semantic-caching, core/period-budget, core/data-masking, core/fallback-chain, core/retry-policy lub core/target-selection przerywa kompilację, dopóki encja Release nie ustawi infra.ai_gateway_entitled na true, potwierdzając, że licencja je obejmuje. Spośród poniższych mechanizmów kontroli realizuje budżet okresowy i łańcuch fallbacku, każdy zapisany w trasach, które brama importuje, a core/data-masking realizuje tak, jak opisuje to poniżej sekcja „Eksfiltracja danych i przechwytywanie ładunku”; jej realizacje pamięci podręcznej semantycznej, polityki ponawiania i wyboru celu przerywają każde dołączenie, podając przyczynę, a limit współbieżności, rejestrowanie audytowe, wykrywanie wstrzykiwania promptów, walidacja odpowiedzi i wzorce blokowania promptów nie mają tam realizacji, więc dołączenie któregokolwiek z nich przerywa kompilację. Zmieniony zestaw tras powoduje stopniowe wdrożenie bramy od nowa, a import dodaje i aktualizuje trasy, nie usuwając żadnej, więc trasa, której połączenie zostało usunięte, oraz wtyczka zapisana przez encję Feature AI po usunięciu tej encji Feature pozostają w bazie danych, dopóki nie zostaną usunięte przez Admin API Konga; z powodów podanych w punkcie powyżej ona również nie deklaruje wywołujących, a jej trasy modeli nie sprawdzają klucza żadnego wywołującego. To, czy działająca brama egzekwuje którykolwiek z tych mechanizmów kontroli, nie jest obserwowane przez żadną kompilację.

  • APISIX przed modelami: core/gateway/apisix, otwartoźródłowa brama Apache APISIX, obsługuje modele podłączone do jej własnego gniazda models przez proxy AI APISIX tam, gdzie encja Manifest wiąże jej Recipe typu chart, która uruchamia APISIX 3.18.0. Każdy podłączony model otrzymuje trasę chat i trasę completion pod /<alias>/v1 — tylko trasę chat, dopóki dołączony jest budżet okresowy lub wzorce blokowania promptów, ponieważ APISIX nie liczy tokenów w żądaniu completion, a jego prompt guard go nie odczytuje — zapisane z endpoint i model, które model publikuje, w pliku tras renderowanym wraz z bramą, który brama odczytuje przy starcie i ponownie przy każdej zmianie pliku. Brama odczytująca trasy z tego pliku nie odczytuje żadnego etcd i nie uruchamia Admin API, więc przy podłączonym modelu połączenie etcd lub dołączenie admin_key przerywa kompilację, a gdy nic nie jest podłączone, oba są wymagane. Trasa wybiera model. Brama przedstawia własne poświadczenie każdego połączenia jako token bearer, który jej trasy odczytują po nazwie ze środowiska bramy, a połączenie z modelem, którego model.aggrega.ai/api nie jest openai, przerywa kompilację. Publikuje trasę aliasu wskazanego przez jej values.model jako swój endpoint, a ten alias jako swój model, i ma model.aggrega.ai/api: openai, więc gniazdo model agenta przyjmuje ją tak, jak przyjmuje bramę AI; gdy nic nie jest podłączone, publikuje oba klucze puste. Trasa, której połączenie zostało usunięte, znika z następnego renderowania. Encja Release może wskazać wywołujących bramy w infra.callers, a ich klucze przez slot caller_keys, obiekt Secret zawierający jeden klucz danych na nazwę wywołującego: każdy wywołujący jest wtedy konsumentem w pliku tras, którego klucz jest odczytywany po nazwie z tego obiektu Secret, a każda trasa odrzuca kodem HTTP 401 żądanie, które nie przedstawia żadnego zadeklarowanego klucza jako Authorization: Bearer <key> — tak jak przedstawia go klient OpenAI — i usuwa klucz z przekazywanego żądania. Bez wywołujących trasy są otwarte. Jej Recipe typu workload, z APISIX 3.17.0, przechowuje trasy w etcd, nie renderuje żadnych i przerywa kompilację przy połączeniu z tym gniazdem oraz przy infra.callers. Spośród poniższych mechanizmów kontroli realizuje budżet okresowy, semantyczną pamięć podręczną dla deklarowanych przez siebie wywołujących oraz wzorce blokowania promptów.

  • Envoy Gateway przed modelami: core/gateway/envoy-gateway, otwartoźródłowa brama Envoy Gateway, obsługuje modele podłączone do jej własnego gniazda models przez Envoy AI Gateway, którego kontroler, core/gateway/envoy-ai-gateway-operator, brama wywołuje jako swój serwer rozszerzeń przez swoje gniazdo extension. Podłączony model, gdy nic nie jest podłączone do tego gniazda, przerywa kompilację, a przy podłączonym kontrolerze encja Release umieszcza bramę w envoy-gateway-system, w przeciwnym razie kompilacja jest przerywana. Każdy podłączony model staje się regułą jednej trasy AI dołączonej do bramy, wybieraną według nazwy modelu, którą niesie żądanie, z backendem zapisanym z endpoint i model, które model publikuje, więc każdy podłączony model jest obsługiwany pod /v1 pod własnym adresem bramy. Brama przedstawia własne poświadczenie każdego połączenia jako token bearer, który kontroler Envoy AI Gateway odczytuje z obiektu Secret wskazanego przez poświadczenie, a połączenie z modelem, którego model.aggrega.ai/api nie jest openai, przerywa kompilację. Dopóki podłączony jest model, każda trasa na bramie przyjmuje bufor żądań 50Mi na połączenie, który konfiguruje Envoy AI Gateway. Publikuje swój adres, kwalifikowany przez envoy-gateway-system, aby dało się go rozwiązać z dowolnej przestrzeni nazw, jako swój endpoint, a alias wskazany przez jej values.model jako swój model, i ma model.aggrega.ai/api: openai, więc gniazdo model agenta przyjmuje ją tak, jak przyjmuje bramę AI; gdy nic nie jest podłączone, publikuje oba klucze puste. Webhook kontrolera udostępnia certyfikat wystawiany przez cert-manager, więc cert-manager musi już działać w klastrze, chyba że encja Release wskaże w infra.webhook_tls_secret kontrolera obiekt Secret zawierający certyfikat dostarczony przez operatora, który webhook wtedy udostępnia. Spośród poniższych mechanizmów kontroli realizuje budżet okresowy, politykę ponawiania i limit współbieżności, każdy zapisany w jedynej polityce ruchu trasy obsługującej jej modele. Nie realizuje semantycznej pamięci podręcznej ani walidacji odpowiedzi, ponieważ Envoy AI Gateway nie przechowuje żadnej odpowiedzi, którą mógłby odpowiedzieć na późniejsze żądanie, i nie sprawdza żadnej odpowiedzi względem schematu, ani łańcucha fallbacku: Envoy AI Gateway realizuje fallback przez ponawianie na kolejnych backendach reguły modelu, a brama zapisuje liczbę ponowień swojej jedynej polityki ruchu w każdej regule trasy obsługującej jej modele, więc lista fallbacku uzyskałaby dokładnie swoje wysyłki tylko tam, gdzie lista każdego podłączonego modelu ma tę samą długość. Realizuje core/audit-logging jako swój dziennik dostępu, jak opisuje to poniżej sekcja „Rejestrowanie audytowe”, i odrzuca z nazwy to, czego ten dziennik nie może przechować: koszt żądania, ponieważ koszt na żądanie, który Envoy AI Gateway potrafi obliczyć, nie ma jednostki, a brama nie przechowuje cen; wywołującego zweryfikowanego przez bramę, ponieważ nic na tej ścieżce nie weryfikuje wywołującego; oraz okres przechowywania, ponieważ ten dziennik nie ma magazynu ani ustawienia przechowywania. examples/envoy-ai-gateway-token-budget buduje całą ścieżkę z agentem, który dociera do zarządzanego modelu OpenAI przez bramę.

  • agentgateway przed modelami: core/gateway/agentgateway, otwartoźródłowa brama agentgateway, obsługuje modele podłączone do jej własnego gniazda models z jednego pliku konfiguracyjnego renderowanego przez jej encje Recipes. Każdy podłączony model jest wpisem tego pliku, nazwanym aliasem połączenia i zapisanym z endpoint i model, które model publikuje, jako zgodny z OpenAI dostawca chat completions, więc każdy podłączony model jest obsługiwany pod /v1 pod własnym adresem bramy, a wybiera go nazwa modelu, którą niesie żądanie: żądanie dociera do modelu z nazwą modelu, którą model publikuje, a na nazwę, której nie niesie żadne połączenie, odpowiedzią jest HTTP 404. Brama przedstawia własne poświadczenie każdego połączenia jako token bearer, który plik wskazuje jako zmienną odczytywaną przez bramę z jej środowiska podczas odczytu pliku, przy czym brak tej zmiennej uniemożliwia jej uruchomienie, a połączenie z modelem, którego model.aggrega.ai/api nie jest openai, przerywa kompilację. Publikuje ten bazowy URL /v1 jako swój endpoint, a alias wskazany przez jej values.model jako swój model, i ma model.aggrega.ai/api: openai, więc gniazdo model agenta przyjmuje ją tak, jak przyjmuje bramę AI; gdy nic nie jest podłączone, publikuje oba klucze puste. Dwie encje Recipes uruchamiają ten sam obraz, przypięty przez digest: agentgateway-chart renderuje samodzielny chart Helm projektu, pobierany z rejestru projektu, i realizuje poniższe mechanizmy kontroli, a agentgateway uruchamia obraz jako jedną usługę Docker Compose i nie realizuje żadnego z nich ani wywołujących, więc dołączenie tam przerywa kompilację, podając swój typ; na Kubernetes, gdzie kompilacja może dotrzeć do tego rejestru, należy sięgnąć po chart. W chartcie encja Release może wskazać wywołujących bramy w infra.callers, a ich klucze przez slot caller_keys, tak jak w APISIX: każdy wywołujący jest kluczem API pliku, sprawdzanym w trybie ścisłym i odczytywanym po nazwie z tego obiektu Secret, więc żądanie do modelu, które nie przedstawia żadnego zadeklarowanego klucza jako Authorization: Bearer <key>, jest odrzucane kodem HTTP 401, a klucz jest usuwany z przekazywanego żądania; bez wywołujących trasy modeli są otwarte. agentgateway wstawia każdy klucz wskazany w ten sposób w pliku — klucz podłączonego modelu w obu encjach Recipe i klucz wywołującego w chartcie — do tekstu pliku, zanim odczyta plik jako YAML, więc klucz musi być prostym tokenem — litery, cyfry oraz -, ., _, ~, +, / i = — a inne znaki mogą zostać wczytane jako inny klucz lub zatrzymać bramę. Brama ponownie odczytuje plik, gdy się zmienia, więc wywołujący usunięty z encji Release jest odrzucany, gdy tylko zamontowany plik zostanie zaktualizowany. Dopóki dołączony jest core/audit-logging lub core/period-budget z zakresem caller, Recipe typu chart daje bramie magazyn, plik SQLite na własnym woluminie, i uruchamia jedną replikę. Spośród poniższych mechanizmów kontroli realizuje maskowanie danych, wzorce blokowania promptów, budżet okresowy, rejestrowanie audytowe i politykę ponawiania, każdy zapisany w pliku, i odrzuca z nazwy każdą wartość, której nie może zachować. Maskowanie danych zastępuje każde dopasowanie wzorców wymienionych w dołączeniu przez <masked> albo w trybie refuse odpowiada na żądanie lub odpowiedź kodem HTTP 403 — w promptach systemowych i deweloperskich żądania, jego pozostałych wiadomościach oraz argumentach i wynikach jego wywołań narzędzi, a także w tekście wiadomości odpowiedzi, która nadchodzi w całości; nie rozpoznaje typów encji i niczego nie przywraca. agentgateway nie maskuje odpowiedzi strumieniowej, więc dopóki odpowiedzi są maskowane, żądanie do modelu proszące o odpowiedź strumieniową jest odrzucane kodem HTTP 403 przed przekazaniem, podobnie jak każde żądanie do modelu, którego treść jest większa niż 2 MiB odczytywane przez bramę na potrzeby tego sprawdzenia, strumieniowe czy nie. Odrzucenie przez strażnika, w tym przez wzorzec blokowania, to HTTP 403 z treścią „The request was rejected due to inappropriate content” (Żądanie zostało odrzucone z powodu nieodpowiednich treści). Budżet, rekordy i ponawianie są opisane poniżej w sekcjach „Budżet okresowy”, „Rejestrowanie audytowe” i „Odporność”. Jej realizacje łańcucha fallbacku, wyboru celu, semantycznej pamięci podręcznej, walidacji odpowiedzi i wykrywania wstrzykiwania promptów przerywają każde dołączenie, podając przyczynę, a limitu współbieżności nie da się do niej dołączyć, ponieważ nie ma ona wartości dataplane.aggrega.ai/concurrency-cap.

  • Traefik Hub przed modelami: core/gateway/traefik-hub, płatna brama firmy Traefik, obsługuje modele podłączone do jej własnego gniazda models przez middleware Chat Completion w Traefik Hub. Jej jedyną realizacją jest Recipe typu chart oparta na własnym chartcie Helm firmy Traefik; realizacji compose nie ma. Uruchamia obraz, który encja Release wskazuje w infra.image, łącznie z tagiem, ponieważ Traefik rozpowszechnia Traefik Hub na własnych warunkach, a katalog w związku z tym nie wskazuje żadnego; kompilacja jest przerywana, dopóki ten klucz nie jest ustawiony lub nie wskazuje tagu. Token licencji trafia do bramy przez odwołanie do obiektu Secret powiązanego z jej wymaganym slotem license, pod kluczem danych token, nigdy jako wartość, a kompilacja jest przerywana, dopóki nic nie wiąże tego slotu lub obiekt ten publikuje inny klucz danych. Traefik wymaga wychodzącego HTTPS do api.traefik.io, gdzie brama weryfikuje swój token; od Traefik Hub v3.21 brama działa dalej, gdy ten host jest nieosiągalny, ponawiając próby w tle, a token jest domyślnie ważny rok, po czym brama zatrzymuje się, gdy wygaśnie. Recipe typu chart wyłącza eksport dzienników błędów bramy do platformy Traefik wykonywany przez chart oraz sprawdzanie przez niego nowszej wersji. Kompilator nie weryfikuje żadnego tokenu i nie kontaktuje się z żadnym dostawcą, więc encja Release, która kompiluje się bez błędów, nic nie mówi o tym, czy brama się uruchomi. Każdy podłączony model otrzymuje trasę pod /<alias>/v1/chat/completions, kierowaną do endpoint, który model publikuje, przez Service typu ExternalName i żądającą model, który model publikuje, niezależnie od nazwy modelu, którą niesie żądanie, więc to ścieżka wybiera model; obsługuje wyłącznie chat completions. Brama przedstawia własne poświadczenie każdego połączenia jako token bearer, który Traefik Hub odczytuje z obiektu Secret wskazanego przez middleware Chat Completion połączenia, a połączenie z modelem, którego model.aggrega.ai/api nie jest openai lub którego endpoint wskazuje adres zamiast hosta, przerywa kompilację. Publikuje trasę aliasu wskazanego przez jej values.model jako swój endpoint, a ten alias jako swój model, i ma model.aggrega.ai/api: openai, więc gniazdo model agenta przyjmuje ją tak, jak przyjmuje bramę AI; gdy nic nie jest podłączone, publikuje oba klucze puste. Encja Release może wskazać wywołujących bramy w infra.callers, a skróty htpasswd ich kluczy przez slot caller_keys: middleware API Key w Traefik Hub poprzedza wtedy każdą trasę modelu i odrzuca żądanie, które nie przedstawia żadnego zadeklarowanego klucza jako Authorization: Bearer <key>, a klucz jest usuwany z przekazywanego żądania; bez wywołujących trasy są otwarte. Co Traefik Hub robi z wpisem wywołującego wskazującym nieistniejący obiekt Secret lub klucz danych, nie jest określone w jego dokumentacji referencyjnej, więc w najgorszym przypadku trasy są tak samo otwarte jak bez wywołujących. Spośród poniższych mechanizmów kontroli realizuje budżet okresowy, semantyczną pamięć podręczną dla deklarowanych przez siebie wywołujących, wzorce blokowania promptów i maskowanie danych — przez middleware bramy AI w Traefik Hub — oraz łańcuch fallbacku i politykę ponawiania — przez własny failover i ponawianie Traefik — każdy zapisany w trasach renderowanych przez jej Recipe typu chart. Brama AI jest uprawnieniem zawartym w licencji, którego żadna kompilacja nie widzi, a to, co Traefik Hub robi z ważnym tokenem, którego licencja go nie obejmuje, nie jest udokumentowane, więc dołączenie któregokolwiek z pierwszych czterech przerywa kompilację, dopóki encja Release nie ustawi infra.ai_gateway_entitled na true. Jej realizacje wykrywania wstrzykiwania promptów, rejestrowania audytowego, wyboru celu i walidacji odpowiedzi przerywają każde dołączenie, podając przyczynę, a limitu współbieżności nie da się do niej dołączyć, ponieważ nie ma ona wartości dataplane.aggrega.ai/concurrency-cap. To, czy działająca brama egzekwuje którykolwiek z tych mechanizmów kontroli, nie jest obserwowane przez żadną kompilację.

  • Higress przed modelami: core/gateway/higress, otwartoźródłowa brama Higress, zbudowana na Envoy i konfigurowana za pomocą zasobów Kubernetes, udostępnia modele podłączone do jej własnego gniazda models za pośrednictwem AI proxy Higress. Jej jedyną realizacją jest encja Recipe typu chart oparta na własnym charcie Helm projektu, higress-core, który uruchamia kontroler Higress wraz z jego usługą wykrywania oraz bramę; realizacji compose nie ma, ponieważ projekt przeznacza swoją dystrybucję compose głównie do testów lokalnych, a ta dystrybucja uruchamia kilka współpracujących usług konfigurowanych za pomocą własnego magazynu. Encja Recipe przypina chart, obrazy i każdy zapisywany przez siebie moduł wtyczki oraz przyjmuje w infra.source_version tylko te wersje chartu, dla których jej konfiguracja została sprawdzona; brama pobiera te moduły z rejestru wtyczek Higress w czasie działania, a klaster musi mieć do niego dostęp, czego build nie może sprawdzić. Kontroler obserwuje tylko przestrzeń nazw encji Release, w ramach IngressClass nazwanej od bramy i tej przestrzeni nazw, więc dwie bramy Higress w jednej przestrzeni nazw kolidują ze sobą. Każdy alias otrzymuje trasę pod /<alias>/v1, kierowaną do endpoint, który publikuje model aliasu, za pośrednictwem wpisu we własnym rejestrze bramy, i żądającą publikowanego przez niego model bez względu na nazwę modelu w żądaniu, więc to ścieżka wybiera model; połączenia wskazujące ten sam alias w swojej wartości serves dzielą jego żądania po równo. Brama przedstawia własne poświadczenie każdego połączenia jako bearer token, który kontroler Higress odczytuje z obiektu Secret wskazanego w konfiguracji AI proxy, w przestrzeni nazw bramy, i przekazuje bramie, więc klucz nie trafia do żadnego renderowanego pliku; nazwa obiektu Secret zawierająca kropkę zatrzymuje build, ponieważ Higress odczytuje nazwę tylko do pierwszej kropki, a połączenie bez poświadczenia przekazuje dalej klucz przedstawiony w żądaniu. AI proxy Higress kopiuje ponadto nagłówek Authorization wysłany przez klienta do nagłówka X-HI-ORIGINAL-AUTH, a każda trasa modelu usuwa tę kopię, zanim żądanie dotrze do modelu, więc klucz przedstawiony przez klienta nigdy nie podróżuje obok własnego poświadczenia połączenia. Przez https brama sprawdza, czy certyfikat modelu prowadzi do kotwic zaufania systemu i wskazuje host modelu, bez względu na host wysłany przez klienta, a w przeciwnym razie nic modelowi nie wysyła: encja Recipe oznacza trasę każdego aliasu, którego wszystkie połączenia używają https, adnotacją Higress higress.io/backend-protocol: HTTPS, dzięki czemu brama bierze nazwę serwera z hosta, który AI proxy zapisuje w każdym żądaniu — hosta modelu, uzupełnionego o przestrzeń nazw modelu, jeśli nie zawiera kropki — i względem niego sprawdza certyfikat. Ta adnotacja dotyczy każdego połączenia aliasu, więc alias łączący połączenia http i https zatrzymuje build, wskazując oba; udostępnienie ich pod dwoma aliasami usuwa problem. Połączenie z modelem, którego model.aggrega.ai/api nie jest openai lub którego endpoint wskazuje adres zamiast hosta, zatrzymuje build. Brama publikuje trasę aliasu wskazanego przez jej values.model jako swój endpoint, a ten alias jako swój model, i niesie model.aggrega.ai/api: openai, więc gniazdo model agenta przyjmuje ją tak, jak przyjmuje bramę AI; gdy nic nie jest podłączone, publikuje oba klucze puste. Nie deklaruje wywołujących, więc jej trasy modeli nie sprawdzają klucza żadnego wywołującego, a wartość wymagająca wywołującego zweryfikowanego przez bramę jest odrzucana z nazwy. Spośród opisanych niżej mechanizmów kontroli realizuje budżet okresowy, logowanie audytowe i politykę ponowień, każde zapisane na trasach modeli, a core/data-masking realizuje tak, jak opisuje to niżej sekcja „Eksfiltracja danych i przechwytywanie ładunku”. Jej realizacje walidacji odpowiedzi, łańcucha awaryjnego, semantycznej pamięci podręcznej, wykrywania prompt injection i wyboru celu zatrzymują każde dołączenie, każda podając przyczynę, a ani wzorce blokowania promptów, ani limit współbieżności nie dają się do niej dołączyć, ponieważ nie niesie ona żadnej wartości dataplane.aggrega.ai/prompt-guard ani dataplane.aggrega.ai/concurrency-cap. To, czy działająca brama egzekwuje którykolwiek z tych mechanizmów, nie jest obserwowane przez żaden build.

  • Azure API Management przed modelem: core/gateway/azure-api-management, brama AI usługi Azure API Management, usługi hostowanej, udostępnia jedno API modelu za pomocą API na już istniejącej instancji API Management. Jej encja Recipe typu terraform odczytuje instancję i dodaje API, jego operację chat completions, backend, do którego przekazuje, oraz politykę API, która usuwa klucz subskrypcji wywołującego z tego, co przekazuje, i uwierzytelnia się wobec API modelu tak, jak wskazuje infra.backend_authentication: tożsamością zarządzaną instancji, kluczem dostawcy przechowywanym w Key Vault lub bez uwierzytelniania. Jej encje Recipes typu helm i compose odwołują się do API skonfigurowanego poza encją Release i zatrzymują build przy każdym dołączeniu. Spośród opisanych niżej mechanizmów kontroli jej encja Recipe typu terraform realizuje semantyczną pamięć podręczną, budżet okresowy, wykrywanie prompt injection i politykę ponowień, każde zapisane w polityce API. Nie realizuje limitu współbieżności, ponieważ Microsoft określa limit egzekwowany przez swoją politykę współbieżności jako nigdy w pełni dokładny i niższy, gdy w regionie działa kilka jednostek pojemności, ani łańcucha awaryjnego, ponieważ API przekazuje do jednego backendu, a własny mechanizm awaryjny Azure, grupy priorytetów puli backendów, odsuwa kolejne żądania od backendu, którego wyłącznik obwodu zadziałał, zamiast przesyłać nieudane żądanie do innego modelu. Jej realizacja core/audit-logging zatrzymuje każde dołączenie, wskazując, co jest poza jej zasięgiem: sam log, który włącza ustawienie diagnostyczne na instancji; koszt żądania, gdy require_cost jest włączone, ponieważ log żądań do modeli w Azure zapisuje liczby tokenów i model, ale żadnej ceny; oraz okres przechowywania, gdy podano retention_days, ponieważ wiersz trwa tak długo, jak przechowuje go obszar roboczy Log Analytics, do którego trafia. To, czy polityki są stosowane i egzekwowane tak, jak dokumentuje Microsoft, nie jest obserwowane przez żaden build.

  • Klucz przedstawiany przez wywołującego: Serwer, który sprawdza klucz przedstawiany przez wywołujących, przechowuje ten klucz we własnym slocie, nazwanym api_key w każdym celu udostępniającym modele, który sprawdza klucz — core/ai-model/vllm, tei i tgi, model LiteLLM i brama AI, gdzie jest to klucz, który LiteLLM nazywa kluczem głównym — a każda z jego encji Recipes dostarcza klucz jako zmienną odczytywaną przez serwer. core/gateway/apisix i core/gateway/agentgateway przechowują po jednym kluczu dla każdego wywołującego wskazanego przez ich encję Release w infra.callers, w swoim slocie caller_keys: jeden obiekt Secret, zawierający klucz każdego wywołującego pod jego nazwą. core/gateway/traefik-hub przechowuje swoich wywołujących w ten sam sposób, z tą różnicą, że jego Secret zawiera skrót htpasswd klucza każdego wywołującego, z którym jego kontrola kluczy porównuje przedstawiony klucz, więc nie jest to Secret, z którego wywołujący przedstawia swój klucz. Wywołujący przechowuje przedstawiany klucz po swojej stronie, na połączeniu, na którym go przedstawia, w slocie deklarowanym przez swoje gniazdo: agenci biblioteki standardowej deklarują go na swoim gnieździe model, credential; brama AI na swoim gnieździe models i na gnieździe cache_store, gdzie jest to hasło, które semantyczna pamięć podręczna bramy przedstawia swojemu magazynowi; core/gateway/kong i core/gateway/kong-enterprise na swoich gniazdach models; core/gateway/apisix na gnieździe models i na gnieździe cache_store, gdzie jest to również hasło, które jego semantyczna pamięć podręczna przedstawia swojemu magazynowi; core/gateway/agentgateway na gnieździe models; core/gateway/envoy-gateway na gnieździe models i na gnieździe cache, gdzie jest to hasło, które usługa limitowania żądań bramy przedstawia magazynowi przechowującemu licznik budżetu okresowego; core/gateway/higress na gnieździe models i na gnieździe cache, gdzie jest to hasło, które jego limit tokenów przedstawia magazynowi przechowującemu licznik budżetu okresowego; oraz core/gateway/traefik-hub na gnieździe models, na gnieździe cache, gdzie jest to hasło, które jego limit przydziału przedstawia magazynowi przechowującemu licznik budżetu okresowego, i na gnieździe cache_store, gdzie jest to hasło, które jego semantyczna pamięć podręczna przedstawia swojemu magazynowi — więc agent łączący się z modelem lub brama łącząca się z udostępnianym przez siebie modelem przechowuje tam klucz tego połączenia. Brama AI, oba Kongi, APISIX i agentgateway dostarczają klucz każdego podłączonego modelu jako osobną zmienną, wskazaną przez wpis lub trasę tego modelu w ich konfiguracji; Envoy Gateway wskazuje Secret w polityce bezpieczeństwa backendu modelu, a kontroler Envoy AI Gateway odczytuje z niego klucz; Traefik Hub wskazuje Secret i klucz danych w middleware Chat Completion trasy modelu i odczytuje z niego klucz. Połączenie z modelem oznaczonym etykietą component.aggrega.ai/hosting: managed niesie klucz albo deklaruje we własnych values, że model nie przyjmuje żadnego, unauthenticated: true; jeśli brak obu, asercja wywołującego zatrzymuje build, wskazując połączenie i jego cel, a model oznaczony inaczej nie powoduje takiego zatrzymania. Klucz, który encja Component wywołującego deklaruje zamiast tego we własnym slocie, jest jednym kluczem dla każdego nawiązywanego przez nią połączenia. Żaden z końców nie widzi dołączeń drugiego, więc serwer nic nie wie o kluczu wywołującego, a oba są zgodne, ponieważ encja Aggregate zasila oba z jednego parametru: gdy oba końce rozwiązują sekrety w jednym zakresie — jednej przestrzeni nazw Kubernetes, jednym projekcie Compose — odwołują się do jednego sekretu, a w przeciwnym razie każdy przechowuje własny, zrealizowany z tego samego wpisu magazynu. vLLM, TEI i TGI sprawdzają każdy po jednym kluczu, więc każdy wywołujący przedstawia ten sam klucz i serwer nie potrafi odróżnić wywołujących, a TGI porównuje swój klucz bez rozróżniania wielkości liter; APISIX, agentgateway i Traefik Hub sprawdzają każdy klucz każdego zadeklarowanego wywołującego i na jego podstawie rozróżniają wywołujących; oba Kongi nie deklarują wywołujących i nie sprawdzają klucza żadnego wywołującego z przyczyn podanych wyżej w sekcji „Kong przed modelami”; model LiteLLM i brama AI akceptują ponadto wydawane przez siebie klucze, gdy dołączona jest ich baza danych rozliczeń. Model poświadczeń przedstawia ten układ krok po kroku w jednej encji Aggregate.

  • Wybór między celami: core/target-selection deklaruje, jak brama wybiera spośród kilku celów zdolnych obsłużyć to samo żądanie, za pomocą strategy o wartości latency (cel, który według obserwacji odpowiada najszybciej) lub cost (cel najtańszy w wywołaniu). Strategia jest częścią tego, czego aplikacja wymaga od swojej bramy, więc dołącza ją programista w encji Aggregate. W bramie AI celami są wpisy jej values.models publikujące ten sam alias — podłączony model jest udostępniany pod aliasem swojego połączenia, którego żaden inny wpis nie może publikować — a biblioteka standardowa realizuje latency, zapisując latency-based-routing proxy w konfiguracji routingu renderowanej przez encję Recipe bramy: proxy wysyła każde żądanie do wpisu, którego ostatnie dziesięć odpowiedzi trwało średnio najkrócej, w przeliczeniu na token wyjściowy, gdy odpowiedź podaje swoje tokeny, lub do pierwszego tokenu w przypadku żądania strumieniowego, a wpis jeszcze niewypróbowany liczy się jako najszybszy. Bez dołączenia konfiguracja nie wskazuje żadnej strategii, a proxy wybiera spośród tych wpisów losowo. cost jest tam odrzucane z nazwy: proxy wycenia wpis, wyszukując jego cel, dokładnie w zapisanej postaci, w tabeli cen, która podaje modele OpenAI i Anthropic bez prefiksu dostawcy, jaki niosą cele bramy, a wpisowi, którego nie znajdzie, przypisuje stałą cenę zastępczą, więc wpisy dzielące alias miałyby tę samą cenę i byłyby wybierane według kolejności. W core/gateway/kong-enterprise każde dołączenie zatrzymuje build, ponieważ każdy podłączony do niej model jest udostępniany na własnych trasach niosących tylko ten jeden model, co nie pozostawia niczego do wyboru. W core/gateway/agentgateway każde dołączenie również zatrzymuje build, podając przyczynę: agentgateway losuje dwa z celów danej nazwy modelu i wybiera ten, którego kondycja podzielona przez czas potrzebny na odpowiedź daje wyższy wynik, więc najszybszy cel jest wybierany tylko wtedy, gdy zostanie wylosowany, i nie wybiera żadnego celu według kosztu. W core/gateway/higress każde dołączenie również zatrzymuje build, podając przyczynę: Higress potrafi mierzyć opóźnienie usługi, ale jego wtyczka równoważenia obciążenia działa po AI proxy — które już ustawiło model, adres i poświadczenie żądania dla kandydata wyznaczonego przez trasę — i zapisuje swój wybór w nagłówku żądania, według którego nic nie kieruje ruchu bez filtra Envoy, którego ten katalog nie renderuje, więc wybór nie przynosi skutku, i nie wybiera żadnego celu według kosztu. W core/gateway/traefik-hub każde dołączenie również zatrzymuje build, podając przyczynę: Traefik wybiera według najkrótszego czasu odpowiedzi tylko spośród serwerów jednego obiektu Service, które obejmuje jedna nazwa modelu i jedno poświadczenie, a między obiektami Service równoważy według wagi lub skrótu adresu klienta, nigdy według opóźnienia, i żadna z jego strategii nie wybiera celu według kosztu; ponadto każdy podłączony do bramy model jest udostępniany na własnej trasie niosącej tylko ten jeden model, co nie pozostawia niczego do wyboru. W każdej innej bramie dołączenie zatrzymuje build.

  • Odporność na awarie: core/fallback-chain przekazuje żądanie, którego model zawodzi, do innych modeli: chains wskazuje dla każdego aliasu modelu, który przechodzi na zapasowe, aliasy próbowane po kolei, aż któryś odpowie, przy czym zawodzący model zapasowy z kolei podąża za własnym wpisem, a max_hops ogranicza, jak daleko wzdłuż tego łańcucha żądanie jest przekazywane. Biblioteka standardowa realizuje to na bramie AI, zapisując oba ustawienia w konfiguracji routingu, którą renderuje encja Recipe bramy, i przerywa kompilację na nazwie, której mapa modeli bramy nie publikuje. Żądanie przechodzi na model zapasowy dopiero wtedy, gdy brama zrezygnuje z żądanego aliasu: tam, gdzie alias jest opublikowany więcej niż raz, nieudane wywołanie najpierw przechodzi do innego z jego wpisów jako ponowienie, ograniczone liczbą ponowień bramy. core/retry-policy ustawia tę liczbę — ile razy brama może wysłać żądanie, wliczając pierwsze wysłanie (max_attempts), przy błędzie, który ustępuje po ponownym wysłaniu, takim jak odrzucone połączenie, limit szybkości lub przekroczenie czasu — a biblioteka standardowa realizuje to na bramie AI, zapisując ją w konfiguracji routingu, którą renderuje encja Recipe bramy. Na core/gateway/envoy-gateway jest to realizowane jako ponowienie traffic policy na trasie obsługującej podłączone modele, tej samej policy, która niesie limit szybkości budżetu okresowego, ponieważ Envoy Gateway dołącza do trasy jedną traffic policy: żądanie jest wysyłane ponownie po odrzuconym połączeniu lub strumieniu, resecie albo odpowiedzi 429, 503 lub 504, do max_attempts wysłań, a do modelu, który nic nie odpowie w limicie czasu żądania trasy, nie wysyła się ponownie, ponieważ ten limit obejmuje wszystkie wysłania. Na core/gateway/azure-api-management jest to realizowane jako ponowienie Azure wokół przekazywania, w sekcji backend policy API: żądanie, na które odpowiedziano HTTP 429 lub statusem 5xx, jest wysyłane ponownie, z treścią zachowaną, by można ją było wysłać jeszcze raz, sekundę po poprzednim wysłaniu, do max_attempts wysłań. Po odrzuconym lub zerwanym połączeniu oraz do modelu, który nic nie odpowie w limicie czasu przekazywania, nie wysyła się ponownie, ponieważ Azure kończy ponawianie przy takim błędzie i przekazuje go do sekcji on-error policy. Azure ponawia od 1 do 50 razy po pierwszym wysłaniu, więc max_attempts równe 1 nie zapisuje żadnego ponowienia, a wartość powyżej 51 jest jawnie odrzucana. Ponowienie zastępuje przekazywanie, które API by odziedziczyło, więc dopóki jest dołączone, ustawienie przekazywania zdefiniowane w szerszym zakresie instancji, takie jak limit czasu, nie dotyczy API, które przekazuje z domyślnymi ustawieniami Azure. Na hostowanej bramie core/retry-policy jest realizowane przez zapisanie w zasobie bramy jej liczby ponowień, która określa wysłania po pierwszym, od 1 do 5, więc max_attempts od 2 do 6 jest respektowane, a każda inna wartość odrzucana; core/fallback-chain nie jest tam realizowane, ponieważ ta brama przechodzi między modelami tylko w obrębie trasy, którą żądanie wskazuje zamiast modelu, więc żądanie do modelu nigdy nie przechodzi na model zapasowy. Na core/gateway/kong-enterprise core/fallback-chain jest realizowane w jego encji Recipe dla chartu: trasy chat i completion każdego aliasu, któremu chains daje wpis, używają AI Proxy Advanced Konga zamiast jego AI proxy, z modelem aliasu i modelami, na które przechodzi jego ścieżka, jako celami w kolejności priorytetu — alias, potem modele zapasowe z jego wpisu po kolei, przy czym za własnym wpisem modelu zapasowego podąża się z kolei tylko, dopóki naliczono mniej niż max_hops. Balancer wysyła żądanie raz do każdego celu ścieżki, po kolei, aż któryś odpowie, przechodząc dalej po błędzie lub przekroczeniu czasu połączenia, nieprawidłowym nagłówku odpowiedzi albo odpowiedzi 429, 500, 502, 503 lub 504, a każdą inną odpowiedź zwraca tak, jak nadeszła. Kompilacja zostaje przerwana na nazwie, której gniazdo models nie niesie, na ścieżce docierającej dwukrotnie do tego samego aliasu, obok core/retry-policy, ponieważ Kong prowadzi jedną liczbę ponowień dla całej ścieżki i nie może ponownie wysłać do modelu przed przejściem na zapasowy, oraz na obrazie bramy starszym niż 3.12. core/retry-policy nie jest tam realizowane, a jego realizacja przerywa każde dołączenie, podając przyczynę: każdy podłączony model jest obsługiwany na własnych trasach niosących tylko ten jeden model, więc ponowienie musi wysłać żądanie ponownie do tego samego celu, a dokumentację referencyjną Konga można odczytać w obie strony co do tego, czy jego balancer to robi. Na core/gateway/agentgateway core/retry-policy jest realizowane w encji Recipe dla chartu jako policy ponowień własnej konfiguracji bramy, dołączona do listenera, na który docierają jej żądania do modeli: żądanie jest wysyłane ponownie, od razu i do tego samego modelu, po odpowiedzi 429, 500, 502, 503 lub 504, odrzuconym lub zresetowanym połączeniu, połączeniu, którego otwarcie trwa dłużej niż 11 sekund, lub nieudanym rozwiązaniu nazwy, do max_attempts wysłań. agentgateway wysyła żądanie o jeden raz więcej, niż wynosi liczba prób jego policy, więc policy jest zapisywana jako max_attempts minus jeden, max_attempts równe 1 nie zapisuje żadnej, a wartość powyżej 256 jest jawnie odrzucana. Żądanie, którego treść jest większa niż 64 KiB, jest wysyłane raz, a konfiguracja nie ustawia limitu czasu, więc na model, który przyjmuje połączenie i nic nie odpowiada, się czeka, zamiast wysyłać ponownie. core/fallback-chain nie jest tam realizowane, a jego realizacja przerywa każde dołączenie, podając przyczynę: agentgateway przełącza się między modelami, wykluczając zawodzący model dla kolejnych żądań, podczas gdy na nieudane żądanie odpowiada się jego błędem, więc żadne żądanie nie jest prowadzone wzdłuż łańcucha. Na core/gateway/higress core/retry-policy jest realizowane jako własne ponowienie trasy, zapisane jako adnotacje Ingress na każdej trasie modelu: żądanie jest wysyłane ponownie po odrzuconym lub zresetowanym połączeniu, odpowiedzi 5xx lub 429, także POST, do max_attempts wysłań; max_attempts równe 1 wyłącza ponawianie, nadpisując ponowienie, które płaszczyzna sterowania Higress nadaje trasie bez adnotacji, a wartość powyżej 2147483648 jest jawnie odrzucana. Do modelu, który przyjmuje połączenie, a potem nic nie odpowiada lub odpowiada powoli, nie wysyła się ponownie, ponieważ trasa nie ustawia terminu na próbę, a żądanie strumieniowe jest wysyłane ponownie tylko przed rozpoczęciem jego odpowiedzi. core/fallback-chain również nie jest tam realizowane, a jego realizacja przerywa każde dołączenie, podając przyczynę: Higress przekazuje nieudane żądanie dalej co najwyżej raz, do jednego innego miejsca docelowego — domyślnego backendu trasy lub jedynej trasy zapasowej, którą jego konsola zapisuje dla trasy AI — więc żadne żądanie nie jest prowadzone wzdłuż łańcucha. Na core/gateway/traefik-hub oba są realizowane w encji Recipe dla chartu i każde przerywa kompilację na obrazie Traefik Hub starszym niż v3.20, którego failover nie przyjmuje middleware’ów na próbowanych usługach, a którego ponowienie nie może ponownie wysłać POST na podstawie statusu odpowiedzi — z wyjątkiem policy ponowień z jednym wysłaniem. core/fallback-chain prowadzi trasę każdego aliasu, któremu chains daje wpis, przez zagnieżdżone failovery samego Traefika, próbując po kolei modeli ścieżki aliasu — alias, potem modele zapasowe z jego wpisu po kolei, przy czym za własnym wpisem modelu zapasowego podąża się z kolei tylko, dopóki naliczono mniej niż max_hops — każdego z własną nazwą modelu, poświadczeniem, limitami i ponowieniem. Odpowiedź modelu 429 lub od 500 do 504, po ewentualnym ponowieniu tego modelu, przekazuje żądanie do następnego; każda inna odpowiedź jest zwracana tak, jak nadeszła, odpowiedź ostatniego modelu niezależnie od tego, jaka jest, a treść żądania powyżej 1 MiB jest odrzucana z HTTP 413 zamiast wysłana. Kompilacja zostaje przerwana na nazwie, której gniazdo models nie niesie, oraz na ścieżce docierającej dwukrotnie do tego samego aliasu. core/retry-policy to middleware ponowień Traefika, ostatni na każdej trasie modelu lub na każdym modelu, którego próbuje ścieżka: żądanie jest wysyłane ponownie od razu po połączeniu, które nic nie przeniosło do modelu, oraz po odpowiedzi 429 lub od 500 do 504, także POST, do max_attempts wysłań, wliczając pierwsze, a max_attempts równe 1 nic nie zapisuje. Po odpowiedzi, którą brama tworzy sama — odmowie jej kontroli klucza, zabezpieczeniu, maskowaniu lub limicie — nigdy nie wysyła się ponownie, podobnie jak po odpowiedzi strumieniowej, która już się rozpoczęła.

  • Budżet okresowy: core/period-budget ogranicza to, co ruch przechodzący przez bramę może zużyć w danym okresie: limit, period, który obejmuje, scope — wszystko, co obsługuje brama, każdy wywołujący lub każdy model — oraz unit — koszt w dolarach amerykańskich lub w tokenach — a gdy to, co brama naliczyła w okresie, przekroczy limit, kolejne żądania do modeli są odrzucane. Dołącza się go do każdego komponentu deklarującego dataplane.aggrega.ai/period-budget. Biblioteka standardowa realizuje go na bramie AI, której budżet obejmuje wszystko, co obsługuje brama, jest liczony w dolarach amerykańskich i zaczyna się od nowa na początku każdego okresu — liczba dni od północy UTC lub miesiąc kalendarzowy od jego pierwszego dnia: realizacja zapisuje limit i okres w konfiguracji renderowanej przez encję Recipe bramy, odrzuca z nazwy każdą inną jednostkę, zakres lub okres — w tym 30d, który brama liczy jako miesiąc kalendarzowy — i zatrzymuje się, jeśli oba sloty poświadczeń bramy, database_url i api_key, nie są dołączone, ponieważ bez swojej bazy danych księgowych brama nie prowadzi żadnego licznika, a bez klucza administracyjnego nie sprawdza żadnego wywołującego względem budżetu. Gdy licznik przekroczy limit, brama odrzuca żądania do modeli wysyłane z kluczem administracyjnym, tak samo jak żądania każdego wywołującego; jej lista modeli i zarządzanie kluczami nadal odpowiadają na ten klucz. Na bramie hostowanej realizuje się go jako regułę limitu wydatków na zasobie bramy, liczoną w dolarach amerykańskich w oknie przesuwającym się wraz z upływem czasu — ostatni period, dla modeli, których cennik brama zna — dla wszystkiego, co obsługuje brama: budżet na wywołującego lub na model, tokeny i miesiąc kalendarzowy są odrzucane z nazwy. Na core/gateway/apisix realizuje się go w Recipe typu chart, zapisując na trasach podłączonych modeli jako ograniczanie szybkości według tokenów w APISIX: liczony w tokenach, które zgłasza odpowiedź każdego modelu — total_tokens, prompt_tokens lub completion_tokens — w stałym oknie o długości period, które otwiera się wraz z pierwszym żądaniem do modelu po zamknięciu poprzedniego okna, a nie według zegara, dla wszystkiego, co obsługuje brama, dla każdego podłączonego modelu osobno lub dla każdego wywołującego, którego encja Release bramy deklaruje w infra.callers, osobno, przy czym brama rozróżnia ich po kluczu, który każdy przedstawia. Gdy licznik osiągnie limit, brama odpowiada na żądania do modeli kodem HTTP 503 do zamknięcia okna; tokeny żądania są doliczane po zakończeniu jego odpowiedzi, więc żądanie, które osiąga limit, zostaje obsłużone, a odpowiedź podana z jej semantycznej pamięci podręcznej nie liczy się wcale i jest podawana ponad limit. APISIX nie liczy tokenów w żądaniu completion, więc gdy budżet jest dołączony, każdy podłączony model dostaje wyłącznie swoją trasę czatu, a licznik przechowuje w pamięci procesu bramy, więc chart uruchamia jedną replikę, a restart otwiera nowe okno. Budżet w dolarach amerykańskich, budżet na wywołującego, gdy infra.callers nie deklaruje żadnego, miesiąc kalendarzowy i drugi budżet na jednej bramie są odrzucane z nazwy, podobnie jak dołączenie do jej Recipe typu workload, które nie renderuje żadnej trasy. Na core/gateway/envoy-gateway realizuje się go jako oparte na użyciu ograniczanie szybkości Envoy Gateway, na trasie AI obsługującej modele podłączone do bramy: trasa deklaruje licznik tokenów wskazany przez unit — total_tokens, prompt_tokens lub completion_tokens — jako koszt, który Envoy AI Gateway odczytuje z każdej odpowiedzi, a traffic policy na tej trasie nalicza go po zakończeniu odpowiedzi, względem limit tokenów na jedną jednostkę ograniczania szybkości Envoy Gateway, dla wszystkiego, co obsługuje brama, lub dla każdego podłączonego modelu osobno. Każde okno jest ustalone według zegara UTC — sekunda, minuta, godzina, dzień od północy, tydzień od czwartku albo 30 lub 365 dni liczonych od 1 stycznia 1970 r. — a 1mo to miesiąc kalendarzowy, na mocy ustawienia usługi ograniczania szybkości Envoy Gateway, które obowiązuje wtedy dla każdego miesięcznego limitu szybkości prowadzonego przez tę instalację. Licznik prowadzi usługa ograniczania szybkości, którą płaszczyzna sterowania Envoy Gateway tworzy i włącza dla każdej obsługiwanej przez siebie bramy, w magazynie zgodnym z protokołem Redis podłączonym do gniazda cache bramy. Gdy licznik przekroczy limit, brama odpowiada na żądania do modeli kodem HTTP 429 do końca okna; tokeny żądania są doliczane po zakończeniu jego odpowiedzi, więc żądanie, które przekracza limit, zostaje obsłużone. Gdy magazyn lub usługa ograniczania szybkości są nieosiągalne albo sprawdzenie trwa dłużej niż limit czasu ograniczania szybkości Envoy, żądania do modeli są odrzucane kodem HTTP 500, na mocy ustawienia płaszczyzny sterowania Envoy Gateway, które obowiązuje wtedy dla każdego limitu szybkości prowadzonego przez tę instalację, więc limit szybkości zastosowany do niej ręcznie również zawodzi w trybie zamkniętym; żądanie przyjęte tuż przed awarią jest mimo to obsługiwane i nie jest liczone, ponieważ jego tokeny są naliczane po odpowiedzi, a magazyn przechowujący licznik w pamięci po restarcie zaczyna każde okno od nowa. Budżet w dolarach amerykańskich, budżet na wywołującego — brama rozróżnia wywołujących jedynie po nagłówku, który wywołujący sam zapisuje, i nic na tej ścieżce go nie weryfikuje — każdy inny okres i drugi budżet na jednej bramie są odrzucane z nazwy, podobnie jak dołączenie, przy którym do gniazda models lub cache nic nie jest podłączone. Na core/gateway/azure-api-management realizuje się go jako limit tokenów Azure, zapisany w zasadach API: liczony w tokenach promptu i uzupełnienia, które zgłasza każda odpowiedź, łącznie, dla wszystkiego, co obsługuje API, lub dla każdej subskrypcji API Management, której klucz brama weryfikuje — albo jako przydział w stałym oknie według zegara UTC, godzina, dzień, tydzień, miesiąc kalendarzowy lub rok kalendarzowy (1h, 1d, 7d, 1mo lub 12mo; Microsoft nie podaje, od którego dnia zaczyna się tydzień), na którego przekroczenie odpowiada się kodem HTTP 403, albo jako szybkość w ciągu jednej minuty (1m), na którą odpowiada się kodem HTTP 429 i która jest liczona w oknie przesuwnym w warstwach klasycznych oraz jako token bucket w warstwach v2. Licznik to użycie zgłaszane przez każdą odpowiedź, więc współbieżne żądania mogą przekroczyć limit, a każda brama instancji prowadzi własny licznik. Budżet w dolarach amerykańskich lub wyłącznie w tokenach promptu albo uzupełnienia, budżet na model — model wskazany w żądaniu zapisuje wywołujący, a kilka nazw może prowadzić do jednego modelu — budżet na subskrypcję w API, które nie wymaga klucza subskrypcji, każdy inny okres i limit niebędący liczbą całkowitą są odrzucane z nazwy. Warstwa Consumption nie uruchamia żadnego limitu tokenów. Na core/gateway/kong-enterprise realizuje się go w Recipe typu chart, zapisując w trasach importowanych przez bramę jako AI Rate Limiting Advanced Konga: liczony w tokenach, które zgłasza odpowiedź każdego modelu — total_tokens, prompt_tokens lub completion_tokens — w stałych oknach o długości period, wyrażonej w sekundach, minutach, godzinach lub dniach, przy czym każde żądanie jest liczone w tym jednym oknie, w które przypada jego czas, dla wszystkiego, co obsługuje brama, lub dla każdego podłączonego modelu osobno, a żądanie w zakresie model jest liczone względem aliasu, który wskazało, niezależnie od tego, który model na nie odpowiedział. Gdy licznik osiągnie limit, na następne żądanie do modelu odpowiada się kodem HTTP 429 do końca okna, więc żądanie, które przekracza limit, zostaje obsłużone; Kong może też odrzucić żądanie z wyprzedzeniem, na podstawie własnego oszacowania tokenów promptu, które ono zawiera. Licznik jest przechowywany w backendzie PostgreSQL bramy, współdzielony przez każdą replikę i zachowywany po restarcie. Budżet w dolarach amerykańskich — Kong liczy koszt wyłącznie na podstawie ceny, którą jego konfiguracja przypisuje każdemu modelowi, a katalog żadnej nie dostarcza — budżet na wywołującego — Kong rozróżnia wywołujących jedynie jako konsumentów wskazanych przez wtyczkę uwierzytelniania, a brama nie deklaruje żadnych wywołujących, z powodów podanych wyżej w „Kong przed modelami” — miesiąc kalendarzowy, drugi budżet na jednej bramie i obraz bramy starszy niż 3.15 są odrzucane z nazwy, podobnie jak dołączenie, przy którym do gniazda models nic nie jest podłączone. Na core/gateway/agentgateway realizuje się go w Recipe typu chart, zapisując w konfiguracji bramy i licząc w łącznej liczbie tokenów, które zgłasza każda odpowiedź: w zakresie caller jako budżet na kluczu API każdego wywołującego, którego encja Release bramy deklaruje w infra.callers, w stałych oknach o długości period wyrównanych do epoki Uniksa, przy czym dzień zaczyna się o północy UTC, przechowywany w magazynie SQLite na woluminie renderowanym przez encję Recipe, z jedną repliką; w zakresie gateway lub model jako token bucket dla wszystkiego, co obsługuje brama, lub dla każdej nazwy modelu, o którą prosi żądanie, napełniany do limitu co period od chwili, w której brama odczytała swoją konfigurację, i przechowywany w jej pamięci, więc restart lub zmieniona konfiguracja napełnia go ponownie. Gdy naliczona wartość osiągnie limit, na żądania do modeli odpowiada się kodem HTTP 429 do końca okna lub do napełnienia kubełka; żądanie, które go osiąga, zostaje obsłużone. Budżet w dolarach amerykańskich — katalog kosztów modeli bramy nie wycenia żadnego z podłączonych do niej modeli, więc budżet nic by nie liczył — wyłącznie w tokenach promptu lub uzupełnienia, budżet na wywołującego, gdy infra.callers nie deklaruje żadnego, miesiąc kalendarzowy, limit niebędący liczbą całkowitą i drugi budżet na jednej bramie są odrzucane z nazwy, podobnie jak dołączenie, przy którym do gniazda models nic nie jest podłączone; jej Recipe typu compose nie ma jego realizacji. Na core/gateway/traefik-hub realizuje się go w Recipe typu chart jako middleware przydziału Traefik Hub na trasie każdego podłączonego modelu, który prowadzi licznik w magazynie zgodnym z protokołem Redis podłączonym do gniazda cache bramy: liczy tokeny, które zgłasza każda odpowiedź — total_tokens, prompt_tokens lub completion_tokens — albo, przy usd, ich koszt w dolarach amerykańskich, wyceniany według listy modeli dostarczanej z middleware, przy czym model, dla którego nie ma ceny, jest odrzucany kodem HTTP 422, w oknie przesuwającym się wraz z upływem czasu, w którym to, co naliczono w danej chwili, zwalnia się ponownie okres później, dla każdego podłączonego modelu osobno albo dla wszystkiego, co obsługuje brama, gdy podłączony jest jeden model. Gdy licznik osiągnie limit, żądania do modeli są odrzucane kodem HTTP 429; wartość żądania jest doliczana po zakończeniu jego odpowiedzi, więc żądanie przekraczające limit, a także każde obsługiwane równolegle z nim, zostaje obsłużone, a odpowiedź podana z semantycznej pamięci podręcznej nie liczy się wcale. Dokumentacja referencyjna Traefik podaje, że przydział obsługuje żądania bez liczenia, gdy magazyn jest nieosiągalny. Budżet na wywołującego — przydział rozróżnia żądania po adresie klienta, nagłówku żądania lub hoście żądania, a żadne z nich nie jest wywołującym zweryfikowanym przez sprawdzanie kluczy bramy — budżet dla całej bramy, gdy podłączonych jest kilka modeli, ponieważ dokumentacja referencyjna Traefik nie mówi, czy trasy wskazujące jeden przydział współdzielą jego licznik, miesiąc kalendarzowy i każdy okres inny niż godziny lub dni albo minuty lub sekundy składające się na pełne godziny są odrzucane z nazwy, podobnie jak limit niebędący całkowitą liczbą tokenów i dołączenie, przy którym do gniazda models lub cache nic nie jest podłączone. Na core/gateway/higress realizuje się go w Recipe typu chart jako wtyczkę limitu tokenów Higress na trasie każdego podłączonego modelu, która prowadzi licznik w magazynie zgodnym z protokołem Redis podłączonym do gniazda cache bramy: sumuje tokeny promptu i uzupełnienia, które zgłasza każda odpowiedź, łącznie, po zakończeniu odpowiedzi, w stałym oknie o długości period — sekunda, minuta, godzina lub dzień — które otwiera się, gdy zostanie naliczona pierwsza odpowiedź w nim, dla wszystkiego, co obsługuje brama, lub dla każdego aliasu osobno. Dopóki licznik przekracza limit, na żądania do modeli odpowiada się kodem HTTP 429 do końca okna, więc żądanie przekraczające limit zostaje obsłużone. Odpowiedź niezgłaszająca użycia nie liczy się wcale, więc encja Recipe prosi model żądania strumieniowego o zgłoszenie użycia i odrzuca kodem HTTP 403 żądanie strumieniowe wyłączające to zgłoszenie, żądanie, którego typ zawartości ani nie zawiera application/json, ani nie zaczyna się od multipart/form-data, a które proxy AI przekazuje dalej bez prośby o zgłoszenie, oraz żądanie, którego treści wtyczki bramy nie odczytują — skompresowana treść, typ zawartości zawierający octet-stream lub grpc, upgrade; klient celowo wysyłający treść, której walidacja bramy nie potrafi zdekodować, omija te odrzucenia, a takie żądanie strumieniowe pozostaje niepoliczone. Gdy nie jest dołączone żadne maskowanie, żądanie, którego treść przekracza bufor bramy o rozmiarze 32 KiB, może zostać odrzucone kodem HTTP 413, zależnie od tego, kiedy odpowie magazyn. Gdy magazyn jest nieosiągalny, żądania do modeli są obsługiwane i nie są liczone: wtyczka nie ma ustawienia, które by je wtedy odrzucało. Budżet w dolarach amerykańskich lub wyłącznie w tokenach promptu albo uzupełnienia, budżet na wywołującego — brama nie deklaruje żadnych wywołujących, więc żadnego nie weryfikuje — każdy inny okres, limit niebędący liczbą całkowitą i drugi budżet na jednej bramie są odrzucane z nazwy, podobnie jak dołączenie, przy którym do gniazda models lub cache nic nie jest podłączone.

  • Współbieżność: core/concurrency-limit ogranicza, ile żądań brama prowadzi jednocześnie (max_in_flight), co nie pozwala, by nagły napływ wywołujących zamienił się w kolejkę przed modelem stojącym za bramą. scope określa, co liczy jeden limit: gateway, wartość domyślna, liczy łącznie każde żądanie przekazywane przez bramę; model daje każdemu celowi, do którego brama wysyła żądania, własny licznik, przy czym celem jest każdy wpis upstream, do którego brama kieruje ruch, więc tam, gdzie jedna nazwa modelu ma kilka wpisów, każdy jest liczony osobno. Limit i jego zakres to dobór pojemności, o którym decyduje operator, ustawiany w infra dołączenia, więc to operator dołącza go w encji Release. Limit jest liczony dla każdego działającego proxy, więc tam, gdzie działa kilka replik, każda z nich przyjmuje tyle żądań. Dołącza się go do każdego komponentu deklarującego dataplane.aggrega.ai/concurrency-cap, a realizacja odrzuca z nazwy zakres, którego jej brama nie liczy. Na core/gateway/nginx zakres gateway jest realizowany jako limit_conn NGINX, z kluczem w postaci jednego słowa, takiego samego dla każdego żądania, więc NGINX liczy każde przetwarzane żądanie jako jedną sumę, przechowywaną w pamięci współdzielonej przez jego procesy robocze, i odpowiada na żądanie ponad limit kodem HTTP 503; zakres model jest odrzucany, ponieważ NGINX nie prowadzi licznika dla poszczególnych celów upstream, podobnie jak max_in_flight powyżej 65535, maksimum przyjmowanego przez limit_conn. Na core/gateway/envoy-gateway zakres model jest realizowany jako circuit breaker traffic policy na trasie obsługującej podłączone modele, tej samej policy, która przenosi też ograniczanie szybkości budżetu okresowego i ponawianie z polityki ponawiania: Envoy Gateway stosuje go do backendu każdej reguły tej trasy, a każdy podłączony model ma własną regułę, więc do każdego podłączonego modelu wysyłanych jest jednocześnie co najwyżej max_in_flight żądań, a na żądanie ponad limit odpowiada się kodem HTTP 503 i nie jest ono wysyłane ponownie; wysłanie powtórzone przez politykę ponawiania liczy się do limitu tak jak pierwsze. Wątki robocze Envoy sprawdzają licznik, a następnie go zwiększają, więc żądania przychodzące jednocześnie mogą na krótko wynieść go ponad limit. Zakres gateway jest odrzucany, ponieważ Envoy Gateway prowadzi limit dla każdego backendu i żadnego dla ich sumy, podobnie jak dołączenie, przy którym do gniazda models nic nie jest podłączone. Na bramie AI zakres model jest realizowany jako max_parallel_requests każdego wpisu jej mapy modeli, zarówno wpisanego ręcznie, jak i podłączonego: do każdego wpisu jednocześnie trafia co najwyżej max_in_flight żądań, a na żądanie, które zastaje swój wpis pełny, odpowiada się kodem HTTP 429 — po ponowieniach bramy, gdy jego alias ma jeden wpis, i natychmiast, gdy ma ich kilka, nawet jeśli w innym z nich jest miejsce, ponieważ proxy wybiera wpis, zanim policzy — chyba że core/fallback-chain wymienia dla jego aliasu modele zapasowe, do których jest ono wtedy przekazywane. Proxy przechowuje każdy licznik w pamięci, gdzie domyślnie rekord wygasa dziesięć minut po utworzeniu, a nowy licznik zaczyna się wtedy od zera, więc dołączenie ustawia też ten czas życia na sto lat, zachowując każdy licznik tak długo, jak działa proxy. Z powodu tego czasu życia brama odrzuca żądanie zawierające priority, gdy limit jest dołączony, nawet tam, gdzie encja Release dopuszcza to pole, ponieważ proxy przechowuje wpis kolejki dla każdego takiego żądania, dopóki jego rekord nie wygaśnie; a kompilacja zatrzymuje się przy mapie modeli liczącej ponad 100 wpisów, powyżej których magazyn przechowujący liczniki, mieszczący 200 rekordów i usuwający jeden za każdym razem, gdy jest pełny, mógłby usunąć licznik. Zakres gateway jest tam odrzucany, ponieważ jedyną sumę proxy odczytuje tylko ogranicznik żądań włączany zmienną środowiskową, który liczy żądanie przez jego pierwszą sekundę. Nie realizuje go też brama hostowana: limit żądań, który jej Recipe typu terraform zapisuje w zasobie bramy, jest szybkością, liczbą żądań w przedziale czasu, a nie limitem żądań w toku.

  • Rejestrowanie audytowe: core/audit-logging sprawia, że brama przechowuje wpis dla każdego obsługiwanego żądania do modelu, wskazujący model, który odpowiedział, oraz tokeny zgłoszone w odpowiedzi, a każda realizacja określa, gdzie wpis trafia. Dołącza się go do dowolnego komponentu z gateway.aggrega.ai/intelligence: semantic, a jego trzy wartości należą do operatora i ustawia się je w jego infra, dlatego to operator dołącza go w encji Release. require_cost, domyślnie włączone, sprawia, że wpis podaje również koszt każdego żądania, w walucie wskazanej przez realizację. require_verified_caller, domyślnie włączone, sprawia, że wpis wskazuje wywołującego zweryfikowanego przez bramę na podstawie klucza, który brama wydała lub sprawdziła. retention_days, domyślnie nieustawione, sprawia, że brama usuwa wpis, gdy osiągnie on tyle dni; bez tej wartości sama brama nie usuwa żadnego wpisu, a wpis istnieje tak długo, jak przechowuje go miejsce, do którego trafił. Brama, która nie może dotrzymać jakiejś wartości, odrzuca dołączenie podczas budowania, wskazując tę wartość, więc dołączenie pozostawiające require_cost i require_verified_caller z wartościami domyślnymi otrzymuje koszt i zweryfikowanego wywołującego albo zatrzymanie. Wyłączenie require_verified_caller oznacza akceptację wpisu, którego wywołującym jest ten, za kogo podaje się samo żądanie, albo brak wywołującego: każdy, kto wysyła żądanie, może wtedy sprawić, że zostanie ono zarejestrowane na innego wywołującego, więc taki wpis nie pokazuje, kto wysłał żądanie. W bramie AI wpis jest wierszem w bazie rozliczeniowej bramy i każda wartość jest dotrzymywana: wiersz podaje koszt żądania w dolarach amerykańskich, wyceniony według tabeli, którą brama prowadzi dla każdego modelu — model, którego tabela nie wycenia, jest rejestrowany jako bezpłatny — oraz wskazuje klucz zweryfikowany przez bramę wraz z użytkownikiem i zespołem, do których klucz należy, natomiast użytkownik końcowy wskazany w wierszu jest tym, którego wpisuje żądanie, bez sprawdzania. Bez bazy rozliczeniowej brama nie zapisuje żadnego wiersza, a bez klucza administracyjnego nie sprawdza żadnego wywołującego i nie zapisuje wiersza dla żądania, które nie przedstawia klucza i nie wskazuje użytkownika końcowego, dlatego budowanie zatrzymuje się, o ile oba sloty poświadczeń bramy, database_url i api_key, nie są dołączone; dopóki values.log_masking bramy wymienia, co maskować, rejestruje ona tylko żądania, na które udzielono odpowiedzi. W core/gateway/envoy-gateway wpis jest wierszem dziennika dostępu bramy, który zapisuje jej Recipe, dopóki dołączenie jest obecne: jeden wiersz JSON na żądanie na standardowym wyjściu płaszczyzny danych, zawierający pola, które Envoy Gateway zapisuje domyślnie, model wskazany przez żądanie, model, który odpowiedział, oraz tokeny promptu, uzupełnienia i łączne zgłoszone w odpowiedzi, przy czym trasa obsługująca modele deklaruje te liczniki, aby Envoy AI Gateway je rejestrował. Żądanie, na które model nie odpowiedział, nie zawiera modelu, który odpowiedział, ani tokenów, a dziennik dostępu sam niczego nie przechowuje, więc to, jak długo istnieje wiersz, zależy od tego, co zbiera to wyjście. Żadne pole nie wskazuje wywołującego zweryfikowanego przez bramę: adres klienta i wysyłane przez niego nagłówki są zapisywane tak, jak przychodzą. Brama nie prowadzi cen, nic na trasie generowanej przez jej Recipe nie weryfikuje wywołującego, a dziennik dostępu nie przechowuje wpisu, który mógłby usunąć, dlatego jej realizacja buduje dołączenie, które wyłącza require_cost i require_verified_caller i nie podaje retention_days, a w przeciwnym razie zatrzymuje się, wskazując każdą wartość, której nie może dotrzymać, wszystkie w jednym błędzie; zatrzymuje się też, gdy do gniazda models nic nie jest podłączone. W core/gateway/agentgateway wpis jest wierszem, który brama zapisuje w magazynie SQLite na wolumenie generowanym przez jej Recipe typu chart, dopóki dołączenie jest obecne, z jedną repliką, dla każdego żądania do modelu, które przechodzi jej kontrole klucza, budżetu i autoryzacji, łącznie z odmową strażnika: model, o który brama poprosiła serwer modeli — nazwa publikowana przez podłączony model, a nie alias wysłany przez wywołującego — oraz model, który odpowiedział, tokeny wejściowe, wyjściowe i łączne zgłoszone w odpowiedzi, jej status i czasy, a dla każdego wywołującego, którego jej encja Release deklaruje w infra.callers, nazwa tego wywołującego, ustalona na podstawie klucza API zweryfikowanego przez bramę. Żądanie odrzucone z powodu klucza, przez regułę autoryzacji lub przez budżet wywołującego nie pozostawia wiersza. Nie jest przechowywany żaden tekst promptu ani odpowiedzi, a wiersze odczytuje się przez interfejs administracyjny bramy, który nasłuchuje wewnątrz jej poda. require_verified_caller jest dotrzymywane, dopóki zadeklarowano wywołujących; require_cost jest odrzucane z nazwy, ponieważ katalog kosztów modeli bramy nie wycenia żadnego z podłączonych do niej modeli, podobnie jak require_verified_caller bez zadeklarowanego wywołującego oraz retention_days, ponieważ brama nie usuwa żadnego wpisu; jej Recipe typu compose nie ma realizacji tej funkcji. W core/gateway/higress wpis jest polem ai_log wiersza dziennika dostępu bramy, które wypełnia wtyczka statystyk Higress, dopóki dołączenie jest obecne: model, który odpowiedział, oraz tokeny wejściowe, wyjściowe i łączne zgłoszone w odpowiedzi, na standardowym wyjściu bramy, bez tekstu promptu ani odpowiedzi. Brama nie deklaruje wywołujących, niczego nie wycenia i nie przechowuje wpisu, który mogłaby usunąć, dlatego jej realizacja buduje dołączenie, które wyłącza require_cost i require_verified_caller i nie podaje retention_days, a w przeciwnym razie zatrzymuje się, wskazując każdą wartość, której nie może dotrzymać, wszystkie w jednym błędzie; zatrzymuje się też, gdy do gniazda models nic nie jest podłączone. W core/gateway/traefik-hub każde dołączenie zatrzymuje się, podając przyczynę: Traefik Hub przechowuje wpis żądania do modelu tylko jako span OpenTelemetry, który jego middleware AI eksportują do backendu śledzenia — wskazujący model, a na poziomie szczegółowym także tokeny i ich koszt w dolarach amerykańskich — a jego realizacja nie podłącza żadnego backendu śledzenia, więc wpis nigdzie by nie trafił; span nie wskazuje też wywołującego, więc nie może wskazać tego, którego zweryfikowała kontrola klucza bramy. W core/gateway/azure-api-management każde dołączenie zatrzymuje się, jak podaje punkt tej bramy wyżej, i żadna inna brama w bibliotece standardowej tego nie realizuje, więc dołączenie do dowolnej innej bramy zatrzymuje się, wskazując typ.

  • Buforowanie semantyczne: core/semantic-caching deklaruje pamięć podręczną, która odpowiada na prompt odpowiedzią zapisaną dla wcześniejszego promptu wystarczająco bliskiego znaczeniowo, zamiast ponownie wywoływać model. embedding_model wskazuje model, który zamienia każdy prompt na wektor, w postaci publikowanej przez bramę; zapisana odpowiedź jest serwowana, gdy oba prompty są podobne co najmniej w stopniu similarity_threshold, i pozostaje użyteczna przez ttl_seconds. scope decyduje, kto współdzieli pamięć podręczną: end_user, wartość domyślna, oddziela każdego użytkownika końcowego identyfikowanego przez bramę, natomiast key obsługuje z jednej pamięci podręcznej każdego wywołującego przedstawiającego ten sam klucz, więc użytkownikowi końcowemu za tym kluczem może zostać zaserwowana odpowiedź wygenerowana dla innego. core/data-masking deklaruje z nim konflikt, więc budowanie zatrzymuje się na komponencie, który ma oba. Biblioteka standardowa realizuje go w bramie AI, która przechowuje odpowiedzi w core/datastore/redis podłączonym do jej gniazda cache_store, przedstawiając magazynowi hasło zawarte w poświadczeniu tego połączenia, gdy magazyn go wymaga, przy czym magazyn usuwa każdą odpowiedź po upływie ttl_seconds; brama buforuje żądania chat, responses i messages, ale nie completions ani embeddings. Realizacja zatrzymuje budowanie, o ile slot api_key bramy nie jest dołączony, ponieważ bez klucza administracyjnego brama nie sprawdza żadnego wywołującego, a także przy embedding_model, którego mapa modeli bramy nie publikuje, oraz gdy do cache_store nic nie jest podłączone. Zapisana odpowiedź jest serwowana tylko żądaniu zgodnemu z tym, pod czym ją zapisano: z kluczem, który przedstawia żądanie i który brama weryfikuje, wraz z zespołem i organizacją tego klucza; przy end_user z użytkownikiem końcowym wskazanym przez żądanie; oraz z modelem, o który prosi żądanie, wraz z jego pozostałymi parametrami. Brama zapisuje klucz, zespół, organizację i użytkownika końcowego w samym żądaniu, nadpisując wszelkie wartości, które wywołujący wysłał dla nich w żądaniu chat; w żądaniu responses lub messages usuwa pole zespołu, organizacji lub użytkownika końcowego z własnych metadanych żądania i odrzuca pole, które wskazuje tam klucz, więc żadne żądanie nie może dostać się do odpowiedzi innego klucza samym jego wskazaniem. Własne metadane żądania mogą jednak przenosić je między odpowiedziami klucza, który przedstawia: w żądaniu responses model_group zastępuje model, o który prosi, w tym, pod czym zapisywana jest jego odpowiedź; w żądaniu responses lub messages caching_groups pozwala żądaniom wskazującym tę samą grupę aliasów modeli współdzielić odpowiedzi między nimi; a w żądaniu responses lub chat redis_namespace oddziela żądania wskazujące przestrzeń nazw od tych, które nie wskazują żadnej. Brama odczytuje użytkownika końcowego z nagłówka lub pola treści wskazanego przez samo żądanie i żadnego z nich nie weryfikuje: przy end_user wywołującemu, który wskazuje innego użytkownika końcowego, serwowane są odpowiedzi tego użytkownika końcowego, a żądania niewskazujące żadnego użytkownika końcowego współdzielą jedną pamięć podręczną z każdym innym takim żądaniem pod przedstawianym kluczem. Brama hostowana tego nie realizuje: jej pamięć podręczna odpowiada tylko na żądanie identyczne z wcześniejszym. W core/gateway/azure-api-management jest to realizowane jako wyszukiwanie i zapis semantycznej pamięci podręcznej Azure, wpisane w zasady API: embedding_model wskazuje backend, który instancja API Management już posiada dla modelu embeddingów i do którego instancja dociera za pomocą swojej tożsamości zarządzanej, a instancja potrzebuje pamięci podręcznej Redis z RediSearch skonfigurowanej jako jej zewnętrzna pamięć podręczna, czego budowanie nie widzi, dlatego budowanie zatrzymuje się, dopóki operator nie potwierdzi, że pamięć podręczna obsługuje RediSearch, ustawiając infra.cache_serves_vector_search bramy; magazyn przechowuje odpowiedź przez ttl_seconds; a similarity_threshold jest zapisywany jako próg wyniku Azure, jeden minus próg, przy odczytaniu tego wyniku jako odległości kosinusowej, ponieważ Microsoft podaje jego zakres i kierunek — niższy wymaga bliższych promptów — ale nie jego miarę. Odpowiedź jest zapisywana i serwowana oddzielnie dla każdego API i każdej subskrypcji API Management, której klucz brama weryfikuje, dlatego realizacja zachowuje key, odrzuca go w API, które nie wymaga klucza subskrypcji, i odrzuca end_user: API generowane przez jej Recipe nie waliduje tokenu żadnego użytkownika końcowego, więc brama nie ma zweryfikowanego użytkownika końcowego do oddzielenia. core/gateway/contour i core/gateway/nginx również tego nie realizują, ponieważ nie oferują semantycznej pamięci podręcznej. W core/gateway/agentgateway jej realizacja zatrzymuje każde dołączenie, podając przyczynę: agentgateway nie przechowuje pamięci podręcznej odpowiedzi, a jego buforowanie promptów jedynie oznacza, gdzie może to zrobić dostawca, który sam buforuje prompty. W core/gateway/kong-enterprise jej realizacja zatrzymuje każde dołączenie, wskazując żądany zakres: AI Semantic Cache w Kong nie ma ustawienia, które oddzielałoby zapisane odpowiedzi jednego wywołującego od odpowiedzi innego, a brama rozróżnia wywołujących tylko jako konsumentów wskazanych przez wtyczkę uwierzytelniania i nie deklaruje wywołujących, z powodów podanych wyżej w „Kong przed modelami”, więc zarówno przy end_user, jak i przy key każde żądanie współdzieliłoby jedną pamięć podręczną. W core/gateway/higress jej realizacja zatrzymuje każde dołączenie, wskazując żądany zakres: semantyczna pamięć podręczna Higress zapisuje każdą odpowiedź pod jednym prefiksem klucza, po którym następuje tekst promptu, i nic w tym kluczu nie wskazuje wywołującego ani użytkownika końcowego, a brama nie deklaruje wywołujących, więc każde żądanie współdzieliłoby jedną pamięć podręczną. W core/gateway/apisix jest to realizowane w encji Recipe typu chart, zapisane na trasie chat każdego podłączonego modelu jako semantyczna pamięć podręczna APISIX 3.18.0, dla wywołujących, których jej encja Release deklaruje w infra.callers: odpowiedź jest zapisywana dla każdej trasy i każdego wywołującego, pod kluczem przedstawionym przez wywołującego, który brama weryfikuje, więc żadnemu wywołującemu nie jest serwowana odpowiedź zapisana dla innego; realizacja zachowuje key i odrzuca end_user z nazwy, ponieważ brama nie potrafi rozróżnić użytkowników końcowych za jednym kluczem. embedding_model wskazuje połączenie w gnieździe models bramy, którego punktu końcowego, modelu i poświadczenia pamięć podręczna używa do obliczania embeddingów. Pamięć podręczna oblicza embedding ostatniej wiadomości użytkownika w żądaniu i serwuje zapisaną odpowiedź, której wiadomość jest podobna co najmniej w stopniu similarity_threshold, a wcześniejsze wiadomości — prompt systemowy, wcześniejsze tury — są takie same. Odpowiedzi pozostają przez ttl_seconds w core/datastore/redis podłączonym do gniazda cache_store bramy, któremu pamięć podręczna przedstawia hasło zawarte w poświadczeniu tego połączenia, a odpowiedź zaserwowana według znaczenia jest ponownie zapisywana pod tym żądaniem na kolejne ttl_seconds. Żądania completion nie są buforowane, a awaria magazynu lub obliczania embeddingu jest chybieniem: na żądanie i tak udzielana jest odpowiedź. Realizacja zatrzymuje się, gdy nie zadeklarowano wywołującego, gdy do cache_store lub gniazda models nic nie jest podłączone, oraz przy embedding_model, którego nie przenosi żadne połączenie w tym gnieździe. APISIX przypisuje zapisaną odpowiedź do trasy i wywołującego, a nie do bramy, więc dwie bramy APISIX podłączone do jednego magazynu albo dwie encje Releases tej samej encji Aggregate kierujące swoją bramę do jednego zewnętrznego magazynu mogą zaserwować odpowiedź z pamięci podręcznej wywołującemu o tej samej nazwie na tym samym aliasie i modelu. Jej Recipe typu workload, w APISIX 3.17.0, w ogóle nie ma semantycznej pamięci podręcznej. W core/gateway/traefik-hub jest to realizowane w encji Recipe typu chart jako semantyczna pamięć podręczna Traefik Hub na trasie każdego podłączonego modelu, dla wywołujących, których jej encja Release deklaruje w infra.callers: odpowiedź jest zapisywana dla każdego podłączonego modelu i każdego wywołującego, pod wywołującym zweryfikowanym przez kontrolę klucza bramy, każdym z własnym kluczem, więc żadnemu wywołującemu nie jest serwowana odpowiedź zapisana dla innego; realizacja zachowuje key i odrzuca end_user z nazwy, ponieważ brama nie potrafi rozróżnić użytkowników końcowych za jednym kluczem. embedding_model wskazuje połączenie w gnieździe models bramy, którego punktu końcowego, modelu i poświadczenia pamięć podręczna używa do obliczania embeddingu tekstu żądania. similarity_threshold jest zapisywany jako granica odległości pamięci podręcznej, jeden minus próg, odczytywana jako odległość kosinusowa, ponieważ dokumentacja referencyjna Traefik podaje kierunek tej granicy, ale nie jej miarę. Odpowiedź jest przechowywana przez ttl_seconds w core/datastore/redis podłączonym do gniazda cache_store bramy, a na żądanie zbyt duże, by obliczyć jego embedding, udzielana jest odpowiedź bez pamięci podręcznej. Realizacja zatrzymuje się, gdy nie zadeklarowano wywołującego, gdy do cache_store lub gniazda models nic nie jest podłączone, przy embedding_model, którego nie przenosi żadne połączenie w tym gnieździe, oraz przy obrazie Traefik Hub, którego tag nie wskazuje wersji od v3.19.11 w ramach 3.19 ani od v3.20.6, ponieważ wcześniejsza wersja współdzieli jedną pamięć podręczną między wszystkimi wywołującymi trasy.

  • Wykrywanie prompt injection: core/prompt-injection-shield deklaruje, że żądania do modeli przekazywane przez gateway są sprawdzane, zanim model zostanie wywołany, pod kątem próby obejścia instrukcji przekazanych modelowi, z sensitivity równym standard lub strict — strict odrzuca więcej takich prób, a wraz z nimi więcej prawidłowych żądań. Sprawdzenie jest werdyktem klasyfikatora probabilistycznego: przepuszcza część ataków — w tym przeformułowane, zakodowane lub zapisane inaczej — odrzuca część prawidłowych żądań i wiadomo, że można je obejść, jest więc jedną kontrolą obok innych i nie ocenia odpowiedzi modelu, argumentów wywołań narzędzi ani obrazów. Można ją dołączyć do dowolnego gatewaya, a realizacja albo przepuszcza żądania gatewaya przez strażnika podłączonego do jego socketu guard, co nie wymaga od gatewaya niczego poza przekazywaniem na skonfigurowany adres, albo włącza sprawdzenie, które gateway wykonuje sam. W przypadku strażnika to strażnik sprawdza każde żądanie i przekazuje do modelu to, co dopuści, a dołączenie Feature bez niczego w tym sockecie przerywa build ze wskazaniem tego faktu. Biblioteka standardowa realizuje ją na gatewayu AI i na gatewayu NGINX, w obu przypadkach z core/security/nemo-guardrails jako strażnikiem: usługą obsługującą API chat-completions OpenAI, której rail wysyła ostatnią wiadomość użytkownika z żądania do klasyfikatora podłączonego do niej core/security/trustyai-huggingface-detector i odrzuca żądanie, gdy wynik tego klasyfikatora osiągnie próg strażnika. Na odrzucone żądanie odpowiada sam strażnik, zwykłym completion, i nic z niego nie dociera do modelu; gdy strażnik lub jego detektor jest nieosiągalny, żądanie również zostaje odrzucone. Każdy z nich przerywa build, chyba że strażnikiem jest właśnie ta usługa, działająca z progiem wskazanym przez czułość — 0.5 dla standard i 0.001 dla strict, dwie wartości zmierzone dla domyślnego klasyfikatora detektora, którego modelu gateway, widzący strażnika, a nie detektor za nim, nie może sprawdzić. Na gatewayu AI każdy alias mapy modeli jest wysyłany do strażnika, a każdy cel jest zapisany jako openai/<model>, więc mapa jest wpisywana ręcznie: model podłączony do socketu models gatewaya byłby wysyłany do własnego endpointu z poświadczeniem własnego połączenia, z pominięciem strażnika, dlatego realizacja przerywa build, dopóki ten socket zawiera połączenie, i wskazuje je. Gateway AI odrzuca każde żądanie poza chat completion, jedynym rodzajem, który sprawdza strażnik; na gatewayu NGINX jego jedyna location przekazuje do strażnika zamiast do upstreamu, a strażnik nie odpowiada na żadną inną trasę modelu. Na core/gateway/azure-api-management jest realizowana jako własny prompt shield platformy Azure, włączany w policy API przez backend Azure AI Content Safety instancji wskazany przez infra.content_safety_backend_id, a build zostaje przerwany, dopóki ten klucz nie jest ustawiony: Azure AI Content Safety sprawdza każde żądanie pod kątem ataku użytkownika przed wywołaniem modelu, jeszcze przed wyszukaniem w pamięci podręcznej semantycznej, a gateway odpowiada HTTP 403 na żądanie, w którym go wykryje, tak jak odpowiada na żądanie dłuższe, niż usługa akceptuje. Shield jest włączony lub wyłączony, więc standard jest zachowywane, a strict jest odrzucane z nazwy, i działa on z własną czułością Microsoftu, niezmierzoną względem progu, który standard wskazuje dla strażników. Instancja łączy się z tym backendem za pomocą swojej tożsamości zarządzanej, która potrzebuje roli Cognitive Services User dla tej usługi; build nie widzi żadnej z tych rzeczy. Żaden gateway biblioteki standardowej poza tymi trzema jej nie realizuje, a dołączenie jej do innego przerywa build ze wskazaniem typu: większość nie generuje żadnej trasy, którą realizacja mogłaby przepuścić przez strażnika — przechowują trasy we własnym magazynie, pobierają je od usług, które za nimi stoją, albo są usługą hostowaną, na której biblioteka standardowa nie włącza żadnego sprawdzenia tego rodzaju — a core/gateway/apisix, którego Recipe chartu generuje trasy podłączonych do niego modeli, i core/gateway/envoy-gateway, którego Recipe generuje trasę AI podłączonych do niego modeli, nie mają jej realizacji. Na core/gateway/agentgateway, którego Recipes generują wpis dla każdego podłączonego do niego modelu, realizacja przerywa każde dołączenie, podając powód: agentgateway ocenia żądanie pod kątem takiej próby wyłącznie przez wywoływaną usługę — webhook prowadzony przez operatora albo Azure AI Content Safety, Google Model Armor lub AWS Bedrock Guardrails — a realizacja nie podłącza żadnej z nich. Na core/gateway/higress realizacja również przerywa każde dołączenie, podając powód: Higress ocenia taką próbę wyłącznie przez wywoływaną usługę — usługę bezpieczeństwa treści Alibaba Cloud albo, przez plugin zawarty w jego kodzie źródłowym, ale niepublikowany w wydaniu pluginów 2.2.5, usługę modelu Qwen3Guard prowadzoną przez operatora — przy czym każda z nich przepuszcza żądanie, gdy to wywołanie się nie powiedzie, a realizacja nie podłącza żadnej z nich. Na core/gateway/traefik-hub realizacja także przerywa każde dołączenie, podając powód: Traefik Hub ocenia taką próbę wyłącznie przez wywoływaną usługę — swoje middleware LLM Guard i Parallel LLM Guard, które wywołują usługę strażnika lub model z żądaniem i warunkami, które realizacja musiałaby zapisać, a których działanie z detektorem ataków na prompty nie jest zmierzone, więc żadna czułość nie odpowiada tam sprawdzeniu; albo swoje middleware Azure Prompt Shield, Amazon Bedrock Guardrails i GCP Model Armor, które wywołują usługi hostowane, których realizacja nie podłącza. Strażnik czyta tylko ostatnią wiadomość użytkownika, więc wiadomość systemowa, wcześniejsza tura lub wynik narzędzia dociera do modelu nieprzeczytany, a sprawdzany jest tylko ruch przechodzący przez gateway: obciążenie wywołujące adres modelu bezpośrednio go omija.

  • Walidacja odpowiedzi i ewaluacje: core/response-validation deklaruje sprawdzenie odpowiedzi modelu względem JSON Schema, zanim dotrze ona do wywołującego: schema zawiera sam schemat, a odpowiedź do niego niezgodna jest odrzucana zamiast przekazywana — albo, przy włączonym invert, odpowiedź z nim zgodna. Schemat należy do dołączenia i jest taki sam dla każdego żądania, a nie przesyłany przez wywołującego w jego własnym żądaniu, więc programista dołącza go w encji Aggregate, zapisując schemat w jej values. Żadna realizacja w bibliotece standardowej go nie egzekwuje: na core/gateway/agentgateway jego realizacja przerywa każde dołączenie, podając powód — strażnicy odpowiedzi agentgateway dopasowują wzorce lub wywołują usługę content safety albo webhook, i żaden z nich nie przyjmuje schematu — podobnie jak jego realizacja na core/gateway/higress, której sprawdzenie odpowiedzi na odpowiedź, która je przejdzie, odpowiada samym JSON-em znalezionym w wiadomości odpowiedzi zamiast chat completion zwracanego przez jej trasę OpenAI, jest pomijane przez każdego klienta wysyłającego nagłówek żądania X-HIGRESS-AI-JSON-RESP: true i pozostawia niesprawdzony schemat zagnieżdżony głębiej niż na sześć poziomów; a także jego realizacja na core/gateway/traefik-hub, ponieważ żadne middleware w dokumentacji referencyjnej Traefik Hub nie sprawdza odpowiedzi względem schematu — jego middleware Chat Completion sprawdza żądania względem schematu chat completion, jego zarządzanie API sprawdza treści żądań względem dokumentu OpenAPI, a jego LLM Guard wysyła odpowiedź do usługi zewnętrznej, której realizacja nie podłącza; na każdym innym gatewayu dołączenie przerywa build ze wskazaniem typu. core/traffic-shadowing kopiuje bieżące żądania do drugiej usługi i odrzuca jej odpowiedzi, dzięki czemu kandydujący model lub usługę można ocenić przy rzeczywistym ruchu, bez pokazywania jej wyników żadnemu wywołującemu. Można ją dołączyć do dowolnego komponentu deklarującego dataplane.aggrega.ai/request-mirroring, czego gateway AI nie robi; biblioteka standardowa realizuje ją na gatewayu NGINX, który kopiuje cały strumień, a nie jego część, i przerywa build przy mniejszym udziale, wskazując go z nazwy.

5. Wykonywanie asynchroniczne i infrastruktura HITL

Aggrega traktuje frameworki z interakcją człowieka (takie jak AutoGen i LangGraph) jako węzły robocze. Aby obsłużyć „uśpione” agenty czekające na dane od człowieka bez utraty stanu, architekci platformy mogą deklarować sockety usesSchema na encjach Components tych agentów, które ściśle wymuszają jawne powiązanie z nimi komponentów kategorii datastore, wybieranych według etykiety silnika datastore — datastore.aggrega.ai/engine in (vector, semantic-memory, search) dla magazynu, z którego agent pobiera dane według podobieństwa, lub datastore.aggrega.ai/engine=kv dla magazynu, w którym zapisuje punkty kontrolne stanu swojego przebiegu. Socket wiąże się z etykietą silnika, a nie z nazwą produktu, więc autor wybiera, który magazyn zostanie podłączony, a deklaracja nadal obowiązuje. Ponadto dla pętli informacji zwrotnej od człowieka do agenta (np. integracji ze Slackiem) można skonfigurować rolę werdyktu governance tak, aby odrzucała architekturę, jeśli nie jest dołączony jawnie zadeklarowany komponent gateway, dzięki czemu webhooki zwrotne wchodzą przez zadeklarowaną granicę ruchu przychodzącego.

Agenty zbudowane na frameworku lub SDK, wokół którego napisana jest aplikacja, a nie dostarczane jako osobny produkt, mają w bibliotece standardowej jedną postać. Encja Release wskazuje obraz aplikacji, którego katalog nie przypina. Socket model przenosi to, co framework odczytuje z podłączonego modelu — jego adres i nazwę modelu, tam gdzie framework je odczytuje, oraz poświadczenie połączenia, przez referencję — do zmiennych, które ten framework odczytuje. Tam, gdzie framework nie definiuje własnego serwera, komponent jest typu worker i nie otwiera żadnego portu: tę postać mają core/ai-agent/crewai i core/ai-agent/langgraph, a także core/ai-agent/openai-agents-sdk, którego socket model przyjmuje tylko model lub gateway z model.aggrega.ai/api: openai, core/ai-agent/claude-agent-sdk, którego socket przyjmuje tylko element z model.aggrega.ai/api: anthropic, oraz core/ai-agent/agent-framework, dla aplikacji zbudowanej na Microsoft Agent Framework, która sama niczego nie serwuje, którego socket przyjmuje tylko element z model.aggrega.ai/api: openai i dostarcza zmienne odczytywane przez klientów OpenAI dla Pythona z Agent Framework; te trzy przerywają build, wskazując infra.image, dopóki encja Release go nie ustawi. OpenAI Agents SDK domyślnie przesyła do OpenAI ślad każdego przebiegu, dlatego core/ai-agent/openai-agents-sdk wyłącza to przesyłanie, chyba że encja Aggregate ustawi swoją wartość upload_traces_to_openai na true. Tam, gdzie framework sam serwuje HTTP, komponent jest typu server na własnym porcie frameworka i publikuje adres, pod który trafia wywołujący, jako host, port, endpoint i protocol, i również przerywa build, wskazując infra.image, dopóki encja Release go nie ustawi: core/ai-agent/google-adk serwuje REST API ADK na porcie 8000 i dostarcza klucz, który klient Gemini z ADK wysyła do Gemini API, a jego socket model przyjmuje tylko model z model.aggrega.ai/api: gemini, taki jak core/ai-model/gemini, i nigdy gateway, którego adresu klient ADK by nie odczytał; core/ai-agent/mastra serwuje serwer budowany przez Mastrę na porcie 4111, gotowy w Kubernetes, gdy jego trasa /health odpowie, przyjmuje model lub gateway z model.aggrega.ai/api: openai i — tam, gdzie encja Aggregate wskazuje jednego z agentów aplikacji w swojej wartości agent_id — publikuje adres karty Agent2Agent tego agenta, aby core/ai-tool/agent-invocation mógł mu delegować. Trasy obu serwerów odpowiadają każdemu wywołującemu, chyba że aplikacja je uwierzytelnia, dlatego dołączenie core/public-ingress lub core/http-route do któregokolwiek z nich przerywa build, dopóki encja Release nie ustawi swojego infra.routes_authenticated na true, potwierdzając, że aplikacja uwierzytelnia każde żądanie przyjmowane przez jej trasy. Środowiska uruchomieniowe SDK i serwerów oraz core/ai-agent/agent-framework deklarują też opcjonalny socket tools, który dostarcza adres każdego podłączonego narzędzia oraz poświadczenie połączenia przez referencję, w zmiennych nazwanych według aliasu połączenia. Ponieważ aplikacja jest własnym kodem encji Release, zmienne, które te agenty dostarczają do odczytu przez ten kod, są wartościami domyślnymi: każdy ich socket przyjmuje blok inject:, przez który encja Aggregate wskazuje zmienne lub pliki, które aplikacja odczytuje zamiast nich, natomiast zmienna, którą framework odczytuje sam, oraz to, co dostarcza dołączenie na połączeniu, pozostają bez zmian. To samo dotyczy własnych wartości agenta: każdy komponent przyjmuje na sobie blok inject: z wpisami env i file, a wpis, którego szablon odczytuje jedną z jego własnych wartości i nic poza tym z komponentu — żadnej innej wartości, ani jego infra, metadanych czy tożsamości — zastępuje domyślną nazwę, pod którą encja Recipe dostarcza tę wartość, taką jak CREWAI_ROLE dla role agenta CrewAI. Import deklaracji agentów projektu CrewAI, pliku langgraph.json aplikacji LangGraph, konfiguracji agentów aplikacji Google ADK lub deklaratywnego agenta Agent Framework tworzy szkice tych agentów — core/ai-agent/crewai, core/ai-agent/langgraph, core/ai-agent/google-adk i core/ai-agent/agent-framework — podłączonych do magazynu danych wskazanego przez konfigurację oraz do wskazanego przez nią modelu, tam gdzie socket model agenta go przyjmuje, obok szkicu encji Release, który pozostawia operatorowi wskazanie obrazu, w którym działa program, i odczytuje wyłącznie konfigurację, nigdy program, jak opisuje Plugins importujące.

6. Topologiczna walidacja bezpieczeństwa i egzekwowanie w czasie działania

Ponieważ obciążenia AI wprowadzają nowe wektory ataku (takie jak prompt injection i autonomiczna eksfiltracja danych), ich zabezpieczenie wymaga połączenia statycznego governance architektury z aktywnym egzekwowaniem w czasie działania. Jako kompilator AOT (Ahead-of-Time, kompilujący z wyprzedzeniem) Aggrega nie przechwytuje bieżącego ruchu sieciowego ani nie ocenia promptów AI. Zamiast tego rozwiązuje złożone wymagania bezpieczeństwa przez dwuczęściowy uścisk dłoni na poziomie architektury: statyczną kompilację architektury (w czasie kompilacji) i przekazanie do wykonania (w czasie wdrożenia).

A. Czas kompilacji: walidacja polityk i generowanie artefaktów

Kompilator tworzy płaski graf reprezentacji pośredniej (IR) zawierający wszystkie węzły, krawędzie i dołączone Features. Zanim zostanie wygenerowana jakakolwiek infrastruktura fizyczna, postawa bezpieczeństwa przedsiębiorstwa jest egzekwowana przez ocenę tego statycznego grafu JSON za pomocą standardowych w branży silników polityk w roli werdyktu governance.

Ponieważ socket ocenia ogólne dane JSON, nie jest związany z jednym językiem polityk. Przedsiębiorstwa mogą kompilować i egzekwować swoje reguły architektoniczne przy użyciu standardu najlepiej pasującego do ich ekosystemu:

  • Open Policy Agent (OPA/Rego): szeroko stosowany język do oceny złożonych, wieloskokowych relacji w grafie i wyznaczania dostępu z minimalnymi uprawnieniami w rozproszonych topologiach. Silnik Rego wkompilowany w CLI uruchamia pliki .rego w ich obecnej postaci; polityka, która potrzebuje pełnego zestawu wbudowanych funkcji OPA, jest kompilowana własnym zestawem narzędzi OPA i działa za gościem adaptera.
  • Common Expression Language (CEL): silnik CEL wkompilowany w CLI uruchamia reguły zapisane jako pojedyncze wyrażenia nad dokumentem, tak jak pisze się politykę validating-admission w Kubernetes.
  • Kyverno: ocenia statyczne manifesty JSON/YAML, co pozwala zespołom pisać polityki w natywnym YAML zamiast uczyć się Rego. Kompilator nie zawiera gościa Kyverno — uruchamia polityki wyłącznie jako gości WebAssembly i nigdy nie wywołuje Kyverno CLI — więc reguły Kyverno działają za gościem, który opakowuje ten silnik.
  • Własna walidacja w Rust/TypeScript: zespoły bezpieczeństwa mogą pisać dopasowane polityki organizacyjne w standardowych językach i kompilować je do Wasm, aby pełniły rolę bramki walidacyjnej.

Gdy silnik polityk zwaliduje graf, kompilator przekłada te abstrakcyjne wymagania bezpieczeństwa na fizyczną konfigurację. Gdy programista dołącza Feature bezpieczeństwa — na przykład core/data-masking na gatewayu AI — kompilator uruchamia krok potoku wskazany przez jej realizację, izolowany plugin WebAssembly (Wasm), a ten krok zapisuje ustawienie potrzebne kontroli w konfiguracji, którą własna Recipe gatewaya już generuje. Realizacja może zamiast tego pozostawić zapis własnej Recipe gatewaya, która odczytuje dołączenie i sama zapisuje ustawienie, tak jak robi to core/data-masking na core/gateway/kong-enterprise, a realizacja dla innego rodzaju kontroli może emitować własny zasób; w każdym przypadku wynikiem jest statyczny artefakt zapisany na podstawie tego, co dołączył programista.

B. Czas wdrożenia i działania: przekazanie do wykonania i egzekwowanie

Odpowiedzialność Aggrega kończy się dokładnie w chwili, gdy kończy przetwarzanie danych wejściowych i zapisuje skonfigurowane statyczne artefakty w katalogu wyjściowym. Jest to czysty kompilator: zapisuje konfigurację, a następnie kontrola w całości wraca do systemu, który go wywołał.

Sposób wykonania tych konfiguracji jest bardzo elastyczny i zależy wyłącznie od przedsiębiorstwa:

  • Przekazanie artefaktów (czas wdrożenia): zewnętrzne kontrolery wdrożeń przejmują pracę, aby wcielić artefakty w życie. Mógłby to być ścisły kontroler GitOps (taki jak ArgoCD lub Flux) synchronizujący pliki z klastrem Kubernetes, ale równie dobrze mógłby to być standardowy potok CI/CD wykonujący terraform apply lub programista uruchamiający lokalny skrypt powłoki na Docker Compose.
  • Egzekwowanie w czasie działania: po zastosowaniu konfiguracji w środowisku docelowym pracę przejmuje infrastruktura fizyczna. Wyspecjalizowane narzędzia skonfigurowane przez Aggrega (takie jak sidecar z guardrailami, aktywny service mesh lub natywne zapory chmurowe) uruchamiają się i rozpoczynają aktywną pracę: fizycznie przechwytują ładunki, weryfikują tokeny JWT lub odrzucają złośliwe prompt injection.

7. Jak Aggrega podchodzi do wyzwań bezpieczeństwa AI

Dzięki oddzieleniu walidacji architektury od wykonania w czasie działania zespoły platformowe mogą używać Aggrega do jawnego modelowania, walidowania i generowania rozwiązań konfiguracyjnych dla opisanych poniżej podatności AI.

A. Eksfiltracja danych i przechwytywanie ładunków

  • Problem: autonomiczny agent może próbować wyprowadzić zastrzeżone dane przedsiębiorstwa do nieautoryzowanego zewnętrznego API.
  • Rozwiązanie Aggrega:
    1. Czas kompilacji (walidacja i generowanie): zespół platformowy tworzy politykę (np. w Rego) ocenianą w roli werdyktu governance, która stanowi: „Każda ścieżka przechodząca przez gateway AI musi mieć core/data-masking.” Jeśli go brakuje, kompilator się zatrzymuje. Jeśli jest obecny, realizacja wiązana przez Manifest zapisuje maskowanie w konfiguracji, którą gateway już generuje: na core/gateway/litellm są to wpisy guardrail dopasowujące wyrażenia regularne wymienione w dołączeniu i wysyłające tekst do analyzera i anonymizera Presidio podłączonych do socketów pii_analyzer i pii_anonymizer gatewaya dla wymienionych typów encji; na core/gateway/kong-enterprise — AI PII Sanitizer Konga na trasach chat i completion każdego podłączonego modelu, zapisany przez Recipe chartu gatewaya, który wysyła maskowany tekst, wraz z wyrażeniami regularnymi i typami encji wymienionymi w dołączeniu, do usługi Kong AI PII podłączonej do socketu pii_sanitizer gatewaya; na core/gateway/agentgateway — własni strażnicy wyrażeń regularnych gatewaya, zapisani w jego konfiguracji przez jego Recipe chartu, którzy zastępują każde dopasowanie wzorców wymienionych w dołączeniu przez <masked> albo w trybie refuse odpowiadają na żądanie lub odpowiedź HTTP 403, i nie rozpoznają typów encji; ci strażnicy nie maskują odpowiedzi strumieniowej, więc gdy odpowiedzi są maskowane, ta sama Recipe zapisuje regułę, która przed przekazaniem odrzuca z HTTP 403 żądanie proszące o taką odpowiedź oraz każde żądanie, którego treść przekracza 2 MiB odczytywane przez gateway dla tej reguły, strumieniowe lub nie; na core/gateway/traefik-hub — Content Guard gatewaya AI Traefik Hub na trasie każdego podłączonego modelu, zapisany przez jego Recipe chartu, który maskuje dopasowania wzorców wymienionych w dołączeniu za pomocą swojego silnika wyrażeń regularnych albo wymienionych typów encji za pomocą analyzera Presidio podłączonego do socketu pii_analyzer gatewaya, jeden silnik na dołączenie; na core/gateway/higress — plugin ai-data-masking Higress na trasie każdego podłączonego modelu, zapisany przez jego Recipe chartu, który zastępuje każde dopasowanie wzorców wymienionych w dołączeniu w wiadomościach żądania chat nazwą wzorca w nawiasach i nie rozpoznaje typów encji. Polityka może też zadać węższe pytanie — czy maskowanie znajduje się między zastrzeżonymi danymi a dostawcą — odczytując dołączenia każdego komponentu wzdłuż trasy zamiast dołączeń trasy jako całości, tak jak robi to examples/policy-data-class-route.
    2. Czas wykonania (fizyczne egzekwowanie): Gdy orkiestrator wdroży wygenerowane artefakty, brama przed przekazaniem żądania zastępuje każde dopasowanie w maskowanym przez siebie tekście żądania symbolem zastępczym, więc dostawca modelu otrzymuje symbol zastępczy; przy action: refuse dołączenie nie przekazuje niczego z żądania zawierającego dopasowanie i zamiast tego odpowiada na nie błędem. Moduł rozpoznający, który jest nieosiągalny lub zwraca błąd, powoduje niepowodzenie żądania, więc jego tekst nie jest przekazywany dalej. O tym, czego maskowanie nie obejmuje, decydują dwie wartości, których wartości domyślne stanowią ochronę. Na bramie AI, gdy dołączenie maskuje także odpowiedzi, brama maskuje tekst odpowiedzi i części, które model lub jego dostawca dodaje obok niego — odmowę, cytaty i adnotacje, zapytanie i wyniki wyszukiwania w sieci, pola o nazwach własnych dostawcy — albo, przy refuse, nie wysyła niczego z odpowiedzi zawierającej dopasowanie; odpowiedź strumieniowana, którą maskuje według wzorców, dociera do wywołującego w całości, na końcu. Domyślnie to, czego jej maskowanie nie obejmuje w żądaniu — trasę taką jak generowanie obrazów, pole takie jak safety_identifier, obraz lub plik w rozmowie, narzędzie uruchamiane przez samego dostawcę — brama AI odrzuca z HTTP 400, zanim przekaże cokolwiek z tego; operator, który akceptuje, że taki tekst dotrze do dostawcy niezamaskowany, ustawia allow_unmasked_text na dołączeniu w encji Release, a realizacja wymienia dokładnie, co wtedy przechodzi, przy czym zawartość niebędąca tekstem nadal podlega allow_non_text_content. Domyślnie to, co zawiera zamaskowana odpowiedź, a czego jej maskowanie nie potrafi odczytać — mówione audio i jego transkrypcja, obraz, prawdopodobieństwa tokenów wybranych przez model — jest wstrzymywane, a nieudane wywołanie dociera do wywołującego ze stałym komunikatem zamiast tego, który zwrócił dostawca; allow_unmasked_reply_parts pozwala, by te części docierały do wywołującego niezamaskowane. Własny tekst odpowiedzi nigdy nie jest przez tę wartość przepuszczany, ale części, które przepuszcza, mogą zawierać słowa odpowiedzi: transkrypcję odpowiedzi mówionej, tokeny stojące za prawdopodobieństwami tokenów, komunikat o błędzie dostawcy cytujący odpowiedź. Na core/gateway/kong-enterprise każde dopasowanie jest zastępowane numerowanym symbolem zastępczym, więc dołączenie wymieniające wzorce w redact ustawia placeholder_shows_name: false; refuse obejmuje tylko żądania, od Konga 3.12, który odpowiada na żądanie zawierające dopasowanie kodem HTTP 400; a odpowiedzi są maskowane od wersji 3.12, przy czym żądanie o odpowiedź strumieniowaną jest wtedy odrzucane przed przekazaniem, a allow_streamed_replies jest odrzucane. Sanitizer Konga odczytuje tekst tur użytkownika, prompt completion i tekst wiadomości odpowiedzi, a dokumentacja referencyjna Konga nie wymienia żadnego ustawienia, które odrzucałoby żądanie z powodu tego, czego sanitizer nie odczytuje, lub wstrzymywało resztę odpowiedzi, więc na tej bramie każda ochrona jest odrzucana z nazwy w czasie budowania, dopóki zachowuje wartość domyślną, a dołączenie daje się zbudować, gdy encja Release je złagodzi — allow_unmasked_text i allow_non_text_content tam, gdzie maskowane są żądania, allow_unmasked_reply_parts i mask_reasoning: false tam, gdzie maskowane są odpowiedzi — przy czym data-masking-kong-enterprise wymienia, co każda z nich wtedy przepuszcza. Tam odpowiedź, której tekst nie dociera jako pojedynczy ciąg zwracany przez API OpenAI, przechodzi nieodczytana, a jej własny tekst dociera do wywołującego niezamaskowany; zabezpieczeniem jest kontrola, którą build przeprowadza dla każdego modelu podłączonego do tej bramy i która zatrzymuje się na modelu, którego model.aggrega.ai/api nie jest openai. Na core/gateway/traefik-hub każde dopasowanie jest zastępowane ciągiem * o długości dopasowania, więc dołączenie wymieniające wzorce w redact ustawia placeholder_shows_name: false; refuse odpowiada HTTP 403 zamiast żądania lub odpowiedzi; a zamaskowana odpowiedź jest wstrzymywana w całości i wysyłana na końcu, również strumieniowana, więc dołączenie maskujące typy encji w odpowiedziach ustawia allow_streamed_replies. Dokumentacja referencyjna Traefika nie mówi, które pola żądania lub odpowiedzi czatu odczytuje Content Guard, i nie wymienia żadnego ustawienia, które odrzucałoby żądanie lub wstrzymywało część odpowiedzi z powodu tego, czego nie odczytuje, więc na tej bramie każda ochrona jest odrzucana z nazwy w czasie budowania, dopóki zachowuje wartość domyślną, a dołączenie daje się zbudować, gdy encja Release je złagodzi — allow_unmasked_text i allow_non_text_content tam, gdzie maskowane są żądania, allow_unmasked_reply_parts i mask_reasoning: false tam, gdzie maskowane są odpowiedzi — przy czym data-masking-traefik-hub wymienia, co każda z nich wtedy przepuszcza. Dołączenie wymieniające zarówno wzorce, jak i typy encji, oraz drugie dołączenie maskujące na jednej bramie są odrzucane, ponieważ dokumentacja referencyjna Traefika nie mówi, czy drugi Content Guard na trasie odczytuje tekst zamaskowany przez pierwszy, czy żądanie w postaci wysłanej przez wywołującego. Na core/gateway/higress wtyczka Higressa ai-data-masking zastępuje każde dopasowanie wzorców wymienionych przez dołączenie, w zawartości i rozumowaniu każdej wiadomości żądania czatu, nazwą wzorca w nawiasach kwadratowych; maskuje tylko żądania, więc scope response i both są odrzucane, i nie rozpoznaje żadnych typów encji. Wtyczka nie odczytuje niczego innego z żądania, więc dopóki ochrony zachowują wartości domyślne, Recipe chartu bramy zapisuje także wtyczkę walidacji żądań Higressa, aby odrzucała z HTTP 403, zanim cokolwiek zostanie przekazane, żądanie zawierające to, czego maskowanie nie odczytuje — treść niewysłaną jako JSON lub niebędącą chat completion, wiadomość, której zawartość jest listą lub null, wywołanie narzędzia lub turę narzędzia, nazwę wiadomości, dowolny parametr poza nietekstowymi parametrami chat completion oraz własnymi narzędziami, formatem odpowiedzi i sekwencjami zatrzymania programisty — oraz, niezależnie od tego, co łagodzi dołączenie, żądanie, którego treść wtyczki Higressa pomijają — skompresowaną treść, typ zawartości zawierający octet-stream lub grpc, upgrade — a także treść zawierającą znak zastępczy Unicode U+FFFD, jako który ta walidacja odczytuje bajt niebędący poprawnym UTF-8, ponieważ wtyczka maskująca przekazuje niezamaskowaną treść, która nie jest poprawnym UTF-8. Żądanie, którego treść przekracza bufor bramy o rozmiarze 32 KiB, jest odrzucane z HTTP 413. Walidacja odczytuje tylko treść, którą akceptuje jej dekoder JSON, więc klient celowo wysyłający poprawny JSON odrzucany przez dekoder — na przykład liczbę wykraczającą poza to, co mieści double — przechodzi przez każde odrzucenie dotyczące jego treści: wtyczka maskująca maskuje wtedy tylko zwykłą zawartość i rozumowanie każdej wiadomości, więc wymieniona wartość w dowolnym innym miejscu treści — argumenty wywołania narzędzia, nazwa, dowolne inne pole — jest przekazywana niezamaskowana, podobnie jak zawartość zapisana sekwencjami ucieczki JSON, a jeśli taka treść nie jest też poprawnym UTF-8, całość jest przekazywana niezamaskowana. Klient celowo zagnieżdżający treść na głębokość ponad 127 poziomów, wewnątrz pola dopuszczanego przez walidację, takiego jak tools, wysyła poprawny JSON, który walidacja dekoduje i dopuszcza, ale czytnik JSON wtyczki maskującej zatrzymuje się na tej głębokości, więc zawartość zapisana sekwencjami ucieczki JSON w takiej treści również jest przekazywana niezamaskowana. Samo maskowanie nie wystarcza: tekst, którego nie dopasowuje żaden wzorzec i nie wykrywa żaden moduł rozpoznający, przechodzi bez zmian; na bramie AI argumenty wywołań narzędzi i wyniki narzędzi są maskowane wartość po wartości, ale nazwy ich kluczy nie; własne definicje narzędzi, formaty odpowiedzi i sekwencje zatrzymania programisty przechodzą tak, jak zostały wysłane; brama i usługi rozpoznające widzą oryginalny tekst; to, co brama rejestruje o wywołaniu — we własnym logu lub w tym, co przekazuje integracji logowania — nadal może zawierać ten tekst; a ruch, który nie przechodzi przez bramę, pozostaje nietknięty.

B. Obrona przed zatruwaniem MCP (zaufanie i izolacja)

  • Problem: Jeśli agent zostanie przejęty za pomocą zatrutego narzędzia Model Context Protocol (MCP), może autonomicznie wykonać destrukcyjne działania (takie jak usunięcie bazy danych lub autoryzowanie przelewu).
  • Rozwiązanie Aggrega:
    1. Czas kompilacji (walidacja i generowanie): Programista dołącza Feature bramki zatwierdzania do wrażliwego narzędzia w swoim Aggregate.yaml. Biblioteka standardowa nie zawiera takiej Feature, więc tę tworzy się we własnym katalogu przedsiębiorstwa, razem z FeatureRecipe, która ją renderuje. Kompilator waliduje graf i przekłada dołączenie na konfigurację dla proxy L7 lub bramy webhooków.
    2. Czas wykonania (fizyczne egzekwowanie): Gdy przejęty agent próbuje wywołać narzędzie, wdrożone proxy wstrzymuje żądanie i fizycznie blokuje wykonanie, dopóki nie otrzyma od człowieka-operatora kryptograficznie podpisanego zatwierdzenia.

C. Rozwiązanie problemu „Confused Deputy” (propagacja kontekstu)

  • Problem: W łańcuchach wieloagentowych publicznie dostępny agent może zostać przejęty i polecić wewnętrznemu agentowi o wysokich uprawnieniach pobranie wrażliwych danych. Standardowe zapory sieciowe widzą jedynie, że „Agent A rozmawia z Agentem B”, i przepuszczają ruch, całkowicie tracąc kontekst pierwotnego złośliwego użytkownika.
  • Rozwiązanie Aggrega: Przedsiębiorstwa mogą łączyć dwa konkretne wzorce:
    1. Propagacja tożsamości wywołującego, na dwóch przeskokach: Tożsamość pierwotnego wywołującego musi przetrwać dwa różne przeskoki, a każdy z nich jest chroniony w innym miejscu. Na przeskoku bramy programista dołącza core/context-propagation, która wybiera według dataplane.aggrega.ai/caller-identity, do bramy, przez którą wchodzi żądanie. W czasie kompilacji dołączenie jest realizowane we własnej konfiguracji tej bramy — na Envoy Gateway jako client traffic policy, która weryfikuje certyfikat każdego klienta względem urzędu wskazanego przez encję Release i przekazuje szczegóły certyfikatu; na bramie AI LiteLLM jako hook żądań, który usuwa każdy nagłówek tożsamości podany przez wywołującego i dodaje użytkownika oraz zespół klucza wirtualnego zweryfikowanego przez bramę, a także jego organizację, jeśli klucz ją wskazuje, w żądaniach do aliasów modeli wymienionych przez dołączenie w destinations. W czasie wykonania usługa za bramą otrzymuje informację, kto wywołał, a nie tylko, że wywołała brama. Na przeskoku między obciążeniami żądanie, które jeden agent kieruje bezpośrednio do drugiego, nigdy nie przechodzi przez tę bramę, więc jest sprawdzane na własnym ingressie agenta odbierającego, gdzie service mesh odrzuca każde żądanie pozbawione podpisanego tokenu dowodzącego intencji pierwotnego użytkownika (np. AuthorizationPolicy JWT w Istio). Biblioteka standardowa zawiera Feature dla przeskoku bramy i żadnej Feature dla przeskoku między obciążeniami, więc dołączenie core/context-propagation chroni ruch przechodzący przez bramę, a wywołania między agentami pozostawia konfiguracji mesh, którą przedsiębiorstwo dostarcza samo. Agent uruchamiany przez inną stronę, do którego core/ai-tool/agent-invocation dociera przez A2A jako core/ai-agent/a2a-remote, znajduje się całkowicie poza encją Release: ta strona sprawdza każde wywołanie według schematu bezpieczeństwa deklarowanego przez Agent Card agenta, a narzędzie przedstawia poświadczenie przechowywane w swoim połączeniu, odczytywane przez referencję z obiektu Secret, w nagłówku żądania publikowanym przez agenta. Gdy karta wymaga client credentials OAuth 2.0 lub OpenID Connect, połączenie przechowuje zamiast tego, lub dodatkowo, client secret wraz z client id, który zapisuje na nim operator, a agent publikuje adres tokenu lub discovery oraz zakresy deklarowane przez jego kartę; własny kontener narzędzia uzyskuje za ich pomocą token, odświeża go i przedstawia przy każdym wywołaniu; katalog dostarcza tylko te dane wejściowe i żaden build nie może sprawdzić, co kontener z nimi robi. Gdy karta wymaga wzajemnego TLS, połączenie przechowuje certyfikat klienta oraz, jeśli certyfikat serwera agenta podpisuje urząd, któremu obraz jeszcze nie ufa, także ten urząd; każdy z nich jest montowany w kontenerze narzędzia jako pliki z obiektu Secret wskazanego przez połączenie, a kontener sam przedstawia certyfikat w uzgadnianiu TLS. Narzędzie dociera więc do agenta, którego karta deklaruje klucz API w nagłówku lub pliku cookie, schemat uwierzytelniania HTTP o stałej wartości, taki jak Bearer lub Basic, przy czym Secret zawiera całą wartość nagłówka, OAuth 2.0 lub OpenID Connect z grantem client-credentials albo wzajemny TLS. Nie dociera do agenta, którego karta wymaga klucza w query string, schematu HTTP odpowiadającego na wyzwanie agenta, takiego jak Digest, lub przepływu OAuth 2.0 innego niż client credentials. Nie przedstawia też poświadczenia agentowi uruchamianemu przez inną stronę przez zwykły HTTP: gdy adres tego agenta to http, poświadczenie lub client secret w połączeniu zatrzymuje build ze wskazaniem połączenia, ponieważ poświadczenie albo token uzyskany za pomocą sekretu trafiłby do niego niezaszyfrowany. Agent działający wewnątrz encji Release pozostaje osiągalny przez http z każdym z nich, a poświadczenie przechodzi wtedy przez sieć klastra niezaszyfrowane.
    2. Inspekcja payloadu między agentami: Żądanie, które jeden agent wysyła bezpośrednio do drugiego, nigdy nie przechodzi przez bramę AI, więc jest sprawdzane na własnym ingressie agenta odbierającego przez silnik guardrails działający obok tego agenta (np. NeMo Guardrails). W czasie kompilacji FeatureRecipe realizująca Feature dołączoną do agenta odbierającego renderuje konfigurację silnika. W czasie wykonania silnik ocenia każde żądanie według reguł napisanych przez przedsiębiorstwo i odrzuca to, które te reguły odrzucają; to, jak dobrze odróżnia przejęte żądanie od uprawnionego, zależy od silnika i reguł, ponieważ Aggrega kompiluje konfigurację i nigdy nie ocenia promptu. Biblioteka standardowa nie zawiera żadnej Feature, która umieszczałaby taki silnik, więc ten wzorzec tworzy się we własnym katalogu przedsiębiorstwa. Własna ochrona wzorcowa bramy, dataplane.aggrega.ai/prompt-guard: pattern-list, jest węższa, a core/prompt-deny-patterns ją włącza — na bramie AI odczytywana jest każda wiadomość żądania, a wielkość liter jest ignorowana, na core/gateway/apisix i core/gateway/kong każda wiadomość każdej roli jest odczytywana jako jeden tekst, wielkość liter ma znaczenie i respektowana jest również lista wzorców, do których żądanie musi pasować, na core/gateway/agentgateway każda wiadomość, argument wywołania narzędzia i wynik narzędzia są odczytywane osobno, wielkość liter ma znaczenie, a na core/gateway/traefik-hub żądanie jest odczytywane jako chat completion, której odczytywanych pól dokumentacja referencyjna Traefika nie wymienia, wielkość liter ma znaczenie: odrzuca ona żądanie do modelu, którego tekst dosłownie pasuje do jednego z wyrażeń wymienionych przez dołączenie — parafraza, inny język lub kodowanie przez nią przechodzą — i tylko w ruchu przechodzącym przez bramę, więc żądanie wysłane bezpośrednio między agentami nigdy na nią nie trafia. core/prompt-injection-shield jest jej odpowiednikiem opartym na klasyfikatorze na tym samym przeskoku, wysyłającym każde żądanie do modelu przekazywane przez bramę przez strażnika NeMo Guardrails podłączonego do gniazda guard tej bramy lub przez prompt shield usługi Azure AI Content Safety w Azure API Management, i również obejmuje tylko ruch przechodzący przez bramę.

D. Topologiczna analiza ryzyka

  • Problem: Złożone architektury AI z dziesiątkami połączonych ze sobą modeli, wektorów i narzędzi są zbyt rozległe, by człowiek mógł ręcznie przeprowadzić ich audyt pod kątem przechodnich podatności (np. „Czy Agent A może rozmawiać z Narzędziem B, które rozmawia z Agentem C, który ma dostęp do Bazy danych D?”).
  • Rozwiązanie Aggrega: Ta kontrola jest wykonywana z wyprzedzeniem. Ponieważ Aggrega buduje w pamięci kompletny graf IR zamierzonej topologii, rola werdyktu governance może uruchamiać zaawansowane reguły wyszukiwania ścieżek w całej architekturze. Jeśli polityka wykryje ciągły, przechodni łańcuch krawędzi, który zaczyna się w węźle publicznym i kończy w wysoce wrażliwej bazie danych, a wzdłuż którego nigdzie nie dołączono żadnej z kontroli wymaganych przez przedsiębiorstwo, natychmiast zatrzymuje build. Niebezpieczna architektura zostaje zablokowana, zanim zostanie wygenerowana choćby jedna linia kodu infrastruktury.

8. Obserwowalność i zgodność

Aby spełnić rygorystyczne wymogi regulacyjne (np. EU AI Act), architekci platformy mogą wykorzystać system funkcji Aggrega, aby egzekwować obserwowalność AI jako strukturalny wymóg infrastruktury, zamiast polegać na kodzie aplikacji:

  • Rejestrowanie audytowe: Wtyczki Wasm tworzone przez przedsiębiorstwo mogą konfigurować sidecary bramy tak, aby asynchronicznie przesyłały surowe, niezredagowane prompty i odpowiedzi do bezpiecznego zasobnika pamięci WORM (jednokrotny zapis, wielokrotny odczyt), z pominięciem standardowych logów aplikacji.
  • Śledzenie LLM: Funkcje proxy mogą konfigurować płaszczyznę danych tak, aby wyodrębniała i przekazywała dalej nagłówki spanów OpenTelemetry specyficzne dla AI, dzięki czemu złożone pętle rozumowania agentów można wizualizować w zewnętrznych narzędziach.

9. Kompatybilność encji Feature i bezpieczeństwo topologiczne

Ponieważ rdzeń kompilatora jest agnostyczny wobec mechaniki fizycznej infrastruktury, w pełni opiera się na jawnych deklaracjach w katalogu, aby zapobiec generowaniu niekompatybilnych konfiguracji.

  • conflictsWith: Lista, deklarowana w encji katalogowej Feature w sekcji interoperability, encji Features, razem z którymi nie można jej dołączyć. Kompilator porównuje ją z encjami Features, które każdy komponent ostatecznie przenosi, gdy wszystkie zakresy wniosą swój wkład — z własnymi dołączeniami komponentu, z dołączeniami zapisanymi w podsystemie lub granicy, które go zawierają, z dołączeniami we wpisie komponentu w encji Release oraz z dołączeniami wytworzonymi przez rozwinięcie sterowane adnotacjami — i zatrzymuje się przed wyrenderowaniem jakichkolwiek fizycznych artefaktów, gdy jeden komponent przenosi obie (tzn. autor dołącza, bezpośrednio lub poprzez zakres, dwie encje Features, które autor jednej encji Feature jawnie zadeklarował jako niekompatybilne). Wystarczy jedna deklaracja, a encje Features są dopasowywane po nazwie, niezależnie od ich wersji. Kompilator niczego nie wyczytuje z nazw: niekompatybilność jest deklaracją autora, a kontrola jest porównaniem nazw. Sama atomowość i czystość encji Feature pozostają umową społeczną — nic nie sprawdza, czy Feature robi jedną rzecz.

10. Dynamiczne mapowanie topologii (rozwiązywanie zależności)

Aby zbudować graf IR bez zakodowanych na sztywno reguł, kompilator odczytuje go z trzech jawnych deklaracji:

  • Krawędzie uses: programiści łączą komponenty w bloku uses każdej instancji, wskazując komponent docelowy w sockecie, a każda krawędź grafu pochodzi z takiego bloku. Wpis values, który przypadkiem zawiera nazwę innego komponentu, nie tworzy krawędzi: kompilator nie przypisuje wartości żadnego znaczenia.
  • Cele krawędzi: każdy cel uses musi wskazywać komponent, który zawiera build; cel, który nie istnieje, przerywa build, wskazując socket, do którego go podłączono.
  • Bezpieczeństwo typów między węzłami: Ciągi selektorów usesSchema działają jako jawne instrukcje pozapasmowe, ewaluowane natywnie przez silnik dopasowywania etykiet kompilatora Go podczas analizy statycznej. Gwarantują, że programiści nie mogą przypadkowo podłączyć standardowych komponentów do zadeklarowanego gniazda, które wymaga określonej natywnej dla AI zdolności lub etykiety zgodności. Gwarancja z założenia obejmuje tylko zadeklarowane gniazda: selektor znajduje się we wpisie usesSchema, więc gniazdo ad hoc nie ma żadnego selektora do ewaluacji. Każda krawędź zapisuje, czy jej gniazdo zostało zadeklarowane w katalogu, więc operator, który potrzebuje pełnej gwarancji, może jej wymagać jako werdyktu nadzoru.

11. Zautomatyzowane projektowanie systemów agentowych (ADAS)

Zaawansowane systemy AI obejmują metaagentów, którzy piszą kod, aby na bieżąco wymyślać i wdrażać nowych agentów. Ponieważ Aggrega wymaga statycznej architektury kompilowanej z wyprzedzeniem (AOT), rozwiązuje ewolucję infrastruktury w czasie wykonywania za pomocą dwóch jawnych granic:

  • Granica wstępnie przygotowanej piaskownicy: Dla efemerycznych narzędzi wymyślanych w czasie wykonywania architekt definiuje funkcję (np. dynamic-execution-environment). Po jej dołączeniu wtyczka renderująca Wasm generuje konfigurację, która przygotowuje zablokowaną pulę obliczeniową (np. środowisko uruchomieniowe WebAssembly). Metaagent wstrzykuje nowy kod do tej piaskownicy, ale zasięg potencjalnych szkód jest ograniczony przez wygenerowane statyczne polityki sieciowe.
  • Metaagent w roli „programisty” (pętla GitOps): Jeśli metaagent potrzebuje faktycznie nowej fizycznej infrastruktury, działa jako programista. Zapisuje nowy plik Aggregate.yaml i zatwierdza go w Git. To uruchamia standardowy potok CI/CD. Rola werdyktu nadzoru statycznie analizuje topologię zażądaną przez AI i bezpiecznie zatrzymuje build, jeśli AI wygenerowała podatność w wyniku halucynacji.

12. Serializacja modeli i bezpieczeństwo łańcucha dostaw

Wdrożenie modelu open source często oznacza pobranie nieprzejrzystych plików .pkl lub .gguf, które mogą zawierać złośliwy kod. Przedsiębiorstwa mogą traktować bezpieczeństwo łańcucha dostaw modeli jako problem konfiguracji platformy docelowej. Gdy przedsiębiorstwo zdefiniuje funkcję model_provenance w katalogu, jego wtyczka renderująca Wasm może ewaluować konfigurację i przekształcić ją w artefakty środowiska uruchomieniowego (np. polityki Kyverno dla Kubernetes), dzięki czemu docelowy klaster jest skonfigurowany tak, aby blokować orkiestratorowi pobieranie niepodpisanych lub niezweryfikowanych wag modeli.