Перейти до вмісту
AggregaAggrega
Обрати мову: Українська
Цю сторінку перекладено машинним способом. Читати оригінал англійською.

Features для ШІ

Набір Feature для ШІ в Aggrega

Щоб відповідати особливим вимогам, мінливості та загрозам безпеці сучасних систем ШІ, Aggrega вбудовує спеціалізований інтелект безпосередньо у свою відкриту стандартну бібліотеку ШІ (Каталог). Це гарантує, що як загальна cloud-native основа, так і вузькоспеціалізовані ШІ-нативні механізми міркування безпечно співіснують.

Основний компілятор на Go — це універсальний маршрутизатор, нейтральний щодо вмісту; увесь специфічний для ШІ інтелект міститься в підключуваних політиках WebAssembly (Wasm) і в оголошеннях JSON Schema 2020-12, які архітектори платформи створюють на сутностях Каталогу.

1. Операційна хмарна онтологія та качина типізація для ШІ

Щоб поєднати загальну Open Application Model (OAM) зі суворими реаліями сучасної інфраструктури, мітка component.aggrega.ai/type відображається виключно на закритий набір універсальних cloud-native примітивів. Саме цю семантичну ідентичність читають селектор сокета, appliesTo сутності Feature і політика врядування, щоб знати, як компонент обробляє стан, вхідний мережевий трафік і життєві цикли; компілятор зіставляє її як непрозорий рядок і не розгалужується за нею, а те, як рендериться компонент, визначає сутність Recipe, з якою сутність Manifest його зіставляє.

Cloud-native типи (інфраструктурна основа):

  • server: тривало працюючі обчислення без стану, які очікують вхідного трафіку застосунку (наприклад, AI Gateway або Chat UI).
  • worker: тривало працюючі обчислення без стану, які забирають завдання з черг або виконують фонові цикли без жодних вхідних портів застосунку (наприклад, агент LangGraph або воркер Celery).
  • task: ефемерні обчислення, які виконуються до завершення і зупиняються (наприклад, скрипти міграції БД).
  • function: подієво-керовані обчислення, що масштабуються до нуля (наприклад, AWS Lambda).
  • stateful-server: обчислення в кластері, що потребують стабільних мережевих ідентичностей і постійних дисків (наприклад, векторна база даних Qdrant, брокер Kafka).
  • resource: зовнішня інфраструктура, керована платформою (наприклад, AWS RDS PostgreSQL, бакети S3, хостована шина подій).

Набір належить Aggrega і є закритим. Опублікована схема сутності Component перелічує ці значення, а документ із будь-яким іншим значенням відхиляється під час завантаження — E0215 називає мітку й перелічує, які значення вона приймає. Саме це дає вісь: Feature або селектор сокета, написаний щодо stateful-server, означає те саме в кожному каталозі, з яким стикається.

Те, чим компонент є у вашому власному словнику, записується у ваш власний ключ. Рівень, зона даних, клас сервісу, дрібніший поділ примітивів — кожне з них є ключем мітки, який ви створюєте поруч із зарезервованим, оскільки схема сутності Component приймає будь-який додатковий ключ мітки з рядковим значенням, і кожна поверхня селекторів зчитує його однаково. Це той самий механізм, який уже використовують описані нижче мітки качиної типізації для ШІ; зарезервований ключ — це спільна основа, а все, що над нею, належить вам.

Операційний тип — це не категорія для перегляду, і це навмисно окремі осі. Брокер Kafka перебуває в категорії messaging — там, де користувач його шукає, — і має stateful-server як свій тип, тому що саме це інфраструктура мусить для нього забезпечити. Селектор, написаний щодо однієї осі, ніколи не збігається на іншій.

Таблиці таксономії семантичних міток див. у entities/component — мітки Generic Cloud Layer, Specialized AI Layer, Cross-Cutters і Dynamic Business Context, якими архітектори нашаровують когнітивну ідентичність поверх базових типів.


1.1 Стандарт відкритого каталогу: «Гола основа, спеціалізовані краї»

Під час застосування цих міток існує критична відмінність між Офіційним відкритим каталогом Aggrega (core/*) і Приватним корпоративним каталогом (acme/*).

Щоб офіційний відкритий каталог залишався універсально придатним, він має суворо розрізняти незмінну технічну фізику і суб’єктивний когнітивний намір. Якщо в універсальний core/datastore/postgres жорстко закодовано engine: relational, плагін вердикту врядування, налаштований на примусову відповідність типу сховища даних, зупинить збірку, коли розробник увімкне розширення pgvector у своїх values і спробує під’єднати агента ШІ, якому потрібне сховище даних vector.

Щоб основний каталог залишався без власної позиції, офіційні компоненти дотримуються такого стандарту: залишайте основу голою, а краї спеціалізуйте.

  1. Гола основа: відкрита сутність Component кореневого рівня жорстко кодує лише те, що об’єктивно істинне для продукту і не може бути змінене нічим, що налаштовує автор, — насамперед і завжди операційний примітив (component.aggrega.ai/type). База даних Postgres об’єктивно є stateful-server; цей факт не може змінитися. Той самий критерій допускає мітку можливості там, де ідентичністю продукту є ця можливість: core/datastore/qdrant і core/datastore/weaviate — це рушії векторного пошуку, і ніщо, що пише автор, не робить їх чимось іншим, тож кожен із них має datastore.aggrega.ai/engine: vector на основі, так само як core/datastore/redis має kv. Те, що гола основа відкидає, — протилежний випадок: ознака, яка залежить від того, як компонент налаштовано або використовується, і для якої існує третій механізм, описаний нижче.
  2. Спеціалізовані інтерфейси (успадкування схеми): сутність Component може оголосити extends, назвавши іншу сутність Component своєю основою, і те, що при цьому компонується, — це структура: мітки, анотації, слоти вкладень, список дозволених самоін’єкцій, сокети топології та іменовані assertions. Три стовпи даних не компонуються — сутність Component, що розширює, записує буквальний маркер schema: inherited і не створює власного вмісту values, infra чи provides, тож її контракт ідентичний контракту основи. Саме тому механізм звужує, а не варіює: оскільки контракт не змінюється, кожна сутність Recipe, написана для основи, уже обслуговує спеціалізацію, а спеціалізація коштує одну сутність каталогу та один рядок відображення в сутності Manifest. Отже, те, що додає спеціалізація, — це ідентичність, яку зчитує селектор або політика: рівень аудиту, зона даних, контакт із питань врядування або сокет, чий селектор допускає менше, ніж селектор основи. Вона не може додати інший контракт, бо не має поверхні, на якій могла б його створити. Один наслідок легко пропустити: рядок відображення все одно потрібен. Вибір сутності Recipe здійснюється за точним ключем відображення, тож спеціалізації потрібен власний запис mappings.components.type, навіть якщо їй не потрібна власна сутність Recipe. Див. examples/extends-wrapper — опублікований wrapper, що додає мітку перевіреного рівня й звужує на її основі сокет, разом зі збіркою, яка зупиняється, коли ребро, під’єднане до цього сокета, виходить за межі рівня. Ознака, що залежить від того, як налаштовано компонент, не є предметом цього механізму: спеціалізація закріплює артефакт своєї основи й успадковує її контракт, тож ознака, істинна для спеціалізації, уже істинна для основи, де її розміщує правило голої основи. Така ознака належить до динамічного мутатора, описаного нижче.
  3. Динамічний мутатор (Wasm-просування): якщо ознаку диктує корисне навантаження розробника (наприклад, enable_vector: true), підприємство використовує роль label-transform сокета врядування під час побудови топології, щоб динамічно прочитати непрозорі values і автоматично вставити мітку datastore.aggrega.ai/engine: vector у граф IR до запуску політик. Саме тут ознака, що залежить від конфігурації, стає доступною для суворого обчислення політик — її просувають values, оголошені розробником, а перетворення виконується до того, як будь-яка політика прочитає мітку.

Корпоративний виняток: оскільки компілятор без власної позиції, підприємства, що створюють власні внутрішні каталоги, можуть вільно порушувати це правило. Якщо корпоративна політика безпеки вимагає, щоб усі внутрішні бази даних вважалися високочутливими, архітектор платформи може і повинен жорстко закодувати compliance.aggrega.ai/data-class: restricted (або подібну мітку, визначену компанією) безпосередньо у своєму базовому компоненті acme/postgres, щоб кожен його екземпляр мав цей клас, а політика, яку під’єднує підприємство, зчитувала його на кожному з них. Сама мітка нічого не примушує: компілятор переносить її як рядок, а збірку зупиняє саме під’єднана політика. Там, де такі дані містять лише деякі з використань продукту в межах ІТ-ландшафту, клас натомість несе спеціалізація через extends — див. examples/policy-data-class-route, де асистент зі страхових вимог — це агент LangGraph зі стандартної бібліотеки плюс одна мітка класу, поруч із політикою, яка її зчитує.

1.2 Як семантичні мітки керують конвеєром компілятора

Щоб мітки залишалися в домені архітектора платформи, розробники не можуть записувати мітки на своїх екземплярах Component всередині Aggregate: схема сутності Aggregate не дає екземпляру компонента ключа labels. Мітки вузла — це мітки його сутності каталогу разом із тими, які під час побудови топології додає вкладення врядування label-transform, налаштоване оператором. Ось як саме ці мітки керують конвеєром компіляції без потреби у власному коді на Go:

1. component.aggrega.ai/type (базовий примітив)

  • Хто її записує? Архітектор платформи (домен 2). Вона обов’язкова для кожного компонента в каталозі.
  • Хто її споживає? Статичний аналізатор і Plugins рендерингу Wasm.
  • Застосування в компіляторі: це основна операційна хмарна онтологія. Статичний аналізатор нативно на Go обчислює рядки селекторів usesSchema, щоб гарантувати, що розробник не зможе під’єднати агента до стандартної бази даних, якщо сокет вимагає певної можливості ШІ. Крім того, DevOps використовує цю мітку, щоб явно спрямовувати примітиви зі станом (stateful-server, resource) у фізичні межі кластера, які підтримують постійні диски, а роль вердикту врядування може вимагати, щоб компоненти зі станом ніколи не розміщувалися в суто ефемерних межах.

2. model.aggrega.ai/capability

  • Хто її записує? Архітектор платформи.
  • Хто її споживає? Статичний аналізатор (через селектори міток у стилі Kubernetes у сокетах usesSchema).
  • Застосування в компіляторі: коли архітектор створює селектор usesSchema, що називає потрібну мітку можливості, нативний механізм зіставлення міток компілятора відхиляє з’єднання, які не задовольняють селектор, ще до генерації артефактів. Компілятор розглядає ці мітки як непрозорі рядки; семантичне значення «text-generation» на противагу «embedding» закладене в тому, як архітектор створює селектор.

3. component.aggrega.ai/hosting

  • Хто її записує? Архітектор платформи.
  • Хто її споживає? Механізм політик (роль вердикту врядування), Plugins рендерингу Wasm і власні компоненти стандартної бібліотеки, що викликають модель або агента: її агенти, чиє твердження зчитує мітку на кожному з’єднанні model, core/ai-tool/agent-invocation, чиє твердження зчитує її на його з’єднанні target_agent, як і його реалізація для Kubernetes, що відмовляє в облікових даних агенту external, до якого звертаються через http, шлюз ШІ, чиє твердження зчитує її на кожному з’єднанні з його сокетами models і cache_store, а також core/gateway/kong, core/gateway/kong-enterprise, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/traefik-hub, core/gateway/agentgateway і core/gateway/higress, чиї твердження зчитують її на кожному з’єднанні з їхніми сокетами models, а також із backend обох Kong, із сокетами cache_store APISIX і Traefik Hub та із сокетами cache Envoy Gateway, Higress і Traefik Hub — див. «Ключ, який пред’являє клієнт» нижче.
  • Застосування в компіляторі: вона фіксує, хто експлуатує базовий ресурс компонента, дозволяючи політиці, яку під’єднує оператор, оцінювати ризик ексфільтрації даних; компілятор читає значення як рядок і нічого не оцінює. Коли агент, чия мітка класу вказує, що він містить дані internal, під’єднується до моделі з міткою managed — сервісу, що експлуатується поза власною межею сутності Release, — така політика може прочитати, що дані залишають цю межу, і зупинити збірку, якщо з’єднання не спрямоване через шлюз ШІ з core/data-masking, який маскує текст чату й доповнень, що пересилає шлюз. Сокет model агента приймає такий шлюз замість моделі, тож цей маршрут є ребром графа, який читає політика, а модель, яку шлюз обслуговує зі свого сокета models, є окремим ребром — від шлюзу до компонента моделі, мітки якого читає політика, — тож шлях від агента через шлюз до моделі managed присутній у графі від початку до кінця. Upstream, уписаний вручну в мапу моделей шлюзу, — ні: це рядок, який компілятор не розв’язує, тож політика, що читає граф, бачить шлюз і нічого за ним. examples/policy-data-class-route — саме така політика: її налаштування відносять модель managed до класу public, і вона зупиняє збірку, у якій асистент із даними restricted досягає такої моделі без маскувального шлюзу на маршруті. Це наскрізна ознака: ті самі значення self-hosted | managed | external описують керовану базу даних або самостійно розгорнутий сервер інференсу так само, як і модель, тому мітка розташована в спільному просторі імен component.aggrega.ai/, а не в просторі, специфічному для моделей.

4. agent.aggrega.ai/autonomy

  • Хто її записує? Архітектор платформи.
  • Хто її споживає? Механізм політик (роль вердикту врядування).
  • Застосування в компіляторі: вона визначає ризик виконання когнітивного циклу. Якщо агент має мітку autonomous (тобто виконує фонові цикли без запитів користувача) і під’єднується до високочутливої бази даних, механізм політик може зупинити збірку, якщо автор не під’єднає ту Feature схвалення чи стримування, якої вимагають власні правила підприємства, щоб цикл без нагляду не міг дістатися цих даних без перевірки.
  • Що означає компонент без мітки на цій осі, адже відсутність є навмисною. Мітка описує ризик виконання когнітивного циклу, тож компонент, який не містить власного циклу, не має тут жодного значення, а не нижчого з двох. Чимало компонентів у категорії агентів не мають мітки саме з цієї причини: допоміжні частини, які платформа агентів постачає поруч зі своїм сервером, — консоль у браузері, запуск міграції схеми, task worker, пісочниця для коду, проксі вихідного трафіку — перебувають у цій категорії, бо саме там ви їх шукаєте, тоді як цикл, який вони підтримують, живе в сервері платформи, і саме там стоїть мітка. Найочевидніший випадок — один продукт, розділений між обома підходами: сервер платформи має copilot, а пісочниця для коду, що постачається поруч, не має нічого. Критерій — де живе цикл, а не яку форму має частина, тож середовище виконання, що хостить код агента, наданий вами, теж не має мітки: цикл там — це те, що ви в ньому розгорнете, а не щось, що стверджує продукт. Тому селектор, що називає будь-яке з двох значень, збігається з компонентами, які містять цикл, і ні з якими іншими, а селектор, написаний для збігу з будь-яким рівнем автономності, пропускає допоміжні частини, а не вважає їх найменш автономними елементами розгортання.

5. gateway.aggrega.ai/intelligence

  • Хто її записує? Архітектор платформи.
  • Хто її споживає? Статичний аналізатор і створені підприємством плагіни-лінтери Wasm.
  • Застосування в компіляторі: вона визначає, які функції маршрутизатор може фізично підтримувати. Feature для ШІ fallback-chain оголошує appliesTo: gateway.aggrega.ai/intelligence=semantic, а статичний аналізатор обчислює цей селектор щодо міток цільового компонента до рендерингу будь-якого артефакту. Якщо розробник під’єднає її до стандартного шлюзу l4-mesh, збірка зупиняється з порушенням селектора, яке називає Feature і селектор, якого вона не задовольнила, тому що архітектор створив цей селектор, знаючи, що стандартна TCP-сітка не може розбирати JSON-навантаження LLM, щоб прочитати модель, названу в запиті. Відмова ґрунтується на відсутності semantic, а не на наявності l4-mesh, тому вона так само діє на маршрутизаторі, що взагалі не має мітки інтелекту. Компілятор розглядає мітку як непрозорий рядок, так само як вище: значення semantic закладене в тому, як архітектор створює селектор. На маршрутизаторі, що має semantic, під’єднання проходить селектор, а що відбувається далі, залежить від його реалізації: реалізація зі стандартної бібліотеки записує ланцюжок у конфігурацію маршрутизації шлюзу ШІ.
  • Що містить стандартна бібліотека. Ці компоненти мають semantic: core/gateway/litellm, реалізація якого рендерить таблицю маршрутизації проксі — мапу моделей над кількома upstream-провайдерами; core/gateway/cloudflare-ai-gateway, хостований шлюз Cloudflare, що читає кожен запит до моделі, який пересилає, — модель, яку він називає, токени, за які виставляється рахунок, і, коли ввімкнено власні перевірки шлюзу, його вміст; core/gateway/azure-api-management, шлюз ШІ в Azure API Management, хостований сервіс, що читає кожен запит до моделі на API, який обслуговує модель, — промпт, який порівнює його семантичний кеш, токени, про які повідомляє відповідь, і вміст, який його перевірка безпеки надсилає на інспекцію; core/gateway/apisix, проксі ШІ якого читає тіло кожного запиту на маршруті, що обслуговує модель, і токени, про які повідомляє відповідь моделі; core/gateway/envoy-gateway, розширення Envoy AI Gateway якого читає тіло кожного запиту на маршруті, що обслуговує під’єднані до нього моделі, щоб знайти названу модель, а також токени, про які повідомляє кожна відповідь; core/gateway/kong-enterprise, Kong Gateway Enterprise, проксі ШІ якого читає тіло кожного запиту на маршруті, що обслуговує під’єднану модель, — названу модель і повідомлення, які він несе, — а також токени, про які повідомляє кожна відповідь; core/gateway/traefik-hub, Traefik Hub, middleware Chat Completion якого читає тіло кожного запиту на маршруті, що обслуговує під’єднану модель, перевіряє його за схемою chat completion і читає токени, про які повідомляє кожна відповідь; core/gateway/agentgateway, agentgateway, який читає тіло кожного запиту на своїх шляхах обслуговування моделей, щоб знайти названу модель, — саме так він вибирає під’єднану модель, до якої надсилається запит, — а також токени, про які повідомляє кожна відповідь; і core/gateway/higress, Higress, проксі ШІ якого читає тіло кожного запиту на маршруті, що обслуговує під’єднану модель, — названу модель і те, чи використовується потокова передача, — а плагіни якого читають токени, про які повідомляє кожна відповідь, — тож Features для ШІ, які вимагають цього значення, розв’язуються щодо будь-якого з них, і кожна реалізація вказує, що з цього підтримує її шлюз, або зупиняє збірку там, де її шлюз не підтримує нічого з цього; Feature без реалізації для певного шлюзу зупиняє там збірку, називаючи свій тип. Жоден компонент не має l4-mesh, а інші компоненти шлюзів зі стандартної бібліотеки взагалі не мають мітки інтелекту: ті, що маршрутизують трафік, термінують HTTP і маршрутизують на рівні 7, а один із них є площиною керування, яка взагалі нічого не маршрутизує, тож жодне з двох значень його не описує. TCP-сітка рівня 4 — це ще інший клас продуктів. Тому описана вище відмова залишається повністю чинною, адже вона ґрунтується на відсутності semantic: під’єднання, що вимагає цього значення, зупиняється на будь-якому з них. Архітектор, чий каталог справді запускає сітку рівня 4, ставить на цей компонент l4-mesh, що робить розрізнення доступним для вибору в обох напрямках.
  • Ця вісь називає рівень продукту, а це інше питання, ніж те, що компонент може робити з трафіком, і читати її в другому значенні — це помилка, до якої вона спонукає. semantic означає, що маршрутизатор розбирає тіло запиту, а саме це потрібно контролю, який діє на модель, названу в запиті, — тож для цього це правильна вісь. Вона нічого не каже про те, чи може маршрутизатор копіювати трафік, передавати ідентичність того, хто викликає, перевіряти сертифікат upstream, відхиляти prompt, що відповідає списку шаблонів, або вести бюджет за період, і сутності Feature, якій потрібна одна з цих можливостей, немає чого питати про рівень: більшість компонентів, які їх пропонують, — це звичайні проксі рівня 7 без жодного значення intelligence, а там, де маршрутизатор semantic пропонує одну з них, він пропонує її з причин, яких рівень не фіксує. Отже, рівень охоплює хибну множину в обох напрямках — він повністю виключає прості проксі й нічого не каже про те, які можливості насправді має AI-шлюз, який він охоплює. Це питання належить до осі шляху даних, описаної нижче, і обидві осі поєднуються — сутність Feature може вимагати маршрутизатор semantic, який також виконує дзеркалювання, назвавши обидва значення.

6. tool.aggrega.ai/impact

  • Хто її записує? Архітектор платформи.
  • Хто її використовує? Рушій політик і Plugins Wasm для рендерингу.
  • Застосування в компіляторі: Перенесення цієї інформації зі змінного блоку values розробника до незмінної ідентичності міток дає рушію політик змогу оцінювати суворі конфігурації з мінімальними привілеями. Плагін рендерингу може згенерувати стандартні дозволи invoke для інструмента вебпошуку read-only, але вимагати суворих конфігурацій криптографічного підпису для виклику інструмента mutating, що виконує SQL drop.

7. compliance.aggrega.ai/data-class

  • Хто її записує? Архітектор платформи власного каталогу ІТ-ландшафту організації (або вона динамічно додається через роль керування label-transform).
  • Хто її споживає? Механізм політик (роль вердикту врядування).
  • Застосування в компіляторі: Вона надає даним, що зберігає компонент, ідентичність у межах керування, за якою політика може стежити вздовж графа. Компілятор переносить мітку до графа IR як рядок і нічого не ранжує: він не знає, що restricted чутливіше за public, ані того, що будь-яке з цих слів щось означає. Політика, приєднана до ролі ir-verdict, задає це значення у власних налаштуваннях — які класи існують і як вони ранжуються — і читає мітку на компонентах маршрутів, які компілятор перелічує вздовж ребер uses, тож вона може зупинити збірку, у якій компонент із даними restricted досягає компонента іншого класу маршрутом, на якому не приєднано жодної сутності Feature, яку політика вважає такою, що знижує клас, наприклад core/data-masking на AI-шлюзі, через який проходить маршрут. Перелік обмежений для кожного початкового компонента й не містить нічого за межею, тож маршрут, який читає політика, реальний, тоді як відсутність маршруту не доводить, що його не існує. examples/policy-data-class-route — це саме така політика, написана для рушіїв Rego і CEL, вкомпільованих у CLI, і для OPA, зі збірками, що зупиняються, і збіркою, що завершується, поруч.
  • Що містить стандартна бібліотека. Жодна сутність Component core/ не має цієї мітки. Клас даних компонента — це твердження про те, як організація використовує компонент, а не властивість продукту, істинна в кожній сутності Release, тому за правилом Naked Base мітка лишається поза базою: організація розміщує її на власній сутності Component — спеціалізації через extends, як-от асистент зі страхових випадків у розібраному прикладі, або власній базі в межах описаного вище Enterprise Exception.

8. hardware.aggrega.ai/accelerator

  • Хто її записує? Архітектор платформи. Пакуючи компонент локальної моделі, він знає, що для роботи тому принципово потрібен GPU.
  • Хто її використовує? DevOps (домен 4).
  • Застосування в компіляторі: DevOps явно спрямовує компоненти з міткою GPU до меж пулів фізичного обладнання в Release через мапу components: {}. Розробник просто запитує когнітивну модель у своєму Aggregate, а DevOps розміщує її в межі дорогого кластера GPU, повністю зберігаючи розділення відповідальності. Роль вердикту керування може додатково вимагати, щоб жоден компонент із цією міткою ніколи не розміщувався в межі без інфраструктури GPU.

9. datastore.aggrega.ai/engine

  • Хто її записує? Архітектор платформи, на компонентах категорії datastore (статично, на flavored-спеціалізації або через роль label-transform, коли values розробника підвищують роль). Значення, що використовуються в каталозі: relational, document, kv, vector, graph, semantic-memory, search. Кожне значення називає рушій зберігання, яким продукт є, — search називає рушій пошуку й аналітики, який також індексує вектори, — тож риса, що живе у власній схемі та шаблоні доступу застосунку, а не в жодному розгортуваному сховищі, не є значенням на цій осі.
  • Хто її використовує? Статичний аналізатор (через рядки селекторів) і рушій політик.
  • Застосування в компіляторі: Селектори націлюються на семантику зберігання, а не на продукти, — сокет бази знань агента вибирає datastore.aggrega.ai/engine in (vector, semantic-memory, search), а рушій політик може відхилити маршрутизацію SQL-навантажень до векторного рушія. Релевантність для AI у сховищах даних подвійного призначення виводиться з цієї мітки й ніколи не зберігається як окреме булеве значення.
  • Що містить стандартна бібліотека. core/datastore/qdrant, core/datastore/weaviate, core/datastore/chroma, core/datastore/pgvector і core/datastore/milvus мають vector, core/datastore/cognee має semantic-memory, а core/datastore/opensearch і core/datastore/elasticsearch мають search, тож наведений вище селектор бази знань розв’язується щодо кожного з них. core/datastore/redis, core/datastore/valkey і core/datastore/memcached мають kv. Кожна з цих міток розміщена на власній базі компонента, бо ідентичність продукту — це саме цей рушій. Для core/datastore/pgvector ця ідентичність — артефакт, який він закріплює: він запускає власний образ PostgreSQL проєкту pgvector, що містить розширення, і кожна сутність Recipe вмикає розширення в базі даних, яку створює компонент, — тож його векторна риса не залежить від налаштування, і саме це відрізняє його від описаного вище в «Naked Base, Flavored Edges» налаштовуваного випадку, де PostgreSQL загального призначення отримує цю рису лише тоді, коли розробник вмикає розширення. relational, document і graph не мають компонента в стандартній бібліотеці, тож селектор, що називає лише значення з-поміж них, тут нічому не відповідає і задовольняється каталогом, який такий компонент містить.

10. pipeline.aggrega.ai/mode

  • Хто її записує? Архітектор платформи, на компонентах категорії pipeline. Кожне значення називає, як продукт виконує багатокрокове завдання, і значення йдуть за компонентами, що їх мають, а не за наперед визначеним списком. Стандартна бібліотека містить два: durable на core/ai-pipeline/temporal, рушій якого записує результат кожного кроку як історію подій і відтворює її, тож завдання, worker якого аварійно завершився, продовжує з того місця, де зупинилося; і reconciled на core/ai-pipeline/argo-workflows, контролер якого запускає кожен крок як pod із ресурсу workflow, що зберігається у власному API кластера.
  • Хто її використовує? Рушій політик і Plugins Wasm для рендерингу.
  • Застосування в компіляторі: Дає політикам і рендерерам змогу розрізняти рушії конвеєрів за тим, як запуск переживає збій, — відтворена історія подій або узгоджений ресурс кластера, — а не за назвою продукту.

11. dataplane.aggrega.ai/* (Можливості шляху даних)

  • Хто її записує? Архітектор платформи, на будь-якому компоненті, що стоїть на шляху трафіку, — зворотному проксі, вхідному шлюзі, service mesh, AI-шлюзі.
  • Хто її використовує? Статичний аналізатор, через appliesTo сутності Feature і селектор usesSchema сокета.
  • Застосування в компіляторі: Вона відповідає на питання, що цей компонент може робити з трафіком, а саме це насправді потрібно знати контролю під час виконання і саме цього не може сказати мітка рівня продукту. core/traffic-shadowing, який копіює живі запити до другого сервісу для оцінювання, оголошує appliesTo: dataplane.aggrega.ai/request-mirroring — лише ключ, — і статичний аналізатор оцінює це щодо міток цілі до того, як щось буде відрендерено, тож приєднання його до компонента, який узагалі не вміє дзеркалювати, зупиняє збірку з порушенням селектора, що називає сутність Feature і селектор, якому вона не відповіла. Компілятор вважає кожен із цих рядків непрозорим, точно так само, як і решту.
  • Чому префікс називає шлях трафіку, а не вид компонента. Дзеркалювання, ідентичність того, хто викликає, і перевірка upstream не є властивостями шлюзу — це властивості будь-чого, що стоїть на шляху запиту, і service mesh, доданий до каталогу, має всі три. Назвати родину за видом компонента, який випадково мав їх першим, означало б змусити кожен наступний вид повторювати той самий словник під власним префіксом, залишивши одну можливість із кількома назвами й без селектора, здатного охопити їх усі.
  • Чому точність записано в значенні. Два компоненти можуть обидва дзеркалювати запити й усе ж відрізнятися так, як це важливо для сутності Feature: один копіює кожен відповідний запит, інший — налаштовувану частку з них. Ключ, який казав би лише, чи компонент дзеркалює, допустив би обидва й залишив би різницю для виявлення після рендерингу. Розміщення точності в значенні дає змогу запитувати її тим із двох способів, який підходить сутності Feature. Сутність Feature, яка взагалі не може працювати без певної точності, називає це значення у своєму селекторі. Сутність Feature, яка працює й за нижчої точності, вибирає лише за ключем, а її реалізація відхиляє налаштування, якого компонент не може виконати: копіювання всього потоку працює на кожному компоненті, що дзеркалює, тож core/traffic-shadowing приєднується до всіх них, а реалізація для компонента, що оголошує full-rate, відхиляє частку нижче 100 повідомленням, яке називає запитану частку й точність, оголошену компонентом, — дві речі, яких порушення селектора не каже. Тому значення виводяться з того, що реалізують наявні на ринку продукти, а не складаються як таксономія: request-mirroring має full-rate і sampled, бо реальні проксі діляться саме так — один пропонує налаштування частоти копіювання, а інший не пропонує жодного.
  • Значення стверджує можливість, а ніколи не налаштований стан. Для розробника обидва читаються однаково, і лише одне з них є властивістю компонента. Проксі, здатний перевіряти сертифікат upstream, має upstream-tls: trust-anchor незалежно від того, чи вмикає якесь розгортання цю перевірку, — мітка є тим, за чим сутність Feature вибирає, перш ніж щось налаштовано, тож навантаження її конфігурацією зробило б її нечитабельною саме в мить, коли вона використовується.
  • Що містить стандартна бібліотека. core/gateway/nginx має request-mirroring: full-rate, upstream-tls: trust-anchor і concurrency-cap: total — одне обмеження на всі запити, які він пересилає. core/gateway/contour має request-mirroring: sampled, caller-identity: client-certificate і upstream-tls: trust-anchor. core/gateway/envoy-gateway має ті самі три значення, що й core/gateway/contour, а також period-budget: tokens, що рахує токени, про які повідомляє кожна відповідь моделі, яку він обслуговує через Envoy AI Gateway, і concurrency-cap: per-target — обмеження на запити в обробці до кожної моделі, яку він обслуговує. core/gateway/kong має upstream-tls: trust-anchor і prompt-guard: pattern-list: його AI Prompt Guard звіряє повідомлення запиту до моделі зі списками, що містять його маршрути. core/gateway/tyk має upstream-pinning: public-key, яке вибирає core/upstream-key-pinning. core/gateway/litellm має caller-identity: injected-header, content-masking: entity-recognition, period-budget: cost, prompt-guard: pattern-list, upstream-tls: trust-anchor і concurrency-cap: per-target — обмеження на запити в обробці до кожного запису його мапи моделей. core/gateway/cloudflare-ai-gateway має period-budget: cost. core/gateway/apisix має period-budget: tokens, що рахує токени, про які повідомляє відповідь кожної моделі, нічого не оцінюючи в грошах, і prompt-guard: pattern-list. core/gateway/kong-enterprise має period-budget: tokens, що рахує токени, про які повідомляє відповідь кожної моделі, і content-masking: entity-recognition. core/gateway/traefik-hub має content-masking: entity-recognition і prompt-guard: pattern-list: його middleware Content Guard маскує збіги шаблонів, що містить його конфігурація, або типи сутностей, які виявляє аналізатор Presidio, який він викликає, або відхиляє запит, якому відповідає шаблон, — а також period-budget: cost із цінами з поданого з його middleware квот прейскуранта для кожної моделі, який натомість може рахувати токени, про які повідомляє кожна відповідь. core/gateway/agentgateway має content-masking: pattern-list і prompt-guard: pattern-list: його захист на основі регулярних виразів маскує або відхиляє збіги шаблонів, що містить його конфігурація, і не розпізнає жодних типів сутностей, — а також period-budget: cost, бюджети, які він веде для кожного ключа API в доларах США з цінами з його каталогу вартості моделей або в токенах. core/gateway/higress має content-masking: pattern-list: його плагін ai-data-masking маскує збіги шаблонів, що містить його конфігурація, у тексті повідомлень запиту чату й не розпізнає жодних типів сутностей, — а також period-budget: tokens, що разом рахує токени prompt і completion, про які повідомляє кожна відповідь, нічого не оцінюючи в грошах. core/gateway/azure-api-management має period-budget: tokens, що разом рахує токени prompt і completion, про які повідомляє кожна відповідь, з окремим підрахунком на кожному шлюзі екземпляра, нічого не оцінюючи в грошах. core/security/nemo-guardrails і core/security/trustyai-guardrails-gateway, два захисники, що стоять на шляху моделі й оцінюють запит навченим класифікатором, мають prompt-guard: classifier, яке вибирають сокети guard AI-шлюзу та шлюзу NGINX. AI-шлюзи серед них — core/gateway/litellm, core/gateway/cloudflare-ai-gateway, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/kong-enterprise, core/gateway/traefik-hub, core/gateway/agentgateway, core/gateway/higress і core/gateway/azure-api-management — мають semantic, а решта не має жодного значення gateway.aggrega.ai/intelligence, і це розділення в дії, а не виняток із нього: сутність Feature, якій потрібне дзеркалювання, охоплює три компоненти, що його мають, тоді як селектор рівня продукту охопив би серед них лише Envoy Gateway, з причини, яка нічого не каже про дзеркалювання, а сутність Feature, якій потрібен захист prompt, маскування вмісту чи бюджет за період, охоплює AI-шлюз за тим, що він може робити, а не за рівнем, на якому він стоїть, тоді як та, що обмежує запити в обробці, охоплює шлюз NGINX, який не має значення рівня, так само як охоплює Envoy Gateway і AI-шлюз, а та, що відхиляє запит за списком шаблонів, охоплює Kong з відкритим кодом, який теж його не має, так само як охоплює APISIX. Компонент, якому нічого описати на одній із цих осей, не має там жодного значення замість найслабшого, тож селектор, що називає будь-яке значення на цій осі, слушно до нього не приєднується.

12. security.aggrega.ai/text-anonymization

  • Хто її записує? Архітектор платформи, на сервісі, що бере участь у маскуванні чутливого тексту. Там, де цю роботу розподілено між двома сервісами, analyzer ставиться на той, що знаходить чутливі фрагменти в тексті й повідомляє про них, а anonymizer — на той, що переписує передані йому фрагменти; sanitizer ставиться на сервіс, що робить і те, і те за один виклик: знаходить чутливі фрагменти в надісланому йому тексті, сам їх переписує й відповідає переписаним текстом.
  • Хто її використовує? Статичний аналізатор, через селектор usesSchema сокета.
  • Сценарій використання в компіляторі: так споживач отримує правильну адресу. core/gateway/litellm оголошує сокет pii_analyzer, що вибирає security.aggrega.ai/text-anonymization=analyzer, і сокет pii_anonymizer, що вибирає значення anonymizer, тож під’єднання будь-якого з цих сервісів до сокета іншого зупиняє збірку з порушенням селектора, яке називає сокет. core/gateway/kong-enterprise оголошує один сокет, pii_sanitizer, що вибирає значення sanitizer, а core/gateway/traefik-hub — один, pii_analyzer, що вибирає лише значення analyzer, бо Content Guard, який його Recipe для chart записує для core/data-masking, сам замінює те, що знаходить аналізатор. Компілятор маршрутизує адресу, яку публікує вибраний компонент, і нічого не перевіряє щодо того, що за нею відповідає.
  • Що містить стандартна бібліотека. core/security/presidio-analyzer має analyzer, а core/security/presidio-anonymizer — anonymizer. Обидва підтримують HTTP API Presidio, який викликає AI-шлюз, коли приєднання core/data-masking або власне значення values.log_masking шлюзу перелічує типи сутностей, а Content Guard у Traefik Hub викликає лише аналізатор, коли їх перелічує приєднання core/data-masking на цьому шлюзі. core/security/kong-ai-pii-service має sanitizer і підтримує API сервісу AI PII від Kong, який AI PII Sanitizer у Kong Gateway Enterprise викликає з кожним текстом, що його маскує, включно зі своїми регулярними виразами, доки на цьому шлюзі є приєднання core/data-masking. Sanitizer не надає йому жодних облікових даних, і кожен текст надходить до нього незамаскованим, тому його адреса є внутрішньокластерною і не призначена для відкриття за межі кластера.

13. model.aggrega.ai/api

  • Хто це записує? Platform Architect — на кожному компоненті категорії model і на шлюзі, що обслуговує API моделей. Значення вказує, який API моделей відповідає за адресою, яку публікує компонент: openai, якщо це API OpenAI — власний API постачальника або його реалізація сервером, — anthropic, якщо це Messages API від Anthropic, gemini, якщо це Gemini API від Google, і native, якщо це власний API продукту й жоден із названих, до якого споживач звертається через клієнт цього продукту. Кожне значення береться з власної довідкової документації продукту, і компонент має його незалежно від того, що налаштовує конкретна сутність Release.
  • Хто це використовує? Static Analyzer — через селектор usesSchema сокета, а також твердження AI-шлюзу, core/gateway/kong, core/gateway/kong-enterprise, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/traefik-hub, core/gateway/agentgateway і core/gateway/higress для кожного з’єднання з їхніми сокетами models.
  • Сценарій використання в компіляторі: саме це дає змогу одному сокету приймати або модель, або шлюз, що обслуговує моделі. Сокет model кожного агента, крім п’яти середовищ виконання, названих нижче, сокет target_model компонента core/ai-tool/model-invocation і два сокети моделей компонента core/datastore/cognee вибирають component.aggrega.ai/category in (ai-model, gateway), model.aggrega.ai/api: вимога категорії допускає обидві категорії, а вимога ключа допускає серед їхніх компонентів лише ті, що мають цю мітку, тож під’єднання такого сокета до шлюзу, який не обслуговує жодного API моделей, зупиняє збірку з порушенням селектора, яке називає сокет. Усі вимоги селектора мають виконуватися, а його альтернативи містяться в множині одного ключа, тому єдиний ключ, на який відповідають обидва види компонентів, має бути на кожному компоненті моделі так само, як і на шлюзі, — саме тому мітка називає API, а не позначає лише шлюзи. Шлюз, що має цю мітку, публікує ключі endpoint і model, які публікує модель, тож Recipe споживача читає будь-який із них однаково. Агент, чиї Recipes постачають змінні одного API моделей, натомість називає його значення: сокети model компонентів core/ai-agent/openai-agents-sdk, core/ai-agent/agent-framework і core/ai-agent/mastra вибирають model.aggrega.ai/api=openai, сокет core/ai-agent/claude-agent-sdk вибирає model.aggrega.ai/api=anthropic, а сокет core/ai-agent/google-adk вибирає model.aggrega.ai/api=gemini, тож під’єднання одного з них до моделі чи шлюзу, що обслуговує інший API, зупиняє збірку з порушенням селектора, яке називає сокет. Сокет core/ai-agent/google-adk також звужує категорію до ai-model, відхиляючи будь-який шлюз, бо клієнт ADK не читає жодної адреси й надіслав би облікові дані шлюзу на власну адресу Google. AI-шлюз читає значення, а не вибирає за ним: його сокет models вибирає component.aggrega.ai/category=ai-model, допускаючи будь-яку модель, і оскільки шлюз описує під’єднану там модель своєму проксі лише через API OpenAI, твердження його сутності Component зупиняє збірку на з’єднанні, ціль якого має будь-яке значення, крім openai, називаючи з’єднання й вказуючи натомість вписати цей upstream у написану вручну мапу моделей шлюзу. core/gateway/kong, core/gateway/kong-enterprise, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/traefik-hub, core/gateway/agentgateway і core/gateway/higress читають його так само на власних сокетах models, бо кожен із них записує маршрут під’єднаної моделі, а в agentgateway — її запис моделі, лише для API OpenAI. Компілятор розглядає значення як непрозорий рядок і нічого не перевіряє щодо того, що відповідає за адресою.
  • Що містить стандартна бібліотека. core/gateway/litellm, core/gateway/kong, core/gateway/kong-enterprise, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/traefik-hub, core/gateway/agentgateway і core/gateway/higress мають openai, як і самостійно розміщені сервери core/ai-model/vllm, ollama, docker-model-runner, tgi, tei, nvidia-nim і litellm, керовані API core/ai-model/openai, openai-embedding і nvidia-api та брокер core/ai-model/openai-compatible, який спрямовують на сервіс, що підтримує цей API. core/ai-model/anthropic має anthropic, а core/ai-model/gemini має gemini. Кожен інший компонент моделі має native.

14. tool.aggrega.ai/transport

  • Хто це записує? Platform Architect — на інструменті, до якого споживач звертається через транспорт, який він має підтримувати. Значення називає цей транспорт.
  • Хто це використовує? Static Analyzer — через сокет інструментів споживача.
  • Сценарій використання в компіляторі: так споживач отримує лише ті інструменти, з якими може взаємодіяти. Сокет інструментів вибирає component.aggrega.ai/category=ai-tool, tool.aggrega.ai/transport=http: вимога категорії допускає інструменти й нічого іншого, а вимога транспорту допускає лише інструменти, доступні через HTTP, тож під’єднання такого сокета до інструмента, що не має такої мітки, зупиняє збірку з порушенням селектора, яке називає сокет. Спосіб доступу до інструмента має бути міткою, а не опублікованим значенням, бо селектор читає мітки й ніколи не читає вміст значення. Компілятор розглядає значення як непрозорий рядок і нічого не перевіряє щодо того, що відповідає за адресою.
  • Що містить стандартна бібліотека. core/ai-tool/mcp має http. Він приєднує сервер Model Context Protocol до агента, а сутність Manifest вибирає, як цей сервер реалізується: helm/mcp і compose/mcp запускають образ, що обслуговує протокол через HTTP; helm/mcp-stdio-bridge і compose/mcp-stdio-bridge запускають пакет, що підтримує лише stdio, за закріпленим мостом, який обслуговує його через HTTP; helm/mcp-remote і compose/mcp-remote звертаються до сервера, який експлуатує хтось інший, і нічого не запускають. Кожна реалізація публікує ті самі host, port, endpoint, protocol і credential_header, тож під’єднання споживача не змінюється разом із реалізацією. Власні облікові дані сервера — це змінні середовища, що зберігаються в слоті server_env інструмента: на Kubernetes вони передаються мосту за посиланням, а на Docker Compose записуються в середовище сервісу в переданому вигляді, де посилання на змінну Compose тримає облікові дані поза файлом; облікові дані віддаленого сервера зберігає споживач у власному з’єднанні з інструментом і пред’являє їх у заголовку, який називає credential_header, — Authorization, якщо сутність Release не називає інший. Якщо віддалений сервер читає свій ключ із власної адреси, споживач також зберігає всю адресу в цьому з’єднанні, у слоті endpoint, який на Kubernetes заповнюється посиланням на Secret, а на Docker Compose — посиланням на змінну Compose, тож ключ не потрапляє в жоден відрендерений файл, тоді як infra.endpoint інструмента містить адресу без частини, що несе ключ; examples/mcp-address-from-secret збирає обидва варіанти. core/ai-agent/openai-agents-sdk, core/ai-agent/claude-agent-sdk, core/ai-agent/agent-framework, core/ai-agent/google-adk і core/ai-agent/mastra, а також платформи потоків core/ai-agent/flowise і core/ai-agent/n8n оголошують сокет інструментів такого вигляду, tools, і передають адресу кожного під’єднаного інструмента, а облікові дані з’єднання — за посиланням, у змінних, названих за псевдонімом з’єднання, тоді як з’єднання, у якому записано блок inject:, отримує те, що приписує цей блок, замість змінних, виведених із того, що публікує інструмент, а вміст його слотів credential і endpoint залишається під іменем псевдоніма; власний споживач оголошує такий сокет так само. Кожна з трьох платформ потоків під час розгортання переносить у платформу потік, створений у сутності Aggregate, на обох цілях: Langflow завантажує перенесене визначення зі свого каталогу потоків під час кожного запуску, chatflow Flowise ініціалізується одноразовим кроком, що входить як обліковий запис власника, названий сутністю Release, а workflow n8n імпортується кроком init перед запуском платформи. core/ai-agent/langflow оголошує сокет tools такого самого вигляду, який не допускає блоку inject:, але натомість передає кожне з’єднання через цей потік, бо компонент MCP Tools у Langflow бере адресу сервера лише з власних налаштувань Langflow або з потоку, ніколи — зі змінної: його Recipes записують адресу інструмента у вузол MCP Tools, сервер якого названо за псевдонімом з’єднання, передають облікові дані з’єднання за посиланням як змінну, яку називає заголовок цього вузла, — у Authorization змінну, що містить Bearer і облікові дані, — і пропускають хости під’єднаних інструментів і сховищ крізь захист Langflow від приватних адрес. Усі три платформи також оголошують сокет vector_store, що вибирає datastore.aggrega.ai/engine in (vector, semantic-memory, search) і так само передає адресу кожного під’єднаного сховища — endpoint, який воно публікує, для core/datastore/pgvector URI з’єднання без пароля, або адресу, складену з його протоколу, хоста й порту, — а облікові дані з’єднання за посиланням; сховище, що також публікує свою базу даних і користувача, як це робить core/datastore/pgvector, надходить до Flowise і n8n і цими частинами, оскільки жоден із векторних вузлів PostgreSQL цих двох платформ не приймає рядок з’єднання; Langflow, чий компонент PGVector приймає один рядок, отримує таке сховище як AGGREGA_VECTOR_STORE_<ALIAS>_CONNECTION_STRING з обліковими даними з’єднання як паролем — за посиланням на Kubernetes і в переданому вигляді на Docker Compose. Chatflow Flowise читає передану змінну через однойменну змінну Runtime, створену на сторінці Variables у Flowise, а workflow n8n читає її через $env лише там, де сутність Aggregate встановлює значення allow_env_access_in_nodes платформи, оскільки типово її Recipes зберігають блокування n8n доступу до середовища у вузлах.

2. Абстракція портів (домовленість про нуль портів)

Каталог стандартної бібліотеки Aggrega з відкритим кодом рекомендує не вказувати оголошення фізичних портів у когнітивному шарі Components, а натомість спрямовувати вибір порту через Recipe для Ops. Автори, які дотримуються цієї рекомендації, уникають колізій портів між цілями розгортання, запобігають появі API-бекдорів, що оминають Injection Contract, і зберігають гнучкість мережевої топографії між постачальниками. Сам компілятор агностичний щодо портів — він передає будь-які значення, які дозволяє розв’язана JSON Schema. Домовленість передбачає явний запасний вихід для застарілих систем, фізичні порти яких неможливо змінити.

  • Типова поведінка cloud-native (динамічне впровадження): для сучасних робочих навантажень Components повністю опускають фізичні порти (жодних масивів ports чи expose) у своєму оголошенні schema:. Recipes від Platform Ops вибирають внутрішній порт TCP/UDP і публікують його як іменований ключ provides, який нижчі за потоком споживачі читають через Injection Contract .context.uses.
  • Запасний вихід для застарілих систем (явне оголошення): коли застарілий компонент має незмінний, жорстко закодований порт, Platform Architect явно відкриває поле port в оголошенні schema: сутності Component. Це дає ролі Developer перевірений спосіб оголосити фізичне обмеження. Компілятор переносить значення конвеєром без змін; Recipe використовує його через {{ .values.port }}.
  • Операційні порти (поза смугою): порти, які використовує виключно інфраструктура кластера (наприклад, збирання метрик Prometheus, метрики сайдкарів Envoy), залишаються прихованими від когнітивного шару ролі Developer. Platform Ops впроваджує їх поза смугою через Features (наприклад, приєднуючи сутність Feature core/prometheus-exporter, порт збирання метрик якої задає оператор в infra).

3. Предметно-орієнтовані схеми (інтелект конфігурації)

Блоки values розробника (непрозорі для компілятора Go, але суворо типізовані оголошенням schema: сутності Component) перевіряються так, щоб підтримувати явні робочі процеси ШІ:

  • Зв’язки агентів (масиви залежностей): спільна схема параметрів агентів у стандартній бібліотеці містить tools_allowed і agents_allowed як масиви values, що називають Components каталогу, які агент може викликати або яким може делегувати, — це задокументована домовленість, яку компілятор не обчислює. Зв’язок, який компілятор під’єднує як топологічне ребро, — це сокет uses, який Component агента оголошує у своєму usesSchema, і саме селектор цього сокета перевіряє збірка.
  • Глибоке розбиття когнітивної пам’яті (CoALA): замість одного плаского сегмента пам’яті архітектор може оголосити сокет cognitive_memory, з’єднання якого зіставляють семантичну, епізодичну й процедурну пам’ять з окремими інфраструктурними цілями як явні топологічні ребра, тож рушії політик можуть оцінювати й вимагати детальні обмеження доступу (наприклад, гарантувати, що агент може читати семантичну пам’ять, але не може перезаписати її в разі захоплення). Стандартна бібліотека не оголошує такого сокета.
  • Мультимодальні конвеєри: schema: сутності Component може оголошувати явні етапи виконання, як-от document_chunking, embedding_generation і storage_routing, як типізовані values, тож декларативний потік даних перевіряється до того, як щось буде відрендерено. Стандартна бібліотека не оголошує таких етапів.

4. Інтелект шлюзів і маршрутизація

AI-шлюзи стандартної бібліотеки містять засоби контролю для маршрутизації запитів до API LLM: core/gateway/litellm, що працює в кластері, і два хостовані сервіси — core/gateway/cloudflare-ai-gateway, хостований шлюз Cloudflare, який його Recipe для terraform створює в обліковому записі Cloudflare, і core/gateway/azure-api-management, AI-шлюз Azure API Management, чий Recipe для terraform додає API, що обслуговує модель, разом із його бекендом і політикою, до вже наявного екземпляра API Management. Recipes для helm і compose кожного хостованого шлюзу посилаються на нього там, де його вже налаштовано. Деякі засоби контролю — це значення на самому шлюзі, а деякі — приєднані до нього Features, і кожна сутність Feature нижче вказує, на якому шлюзі її реалізує стандартна бібліотека. На хостованому шлюзі кожен засіб контролю записується у власну конфігурацію шлюзу — як параметр ресурсу шлюзу Cloudflare або елемент політики API в Azure API Management, — тож лише його Recipe для terraform може містити такий засіб, а його Recipes для helm і compose зупиняють збірку на будь-якому приєднанні. Нижче «AI-шлюз» — це core/gateway/litellm, «хостований шлюз» — core/gateway/cloudflare-ai-gateway, а шлюз Azure API Management названо повністю.

Поза Aggrega, під час виконання

агент

його сокет model, під’єднаний до шлюзу

ШІ-шлюз

з під’єднаними до нього засобами контролю

бюджет токенів

семантичний кеш

захист від ін’єкцій у промпт

модель

провайдер за шлюзом

Запити агента проходять через шлюз, до якого під’єднано його сокет model, тож кожен засіб контролю, під’єднаний до шлюзу, стоїть між агентом і моделлю. Три зображені тут — це сутності Features core/period-budget, core/semantic-caching і core/prompt-injection-shield, показані поруч, щоб було видно, де вони розташовані, а не як конфігурація одного шлюзу: у пунктах нижче сказано, який шлюз реалізує кожен засіб контролю і що зупиняє збирання.

  • Моделі за ним: мапа моделей AI-шлюзу — псевдоніми, які він обслуговує, кожен з upstream, куди надсилається запит до нього, — складається з двох частин. Компонент моделі, під’єднаний до сокета models шлюзу, керований або самостійно розміщений, обслуговується під псевдонімом з’єднання, а його запис формується з endpoint і model, які публікує модель, — рядків, які компілятор передає в конфігурацію шлюзу й ніколи не розв’язує; отже, модель є компонентом графа, доступним через власне ребро. Шлюз описує таку модель своєму проксі лише через API OpenAI, тож з’єднання з моделлю, чий model.aggrega.ai/api не дорівнює openai, зупиняє збірку, називаючи з’єднання. Друга частина — це values.models шлюзу, записи, введені вручну у власній нотації проксі постачальник/модель: для upstream, який каталог не моделює, для постачальника, чий власний API не є API OpenAI, і для кількох записів зі спільним псевдонімом, чого під’єднані моделі робити не можуть, бо кожна обслуговується під псевдонімом власного з’єднання. Під’єднаний запис пред’являє облікові дані, які несе його власне з’єднання, як описано нижче в розділі «Ключ, який пред’являє викликач», і ніколи — provider_key шлюзу; кожен введений вручну запис пред’являє єдині облікові дані з цього слота. Псевдонім, який публікують обидві частини, зупиняє збірку з його назвою, так само як і шлюз, якому жодна з частин не надає моделі.

  • На шляху агента: шлюз публікує endpoint і model — ключі, які публікує компонент моделі, — і має model.aggrega.ai/api: openai, тож сокет model агента приймає шлюз безпосередньо, і кожен приєднаний до нього засіб контролю стоїть між цим агентом і постачальниками за ним. model, який він публікує, — це псевдонім, названий його values.model, і збірка зупиняється, коли жодна частина мапи його не публікує; його можна опустити лише там, де шлюз обслуговує один псевдонім і його публікує запис values.models, який тоді й стає опублікованим. Викликач, якому потрібен інший псевдонім, опублікований мапою, запитує його за назвою в того самого endpoint. core/gateway/cloudflare-ai-gateway публікує ті самі два ключі — адресу одного з endpoint шлюзу, складену з облікового запису Cloudflare та ідентифікатора шлюзу, і модель, яку запитує викликач і яку шлюз пересилає без перевірки, — але не має жодного model.aggrega.ai/api, тож сокет model агента його не приймає. core/gateway/azure-api-management також їх публікує — адресу свого API, складену з хоста екземпляра й шляху API, і модель, яку запитує викликач, пересилану без перевірки, — і також не має жодного model.aggrega.ai/api: API відповідає на запит chat completions від OpenAI, але типово викликач пред’являє ключ підписки API Management у власному заголовку замість bearer-токена OpenAI, тож звичайного клієнта OpenAI недостатньо, щоб його викликати.

  • Kong перед моделями: core/gateway/kong, шлюз Kong з відкритим кодом, обслуговує моделі, під’єднані до його власного сокета models, через AI Proxy від Kong і з наведених нижче засобів контролю реалізує лише шаблони відхилення промптів — як AI Prompt Guard від Kong на кожному маршруті кожної під’єднаної моделі. Кожна під’єднана модель отримує маршрут chat і маршрут completion під /<alias>/v1, сформовані з endpoint і model, які публікує модель, а його Recipes імпортують ці маршрути в бекенд PostgreSQL шлюзу перед його запуском. Маршрут вибирає модель, тож запит надсилається до моделі, яку називає його шлях, незалежно від того, яку назву моделі він містить. Шлюз пред’являє власні облікові дані кожного з’єднання як bearer-токен, який його конфігурація читає за назвою із середовища шлюзу, а з’єднання з моделлю, чий model.aggrega.ai/api не дорівнює openai, зупиняє збірку. Він публікує маршрут псевдоніма, названого його values.model, як свій endpoint, а цей псевдонім — як свій model, і має model.aggrega.ai/api: openai, тож сокет model агента приймає його так само, як AI-шлюз. Якщо до цього сокета нічого не під’єднано, шлюз не обслуговує жодної моделі й публікує обидва ключі порожніми, і під’єднаний до нього агент тоді не читає ні адреси, ні назви моделі. Імпорт додає й оновлює маршрути, але не видаляє жодного, тож маршрут, з’єднання якого видалено, продовжує відповідати, а захист промптів, записаний приєднанням core/prompt-deny-patterns, продовжує відхиляти запити після видалення приєднання, доки кожен із них не буде видалено через Admin API від Kong. З тієї самої причини шлюз не оголошує викликачів, і його маршрути моделей не перевіряють ключа жодного викликача: Kong розрізняє викликачів лише як consumers, названих плагіном автентифікації, а consumer і його ключ, щойно імпортовані, залишалися б здатними автентифікуватися після видалення викликача із сутності Release, а ротований ключ залишав би старий робочим; крім того, ключ key-auth не можна зберігати за посиланням, тож ключ викликача міг би потрапити до Kong лише як літерал у відрендереному файлі.

  • Kong Gateway Enterprise перед моделями: core/gateway/kong-enterprise, платна редакція Kong того самого шлюзу з базою даних, обслуговує моделі, підключені до його власного сокета models, на маршрутах, які обслуговує core/gateway/kong, записаних із тієї самої конфігурації та імпортованих у його бекенд PostgreSQL кроком у власному поді шлюзу до запуску шлюзу, і публікує свої endpoint та model так само, як Kong. Його єдина реалізація — Recipe типу chart на основі офіційного Helm-чарта Kong; реалізації compose немає. Він запускає образ, який сутність Release вказує в infra.image, разом із тегом версії, оскільки Kong поширює enterprise-образ на власних умовах і тому каталог жодного не вказує; збірка зупиняється, доки цей ключ не задано або його тег не містить версії. Ліцензія потрапляє до шлюзу за посиланням на Secret, прив’язаний до його обов’язкового слота license, ніколи як значення, і збірка зупиняється, доки ніщо не прив’язує цей слот. Компілятор не перевіряє жодної ліцензії й не звертається до жодного постачальника, тож сутність Release, яка збирається без помилок, нічого не каже про ліцензію: Kong зчитує ліцензію під час запуску вузла, а вузол без дійсної ліцензії поводиться як із простроченою — конфігурація його сутностей доступна лише для читання, а трафік проксі обслуговується з уже чинною конфігурацією. Kong продає свої AI-плагіни як пропозицію AI Gateway Enterprise — право, що міститься в ліцензії й якого жодна збірка не бачить, — і пропускає такий плагін замість того, щоб відхилити його, там, де ліцензія цього права не містить, тож приєднання core/semantic-caching, core/period-budget, core/data-masking, core/fallback-chain, core/retry-policy або core/target-selection зупиняє збірку, доки сутність Release не встановить infra.ai_gateway_entitled у true, підтверджуючи, що ліцензія це право містить. З наведених нижче засобів контролю він реалізує бюджет на період і ланцюжок fallback, кожен записаний у маршрути, які імпортує шлюз, а core/data-masking реалізує так, як описано нижче в розділі «Витік даних і перехоплення корисного навантаження»; його реалізації семантичного кешу, політики повторних спроб і вибору цілі зупиняють будь-яке приєднання, кожна з зазначенням причини, а обмеження паралельності, журналювання аудиту, перевірка на prompt injection, перевірка відповідей і шаблони заборони промптів не мають там реалізації, тож приєднання будь-якого з них зупиняє збірку. Змінений набір маршрутів спричиняє поступове перерозгортання шлюзу, а імпорт додає й оновлює маршрути, не видаляючи жодного, тож маршрут, з’єднання якого видалено, і плагін, записаний сутністю Feature для AI, після видалення сутності Feature залишаються в базі даних, доки їх не буде видалено через Admin API Kong; з причин, наведених у пункті вище, він також не оголошує викликачів, і його маршрути моделей не перевіряють ключа жодного викликача. Те, що запущений шлюз застосовує будь-який із цих засобів контролю, не спостерігає жодна збірка.

  • APISIX перед моделями: core/gateway/apisix, шлюз Apache APISIX з відкритим кодом, обслуговує моделі, підключені до його власного сокета models, через AI-проксі APISIX там, де сутність Manifest прив’язує його Recipe типу chart, яка запускає APISIX 3.18.0. Кожна підключена модель отримує маршрут chat і маршрут completion під /<alias>/v1 — лише маршрут chat, поки приєднано бюджет на період або шаблони заборони промптів, оскільки APISIX не рахує токенів у запиті completion, а його prompt guard його не зчитує, — записані з endpoint і model, які публікує модель, у файл маршрутів, що рендериться разом зі шлюзом і який шлюз зчитує під час запуску та знову щоразу, коли файл змінюється. Шлюз, що зчитує свої маршрути з цього файлу, не зчитує жодного etcd і не запускає жодного Admin API, тож за підключеної моделі з’єднання etcd або приєднання admin_key зупиняє збірку, а коли нічого не підключено, обидва обов’язкові. Маршрут обирає модель. Шлюз подає власні облікові дані кожного з’єднання як bearer-токен, який його маршрути зчитують за іменем із середовища шлюзу, а з’єднання з моделлю, чий model.aggrega.ai/api не дорівнює openai, зупиняє збірку. Він публікує маршрут псевдоніма, вказаного в його values.model, як свій endpoint, а цей псевдонім — як свій model, і має model.aggrega.ai/api: openai, тож сокет model агента приймає його так само, як AI-шлюз; коли нічого не підключено, він публікує обидва ключі порожніми. Маршрут, з’єднання якого видалено, зникає з наступного рендерингу. Сутність Release може вказати викликачів шлюзу в infra.callers, а їхні ключі — через слот caller_keys, Secret, що містить по одному ключу даних на ім’я викликача: кожен викликач тоді є споживачем у файлі маршрутів, ключ якого зчитується за іменем із цього Secret, і кожен маршрут відхиляє з HTTP 401 запит, що не подає жодного оголошеного ключа як Authorization: Bearer <key> — так, як його подає клієнт OpenAI, — і видаляє ключ із запиту, який пересилає. Без викликачів маршрути відкриті. Його Recipe типу workload, з APISIX 3.17.0, зберігає маршрути в etcd, не рендерить жодного й зупиняє збірку за наявності з’єднання з цим сокетом і infra.callers. З наведених нижче засобів контролю він реалізує бюджет на період, семантичний кеш для оголошених ним викликачів і шаблони заборони промптів.

  • Envoy Gateway перед моделями: core/gateway/envoy-gateway, Envoy Gateway з відкритим кодом, обслуговує моделі, підключені до його власного сокета models, через Envoy AI Gateway, контролер якого, core/gateway/envoy-ai-gateway-operator, шлюз викликає як свій сервер розширень через свій сокет extension. Підключена модель, коли до цього сокета нічого не підключено, зупиняє збірку, а за підключеного контролера сутність Release розміщує шлюз у envoy-gateway-system, інакше збірка зупиняється. Кожна підключена модель стає правилом єдиного AI-маршруту, приєднаного до шлюзу, яке обирається за назвою моделі, що її несе запит, із бекендом, записаним з endpoint і model, які публікує модель, тож кожна підключена модель обслуговується під /v1 за власною адресою шлюзу. Шлюз подає власні облікові дані кожного з’єднання як bearer-токен, який контролер Envoy AI Gateway зчитує із Secret, вказаного в облікових даних, а з’єднання з моделлю, чий model.aggrega.ai/api не дорівнює openai, зупиняє збірку. Поки модель підключено, кожен маршрут на шлюзі отримує буфер запитів 50Mi на з’єднання, який налаштовує Envoy AI Gateway. Він публікує свою адресу, уточнену envoy-gateway-system, щоб вона розв’язувалася з будь-якого простору імен, як свій endpoint, а псевдонім, вказаний у його values.model, — як свій model, і має model.aggrega.ai/api: openai, тож сокет model агента приймає його так само, як AI-шлюз; коли нічого не підключено, він публікує обидва ключі порожніми. Вебхук контролера подає сертифікат, який випускає cert-manager, тож cert-manager уже має працювати в кластері, якщо тільки сутність Release не вкаже в infra.webhook_tls_secret контролера Secret із сертифікатом, наданим оператором, який вебхук тоді й подає. З наведених нижче засобів контролю він реалізує бюджет на період, політику повторних спроб і обмеження паралельності, кожен записаний в єдину політику трафіку маршруту, що обслуговує його моделі. Він не реалізує семантичного кешу й перевірки відповідей, оскільки Envoy AI Gateway не зберігає жодної відповіді, якою міг би відповісти на пізніший запит, і не перевіряє жодної відповіді за схемою, а також ланцюжка fallback: Envoy AI Gateway виконує fallback, повторюючи спробу на інших бекендах правила моделі, а шлюз записує кількість повторних спроб своєї єдиної політики трафіку в кожне правило маршруту, що обслуговує його моделі, тож список fallback отримав би рівно свої надсилання лише там, де список кожної підключеної моделі має однакову довжину. Він реалізує core/audit-logging як свій журнал доступу, як описано нижче в розділі «Журналювання аудиту», і відхиляє за назвою те, чого цей журнал не може зберегти: вартість запиту, оскільки вартість на запит, яку може обчислити Envoy AI Gateway, не має одиниці, а шлюз не зберігає цін; викликача, перевіреного шлюзом, оскільки ніщо на цьому шляху не перевіряє викликача; і строк зберігання, оскільки цей журнал не має ні сховища, ні налаштування зберігання. examples/envoy-ai-gateway-token-budget будує весь шлях з агентом, який звертається до керованої моделі OpenAI через шлюз.

  • agentgateway перед моделями: core/gateway/agentgateway, agentgateway з відкритим кодом, обслуговує моделі, підключені до його власного сокета models, з одного конфігураційного файлу, який рендерять його сутності Recipes. Кожна підключена модель є записом цього файлу, названим за псевдонімом з’єднання й записаним з endpoint і model, які публікує модель, як OpenAI-сумісний постачальник chat completions, тож кожна підключена модель обслуговується під /v1 за власною адресою шлюзу, а обирає її назва моделі, яку несе запит: запит доходить до моделі із запитом назви моделі, яку публікує модель, а на назву, якої не несе жодне з’єднання, відповідь — HTTP 404. Шлюз подає власні облікові дані кожного з’єднання як bearer-токен, який файл вказує як змінну, що її шлюз зчитує зі свого середовища під час зчитування файлу, причому відсутність там цієї змінної не дає йому запуститися, а з’єднання з моделлю, чий model.aggrega.ai/api не дорівнює openai, зупиняє збірку. Він публікує цю базову URL-адресу /v1 як свій endpoint, а псевдонім, вказаний у його values.model, — як свій model, і має model.aggrega.ai/api: openai, тож сокет model агента приймає його так само, як AI-шлюз; коли нічого не підключено, він публікує обидва ключі порожніми. Дві сутності Recipes запускають той самий образ, закріплений за digest: agentgateway-chart рендерить автономний Helm-чарт проєкту, отриманий із реєстру проєкту, і реалізує наведені нижче засоби контролю, а agentgateway запускає образ як одну службу Docker Compose і не реалізує жодного з них, як і викликачів, тож приєднання там зупиняє збірку із зазначенням свого типу; на Kubernetes, де збірка може дістатися до цього реєстру, слід обирати чарт. У чарті сутність Release може вказати викликачів шлюзу в infra.callers, а їхні ключі — через слот caller_keys, як і в APISIX: кожен викликач є API-ключем файлу, що перевіряється в суворому режимі й зчитується за іменем із цього Secret, тож запит до моделі, який не подає жодного оголошеного ключа як Authorization: Bearer <key>, відхиляється з HTTP 401, а ключ видаляється з пересланого запиту; без викликачів маршрути моделей відкриті. agentgateway підставляє кожен ключ, який файл вказує таким чином, — ключ підключеної моделі в будь-якій із сутностей Recipe і ключ викликача в чарті — у текст файлу, перш ніж зчитати файл як YAML, тож ключ має бути простим токеном — літери, цифри та -, ., _, ~, +, / і =, — а інші символи можуть завантажитися як інший ключ або зупинити шлюз. Шлюз зчитує свій файл знову, коли той змінюється, тож викликач, видалений із сутності Release, відхиляється, щойно змонтований файл оновлено. Поки приєднано core/audit-logging або core/period-budget з областю caller, Recipe типу chart надає шлюзу сховище — файл SQLite на власному томі — і запускає одну репліку. З наведених нижче засобів контролю він реалізує маскування даних, шаблони заборони промптів, бюджет на період, журналювання аудиту й політику повторних спроб, кожен записаний у файл, і відхиляє за назвою кожне значення, якого не може дотриматися. Маскування даних замінює кожен збіг шаблонів, перелічених у приєднанні, на <masked> або в режимі refuse відповідає на запит чи відповідь кодом HTTP 403 — у системних і розробницьких промптах запиту, інших його повідомленнях, аргументах і результатах його викликів інструментів, а також у тексті повідомлення відповіді, що надходить повністю; воно не розпізнає типів сутностей і нічого не відновлює. agentgateway не маскує потокову відповідь, тож поки відповіді маскуються, запит до моделі, який просить потокову відповідь, відхиляється з HTTP 403 до пересилання, як і будь-який запит до моделі, тіло якого більше за 2 MiB, які шлюз зчитує для цієї перевірки, потоковий чи ні. Відмова від запобіжника, зокрема від шаблону заборони, — це HTTP 403 з тілом «The request was rejected due to inappropriate content» (Запит відхилено через неприйнятний вміст). Бюджет, записи й повторні спроби описано нижче в розділах «Бюджет на період», «Журналювання аудиту» та «Стійкість». Його реалізації ланцюжка fallback, вибору цілі, семантичного кешу, перевірки відповідей і перевірки на prompt injection зупиняють будь-яке приєднання, кожна із зазначенням причини, а обмеження паралельності до нього не приєднується, оскільки він не має значення dataplane.aggrega.ai/concurrency-cap.

  • Traefik Hub перед моделями: core/gateway/traefik-hub, платний шлюз Traefik, обслуговує моделі, підключені до його власного сокета models, через проміжне ПЗ Chat Completion у Traefik Hub. Його єдина реалізація — Recipe типу chart на основі власного Helm-чарта Traefik; реалізації compose немає. Він запускає образ, який сутність Release вказує в infra.image, разом із тегом, оскільки Traefik поширює Traefik Hub на власних умовах і тому каталог жодного не вказує; збірка зупиняється, доки цей ключ не задано або він не вказує тегу. Ліцензійний токен потрапляє до шлюзу за посиланням на Secret, прив’язаний до його обов’язкового слота license, під ключем даних token, ніколи як значення, і збірка зупиняється, доки ніщо не прив’язує цей слот або він публікує інший ключ даних. Traefik потребує вихідного HTTPS до api.traefik.io, де шлюз перевіряє свій токен; починаючи з Traefik Hub v3.21 шлюз продовжує обслуговувати, поки цей хост недоступний, повторюючи спроби у фоновому режимі, а токен за замовчуванням діє рік, і шлюз зупиняється, щойно строк його дії мине. Recipe типу chart вимикає експорт чартом журналів помилок шлюзу на платформу Traefik і його перевірку наявності новішої версії. Компілятор не перевіряє жодного токена й не звертається до жодного постачальника, тож сутність Release, яка збирається без помилок, нічого не каже про те, чи запуститься шлюз. Кожна підключена модель отримує маршрут за адресою /<alias>/v1/chat/completions, що надсилається на endpoint, який публікує модель, через Service типу ExternalName і запитує model, який вона публікує, незалежно від назви моделі, яку несе запит, тож модель визначається шляхом; він обслуговує лише chat completions. Шлюз подає власні облікові дані кожного з’єднання як bearer-токен, який Traefik Hub зчитує із Secret, вказаного в проміжному ПЗ Chat Completion з’єднання, а з’єднання з моделлю, чий model.aggrega.ai/api не дорівнює openai або чия кінцева точка вказує адресу замість хоста, зупиняє збірку. Він публікує маршрут псевдоніма, вказаного в його values.model, як свій endpoint, а цей псевдонім — як свій model, і має model.aggrega.ai/api: openai, тож сокет model агента приймає його так само, як AI-шлюз; коли нічого не підключено, він публікує обидва ключі порожніми. Сутність Release може вказати викликачів шлюзу в infra.callers, а htpasswd-хеші їхніх ключів — через слот caller_keys: проміжне ПЗ API Key у Traefik Hub тоді стоїть на початку кожного маршруту моделі й відхиляє запит, що не подає жодного оголошеного ключа як Authorization: Bearer <key>, а ключ видаляється з пересланого запиту; без викликачів маршрути відкриті. Що Traefik Hub робить із записом викликача, який вказує неіснуючий Secret або ключ даних, у його довідці не зазначено, тож у найгіршому випадку маршрути так само відкриті, як без викликачів. З наведених нижче засобів контролю він реалізує бюджет на період, семантичний кеш для оголошених ним викликачів, шаблони заборони промптів і маскування даних — через проміжне ПЗ AI-шлюзу Traefik Hub, — а також ланцюжок fallback і політику повторних спроб — через власні failover і повторні спроби Traefik, — кожен записаний у маршрути, які рендерить його Recipe типу chart. AI-шлюз — це право, що міститься в ліцензії, якого жодна збірка не бачить, а те, що Traefik Hub робить із дійсним токеном, ліцензія якого цього права не містить, не задокументовано, тож приєднання будь-якого з перших чотирьох зупиняє збірку, доки сутність Release не встановить infra.ai_gateway_entitled у true. Його реалізації перевірки на prompt injection, журналювання аудиту, вибору цілі й перевірки відповідей зупиняють будь-яке приєднання, кожна із зазначенням причини, а обмеження паралельності до нього не приєднується, оскільки він не має значення dataplane.aggrega.ai/concurrency-cap. Те, що запущений шлюз застосовує будь-який із цих засобів контролю, не спостерігає жодна збірка.

  • Higress перед моделями: core/gateway/higress, шлюз Higress із відкритим кодом, побудований на Envoy і налаштовуваний через ресурси Kubernetes, обслуговує моделі, під’єднані до його власного сокета models, через AI proxy Higress. Його єдина реалізація — сутність Recipe типу chart над власним Helm-чартом проєкту higress-core, який запускає контролер Higress разом із його службою виявлення та шлюз; реалізації compose немає, оскільки проєкт призначає свій дистрибутив compose переважно для локального тестування, а цей дистрибутив запускає кілька взаємодійних служб, налаштовуваних через власне сховище. Сутність Recipe фіксує чарт, образи та кожен модуль плагіна, який вона записує, і приймає в infra.source_version лише ті версії чарта, для яких її конфігурацію перевірено; шлюз завантажує ці модулі з реєстру плагінів Higress під час виконання, тож кластер має мати до нього доступ, а збірка не може цього перевірити. Контролер стежить лише за простором імен сутності Release, під IngressClass, названим за шлюзом і цим простором імен, тож два шлюзи Higress в одному просторі імен конфліктують. Кожен псевдонім отримує маршрут за адресою /<alias>/v1, що надсилається на endpoint, який публікує модель псевдоніма, через запис власного реєстру шлюзу і запитує опублікований нею model незалежно від назви моделі в запиті, тож модель обирає шлях; з’єднання, що називають один псевдонім у своєму значенні serves, ділять його запити порівну. Шлюз пред’являє власні облікові дані кожного з’єднання як bearer token, який контролер Higress зчитує з об’єкта Secret, названого в конфігурації AI proxy, у просторі імен шлюзу, і передає шлюзу, тож ключ не потрапляє до жодного відрендереного файлу; назва Secret, що містить крапку, зупиняє збірку, оскільки Higress зчитує назву лише до першої крапки, а з’єднання без облікових даних передає далі ключ, який пред’являє запит. AI proxy Higress також копіює заголовок Authorization, надісланий клієнтом, у заголовок X-HI-ORIGINAL-AUTH, і кожен маршрут моделі видаляє цю копію, перш ніж запит досягне моделі, тож ключ, пред’явлений клієнтом, ніколи не передається поруч із власними обліковими даними з’єднання. Через https шлюз перевіряє, що сертифікат моделі веде до якорів довіри системи та називає хост моделі, незалежно від хосту, який надіслав клієнт, а інакше нічого моделі не надсилає: сутність Recipe позначає маршрут кожного псевдоніма, всі з’єднання якого використовують https, анотацією Higress higress.io/backend-protocol: HTTPS, тож шлюз бере ім’я сервера з хосту, який AI proxy записує в кожен запит, — хосту моделі, доповненого простором імен моделі там, де він не містить крапки, — і перевіряє сертифікат щодо нього. Ця анотація застосовується до кожного з’єднання псевдоніма, тож псевдонім, що змішує з’єднання http і https, зупиняє збірку, називаючи обидва; обслуговування їх під двома псевдонімами це усуває. З’єднання з моделлю, чий model.aggrega.ai/api не є openai або чия кінцева точка вказує адресу замість хосту, зупиняє збірку. Шлюз публікує маршрут псевдоніма, названого його values.model, як свій endpoint, а цей псевдонім — як свій model, і несе model.aggrega.ai/api: openai, тож сокет model агента приймає його так само, як приймає AI-шлюз; коли нічого не під’єднано, він публікує обидва ключі порожніми. Він не оголошує викликачів, тож його маршрути моделей не перевіряють ключ жодного викликача, а значення, що потребує викликача, перевіреного шлюзом, відхиляється з указанням назви. Із засобів контролю, описаних нижче, він реалізує бюджет на період, журналювання аудиту та політику повторних спроб, кожен із яких записано на маршрути моделей, а core/data-masking реалізує так, як описує нижче розділ «Ексфільтрація даних і перехоплення корисного навантаження». Його реалізації перевірки відповідей, ланцюжка резервування, семантичного кешу, виявлення prompt injection і вибору цілі зупиняють кожне приєднання, кожна з указанням причини, а ні шаблони блокування промптів, ні обмеження паралельності до нього не приєднуються, оскільки він не несе жодного значення dataplane.aggrega.ai/prompt-guard чи dataplane.aggrega.ai/concurrency-cap. Те, що запущений шлюз застосовує будь-який із цих засобів контролю, жодна збірка не спостерігає.

  • Azure API Management перед моделлю: core/gateway/azure-api-management, AI-шлюз Azure API Management, розміщеної служби, обслуговує один API моделі через API на вже наявному екземплярі API Management. Його сутність Recipe типу terraform зчитує екземпляр і додає API, його операцію chat completions, бекенд, на який він пересилає, і політику API, яка вилучає ключ підписки викликача з того, що пересилається, і автентифікується перед API моделі так, як указує infra.backend_authentication: керованою ідентичністю екземпляра, ключем постачальника, що зберігається в Key Vault, або без нічого. Його сутності Recipes типів helm і compose посилаються на API, налаштований поза сутністю Release, і зупиняють збірку за будь-якого приєднання. Із засобів контролю, описаних нижче, його сутність Recipe типу terraform реалізує семантичний кеш, бюджет на період, виявлення prompt injection і політику повторних спроб, кожен із яких записано в політику API. Він не реалізує обмеження паралельності, оскільки Microsoft називає ліміт, який застосовує її політика паралельності, ніколи не цілком точним і нижчим, коли в регіоні працює кілька одиниць ємності, ані ланцюжок резервування, оскільки API пересилає на один бекенд, а власне резервування Azure, групи пріоритетів пулу бекендів, відводить подальші запити від бекенда, чий запобіжник спрацював, замість того щоб надіслати невдалий запит іншій моделі. Його реалізація core/audit-logging зупиняє кожне приєднання, називаючи те, що поза її досяжністю: сам журнал, який вмикає параметр діагностики на екземплярі; вартість запиту, поки require_cost увімкнено, оскільки журнал запитів до моделей Azure записує кількість токенів і модель, але не ціну; і строк зберігання, якщо задано retention_days, оскільки рядок зберігається стільки, скільки його зберігає робоча область Log Analytics, у яку він потрапляє. Те, що політики застосовуються та виконуються так, як документує Microsoft, жодна збірка не спостерігає.

  • Ключ, який пред’являє викликач: Сервер, що перевіряє ключ, який пред’являють його викликачі, зберігає цей ключ у власному слоті, названому api_key на кожній цілі, що обслуговує моделі й перевіряє ключ, — core/ai-model/vllm, tei і tgi, моделі LiteLLM і AI-шлюзі, де це ключ, який LiteLLM називає своїм головним ключем, — і кожна з його сутностей Recipes передає ключ як змінну, яку зчитує сервер. core/gateway/apisix і core/gateway/agentgateway зберігають по одному ключу для кожного викликача, якого їхня сутність Release називає в infra.callers, у своєму слоті caller_keys: один Secret, що містить ключ кожного викликача під його назвою. core/gateway/traefik-hub зберігає своїх викликачів так само, за винятком того, що його Secret містить хеш htpasswd ключа кожного викликача, з яким його перевірка ключів порівнює пред’явлений ключ, тож це не той Secret, з якого викликач пред’являє свій ключ. Викликач зберігає ключ, який пред’являє, на своєму боці, на з’єднанні, на якому його пред’являє, у слоті, який оголошує його сокет: агенти стандартної бібліотеки оголошують його на своєму сокеті model, credential; AI-шлюз — на своєму сокеті models і на сокеті cache_store, де це пароль, який семантичний кеш шлюзу пред’являє своєму сховищу; core/gateway/kong і core/gateway/kong-enterprise — на своїх сокетах models; core/gateway/apisix — на сокеті models і на сокеті cache_store, де це так само пароль, який його семантичний кеш пред’являє своєму сховищу; core/gateway/agentgateway — на сокеті models; core/gateway/envoy-gateway — на сокеті models і на сокеті cache, де це пароль, який служба обмеження частоти запитів шлюзу пред’являє сховищу, що веде лічильник бюджету на період; core/gateway/higress — на сокеті models і на сокеті cache, де це пароль, який його ліміт токенів пред’являє сховищу, що веде лічильник бюджету на період; і core/gateway/traefik-hub — на сокеті models, на сокеті cache, де це пароль, який його квота пред’являє сховищу, що веде лічильник бюджету на період, і на сокеті cache_store, де це пароль, який його семантичний кеш пред’являє своєму сховищу, — тож агент, що звертається до моделі, або шлюз, що звертається до моделі, яку обслуговує, зберігає там ключ цього з’єднання. AI-шлюз, обидва Kong, APISIX і agentgateway передають ключ кожної під’єднаної моделі як окрему змінну, яку називає запис або маршрут цієї моделі в їхній конфігурації; Envoy Gateway називає Secret у політиці безпеки бекенда моделі, і контролер Envoy AI Gateway зчитує з нього ключ; Traefik Hub називає Secret і ключ даних у middleware Chat Completion маршруту моделі та зчитує з нього ключ. З’єднання з моделлю з міткою component.aggrega.ai/hosting: managed несе ключ або вказує у власних values, що модель не приймає жодного, unauthenticated: true; якщо немає ні того, ні іншого, твердження викликача зупиняє збірку, називаючи з’єднання та його ціль, а модель з іншою міткою такої зупинки не спричиняє. Ключ, який сутність Component викликача натомість оголошує у власному слоті, є одним ключем для кожного з’єднання, яке вона встановлює. Жоден із кінців не бачить приєднань іншого, тож сервер нічого не дізнається про ключ викликача, а обидва збігаються, бо сутність Aggregate живить обидва з одного параметра: там, де обидва кінці розв’язують секрети в одній області — одному просторі імен Kubernetes, одному проєкті Compose, — вони посилаються на один секрет, а інакше кожен зберігає власний, реалізований з того самого запису сховища. vLLM, TEI і TGI перевіряють кожен лише один ключ, тож кожен викликач пред’являє той самий ключ і сервер не може розрізнити своїх викликачів, а TGI порівнює свій ключ без урахування регістру; APISIX, agentgateway і Traefik Hub перевіряють кожен ключ кожного оголошеного викликача й розрізняють за ним своїх викликачів; обидва Kong не оголошують викликачів і не перевіряють ключ жодного викликача з причин, наведених вище в розділі «Kong перед моделями»; модель LiteLLM і AI-шлюз також приймають ключі, які вони видають, поки приєднано їхню базу даних обліку. Модель облікових даних розбирає цю схему на прикладі однієї сутності Aggregate.

  • Вибір між цілями: core/target-selection оголошує, як шлюз обирає між кількома цілями, здатними обслужити той самий запит, за допомогою strategy зі значенням latency (ціль, яка, за спостереженнями, відповідає найшвидше) або cost (ціль, виклик якої найдешевший). Стратегія є частиною того, що застосунок вимагає від свого шлюзу, тож її приєднує розробник у сутності Aggregate. На AI-шлюзі цілями є записи його values.models, що публікують той самий псевдонім, — під’єднана модель обслуговується під псевдонімом свого з’єднання, який не може публікувати жоден інший запис, — і стандартна бібліотека реалізує latency, записуючи latency-based-routing проксі в конфігурацію маршрутизації, яку рендерить сутність Recipe шлюзу: проксі надсилає кожен запит до запису, останні десять відповідей якого в середньому тривали найменше, у розрахунку на вихідний токен, якщо відповідь повідомляє свої токени, або до першого токена для потокового запиту, а ще не випробуваний запис вважається найшвидшим. Без приєднання конфігурація не називає жодної стратегії, і проксі обирає серед цих записів випадково. cost там відхиляється з указанням назви: проксі визначає ціну запису, шукаючи його ціль точно так, як її записано, у таблиці цін, яка називає моделі OpenAI та Anthropic без префікса постачальника, що його несуть цілі шлюзу, а запису, якого не знаходить, призначає фіксовану резервну ціну, тож записи, що мають спільний псевдонім, отримали б однакову ціну й обиралися б за їхнім порядком. На core/gateway/kong-enterprise кожне приєднання зупиняє збірку, бо кожна під’єднана до нього модель обслуговується на власних маршрутах, що несуть лише цю модель, і обирати немає з чого. На core/gateway/agentgateway кожне приєднання також зупиняє збірку з указанням причини: agentgateway випадково вибирає дві цілі назви моделі й бере ту, чий стан справності, поділений на час, який вона витратила на відповідь, має вищу оцінку, тож найшвидша ціль береться лише тоді, коли її вибрано, і він не обирає жодної цілі за вартістю. На core/gateway/higress кожне приєднання також зупиняє збірку з указанням причини: Higress може вимірювати затримку служби, але його плагін балансування навантаження виконується після AI proxy — який уже встановив модель, адресу й облікові дані запиту для кандидата, визначеного маршрутом, — і записує свій вибір у заголовок запиту, за яким ніщо не маршрутизує без фільтра Envoy, якого цей каталог не рендерить, тож вибір не діє, і він не обирає жодної цілі за вартістю. На core/gateway/traefik-hub кожне приєднання також зупиняє збірку з указанням причини: Traefik обирає за найменшим часом відповіді лише серед серверів одного Service, які охоплюють одна назва моделі та одні облікові дані, а між Service балансує за вагою або за хешем адреси клієнта, ніколи за затримкою, і жодна з його стратегій не обирає ціль за вартістю; до того ж кожна під’єднана до шлюзу модель обслуговується на власному маршруті, що несе лише цю модель, і обирати немає з чого. На будь-якому іншому шлюзі приєднання зупиняє збірку.

  • Стійкість: core/fallback-chain передає запит, модель якого дає збій, іншим моделям: chains визначає для кожного псевдоніма моделі, що має резерв, псевдоніми, які пробують по черзі, доки один не відповість, причому резервний варіант, що дав збій, у свою чергу йде за власним записом, а max_hops обмежує, як далеко вздовж цього ланцюжка передається запит. Стандартна бібліотека реалізує це на AI-шлюзі, записуючи обидва параметри в конфігурацію маршрутизації, яку рендерить сутність Recipe шлюзу, і зупиняє збірку на імені, яке мапа моделей шлюзу не публікує. Запит переходить на резерв лише після того, як шлюз відмовився від запитаного псевдоніма: там, де псевдонім опубліковано більше одного разу, невдалий виклик спочатку переходить до іншого з його записів як повторна спроба, обмежена кількістю повторних спроб шлюзу. core/retry-policy задає цю кількість — скільки разів шлюз може надіслати запит, включно з першим надсиланням (max_attempts), у разі збою, який зникає після повторного надсилання, як-от відхилене з’єднання, обмеження частоти чи тайм-аут, — і стандартна бібліотека реалізує це на AI-шлюзі, записуючи її в конфігурацію маршрутизації, яку рендерить сутність Recipe шлюзу. На core/gateway/envoy-gateway це реалізовано як повторну спробу traffic policy на маршруті, що обслуговує підключені моделі, — тієї самої policy, що несе обмеження частоти бюджету на період, бо Envoy Gateway приєднує до маршруту одну traffic policy: запит надсилається повторно після відхиленого з’єднання чи потоку, скидання або відповіді 429, 503 чи 504, до max_attempts надсилань, а моделі, яка нічого не відповідає в межах тайм-ауту запиту маршруту, запит повторно не надсилається, бо цей тайм-аут охоплює всі надсилання. На core/gateway/azure-api-management це реалізовано як повторну спробу Azure навколо пересилання, у розділі backend policy API: запит, на який відповіли HTTP 429 або статусом 5xx, надсилається повторно, з тілом, збереженим для повторного надсилання, через одну секунду після попереднього надсилання, до max_attempts надсилань. Після відхиленого чи обірваного з’єднання, а також моделі, яка нічого не відповідає в межах тайм-ауту пересилання, запит повторно не надсилається, бо Azure припиняє повторні спроби на такій помилці й передає її в розділ on-error policy. Azure повторює від 1 до 50 разів після першого надсилання, тож max_attempts, що дорівнює 1, не записує жодної повторної спроби, а значення понад 51 відхиляється з явним зазначенням. Повторна спроба заступає пересилання, яке API успадкувало б, тож поки її приєднано, налаштування пересилання, задане в ширшій області екземпляра, як-от тайм-аут, не застосовується до API, яке пересилає зі стандартними параметрами Azure. На розміщеному шлюзі core/retry-policy реалізовано записом у ресурс шлюзу його кількості повторних спроб, яка визначає надсилання після першого, від 1 до 5, тож max_attempts від 2 до 6 враховується, а будь-яке інше значення відхиляється; core/fallback-chain там не реалізовано, бо цей шлюз переходить між моделями лише всередині маршруту, який запит називає замість моделі, тож запит до моделі ніколи не переходить на резерв. На core/gateway/kong-enterprise core/fallback-chain реалізовано в його сутності Recipe для chart: маршрути chat і completion кожного псевдоніма, якому chains дає запис, несуть AI Proxy Advanced від Kong замість його AI proxy, з моделлю псевдоніма та моделями, на які переходить його обхід, як цілями в порядку пріоритету — псевдонім, потім резервні варіанти його запису по черзі, причому власний запис резервного варіанта, у свою чергу, враховується лише доти, доки налічено менше ніж max_hops. Балансувальник надсилає запит до кожної цілі обходу один раз, по черзі, доки одна не відповість, переходячи далі після помилки чи тайм-ауту з’єднання, недійсного заголовка відповіді або відповіді 429, 500, 502, 503 чи 504, і повертає будь-яку іншу відповідь такою, якою вона надійшла. Збірка зупиняється на імені, якого не несе сокет models, на обході, що двічі досягає того самого псевдоніма, поряд із core/retry-policy, оскільки Kong веде одну кількість повторних спроб на весь обхід і не може повторно надіслати запит моделі, перш ніж перейти на резерв, а також на образі шлюзу, старішому за 3.12. core/retry-policy там не реалізовано, і його реалізація зупиняє кожне приєднання із зазначенням причини: кожна підключена модель обслуговується на власних маршрутах, що несуть лише цю одну модель, тож повторна спроба мусить знову надіслати запит до тієї самої цілі, а довідник Kong можна прочитати в обидва боки щодо того, чи робить це його балансувальник. На core/gateway/agentgateway core/retry-policy реалізовано в сутності Recipe для chart як policy повторних спроб власної конфігурації шлюзу, приєднану до listener, на який надходять його запити до моделей: запит надсилається повторно, одразу й до тієї самої моделі, після відповіді 429, 500, 502, 503 чи 504, відхиленого чи скинутого з’єднання, з’єднання, відкриття якого триває понад 11 секунд, або невдалого розв’язання імені, до max_attempts надсилань. agentgateway надсилає запит на один раз більше, ніж кількість спроб його policy, тож policy записується як max_attempts мінус один, max_attempts, що дорівнює 1, не записує жодної, а значення понад 256 відхиляється з явним зазначенням. Запит, тіло якого більше за 64 KiB, надсилається один раз, а конфігурація не задає тайм-ауту, тож на модель, яка приймає з’єднання й нічого не відповідає, чекають, а не надсилають запит повторно. core/fallback-chain там не реалізовано, і його реалізація зупиняє кожне приєднання із зазначенням причини: agentgateway перемикається між моделями, виключаючи модель, що дала збій, для наступних запитів, тоді як на невдалий запит відповідають його помилкою, тож жоден запит не проводиться вздовж ланцюжка. На core/gateway/higress core/retry-policy реалізовано як власну повторну спробу маршруту, записану як анотації Ingress на кожному маршруті моделі: запит надсилається повторно після відхиленого чи скинутого з’єднання, відповіді 5xx або 429, зокрема POST, до max_attempts надсилань; max_attempts, що дорівнює 1, вимикає повторні спроби, перевизначаючи повторну спробу, яку площина керування Higress дає маршруту без анотації, а значення понад 2147483648 відхиляється з явним зазначенням. Моделі, яка приймає з’єднання, а потім нічого не відповідає або відповідає повільно, запит повторно не надсилається, оскільки маршрут не задає крайнього терміну на спробу, а потоковий запит надсилається повторно лише до того, як почалася його відповідь. core/fallback-chain там теж не реалізовано, і його реалізація зупиняє кожне приєднання із зазначенням причини: Higress передає невдалий запит далі щонайбільше один раз, до одного іншого призначення — стандартного backend маршруту або єдиного резервного маршруту, який його консоль записує для AI-маршруту, — тож жоден запит не проводиться вздовж ланцюжка. На core/gateway/traefik-hub обидва реалізовано в сутності Recipe для chart, і кожен зупиняє збірку на образі Traefik Hub, старішому за v3.20, чий failover не приймає middleware на сервісах, які пробує, а чия повторна спроба не може повторно надіслати POST за статусом відповіді, — за винятком policy повторних спроб з одним надсиланням. core/fallback-chain проводить маршрут кожного псевдоніма, якому chains дає запис, через вкладені failover самого Traefik, пробуючи по черзі моделі обходу псевдоніма — псевдонім, потім резервні варіанти його запису по черзі, причому власний запис резервного варіанта, у свою чергу, враховується лише доти, доки налічено менше ніж max_hops, — кожну з власною назвою моделі, обліковими даними, квотами й повторною спробою. Відповідь моделі 429 або від 500 до 504, після можливої повторної спроби цієї моделі, передає запит наступній; будь-яка інша відповідь повертається такою, якою надійшла, відповідь останньої моделі — хай якою вона буде, а тіло запиту понад 1 MiB відхиляється з HTTP 413 замість надсилання. Збірка зупиняється на імені, якого не несе сокет models, і на обході, що двічі досягає того самого псевдоніма. core/retry-policy — це middleware повторних спроб Traefik, останній на кожному маршруті моделі або на кожній моделі, яку пробує обхід: запит надсилається повторно одразу після з’єднання, яке нічого не передало моделі, і після відповіді 429 або від 500 до 504, зокрема POST, до max_attempts надсилань, включно з першим, а max_attempts, що дорівнює 1, нічого не записує. Після відповіді, яку шлюз формує сам, — відмови його перевірки ключа, захисту, маскування чи квоти — запит ніколи не надсилається повторно, так само як і після потокової відповіді, що вже почалася.

  • Бюджет на період: core/period-budget обмежує, скільки може спожити трафік через шлюз за період: limit, period, який він охоплює, scope — усе, що обслуговує шлюз, кожен викликач або кожна модель, — і unit — вартість у доларах США або в токенах, — і щойно те, що шлюз налічив за період, перевищує ліміт, подальші запити до моделей відхиляються. Він приєднується до будь-якого компонента, що оголошує dataplane.aggrega.ai/period-budget. Стандартна бібліотека реалізує його на AI-шлюзі, бюджет якого охоплює все, що обслуговує шлюз, рахується в доларах США і починається знову на початку кожного періоду — кількість днів від опівночі UTC або календарний місяць від його першого дня: реалізація записує ліміт і період у конфігурацію, яку рендерить сутність Recipe шлюзу, відхиляє за назвою будь-яку іншу одиницю, область чи період — зокрема 30d, який шлюз рахує як календарний місяць, — і зупиняється, якщо слоти облікових даних шлюзу database_url і api_key не приєднані обидва, бо без своєї облікової бази даних шлюз не веде жодного підрахунку, а без адміністративного ключа не перевіряє жодного викликача щодо бюджету. Щойно підрахунок перевищує ліміт, шлюз відхиляє запити до моделей з адміністративним ключем так само, як і запити кожного викликача; його перелік моделей і керування ключами й далі відповідають на цей ключ. На хостованому шлюзі він реалізується як правило ліміту витрат на ресурсі шлюзу, що рахується в доларах США за вікно, яке рухається вперед із часом, — останній period, для моделей, ціни яких шлюз знає, — для всього, що обслуговує шлюз: бюджет на викликача або на модель, токени і календарний місяць відхиляються за назвою. На core/gateway/apisix він реалізується в сутності Recipe типу chart і записується на маршрути підключених моделей як обмеження швидкості за токенами APISIX: рахується в токенах, які повідомляє відповідь кожної моделі, — total_tokens, prompt_tokens або completion_tokens — за фіксоване вікно period, яке відкривається першим запитом до моделі після закриття попереднього вікна, а не за годинником, для всього, що обслуговує шлюз, для кожної підключеної моделі окремо або для кожного викликача, якого сутність Release шлюзу оголошує в infra.callers, окремо, причому шлюз розрізняє їх за ключем, який пред’являє кожен. Щойно підрахунок досягає ліміту, шлюз відповідає на запити до моделей HTTP 503, доки вікно не закриється; токени запиту додаються, щойно його відповідь завершується, тож запит, який досягає ліміту, обслуговується, а відповідь, яку подає його семантичний кеш, нічого не додає до підрахунку й подається понад ліміт. APISIX не рахує токенів у запиті completion, тож поки бюджет приєднано, кожна підключена модель отримує лише свій чат-маршрут, а підрахунок він тримає в пам’яті процесу шлюзу, тож chart запускає одну репліку, а перезапуск відкриває нове вікно. Бюджет у доларах США, бюджет на викликача, поки infra.callers не оголошує жодного, календарний місяць і другий бюджет на одному шлюзі відхиляються за назвою, як і приєднання до його сутності Recipe типу workload, яка не рендерить жодного маршруту. На core/gateway/envoy-gateway він реалізується як обмеження швидкості Envoy Gateway на основі використання на AI-маршруті, що обслуговує моделі, підключені до шлюзу: маршрут оголошує підрахунок токенів, який називає unit, — total_tokens, prompt_tokens або completion_tokens — як вартість, яку Envoy AI Gateway зчитує з кожної відповіді, а traffic policy на цьому маршруті стягує її, коли відповідь завершується, з limit токенів на одну одиницю обмеження швидкості Envoy Gateway, для всього, що обслуговує шлюз, або для кожної підключеної моделі окремо. Кожне вікно зафіксоване за годинником UTC — секунда, хвилина, година, доба від опівночі, тиждень від четверга або 30 чи 365 днів, відлічених від 1 січня 1970 року, — а 1mo — це календарний місяць згідно з налаштуванням служби обмеження швидкості Envoy Gateway, яке тоді діє для кожного місячного обмеження швидкості, що веде ця інсталяція. Підрахунок веде служба обмеження швидкості, яку площина керування Envoy Gateway створює та вмикає для кожного шлюзу, який вона обслуговує, у сховищі з протоколом Redis, підключеному до сокета cache шлюзу. Щойно підрахунок перевищує ліміт, шлюз відповідає на запити до моделей HTTP 429, доки вікно не завершиться; токени запиту додаються, щойно його відповідь завершується, тож запит, який перетинає ліміт, обслуговується. Поки сховище або служба обмеження швидкості недосяжні чи перевірка триває довше за тайм-аут обмеження швидкості Envoy, запити до моделей відхиляються з HTTP 500 згідно з налаштуванням площини керування Envoy Gateway, яке тоді діє для кожного обмеження швидкості, що веде ця інсталяція, тож обмеження швидкості, застосоване до неї вручну, теж відмовляє в закритому режимі; запит, прийнятий безпосередньо перед збоєм, однаково обслуговується і не рахується, бо його токени стягуються після відповіді, а сховище, що тримає підрахунок у пам’яті, після перезапуску починає кожне вікно заново. Бюджет у доларах США, бюджет на викликача — шлюз розрізняє викликачів лише за заголовком, який викликач записує сам, і ніщо на цьому шляху його не перевіряє, — будь-який інший період і другий бюджет на одному шлюзі відхиляються за назвою, як і приєднання, коли до сокета models або cache нічого не підключено. На core/gateway/azure-api-management він реалізується як ліміт токенів Azure, записаний у політику API: рахується в токенах промпту й завершення, які повідомляє кожна відповідь, разом, для всього, що обслуговує API, або для кожної підписки API Management, ключ якої шлюз перевіряє, — або як квота за фіксоване вікно за годинником UTC, година, доба, тиждень, календарний місяць чи календарний рік (1h, 1d, 7d, 1mo або 12mo; Microsoft не вказує, з якого дня починається тиждень), на перевищення якої відповідають HTTP 403, або як швидкість за одну хвилину (1m), на яку відповідають HTTP 429 і яка рахується за ковзним вікном на класичних рівнях і як token bucket на рівнях v2. Підрахунок — це використання, яке повідомляє кожна відповідь, тож паралельні запити можуть перейти ліміт, а кожен шлюз екземпляра веде власний підрахунок. Бюджет у доларах США або лише в токенах промпту чи завершення, бюджет на модель — модель, яку називає запит, записує викликач, і кілька назв можуть вести до однієї моделі, — бюджет на підписку в API, що не вимагає ключа підписки, будь-який інший період і ліміт, що не є цілим числом, відхиляються за назвою. Рівень Consumption не запускає жодного ліміту токенів. На core/gateway/kong-enterprise він реалізується в сутності Recipe типу chart і записується в маршрути, які імпортує шлюз, як AI Rate Limiting Advanced від Kong: рахується в токенах, які повідомляє відповідь кожної моделі, — total_tokens, prompt_tokens або completion_tokens — у фіксованих вікнах period, що є кількістю секунд, хвилин, годин або днів, причому кожен запит рахується в тому єдиному вікні, на яке припадає його час, для всього, що обслуговує шлюз, або для кожної підключеної моделі окремо, а запит з областю model рахується щодо псевдоніма, який він назвав, незалежно від того, яка модель на нього відповіла. Щойно підрахунок досягає ліміту, на наступний запит до моделі відповідають HTTP 429, доки вікно не завершиться, тож запит, який перетинає ліміт, обслуговується; Kong також може відхилити запит заздалегідь за власною оцінкою токенів промпту, які той містить. Підрахунок зберігається в бекенді PostgreSQL шлюзу, є спільним для всіх реплік і зберігається після перезапуску. Бюджет у доларах США — Kong рахує вартість лише за ціною, яку його конфігурація призначає кожній моделі, а каталог жодної не надає, — бюджет на викликача — Kong розрізняє викликачів лише як споживачів, яких називає плагін автентифікації, а шлюз не оголошує жодних викликачів з причин, наведених вище в «Kong перед моделями», — календарний місяць, другий бюджет на одному шлюзі та образ шлюзу, старший за 3.15, відхиляються за назвою, як і приєднання, коли до сокета models нічого не підключено. На core/gateway/agentgateway він реалізується в сутності Recipe типу chart, записується в конфігурацію шлюзу і рахується в загальній кількості токенів, яку повідомляє кожна відповідь: в області caller — як бюджет на API-ключі кожного викликача, якого сутність Release шлюзу оголошує в infra.callers, за фіксовані вікна period, вирівняні за епохою Unix, де доба починається опівночі UTC, що зберігається у сховищі SQLite на томі, який рендерить сутність Recipe, з однією реплікою; в області gateway або model — як token bucket для всього, що обслуговує шлюз, або для кожної назви моделі, яку запитує запит, що поповнюється до ліміту кожен period від моменту, коли шлюз прочитав свою конфігурацію, і зберігається в його пам’яті, тож перезапуск або змінена конфігурація поповнює його знову. Щойно налічене досягає ліміту, на запити до моделей відповідають HTTP 429, доки вікно не завершиться або bucket не поповниться; запит, який його досягає, обслуговується. Бюджет у доларах США — каталог вартості моделей шлюзу не має цін для жодної з підключених до нього моделей, тож бюджет нічого не рахував би, — лише в токенах промпту чи завершення, бюджет на викликача, поки infra.callers не оголошує жодного, календарний місяць, ліміт, що не є цілим числом, і другий бюджет на одному шлюзі відхиляються за назвою, як і приєднання, коли до сокета models нічого не підключено; його сутність Recipe типу compose не має реалізації цього. На core/gateway/traefik-hub він реалізується в сутності Recipe типу chart як middleware квот Traefik Hub на маршруті кожної підключеної моделі, яке веде підрахунок у сховищі з протоколом Redis, підключеному до сокета cache шлюзу: воно рахує токени, які повідомляє кожна відповідь, — total_tokens, prompt_tokens або completion_tokens — або, за usd, їхню вартість у доларах США за цінами зі списку моделей, що постачається з middleware, причому модель, ціни якої воно не має, відхиляється з HTTP 422, за вікно, що ковзає з часом, де налічене в певну мить звільняється знову через один період, для кожної підключеної моделі окремо або для всього, що обслуговує шлюз, поки підключено одну модель. Щойно підрахунок досягає ліміту, запити до моделей відхиляються з HTTP 429; підрахунок запиту додається, щойно його відповідь завершується, тож запит, який перетинає ліміт, і будь-який, обслуговуваний поряд із ним, обслуговується, а відповідь, яку подає семантичний кеш, нічого не додає. Довідник Traefik зазначає, що квота обслуговує запити без підрахунку, поки сховище недосяжне. Бюджет на викликача — квота розрізняє запити за адресою клієнта, заголовком запиту або хостом запиту, і жоден із них не є викликачем, якого перевірила перевірка ключів шлюзу, — бюджет на весь шлюз, поки підключено кілька моделей, оскільки довідник Traefik не вказує, чи маршрути, що називають одну квоту, спільно використовують її підрахунок, календарний місяць і будь-який період, крім годин або днів чи хвилин або секунд, що складають цілі години, відхиляються за назвою, як і ліміт, що не є цілим числом токенів, і приєднання, коли до сокета models або cache нічого не підключено. На core/gateway/higress він реалізується в сутності Recipe типу chart як плагін ліміту токенів Higress на маршруті кожної підключеної моделі, який веде підрахунок у сховищі з протоколом Redis, підключеному до сокета cache шлюзу: він додає токени промпту й завершення, які повідомляє кожна відповідь, разом, щойно відповідь завершується, за фіксоване вікно period — секунда, хвилина, година або доба, — яке відкривається, коли в ньому враховано першу відповідь, для всього, що обслуговує шлюз, або для кожного псевдоніма окремо. Поки підрахунок перевищує ліміт, на запити до моделей відповідають HTTP 429, доки вікно не завершиться, тож запит, який перетинає ліміт, обслуговується. Відповідь, що не повідомляє використання, нічого не додає, тож сутність Recipe просить модель потокового запиту повідомляти своє використання і відхиляє з HTTP 403 потоковий запит, який вимикає це повідомлення, запит, тип вмісту якого не містить application/json і не починається з multipart/form-data, який AI-проксі пересилає, не запитуючи повідомлення, і запит, тіло якого плагіни шлюзу не читають, — стиснене тіло, тип вмісту, що містить octet-stream або grpc, upgrade; клієнт, який навмисно надсилає тіло, яке валідація шлюзу не може декодувати, обходить ці відмови, і такий потоковий запит залишається неврахованим. Коли маскування не приєднано, запит, тіло якого перевищує буфер шлюзу у 32 KiB, може бути відхилено з HTTP 413 залежно від того, коли відповість сховище. Поки сховище недосяжне, запити до моделей обслуговуються і не рахуються: плагін не має налаштування, яке б тоді їх відхиляло. Бюджет у доларах США або лише в токенах промпту чи завершення, бюджет на викликача — шлюз не оголошує жодних викликачів, тож жодного не перевіряє, — будь-який інший період, ліміт, що не є цілим числом, і другий бюджет на одному шлюзі відхиляються за назвою, як і приєднання, коли до сокета models або cache нічого не підключено.

  • Паралельність: core/concurrency-limit обмежує, скільки запитів шлюз одночасно несе (max_in_flight), що не дає сплеску викликачів перетворитися на чергу до моделі за ним. scope визначає, що рахує одне обмеження: gateway, значення за замовчуванням, рахує разом кожен запит, який пересилає шлюз; model дає кожній цілі, якій шлюз надсилає запити, власний підрахунок, де ціллю є кожен upstream-запис, до якого шлюз маршрутизує, тож там, де одна назва моделі має кілька записів, кожен рахується окремо. Обмеження та його область — це визначення місткості, яке вирішує оператор і задає в infra приєднання, тож оператор приєднує його в сутності Release. Обмеження рахується для кожного запущеного проксі, тож там, де працює кілька реплік, кожна з них допускає стільки ж. Воно приєднується до будь-якого компонента, що оголошує dataplane.aggrega.ai/concurrency-cap, а реалізація відхиляє за назвою область, яку її шлюз не рахує. На core/gateway/nginx область gateway реалізується як limit_conn NGINX з ключем в одне слово, однакове для кожного запиту, тож NGINX рахує кожен запит, який обробляє, як один загальний підсумок, що зберігається в пам’яті, спільній для його робочих процесів, і відповідає на запит понад обмеження HTTP 503; область model відхиляється, оскільки NGINX не веде підрахунку для кожної upstream-цілі, як і max_in_flight понад 65535 — максимум, який приймає limit_conn. На core/gateway/envoy-gateway область model реалізується як circuit breaker traffic policy на маршруті, що обслуговує підключені моделі, — тієї самої policy, яка також несе обмеження швидкості бюджету на період і повтор політики повторів: Envoy Gateway застосовує його до бекенда кожного правила цього маршруту, а кожна підключена модель має власне правило, тож кожній підключеній моделі одночасно надсилається щонайбільше max_in_flight запитів, а на запит понад обмеження відповідають HTTP 503 і повторно його не надсилають; надсилання, яке повторює політика повторів, рахується в обмеження так само, як перше. Робочі потоки Envoy перевіряють підрахунок, а потім збільшують його, тож запити, що надходять разом, можуть ненадовго підняти його понад обмеження. Область gateway відхиляється, оскільки Envoy Gateway веде обмеження для кожного бекенда і жодного для їхньої суми, як і приєднання, коли до сокета models нічого не підключено. На AI-шлюзі область model реалізується як max_parallel_requests кожного запису його карти моделей, як введеного вручну, так і підключеного: до кожного запису одночасно виконується щонайбільше max_in_flight запитів, а на запит, що застає свій запис заповненим, відповідають HTTP 429 — після повторів шлюзу, якщо його псевдонім має один запис, і одразу, якщо їх кілька, навіть коли в іншому з них є місце, оскільки проксі обирає запис, перш ніж рахувати, — хіба що core/fallback-chain перелічує резервні моделі для його псевдоніма, до яких його тоді й надсилають. Проксі тримає кожен підрахунок у пам’яті, де за замовчуванням запис спливає через десять хвилин після створення, і тоді новий підрахунок починається з нуля, тож приєднання також встановлює цей час життя на сто років, зберігаючи кожен підрахунок, доки працює проксі. Через цей час життя шлюз відхиляє запит, що містить priority, поки обмеження приєднано, навіть там, де сутність Release допускає це поле, оскільки проксі тримає запис черги для кожного такого запиту, доки його запис не спливе; а збірка зупиняється на карті моделей з понад 100 записами, понад які сховище, де тримаються підрахунки, що вміщує 200 записів і відкидає один щоразу, коли заповнене, могло б відкинути підрахунок. Область gateway там відхиляється, оскільки єдиний загальний підсумок проксі читає лише обмежувач запитів, який вмикає змінна середовища і який рахує запит протягом його першої секунди. Не реалізує його і хостований шлюз: ліміт запитів, який його сутність Recipe типу terraform записує в ресурс шлюзу, — це швидкість, кількість запитів за інтервал, а не обмеження кількості запитів, що виконуються.

  • Журналювання аудиту: core/audit-logging змушує шлюз зберігати запис про кожен запит до моделі, який він обслуговує, із зазначенням моделі, що відповіла, і токенів, про які повідомляє відповідь, а кожна реалізація вказує, куди потрапляє запис. Його приєднують до будь-якого компонента, що має gateway.aggrega.ai/intelligence: semantic, а його три значення належать операторові й задаються в його infra, тож приєднує його оператор у сутності Release. require_cost, увімкнене за замовчуванням, змушує запис також зазначати, скільки коштував кожен запит, у валюті, яку називає реалізація. require_verified_caller, увімкнене за замовчуванням, змушує запис називати клієнта, якого перевірив шлюз, за ключем, який шлюз видав або перевірив. retention_days, не задане за замовчуванням, змушує шлюз видаляти запис, щойно йому виповниться стільки днів; без нього сам шлюз не видаляє жодного запису, і запис існує доти, доки його зберігає місце, куди він потрапив. Шлюз, який не може дотриматися значення, відхиляє приєднання під час збирання, називаючи це значення, тож приєднання, яке залишає require_cost і require_verified_caller зі значеннями за замовчуванням, отримує вартість і перевіреного клієнта або зупинку. Вимкнення require_verified_caller означає прийняття запису, клієнтом у якому є той, ким назвався сам запит, або взагалі жодного клієнта: будь-хто, хто надсилає запит, може тоді змусити записати його на іншого клієнта, тож такий запис не показує, хто надіслав запит. На AI-шлюзі запис — це рядок у базі даних обліку шлюзу, і кожного значення дотримано: рядок зазначає, скільки коштував запит у доларах США, за ціною з таблиці, яку шлюз веде для кожної моделі, — модель, для якої таблиця не задає ціни, записується як безкоштовна, — і називає ключ, який перевірив шлюз, разом із користувачем і командою, яким належить ключ, тоді як кінцевий користувач, якого називає рядок, — це той, кого вписує запит, без перевірки. Без своєї бази даних обліку шлюз не записує жодного рядка, а без адміністративного ключа не перевіряє жодного клієнта й не записує рядка для запиту, який не надає ключа й не називає кінцевого користувача, тож збирання зупиняється, якщо обидва слоти облікових даних шлюзу, database_url і api_key, не приєднано; доки values.log_masking шлюзу перелічує, що маскувати, він записує лише запити, на які було надано відповідь. На core/gateway/envoy-gateway запис — це рядок журналу доступу шлюзу, який пише його Recipe, доки приєднання присутнє: один рядок JSON на запит у стандартному виводі площини даних, що містить поля, які Envoy Gateway пише за замовчуванням, модель, яку назвав запит, модель, що відповіла, і токени промпту, доповнення та загальні, про які повідомляє відповідь, причому маршрут, що обслуговує моделі, оголошує ці лічильники, щоб Envoy AI Gateway їх записував. Запит, на який модель не відповіла, не містить моделі, що відповіла, і токенів, а журнал доступу сам нічого не зберігає, тож те, як довго існує рядок, залежить від того, що збирає цей вивід. Жодне поле не називає клієнта, якого перевірив шлюз: адресу клієнта й заголовки, які він надсилає, записують так, як вони надходять. Шлюз не веде цін, ніщо на маршруті, який генерує його Recipe, не перевіряє клієнта, а журнал доступу не зберігає запису, який міг би видалити, тож його реалізація збирає приєднання, яке вимикає require_cost і require_verified_caller і не задає retention_days, а інакше зупиняється, називаючи кожне значення, якого не може дотриматися, усі в одній помилці; вона також зупиняється, коли до сокета models нічого не підключено. На core/gateway/agentgateway запис — це рядок, який шлюз пише в сховище SQLite на томі, що його генерує його Recipe типу chart, доки приєднання присутнє, з однією реплікою, для кожного запиту до моделі, що проходить його перевірки ключа, бюджету й авторизації, зокрема й відмову guard: модель, яку шлюз запросив у сервера моделей, — назва, яку публікує підключена модель, а не псевдонім, надісланий клієнтом, — і модель, що відповіла, вхідні, вихідні й загальні токени, про які повідомляє відповідь, її статус і час, а також, для кожного клієнта, якого його сутність Release оголошує в infra.callers, ім’я цього клієнта, отримане з API-ключа, який перевірив шлюз. Запит, відхилений через його ключ, правилом авторизації або бюджетом клієнта, не залишає рядка. Жодного тексту промпту чи відповіді не зберігається, а рядки читають через адміністративний інтерфейс шлюзу, який слухає всередині його пода. require_verified_caller дотримується, доки оголошено клієнтів; require_cost відхиляється з назвою, оскільки каталог вартості моделей шлюзу не задає ціни жодній із підключених до нього моделей, як і require_verified_caller без оголошеного клієнта та retention_days, оскільки шлюз не видаляє жодного запису; його Recipe типу compose не має реалізації цього. На core/gateway/higress запис — це поле ai_log рядка журналу доступу шлюзу, яке заповнює плагін статистики Higress, доки приєднання присутнє: модель, що відповіла, і вхідні, вихідні та загальні токени, про які повідомляє відповідь, у стандартному виводі шлюзу, без тексту промпту чи відповіді. Шлюз не оголошує клієнтів, нічого не оцінює й не зберігає запису, який міг би видалити, тож його реалізація збирає приєднання, яке вимикає require_cost і require_verified_caller і не задає retention_days, а інакше зупиняється, називаючи кожне значення, якого не може дотриматися, усі в одній помилці; вона також зупиняється, коли до сокета models нічого не підключено. На core/gateway/traefik-hub кожне приєднання зупиняється із зазначенням причини: Traefik Hub зберігає запис про запит до моделі лише як span OpenTelemetry, який його AI-middleware експортують до бекенда трасування, — із зазначенням моделі, а на детальному рівні також токенів і їхньої вартості в доларах США, — а його реалізація не підключає жодного бекенда трасування, тож запис нікуди б не потрапив; span також не називає клієнта, тож не може назвати того, кого перевірила перевірка ключа шлюзу. На core/gateway/azure-api-management кожне приєднання зупиняється, як сказано в пункті про цей шлюз вище, і жоден інший шлюз стандартної бібліотеки цього не реалізує, тож приєднання до будь-якого іншого шлюзу зупиняється із зазначенням типу.

  • Семантичне кешування: core/semantic-caching оголошує кеш, який відповідає на промпт відповіддю, збереженою для попереднього промпту, достатньо близького за змістом, замість того щоб знову викликати модель. embedding_model називає модель, яка перетворює кожен промпт на вектор, так, як її публікує шлюз; збережену відповідь видають, коли два промпти подібні щонайменше на similarity_threshold, і вона залишається придатною протягом ttl_seconds. scope визначає, хто спільно використовує кеш: end_user, значення за замовчуванням, тримає окремо кожного кінцевого користувача, якого ідентифікує шлюз, тоді як key обслуговує з одного кешу кожного клієнта, що надає той самий ключ, тож кінцевому користувачеві за цим ключем може бути видано відповідь, згенеровану для іншого. core/data-masking оголошує конфлікт із ним, тож збирання зупиняється на компоненті, що має обидва. Стандартна бібліотека реалізує його на AI-шлюзі, який зберігає відповіді в core/datastore/redis, підключеному до його сокета cache_store, надаючи сховищу пароль, що міститься в облікових даних цього з’єднання, коли сховище його вимагає, причому сховище видаляє кожну відповідь, щойно минуть ttl_seconds; шлюз кешує запити chat, responses і messages, але не completions чи embeddings. Реалізація зупиняє збирання, якщо слот api_key шлюзу не приєднано, бо без адміністративного ключа шлюз не перевіряє жодного клієнта, а також на embedding_model, якого не публікує мапа моделей шлюзу, і коли до cache_store нічого не підключено. Збережену відповідь видають лише запиту, що відповідає тому, під чим її збережено: ключу, який надає запит і який перевіряє шлюз, разом із командою та організацією цього ключа; за end_user — кінцевому користувачеві, якого називає запит; і моделі, яку запитує запит, з іншими його параметрами. Шлюз записує ключ, команду, організацію та кінцевого користувача в сам запит, поверх будь-якого значення, яке клієнт надіслав для них у запиті chat; у запиті responses чи messages він видаляє поле команди, організації чи кінцевого користувача з власних метаданих запиту й відхиляє поле, що називає там ключ, тож жоден запит не може дістатися відповідей іншого ключа, просто назвавши його. Власні метадані запиту все ж можуть переміщувати його між відповідями ключа, який він надає: у запиті responses model_group замінює запитану модель у тому, під чим зберігається його відповідь; у запиті responses чи messages caching_groups дає змогу запитам, що називають ту саму групу псевдонімів моделей, спільно використовувати відповіді між ними; а в запиті responses чи chat redis_namespace тримає запити, що називають простір імен, окремо від тих, що не називають жодного. Шлюз читає кінцевого користувача із заголовка або поля тіла, яке називає сам запит, і не перевіряє жодного з них: за end_user клієнтові, що називає іншого кінцевого користувача, видають відповіді цього кінцевого користувача, а запити, що не називають жодного кінцевого користувача, спільно використовують один кеш з усіма іншими такими запитами під ключем, який вони надають. Хостований шлюз цього не реалізує: його кеш відповідає лише на запит, ідентичний попередньому. На core/gateway/azure-api-management його реалізовано як пошук і збереження семантичного кешу Azure, записані в політику API: embedding_model називає бекенд, який екземпляр API Management уже має для моделі embeddings і до якого екземпляр звертається за допомогою своєї керованої ідентичності, а екземпляру потрібен кеш Redis із RediSearch, налаштований як його зовнішній кеш, і жодного з цього збирання не бачить, тож збирання зупиняється, доки оператор не підтвердить, що кеш підтримує RediSearch, задавши infra.cache_serves_vector_search шлюзу; сховище зберігає відповідь протягом ttl_seconds; а similarity_threshold записується як поріг оцінки Azure, одиниця мінус поріг, при цьому оцінку прочитано як косинусну відстань, оскільки Microsoft наводить її діапазон і напрям — нижче означає ближчі промпти, — але не її міру. Відповідь зберігають і видають окремо для кожного API та кожної підписки API Management, ключ якої перевіряє шлюз, тож реалізація зберігає key, відхиляє його на API, що не вимагає ключа підписки, і відхиляє end_user: API, яке генерує його Recipe, не перевіряє токен жодного кінцевого користувача, тож шлюз не має перевіреного кінцевого користувача, якого треба тримати окремо. core/gateway/contour та core/gateway/nginx теж його не реалізують, оскільки не пропонують семантичного кешу. На core/gateway/agentgateway його реалізація зупиняє кожне приєднання із зазначенням причини: agentgateway не тримає кешу відповідей, а його кешування промптів лише позначає, де це може зробити постачальник, що сам кешує промпти. На core/gateway/kong-enterprise його реалізація зупиняє кожне приєднання, називаючи запитану область: AI Semantic Cache у Kong не має налаштування, яке тримало б збережені відповіді одного клієнта окремо від відповідей іншого, а шлюз розрізняє клієнтів лише як consumers, яких називає плагін автентифікації, і не оголошує клієнтів з причин, наведених вище в розділі «Kong перед моделями», тож і за end_user, і за key кожен запит спільно використовував би один кеш. На core/gateway/higress його реалізація зупиняє кожне приєднання, називаючи запитану область: семантичний кеш Higress зберігає кожну відповідь під одним префіксом ключа, за яким іде текст промпту, і ніщо в цьому ключі не називає клієнта чи кінцевого користувача, тоді як шлюз не оголошує клієнтів, тож кожен запит спільно використовував би один кеш. На core/gateway/apisix його реалізовано в Recipe типу chart, записано на маршрут chat кожної підключеної моделі як семантичний кеш APISIX 3.18.0, для клієнтів, яких його сутність Release оголошує в infra.callers: відповідь зберігають для кожного маршруту й кожного клієнта під ключем, який надав клієнт і який перевіряє шлюз, тож жодному клієнтові не видають відповідь, збережену для іншого; реалізація зберігає key і відхиляє end_user з назвою, бо шлюз не може розрізнити кінцевих користувачів за одним ключем. embedding_model називає з’єднання на сокеті models шлюзу, з кінцевою точкою, моделлю та обліковими даними якого кеш обчислює embeddings. Кеш обчислює embedding останнього повідомлення користувача в запиті й видає збережену відповідь, повідомлення якої подібне щонайменше на similarity_threshold, а попередні повідомлення — системний промпт, попередні репліки — ті самі. Відповіді зберігаються протягом ttl_seconds у core/datastore/redis, підключеному до сокета cache_store шлюзу, якому кеш надає пароль, що міститься в облікових даних цього з’єднання, а відповідь, видану за змістом, знову зберігають під цим запитом ще на ttl_seconds. Запити completion не кешуються, а збій сховища чи обчислення embedding вважається промахом: на запит усе одно надається відповідь. Реалізація зупиняється, коли не оголошено жодного клієнта, коли до cache_store або до сокета models нічого не підключено, і на embedding_model, якого не несе жодне з’єднання там. APISIX прив’язує збережену відповідь до маршруту й клієнта, а не до шлюзу, тож два шлюзи APISIX, підключені до одного сховища, або дві сутності Releases однієї сутності Aggregate, що спрямовують свій шлюз на одне зовнішнє сховище, можуть видати кешовану відповідь клієнтові з тим самим ім’ям на тому самому псевдонімі й моделі. Його Recipe типу workload, на APISIX 3.17.0, взагалі не має семантичного кешу. На core/gateway/traefik-hub його реалізовано в Recipe типу chart як семантичний кеш Traefik Hub на маршруті кожної підключеної моделі, для клієнтів, яких його сутність Release оголошує в infra.callers: відповідь зберігають для кожної підключеної моделі й кожного клієнта під клієнтом, якого перевірила перевірка ключа шлюзу, кожного за його власним ключем, тож жодному клієнтові не видають відповідь, збережену для іншого; реалізація зберігає key і відхиляє end_user з назвою, бо шлюз не може розрізнити кінцевих користувачів за одним ключем. embedding_model називає з’єднання на сокеті models шлюзу, з кінцевою точкою, моделлю та обліковими даними якого кеш обчислює embedding тексту запиту. similarity_threshold записується як межа відстані кешу, одиниця мінус поріг, прочитана як косинусна відстань, оскільки довідка Traefik наводить напрям межі, але не її міру. Відповідь зберігається протягом ttl_seconds у core/datastore/redis, підключеному до сокета cache_store шлюзу, а на запит, завеликий для обчислення embedding, відповідають без кешу. Реалізація зупиняється, коли не оголошено жодного клієнта, коли до cache_store або до сокета models нічого не підключено, на embedding_model, якого не несе жодне з’єднання там, і на образі Traefik Hub, тег якого не називає версії від v3.19.11 у межах 3.19 або від v3.20.6, оскільки ранніша версія використовує один кеш для всіх клієнтів маршруту.

  • Перевірка на prompt injection: core/prompt-injection-shield оголошує, що запити до моделей, які пересилає gateway, перевіряються перед викликом моделі на спробу переписати інструкції, надані моделі, з sensitivity рівня standard або strict — strict відхиляє більше таких спроб, а разом із ними й більше легітимних запитів. Перевірка є вердиктом імовірнісного класифікатора: вона пропускає деякі атаки — серед них перефразовані, закодовані або написані інакше, — відхиляє деякі легітимні запити й, як відомо, піддається обходу, тож це один засіб контролю поряд з іншими, і вона не оцінює відповідь моделі, аргументи викликів інструментів чи зображення. Її можна приєднати до будь-якого gateway, і реалізація або пропускає запити gateway через охоронця, під’єднаного до його сокета guard, що не вимагає від gateway нічого, крім пересилання на налаштовану адресу, або вмикає перевірку, яку gateway виконує сам. З охоронцем саме охоронець перевіряє кожен запит і пересилає моделі те, що допускає, а приєднання Feature без нічого на цьому сокеті зупиняє збірку із зазначенням цього. Стандартна бібліотека реалізує її на AI-gateway і на NGINX-gateway, в обох випадках із core/security/nemo-guardrails як охоронцем: це сервіс, що працює через API chat-completions від OpenAI, rail якого надсилає останнє повідомлення користувача із запиту класифікатору під’єднаного до нього core/security/trustyai-huggingface-detector і відхиляє запит, коли оцінка цього класифікатора досягає порогу охоронця. На відхилений запит відповідає сам охоронець звичайним completion, і ніщо з нього не доходить до моделі; коли охоронець або його детектор недоступні, запит теж відхиляється. Кожен із двох зупиняє збірку, якщо охоронець не є саме цим сервісом із порогом, який задає чутливість, — 0.5 для standard і 0.001 для strict, два значення, виміряні для типового класифікатора детектора, модель якого gateway, що бачить охоронця, а не детектор за ним, перевірити не може. На AI-gateway кожен псевдонім мапи моделей надсилається охоронцю, а кожна ціль записується як openai/<model>, тож мапа — це та, що записана вручну: модель, під’єднану до сокета models gateway, було б надіслано на її власний endpoint з обліковими даними її власного з’єднання в обхід охоронця, тому реалізація зупиняє збірку, доки цей сокет містить з’єднання, і називає його. AI-gateway відхиляє кожен запит, окрім chat completion — єдиного типу, який перевіряє охоронець; на NGINX-gateway його єдина location пересилає охоронцю замість upstream, і охоронець не відповідає на жоден інший маршрут моделі. На core/gateway/azure-api-management її реалізовано як власний prompt shield від Azure, увімкнений у policy API через бекенд Azure AI Content Safety екземпляра, який задає infra.content_safety_backend_id, і збірка зупиняється, доки цей ключ не встановлено: Azure AI Content Safety перевіряє кожен запит на атаку користувача перед викликом моделі, ще до пошуку в семантичному кеші, і gateway відповідає HTTP 403 на запит, у якому виявляє таку атаку, так само як відповідає на запит, довший, ніж приймає сервіс. Shield або увімкнений, або вимкнений, тож standard зберігається, а strict відхиляється за назвою, і він працює з власною чутливістю Microsoft, не виміряною відносно порогу, який standard задає для охоронців. Екземпляр звертається до цього бекенду через свою керовану ідентичність, якій потрібна роль Cognitive Services User для сервісу; збірка не бачить ні того, ні іншого. Жоден gateway стандартної бібліотеки, окрім цих трьох, її не реалізує, і приєднання її до іншого зупиняє збірку із зазначенням типу: більшість не генерує жодного маршруту, який реалізація могла б пропустити через охоронця, — вони зберігають маршрути у власному сховищі, беруть їх від сервісів за ними або є хостованим сервісом, на якому стандартна бібліотека не вмикає жодної перевірки такого роду, — а core/gateway/apisix, Recipe чарту якого генерує маршрути під’єднаних до нього моделей, і core/gateway/envoy-gateway, Recipe якого генерує AI-маршрут під’єднаних до нього моделей, не мають її реалізації. На core/gateway/agentgateway, Recipes якого генерують запис для кожної під’єднаної до нього моделі, реалізація зупиняє кожне приєднання із зазначенням причини: agentgateway оцінює запит на таку спробу лише через сервіс, який він викликає, — webhook, який запускає оператор, або Azure AI Content Safety, Google Model Armor чи AWS Bedrock Guardrails, — і реалізація не під’єднує жодного з них. На core/gateway/higress реалізація теж зупиняє кожне приєднання із зазначенням причини: Higress оцінює таку спробу лише через сервіс, який він викликає, — сервіс безпеки вмісту Alibaba Cloud або, через плагін, що є в його вихідному коді, але не опублікований у його випуску плагінів 2.2.5, сервіс моделі Qwen3Guard, який запускає оператор, — і кожен із них пропускає запит, коли цей виклик завершується невдачею, а реалізація не під’єднує жодного з них. На core/gateway/traefik-hub реалізація так само зупиняє кожне приєднання із зазначенням причини: Traefik Hub оцінює таку спробу лише через сервіс, який він викликає, — свої middleware LLM Guard і Parallel LLM Guard, що викликають сервіс охоронця або модель із запитом і з умовами, які реалізації довелося б записати, і робота яких із детектором атак на промпти не виміряна, тож жодна чутливість там не відповідає перевірці; або свої middleware Azure Prompt Shield, Amazon Bedrock Guardrails і GCP Model Armor, що викликають хостовані сервіси, які реалізація не під’єднує. Охоронець читає лише останнє повідомлення користувача, тож системне повідомлення, попередній хід або результат інструмента доходить до моделі непрочитаним, і перевіряється лише трафік, що проходить через gateway: робоче навантаження, яке викликає адресу моделі напряму, обходить його.

  • Валідація відповідей і оцінювання: core/response-validation оголошує перевірку відповіді моделі на відповідність JSON Schema до того, як вона дійде до викликача: schema містить саму схему, і відповідь, яка їй не відповідає, відхиляється замість передавання далі — або, з увімкненим invert, відповідь, яка їй відповідає. Схема належить приєднанню й однакова для кожного запиту, а не надсилається викликачем у його власному запиті, тож розробник приєднує її в сутності Aggregate, записуючи схему в її values. Жодна реалізація стандартної бібліотеки її не забезпечує: на core/gateway/agentgateway її реалізація зупиняє кожне приєднання із зазначенням причини — охоронці відповідей agentgateway зіставляють шаблони або викликають сервіс content safety чи webhook, і жоден із них не приймає схему, — так само як її реалізація на core/gateway/higress, перевірка відповідей якої на відповідь, що її пройшла, відповідає голим JSON, знайденим у повідомленні відповіді, замість chat completion, який повертає її маршрут OpenAI, пропускається будь-яким клієнтом, що надсилає заголовок запиту X-HIGRESS-AI-JSON-RESP: true, і залишає неперевіреною схему з вкладеністю понад шість рівнів; і так само її реалізація на core/gateway/traefik-hub, оскільки жоден middleware у довідці Traefik Hub не перевіряє відповідь на відповідність схемі — його middleware Chat Completion перевіряє запити на відповідність схемі chat completion, його керування API перевіряє тіла запитів на відповідність документу OpenAPI, а його LLM Guard надсилає відповідь зовнішньому сервісу, який реалізація не під’єднує; на будь-якому іншому gateway приєднання зупиняє збірку із зазначенням типу. core/traffic-shadowing копіює живі запити до другого сервісу й відкидає відповіді цього сервісу, тож кандидатну модель або сервіс можна оцінити під реальним трафіком так, щоб жоден викликач не побачив її виводу. Її можна приєднати до будь-якого компонента, що оголошує dataplane.aggrega.ai/request-mirroring, чого AI-gateway не робить; стандартна бібліотека реалізує її на NGINX-gateway, який копіює весь потік, а не його частку, і зупиняється на меншій частці, називаючи її.

5. Асинхронне виконання та інфраструктура HITL

Aggrega розглядає фреймворки з участю людини (як-от AutoGen і LangGraph) як вузли-воркери. Щоб підтримувати «сплячих» агентів, які чекають на введення від людини без втрати стану, архітектори платформи можуть оголошувати сокети usesSchema на сутностях Components цих агентів, які суворо вимагають явного прив’язування до них компонентів категорії datastore, вибраних за міткою рушія datastore — datastore.aggrega.ai/engine in (vector, semantic-memory, search) для сховища, з якого агент отримує дані за подібністю, або datastore.aggrega.ai/engine=kv для сховища, у яке він записує контрольні точки стану свого виконання. Сокет прив’язується до мітки рушія, а не до назви продукту, тож автор вибирає, яке сховище буде під’єднано, а оголошення й далі виконується. Крім того, для циклів зворотного зв’язку від людини до агента (наприклад, інтеграцій зі Slack) можна налаштувати роль вердикту governance, яка відхилятиме архітектуру, якщо не приєднано явно оголошений компонент gateway, щоб callback-вебхуки входили через оголошену межу вхідного трафіку.

Агенти, побудовані на фреймворку або SDK, навколо якого написано застосунок, а не постачені як окремий продукт, мають у стандартній бібліотеці одну форму. Сутність Release задає образ застосунку, який каталог не фіксує. Сокет model передає те, що фреймворк читає з під’єднаної моделі, — її адресу та назву моделі, де фреймворк їх читає, і облікові дані з’єднання, за посиланням, — у змінні, які читає цей фреймворк. Там, де фреймворк не визначає власного сервера, компонент є worker і не відкриває жодного порту: таку форму мають core/ai-agent/crewai і core/ai-agent/langgraph, а також core/ai-agent/openai-agents-sdk, сокет model якого приймає лише модель або gateway з model.aggrega.ai/api: openai, core/ai-agent/claude-agent-sdk, сокет якого приймає лише елемент з model.aggrega.ai/api: anthropic, і core/ai-agent/agent-framework — для застосунку, побудованого на Microsoft Agent Framework, який сам нічого не обслуговує, — сокет якого приймає лише елемент з model.aggrega.ai/api: openai і передає змінні, які читають Python-клієнти OpenAI з Agent Framework; ці три зупиняють збірку, називаючи infra.image, доки сутність Release його не встановить. OpenAI Agents SDK типово вивантажує трасу кожного запуску до OpenAI, тому core/ai-agent/openai-agents-sdk вимикає це вивантаження, якщо сутність Aggregate не встановить своє значення upload_traces_to_openai у true. Там, де фреймворк сам обслуговує HTTP, компонент є server на власному порту фреймворку й публікує адресу, на яку звертається викликач, як host, port, endpoint і protocol, і він теж зупиняє збірку, називаючи infra.image, доки сутність Release його не встановить: core/ai-agent/google-adk обслуговує REST API ADK на порту 8000 і передає ключ, який клієнт Gemini з ADK надсилає до Gemini API, а його сокет model приймає лише модель з model.aggrega.ai/api: gemini, як-от core/ai-model/gemini, і ніколи не gateway, адресу якого клієнт ADK не прочитав би; core/ai-agent/mastra обслуговує сервер, який будує Mastra, на порту 4111, готовий у Kubernetes, щойно відповідає його маршрут /health, приймає модель або gateway з model.aggrega.ai/api: openai і, там, де сутність Aggregate називає одного з агентів застосунку у своєму значенні agent_id, публікує адресу картки Agent2Agent цього агента, щоб core/ai-tool/agent-invocation міг йому делегувати. Маршрути обох серверів відповідають будь-якому викликачу, якщо застосунок їх не автентифікує, тому приєднання core/public-ingress або core/http-route до будь-якого з них зупиняє збірку, доки сутність Release не встановить свій infra.routes_authenticated у true, підтверджуючи, що застосунок автентифікує кожен запит, який приймають його маршрути. Середовища виконання SDK і серверів та core/ai-agent/agent-framework також оголошують необов’язковий сокет tools, який передає адресу кожного під’єднаного інструмента та облікові дані з’єднання за посиланням у змінних, названих за псевдонімом з’єднання. Оскільки застосунок — це власний код сутності Release, змінні, які ці агенти передають для читання цим кодом, є типовими значеннями: кожен їхній сокет допускає блок inject:, через який сутність Aggregate називає змінні або файли, які застосунок читає натомість, тоді як змінна, яку фреймворк читає сам, і те, що передає приєднання на з’єднанні, залишаються. Те саме стосується власних значень агента: кожен компонент допускає на собі блок inject: із записів env і file, і запис, шаблон якого читає одне з його власних значень і нічого іншого з компонента — жодного іншого значення, ані його infra, метаданих чи ідентичності, — замінює типову назву, під якою сутність Recipe передає це значення, як-от CREWAI_ROLE для role агента CrewAI. Імпорт оголошень агентів проєкту CrewAI, файлу langgraph.json застосунку LangGraph, конфігурацій агентів застосунку Google ADK або декларативного агента Agent Framework створює чернетки цих агентів — core/ai-agent/crewai, core/ai-agent/langgraph, core/ai-agent/google-adk і core/ai-agent/agent-framework — під’єднаних до сховища даних, яке називає конфігурація, і до моделі, яку вона називає, там, де сокет model агента її приймає, поряд із чернеткою сутності Release, яка залишає оператору вказати образ, у якому працює програма, і читає лише конфігурацію, ніколи програму, як описано в розділі Plugins імпорту.

6. Топологічна валідація безпеки та забезпечення під час виконання

Оскільки AI-навантаження приносять нові вектори атак (як-от prompt injection і автономне викрадення даних), їх захист потребує поєднання статичного governance архітектури з активним забезпеченням під час виконання. Як компілятор Ahead-of-Time (AOT, попередня компіляція), Aggrega не перехоплює живий мережевий трафік і не оцінює AI-промпти. Натомість він розв’язує складні вимоги безпеки через двочастинне архітектурне рукостискання: статичну компіляцію архітектури (під час компіляції) і передавання на виконання (під час розгортання).

A. Час компіляції: валідація політик і генерація артефактів

Компілятор будує плаский граф проміжного представлення (IR), що містить усі вузли, ребра й приєднані Features. Перш ніж буде згенеровано будь-яку фізичну інфраструктуру, безпекова позиція підприємства забезпечується оцінюванням цього статичного JSON-графа галузевими стандартними рушіями політик у ролі вердикту governance.

Оскільки сокет оцінює загальні JSON-дані, він не прив’язаний до однієї мови політик. Підприємства можуть компілювати й забезпечувати свої архітектурні правила за допомогою стандарту, який найкраще пасує до їхньої екосистеми:

  • Open Policy Agent (OPA/Rego): широко вживана мова для оцінювання складних багатокрокових зв’язків у графі та обчислення доступу з найменшими привілеями в розподілених топологіях. Рушій Rego, вбудований у CLI, виконує файли .rego як є; політику, якій потрібен повний набір вбудованих функцій OPA, компілюють власним інструментарієм OPA, і вона виконується за гостем-адаптером.
  • Common Expression Language (CEL): рушій CEL, вбудований у CLI, виконує правила, записані як окремі вирази над документом, — так, як пишеться політика validating-admission у Kubernetes.
  • Kyverno: оцінює статичні маніфести JSON/YAML, дозволяючи командам писати політики нативним YAML замість вивчення Rego. Компілятор не постачається з гостем Kyverno: він виконує політики лише як гостей WebAssembly і ніколи не викликає Kyverno CLI, тож правила Kyverno виконуються за гостем, що обгортає цей рушій.
  • Власна валідація на Rust/TypeScript: команди безпеки можуть писати індивідуальні організаційні політики стандартними мовами й компілювати їх у Wasm, щоб вони слугували шлюзом валідації.

Щойно рушій політик валідує граф, компілятор перетворює ці абстрактні вимоги безпеки на фізичну конфігурацію. Коли розробник приєднує безпекову Feature — наприклад, core/data-masking на AI-gateway, — компілятор виконує крок конвеєра, який називає її реалізація, ізольований плагін WebAssembly (Wasm), і цей крок записує налаштування, потрібне засобу контролю, у конфігурацію, яку вже генерує власний Recipe gateway. Реалізація може натомість залишити записування власному Recipe gateway, який читає приєднання й сам записує налаштування, як це робить core/data-masking на core/gateway/kong-enterprise, а реалізація для іншого типу контролю може видавати власний ресурс; у будь-якому разі результатом є статичний артефакт, записаний на основі того, що приєднав розробник.

B. Час розгортання й виконання: передавання на виконання та забезпечення

Відповідальність Aggrega закінчується саме в ту мить, коли він завершує обробку вхідних даних і записує налаштовані статичні артефакти в каталог виводу. Це чистий компілятор: він записує конфігурацію, після чого керування повністю повертається до системи, яка його викликала.

Те, як ці конфігурації виконуються, дуже гнучке й повністю залежить від підприємства:

  • Передавання артефактів (час розгортання): зовнішні контролери розгортання беруть на себе втілення артефактів у реальність. Це може бути суворий контролер GitOps (як-от ArgoCD або Flux), що синхронізує файли в кластер Kubernetes, але так само це може бути стандартний конвеєр CI/CD, який виконує terraform apply, або розробник, що запускає локальний shell-скрипт для Docker Compose.
  • Забезпечення під час виконання: щойно конфігурації застосовано до цільового середовища, справу перебирає фізична інфраструктура. Спеціалізовані інструменти, налаштовані Aggrega (як-от sidecar із guardrails, активна service mesh або нативні хмарні брандмауери), запускаються й починають свою активну роботу: фізично перехоплюють корисні навантаження, перевіряють JWT або відкидають зловмисні prompt injection.

7. Як Aggrega підходить до проблем безпеки AI

Відокремивши архітектурну валідацію від виконання, команди платформи можуть використовувати Aggrega, щоб явно моделювати, валідувати й генерувати конфігураційні рішення для наведених нижче вразливостей AI.

A. Викрадення даних і перехоплення корисних навантажень

  • Проблема: автономний агент може спробувати передати конфіденційні корпоративні дані до неавторизованого зовнішнього API.
  • Рішення Aggrega:
    1. Час компіляції (валідація й генерація): команда платформи створює політику (наприклад, на Rego), що оцінюється в ролі вердикту governance й проголошує: «Кожен шлях, що проходить через AI-gateway, мусить мати core/data-masking.» Якщо його немає, компілятор зупиняється. Якщо він є, реалізація, яку прив’язує сутність Manifest, записує маскування в конфігурацію, яку gateway уже генерує: на core/gateway/litellm — записи guardrail, що відповідають регулярним виразам, перелічених у приєднанні, і надсилають текст аналізатору й анонімізатору Presidio, під’єднаним до сокетів pii_analyzer і pii_anonymizer gateway, для перелічених типів сутностей; на core/gateway/kong-enterprise — AI PII Sanitizer від Kong на маршрутах chat і completion кожної під’єднаної моделі, записаний Recipe чарту gateway, який надсилає текст, що маскує, разом із регулярними виразами й типами сутностей, переліченими в приєднанні, до сервісу Kong AI PII, під’єднаного до сокета pii_sanitizer gateway; на core/gateway/agentgateway — власні охоронці регулярних виразів gateway, записані в його конфігурацію його Recipe чарту, які замінюють кожен збіг шаблонів, перелічених у приєднанні, на <masked> або в режимі refuse відповідають на запит чи відповідь HTTP 403 і не розпізнають жодних типів сутностей; ці охоронці не маскують потокову відповідь, тому, доки відповіді маскуються, той самий Recipe записує правило, яке до пересилання відхиляє з HTTP 403 запит, що просить таку відповідь, а також будь-який запит, тіло якого перевищує 2 MiB, що їх gateway читає для цього правила, потоковий чи ні; на core/gateway/traefik-hub — Content Guard AI-gateway Traefik Hub на маршруті кожної під’єднаної моделі, записаний його Recipe чарту, який маскує збіги шаблонів, перелічених у приєднанні, через свій рушій регулярних виразів або збіги перелічених типів сутностей через аналізатор Presidio, під’єднаний до сокета pii_analyzer gateway, один рушій на приєднання; на core/gateway/higress — плагін ai-data-masking від Higress на маршруті кожної під’єднаної моделі, записаний його Recipe чарту, який замінює кожен збіг шаблонів, перелічених у приєднанні, у повідомленнях chat-запиту назвою шаблону в дужках і не розпізнає жодних типів сутностей. Політика може також поставити вужче питання — чи розташоване маскування між конфіденційними даними й постачальником, — читаючи приєднання кожного компонента вздовж маршруту, а не приєднання маршруту загалом, як це робить examples/policy-data-class-route.
    2. Час виконання (фізичне забезпечення): Щойно оркестратор розгорне згенеровані артефакти, шлюз перед пересиланням замінює кожен збіг у тексті запиту, який він маскує, на заповнювач, тож постачальник моделі отримує заповнювач; з action: refuse прив’язка не пересилає нічого із запиту, що містить збіг, а натомість відповідає на нього помилкою. Розпізнавач, до якого неможливо дістатися або який повертає помилку, спричиняє збій запиту, тож його текст не передається далі. Те, чого маскування не досягає, визначають два значення, значення за замовчуванням яких і є захистом. На AI-шлюзі, коли прив’язка маскує також відповіді, шлюз маскує текст відповіді та частини, які модель або її постачальник додає поруч із ним, — відмову, цитати й анотації, запит і результати вебпошуку, поля з власними назвами постачальника — або, за refuse, не надсилає нічого з відповіді, що містить збіг; потокова відповідь, яку він маскує за шаблонами, доходить до викликача цілою, наприкінці. За замовчуванням те, чого його маскування не досягає в запиті, — маршрут, як-от генерування зображень, поле, як-от safety_identifier, зображення або файл у розмові, інструмент, який постачальник запускає сам, — AI-шлюз відхиляє з HTTP 400, перш ніж переслати будь-що з цього; оператор, який погоджується, що такий текст дійде до постачальника незамаскованим, задає allow_unmasked_text на прив’язці в сутності Release, і реалізація точно перелічує, що тоді проходить, а вміст, що не є текстом, і далі регулюється allow_non_text_content. За замовчуванням те, що містить замаскована відповідь і чого її маскування не може прочитати, — усне аудіо та його транскрипт, зображення, імовірності токенів, обраних моделлю, — утримується, а невдалий виклик доходить до викликача з фіксованим повідомленням замість того, яке повернув постачальник; allow_unmasked_reply_parts дозволяє цим частинам доходити до викликача незамаскованими. Власний текст відповіді цим значенням ніколи не пропускається, але частини, які воно пропускає, можуть містити слова відповіді: транскрипт усної відповіді, токени за імовірностями токенів, повідомлення про помилку постачальника, що цитує відповідь. На core/gateway/kong-enterprise кожен збіг замінюється нумерованим заповнювачем, тож прив’язка, що перелічує шаблони в redact, задає placeholder_shows_name: false; refuse охоплює лише запити, починаючи з Kong 3.12, який відповідає на запит зі збігом кодом HTTP 400; а відповіді маскуються починаючи з 3.12, і тоді запит на потокову відповідь відхиляється до пересилання, а allow_streamed_replies відхиляється. Sanitizer Kong читає текст реплік користувача, prompt completion і текст повідомлення відповіді, а довідник Kong не називає жодного параметра, який відхиляв би запит через те, чого sanitizer не читає, або утримував решту відповіді, тож на цьому шлюзі кожен захист відхиляється за назвою під час збирання, доки зберігає своє значення за замовчуванням, а прив’язка збирається, щойно сутність Release їх послабить, — allow_unmasked_text і allow_non_text_content там, де маскуються запити, allow_unmasked_reply_parts і mask_reasoning: false там, де маскуються відповіді, — при цьому data-masking-kong-enterprise перелічує, що кожен тоді пропускає. Там відповідь, текст якої надходить не як єдиний рядок, що його повертає OpenAI API, проходить непрочитаною, і її власний текст доходить до викликача незамаскованим; захистом від цього є перевірка, яку збирання виконує для кожної моделі, під’єднаної до цього шлюзу, і яка зупиняється на моделі, чий model.aggrega.ai/api не є openai. На core/gateway/traefik-hub кожен збіг замінюється послідовністю * завдовжки зі збіг, тож прив’язка, що перелічує шаблони в redact, задає placeholder_shows_name: false; refuse відповідає HTTP 403 замість запиту або відповіді; а замаскована відповідь утримується цілою й надсилається наприкінці, зокрема й потокова, тож прив’язка, що маскує типи сутностей у відповідях, задає allow_streamed_replies. Довідник Traefik не каже, які поля запиту або відповіді чату читає Content Guard, і не називає жодного параметра, який відхиляв би запит або утримував частину відповіді через те, чого він не читає, тож на цьому шлюзі кожен захист відхиляється за назвою під час збирання, доки зберігає своє значення за замовчуванням, а прив’язка збирається, щойно сутність Release їх послабить, — allow_unmasked_text і allow_non_text_content там, де маскуються запити, allow_unmasked_reply_parts і mask_reasoning: false там, де маскуються відповіді, — при цьому data-masking-traefik-hub перелічує, що кожен тоді пропускає. Прив’язка, що перелічує і шаблони, і типи сутностей, а також друга прив’язка маскування на одному шлюзі відхиляються, оскільки довідник Traefik не каже, чи другий Content Guard на маршруті читає текст, замаскований першим, чи запит у тому вигляді, в якому його надіслав викликач. На core/gateway/higress плагін Higress ai-data-masking замінює кожен збіг шаблонів, перелічених прив’язкою, у вмісті та міркуваннях кожного повідомлення запиту чату назвою шаблону в квадратних дужках; він маскує лише запити, тож scope response і both відхиляються, і він не розпізнає жодних типів сутностей. Плагін більше нічого не читає із запиту, тож, доки захисти зберігають свої значення за замовчуванням, Recipe чарту шлюзу також прописує плагін перевірки запитів Higress, щоб відхиляти з HTTP 403, перш ніж буде переслано будь-що, запит, який містить те, чого маскування не читає, — тіло, надіслане не як JSON або яке не є chat completion, повідомлення, вміст якого є списком або null, виклик інструмента або репліку інструмента, ім’я повідомлення, будь-який параметр, окрім нетекстових параметрів chat completion і власних інструментів, формату відповіді та стоп-послідовностей розробника, — а також, хоч би що послаблювала прив’язка, запит, тіло якого плагіни Higress пропускають, — стиснене тіло, тип вмісту, що містить octet-stream або grpc, upgrade, — і тіло, що містить символ заміни Unicode U+FFFD, яким ця перевірка читає байт, що не є коректним UTF-8, оскільки плагін маскування пересилає тіло, що не є коректним UTF-8, незамаскованим. Запит, тіло якого перевищує буфер шлюзу обсягом 32 KiB, відхиляється з HTTP 413. Перевірка читає лише тіло, яке приймає її декодер JSON, тож клієнт, що навмисно надсилає коректний JSON, який декодер відхиляє, — наприклад, число, що виходить за межі того, що вміщує double, — проходить крізь кожне відхилення щодо свого тіла: плагін маскування тоді маскує лише простий вміст і міркування кожного повідомлення, тож перелічене значення в будь-якому іншому місці тіла — аргументи виклику інструмента, ім’я, будь-яке інше поле — пересилається незамаскованим, так само як і вміст, записаний за допомогою escape-послідовностей JSON, а якщо таке тіло до того ж не є коректним UTF-8, воно пересилається незамаскованим повністю. Клієнт, що навмисно вкладає тіло на глибину понад 127 рівнів усередині поля, яке перевірка допускає, як-от tools, надсилає коректний JSON, який перевірка декодує й допускає, але JSON-читач плагіна маскування зупиняється на цій глибині, тож вміст, записаний за допомогою escape-послідовностей JSON у такому тілі, теж пересилається незамаскованим. Маскування саме по собі недостатнє: текст, якому не відповідає жоден шаблон і який не виявляє жоден розпізнавач, проходить без змін; на AI-шлюзі аргументи викликів інструментів і результати інструментів маскуються значення за значенням, але назви їхніх ключів — ні; власні визначення інструментів, формати відповіді та стоп-послідовності розробника проходять у надісланому вигляді; шлюз і служби розпізнавання бачать оригінальний текст; те, що шлюз записує про виклик, — у власному журналі або в тому, що він передає інтеграції журналювання, — однаково може містити цей текст; а трафік, що не проходить через шлюз, лишається незачепленим.

B. Захист від отруєння MCP (довіра та ізоляція)

  • Проблема: Якщо агента скомпрометовано через отруєний інструмент Model Context Protocol (MCP), він може автономно виконувати руйнівні дії (як-от видалення бази даних або авторизацію переказу).
  • Рішення Aggrega:
    1. Час компіляції (перевірка та генерування): Розробник прив’язує Feature шлюзу схвалення до чутливого інструмента у своєму Aggregate.yaml. Стандартна бібліотека не постачає такої Feature, тож її створюють у власному каталозі підприємства разом із FeatureRecipe, яка її рендерить. Компілятор перевіряє граф і перетворює прив’язку на конфігурацію для проксі L7 або webhook-шлюзу.
    2. Час виконання (фізичне забезпечення): Коли захоплений агент намагається викликати інструмент, розгорнутий проксі призупиняє запит і фізично блокує виконання, доки не отримає криптографічно підписане схвалення від оператора-людини.

C. Розв’язання проблеми «Confused Deputy» (поширення контексту)

  • Проблема: У багатоагентних ланцюжках публічно доступного агента можуть захопити, і він накаже внутрішньому агентові з високими привілеями отримати чутливі дані. Стандартні брандмауери бачать лише, що «агент A розмовляє з агентом B», і пропускають трафік, повністю втрачаючи контекст початкового зловмисного користувача.
  • Рішення Aggrega: Підприємства можуть поєднувати два конкретні патерни:
    1. Поширення ідентичності викликача на двох переходах: Ідентичність початкового викликача має пережити два різні переходи, і кожен захищається в іншому місці. На переході через шлюз розробник прив’язує core/context-propagation, що вибирає за dataplane.aggrega.ai/caller-identity, до шлюзу, через який надходить запит. Під час компіляції прив’язка реалізується у власній конфігурації цього шлюзу — на Envoy Gateway як client traffic policy, що перевіряє сертифікат кожного клієнта щодо центру сертифікації, названого сутністю Release, і пересилає дані сертифіката; на AI-шлюзі LiteLLM як хук запитів, що видаляє будь-який заголовок ідентичності, наданий викликачем, і додає користувача та команду віртуального ключа, перевіреного шлюзом, а також його організацію, якщо ключ її називає, у запитах до псевдонімів моделей, які прив’язка перелічує в destinations. Під час виконання служба за шлюзом отримує, хто викликав, а не лише те, що викликав шлюз. На переході між робочими навантаженнями запит, який один агент робить безпосередньо до іншого, ніколи не проходить через цей шлюз, тож його перевіряють на власному ingress агента-отримувача, де service mesh відхиляє будь-який запит без підписаного токена, що доводить намір початкового користувача (наприклад, Istio JWT AuthorizationPolicy). Стандартна бібліотека постачає Feature для переходу через шлюз і жодної Feature для переходу між робочими навантаженнями, тож прив’язка core/context-propagation захищає трафік, що проходить через шлюз, а виклики між агентами залишає конфігурації mesh, яку підприємство надає саме. Агент, якого запускає інша сторона і до якого core/ai-tool/agent-invocation звертається через A2A як до core/ai-agent/a2a-remote, перебуває повністю поза сутністю Release: ця сторона перевіряє кожен виклик за схемою безпеки, яку оголошує Agent Card агента, а інструмент пред’являє облікові дані, що зберігаються в його з’єднанні й зчитуються за посиланням із Secret, у заголовку запиту, який публікує агент. Коли картка вимагає client credentials OAuth 2.0 або OpenID Connect, з’єднання зберігає натомість або додатково client secret разом із client id, який на ньому записує оператор, а агент публікує адресу токена або discovery і scopes, які оголошує його картка; власний контейнер інструмента отримує з ними токен, оновлює його й пред’являє під час кожного виклику; каталог постачає лише ці вхідні дані, і жодне збирання не може перевірити, що контейнер із ними робить. Коли картка вимагає взаємного TLS, з’єднання зберігає клієнтський сертифікат, а якщо серверний сертифікат агента підписує центр сертифікації, якому образ ще не довіряє, — і цей центр; кожен монтується в контейнер інструмента як файли із Secret, який називає з’єднання, і контейнер сам пред’являє сертифікат під час рукостискання TLS. Отже, інструмент дістається агента, картка якого оголошує ключ API в заголовку або cookie, схему автентифікації HTTP із фіксованим значенням, як-от Bearer або Basic, де Secret містить усе значення заголовка, OAuth 2.0 або OpenID Connect із grant client-credentials чи взаємний TLS. Він не дістається агента, картка якого вимагає ключа в рядку запиту, схеми HTTP, що відповідає на challenge від агента, як-от Digest, або потоку OAuth 2.0, відмінного від client credentials. Не пред’являє він облікових даних і агентові, якого інша сторона запускає через звичайний HTTP: коли адреса цього агента — http, облікові дані або client secret на з’єднанні зупиняють збирання із зазначенням з’єднання, бо облікові дані або токен, отриманий за допомогою secret, надходили б до нього незашифрованими. Агент, що працює всередині сутності Release, лишається доступним через http з будь-чим із них, і облікові дані тоді проходять мережею кластера незашифрованими.
    2. Перевірка payload між агентами: Запит, який один агент надсилає безпосередньо іншому, ніколи не проходить через AI-шлюз, тож його перевіряють на власному ingress агента-отримувача за допомогою рушія guardrails, що працює поруч із цим агентом (наприклад, NeMo Guardrails). Під час компіляції FeatureRecipe, що реалізує Feature, прив’язану до агента-отримувача, рендерить конфігурацію рушія. Під час виконання рушій оцінює кожен запит за правилами, які пише підприємство, і відхиляє той, що ці правила відкидають; наскільки добре він відрізняє захоплений запит від легітимного, залежить від рушія та правил, бо Aggrega компілює конфігурацію й ніколи не оцінює prompt. Стандартна бібліотека не постачає жодної Feature, яка розміщувала б такий рушій, тож цей патерн створюють у власному каталозі підприємства. Власний шаблонний захист шлюзу, dataplane.aggrega.ai/prompt-guard: pattern-list, вужчий, і core/prompt-deny-patterns вмикає його — на AI-шлюзі читається кожне повідомлення запиту, а регістр літер ігнорується, на core/gateway/apisix і core/gateway/kong кожне повідомлення кожної ролі читається як один текст, регістр літер враховується, а також дотримується список шаблонів, яким запит має відповідати, на core/gateway/agentgateway кожне повідомлення, аргумент виклику інструмента й результат інструмента читаються окремо, регістр літер враховується, а на core/gateway/traefik-hub запит читається як chat completion, прочитаних полів якої довідник Traefik не перелічує, регістр літер враховується: він відхиляє запит до моделі, текст якого буквально відповідає одному з виразів, перелічених прив’язкою, — перефразування, інша мова або кодування його оминають — і лише в трафіку, що проходить через шлюз, тож запит, надісланий безпосередньо між агентами, ніколи на нього не натрапляє. core/prompt-injection-shield — його відповідник на основі класифікатора на тому самому переході, що надсилає кожен запит до моделі, який пересилає шлюз, через захисника NeMo Guardrails, під’єднаного до сокета guard цього шлюзу, або через prompt shield Azure AI Content Safety в Azure API Management, і він теж охоплює лише трафік, що проходить через шлюз.

D. Топологічний аналіз ризиків

  • Проблема: Складні архітектури ШІ з десятками взаємопов’язаних моделей, векторів та інструментів надто масштабні, щоб людина могла вручну перевірити їх на транзитивні вразливості (наприклад, «Чи може агент A говорити з інструментом B, який говорить з агентом C, що має доступ до бази даних D?»).
  • Рішення Aggrega: Ця перевірка виконується заздалегідь. Оскільки Aggrega будує в пам’яті повний граф IR запланованої топології, роль вердикту governance може запускати розширені правила пошуку шляхів по всій архітектурі. Якщо політика виявляє безперервний транзитивний ланцюжок ребер, що починається в публічному вузлі й закінчується у вкрай чутливій базі даних і вздовж якого ніде не прив’язано жодного з контролів, яких вимагає підприємство, вона негайно зупиняє збирання. Небезпечна архітектура блокується ще до того, як буде згенеровано бодай один рядок коду інфраструктури.

8. Спостережуваність і відповідність вимогам

Щоб задовольнити суворі регуляторні вимоги (наприклад, EU AI Act), архітектори платформи можуть використовувати систему функцій Aggrega, щоб забезпечити спостережуваність AI як структурну вимогу до інфраструктури, а не покладатися на код застосунку:

  • Журналювання аудиту: Wasm-плагіни, створені підприємством, можуть налаштовувати sidecar-контейнери шлюзу для асинхронного потокового передавання необроблених, невідредагованих промптів і відповідей до захищеного бакета сховища WORM (Write Once, Read Many — один запис, багато читань), в обхід стандартних журналів застосунку.
  • Трасування LLM: Функції проксі можуть налаштовувати площину даних для вилучення й пересилання специфічних для AI заголовків span OpenTelemetry, щоб складні цикли міркувань агентів можна було візуалізувати у зовнішніх інструментах.

9. Сумісність Feature і топологічна безпека

Оскільки ядро компілятора агностичне щодо механіки фізичної інфраструктури, воно повністю покладається на явні декларації в каталозі, щоб запобігти генеруванню несумісних конфігурацій.

  • conflictsWith: Список, оголошений у сутності каталогу для Feature в розділі interoperability, тих Features, поряд із якими її не можна приєднати. Компілятор порівнює його з Features, які зрештою несе кожен компонент після того, як свій внесок зробили всі області дії, — власні приєднання компонента, ті, що записані в підсистемі чи межі, яка його містить, ті, що в записі компонента в Release, і ті, що створило розгортання на основі анотацій, — і зупиняється до рендерингу будь-яких фізичних артефактів, коли один компонент несе обидві (тобто автор приєднує, безпосередньо або через область дії, дві Features, які автор однієї з них явно оголосив несумісними). Достатньо однієї декларації, а Features зіставляються за назвою незалежно від їхніх версій. Компілятор не вкладає в назви жодного змісту: несумісність — це декларація автора, а перевірка — порівняння назв. Атомарність і чистота самої Feature залишаються суспільним договором — ніщо не перевіряє, що Feature робить одну річ.

10. Динамічне відображення топології (розв’язання залежностей)

Щоб побудувати граф IR без жорстко закодованих правил, компілятор зчитує його з трьох явних оголошень:

  • Ребра uses: розробники пов’язують компоненти в блоці uses кожного екземпляра, називаючи цільовий компонент у сокеті, і кожне ребро графа походить із такого блоку. Запис values, у якому випадково названо інший компонент, не проводить ребра: компілятор не вкладає в значення жодного сенсу.
  • Цілі ребер: кожна ціль uses має називати компонент, наявний у збірці; ціль, якої не існує, зупиняє збірку із зазначенням сокета, до якого її під’єднано.
  • Типобезпека між вузлами: Рядки селекторів usesSchema діють як явні позасмугові інструкції, які нативно обчислює рушій зіставлення міток компілятора Go під час статичного аналізу. Вони гарантують, що розробники не зможуть випадково під’єднати стандартні компоненти до оголошеного сокета, що вимагає конкретної AI-нативної можливості або мітки відповідності. Гарантія за самою побудовою обмежена оголошеними сокетами: селектор міститься в записі usesSchema, тож ad-hoc сокет не має селектора для обчислення. Кожне ребро фіксує, чи було його сокет оголошено в каталозі, тож оператор, якому потрібна повна гарантія, може вимагати цього як вердикт управління.

11. Автоматизоване проєктування агентних систем (ADAS)

Розвинені AI-системи містять мета-агентів, які пишуть код, щоб на льоту вигадувати й розгортати нових агентів. Оскільки Aggrega вимагає статичної архітектури, визначеної заздалегідь (ahead-of-time, AOT), вона розв’язує еволюцію інфраструктури під час виконання за допомогою двох явних меж:

  • Межа заздалегідь підготовленої пісочниці: Для тимчасових інструментів, вигаданих під час виконання, архітектор визначає функцію (наприклад, dynamic-execution-environment). Коли її приєднано, Wasm-плагін рендерингу генерує конфігурацію для виділення ізольованого пулу обчислювальних ресурсів (як-от середовища виконання WebAssembly). Мета-агент вставляє новий код у цю пісочницю, але радіус ураження обмежено згенерованими статичними мережевими політиками.
  • Мета-агент у ролі «розробника» (цикл GitOps): Якщо мета-агенту потрібна справді нова фізична інфраструктура, він діє як розробник. Він пише новий Aggregate.yaml і комітить його в Git. Це запускає стандартний конвеєр CI/CD. Роль вердикту управління статично аналізує топологію, яку запросив AI, і безпечно зупиняє збірку, якщо AI згалюцинував вразливість.

12. Серіалізація моделей і безпека ланцюга постачання

Розгортання моделі з відкритим кодом часто означає завантаження непрозорих файлів .pkl або .gguf, які можуть містити шкідливий код. Підприємства можуть розглядати безпеку ланцюга постачання моделей як задачу конфігурації цільової платформи. Якщо визначити функцію model_provenance у каталозі, Wasm-плагін рендерингу підприємства може обчислити конфігурацію й перетворити її на артефакти середовища виконання (як-от політики Kubernetes Kyverno), тож цільовий кластер налаштовується блокувати завантаження оркестратором непідписаних або неперевірених ваг моделей.