Features для ШІ
Набір Feature для ШІ в Aggrega
Щоб відповідати особливим вимогам, мінливості та загрозам безпеці сучасних систем ШІ, Aggrega вбудовує спеціалізований інтелект безпосередньо у свою відкриту стандартну бібліотеку ШІ (Каталог). Це гарантує, що як загальна cloud-native основа, так і вузькоспеціалізовані ШІ-нативні механізми міркування безпечно співіснують.
Основний компілятор на Go — це універсальний маршрутизатор, нейтральний щодо вмісту; увесь специфічний для ШІ інтелект міститься в підключуваних політиках WebAssembly (Wasm) і в оголошеннях JSON Schema 2020-12, які архітектори платформи створюють на сутностях Каталогу.
1. Операційна хмарна онтологія та качина типізація для ШІ
Щоб поєднати загальну Open Application Model (OAM) зі суворими реаліями сучасної інфраструктури, мітка component.aggrega.ai/type відображається виключно на закритий набір універсальних cloud-native примітивів. Саме цю семантичну ідентичність читають селектор сокета, appliesTo сутності Feature і політика врядування, щоб знати, як компонент обробляє стан, вхідний мережевий трафік і життєві цикли; компілятор зіставляє її як непрозорий рядок і не розгалужується за нею, а те, як рендериться компонент, визначає сутність Recipe, з якою сутність Manifest його зіставляє.
Cloud-native типи (інфраструктурна основа):
server: тривало працюючі обчислення без стану, які очікують вхідного трафіку застосунку (наприклад, AI Gateway або Chat UI).worker: тривало працюючі обчислення без стану, які забирають завдання з черг або виконують фонові цикли без жодних вхідних портів застосунку (наприклад, агент LangGraph або воркер Celery).task: ефемерні обчислення, які виконуються до завершення і зупиняються (наприклад, скрипти міграції БД).function: подієво-керовані обчислення, що масштабуються до нуля (наприклад, AWS Lambda).stateful-server: обчислення в кластері, що потребують стабільних мережевих ідентичностей і постійних дисків (наприклад, векторна база даних Qdrant, брокер Kafka).resource: зовнішня інфраструктура, керована платформою (наприклад, AWS RDS PostgreSQL, бакети S3, хостована шина подій).
Набір належить Aggrega і є закритим. Опублікована схема сутності Component перелічує ці значення, а документ із будь-яким іншим значенням відхиляється під час завантаження — E0215 називає мітку й перелічує, які значення вона приймає. Саме це дає вісь: Feature або селектор сокета, написаний щодо stateful-server, означає те саме в кожному каталозі, з яким стикається.
Те, чим компонент є у вашому власному словнику, записується у ваш власний ключ. Рівень, зона даних, клас сервісу, дрібніший поділ примітивів — кожне з них є ключем мітки, який ви створюєте поруч із зарезервованим, оскільки схема сутності Component приймає будь-який додатковий ключ мітки з рядковим значенням, і кожна поверхня селекторів зчитує його однаково. Це той самий механізм, який уже використовують описані нижче мітки качиної типізації для ШІ; зарезервований ключ — це спільна основа, а все, що над нею, належить вам.
Операційний тип — це не категорія для перегляду, і це навмисно окремі осі. Брокер Kafka перебуває в категорії messaging — там, де користувач його шукає, — і має stateful-server як свій тип, тому що саме це інфраструктура мусить для нього забезпечити. Селектор, написаний щодо однієї осі, ніколи не збігається на іншій.
Таблиці таксономії семантичних міток див. у entities/component — мітки Generic Cloud Layer, Specialized AI Layer, Cross-Cutters і Dynamic Business Context, якими архітектори нашаровують когнітивну ідентичність поверх базових типів.
1.1 Стандарт відкритого каталогу: «Гола основа, спеціалізовані краї»
Під час застосування цих міток існує критична відмінність між Офіційним відкритим каталогом Aggrega (core/*) і Приватним корпоративним каталогом (acme/*).
Щоб офіційний відкритий каталог залишався універсально придатним, він має суворо розрізняти незмінну технічну фізику і суб’єктивний когнітивний намір. Якщо в універсальний core/datastore/postgres жорстко закодовано engine: relational, плагін вердикту врядування, налаштований на примусову відповідність типу сховища даних, зупинить збірку, коли розробник увімкне розширення pgvector у своїх values і спробує під’єднати агента ШІ, якому потрібне сховище даних vector.
Щоб основний каталог залишався без власної позиції, офіційні компоненти дотримуються такого стандарту: залишайте основу голою, а краї спеціалізуйте.
- Гола основа: відкрита сутність
Componentкореневого рівня жорстко кодує лише те, що об’єктивно істинне для продукту і не може бути змінене нічим, що налаштовує автор, — насамперед і завжди операційний примітив (component.aggrega.ai/type). База даних Postgres об’єктивно єstateful-server; цей факт не може змінитися. Той самий критерій допускає мітку можливості там, де ідентичністю продукту є ця можливість:core/datastore/qdrantіcore/datastore/weaviate— це рушії векторного пошуку, і ніщо, що пише автор, не робить їх чимось іншим, тож кожен із них маєdatastore.aggrega.ai/engine: vectorна основі, так само якcore/datastore/redisмаєkv. Те, що гола основа відкидає, — протилежний випадок: ознака, яка залежить від того, як компонент налаштовано або використовується, і для якої існує третій механізм, описаний нижче. - Спеціалізовані інтерфейси (успадкування схеми): сутність Component може оголосити
extends, назвавши іншу сутність Component своєю основою, і те, що при цьому компонується, — це структура: мітки, анотації, слоти вкладень, список дозволених самоін’єкцій, сокети топології та іменованіassertions. Три стовпи даних не компонуються — сутність Component, що розширює, записує буквальний маркерschema: inheritedі не створює власного вмістуvalues,infraчиprovides, тож її контракт ідентичний контракту основи. Саме тому механізм звужує, а не варіює: оскільки контракт не змінюється, кожна сутність Recipe, написана для основи, уже обслуговує спеціалізацію, а спеціалізація коштує одну сутність каталогу та один рядок відображення в сутності Manifest. Отже, те, що додає спеціалізація, — це ідентичність, яку зчитує селектор або політика: рівень аудиту, зона даних, контакт із питань врядування або сокет, чий селектор допускає менше, ніж селектор основи. Вона не може додати інший контракт, бо не має поверхні, на якій могла б його створити. Один наслідок легко пропустити: рядок відображення все одно потрібен. Вибір сутності Recipe здійснюється за точним ключем відображення, тож спеціалізації потрібен власний записmappings.components.type, навіть якщо їй не потрібна власна сутність Recipe. Див. examples/extends-wrapper — опублікований wrapper, що додає мітку перевіреного рівня й звужує на її основі сокет, разом зі збіркою, яка зупиняється, коли ребро, під’єднане до цього сокета, виходить за межі рівня. Ознака, що залежить від того, як налаштовано компонент, не є предметом цього механізму: спеціалізація закріплює артефакт своєї основи й успадковує її контракт, тож ознака, істинна для спеціалізації, уже істинна для основи, де її розміщує правило голої основи. Така ознака належить до динамічного мутатора, описаного нижче. - Динамічний мутатор (Wasm-просування): якщо ознаку диктує корисне навантаження розробника (наприклад,
enable_vector: true), підприємство використовує рольlabel-transformсокета врядування під час побудови топології, щоб динамічно прочитати непрозоріvaluesі автоматично вставити міткуdatastore.aggrega.ai/engine: vectorу граф IR до запуску політик. Саме тут ознака, що залежить від конфігурації, стає доступною для суворого обчислення політик — її просуваютьvalues, оголошені розробником, а перетворення виконується до того, як будь-яка політика прочитає мітку.
Корпоративний виняток: оскільки компілятор без власної позиції, підприємства, що створюють власні внутрішні каталоги, можуть вільно порушувати це правило. Якщо корпоративна політика безпеки вимагає, щоб усі внутрішні бази даних вважалися високочутливими, архітектор платформи може і повинен жорстко закодувати compliance.aggrega.ai/data-class: restricted (або подібну мітку, визначену компанією) безпосередньо у своєму базовому компоненті acme/postgres, щоб кожен його екземпляр мав цей клас, а політика, яку під’єднує підприємство, зчитувала його на кожному з них. Сама мітка нічого не примушує: компілятор переносить її як рядок, а збірку зупиняє саме під’єднана політика. Там, де такі дані містять лише деякі з використань продукту в межах ІТ-ландшафту, клас натомість несе спеціалізація через extends — див. examples/policy-data-class-route, де асистент зі страхових вимог — це агент LangGraph зі стандартної бібліотеки плюс одна мітка класу, поруч із політикою, яка її зчитує.
1.2 Як семантичні мітки керують конвеєром компілятора
Щоб мітки залишалися в домені архітектора платформи, розробники не можуть записувати мітки на своїх екземплярах Component всередині Aggregate: схема сутності Aggregate не дає екземпляру компонента ключа labels. Мітки вузла — це мітки його сутності каталогу разом із тими, які під час побудови топології додає вкладення врядування label-transform, налаштоване оператором. Ось як саме ці мітки керують конвеєром компіляції без потреби у власному коді на Go:
1. component.aggrega.ai/type (базовий примітив)
- Хто її записує? Архітектор платформи (домен 2). Вона обов’язкова для кожного компонента в каталозі.
- Хто її споживає? Статичний аналізатор і Plugins рендерингу Wasm.
- Застосування в компіляторі: це основна операційна хмарна онтологія. Статичний аналізатор нативно на Go обчислює рядки селекторів
usesSchema, щоб гарантувати, що розробник не зможе під’єднати агента до стандартної бази даних, якщо сокет вимагає певної можливості ШІ. Крім того, DevOps використовує цю мітку, щоб явно спрямовувати примітиви зі станом (stateful-server,resource) у фізичні межі кластера, які підтримують постійні диски, а роль вердикту врядування може вимагати, щоб компоненти зі станом ніколи не розміщувалися в суто ефемерних межах.
2. model.aggrega.ai/capability
- Хто її записує? Архітектор платформи.
- Хто її споживає? Статичний аналізатор (через селектори міток у стилі Kubernetes у сокетах
usesSchema). - Застосування в компіляторі: коли архітектор створює селектор
usesSchema, що називає потрібну мітку можливості, нативний механізм зіставлення міток компілятора відхиляє з’єднання, які не задовольняють селектор, ще до генерації артефактів. Компілятор розглядає ці мітки як непрозорі рядки; семантичне значення «text-generation» на противагу «embedding» закладене в тому, як архітектор створює селектор.
3. component.aggrega.ai/hosting
- Хто її записує? Архітектор платформи.
- Хто її споживає? Механізм політик (роль вердикту врядування), Plugins рендерингу Wasm і власні компоненти стандартної бібліотеки, що викликають модель або агента: її агенти, чиє твердження зчитує мітку на кожному з’єднанні
model,core/ai-tool/agent-invocation, чиє твердження зчитує її на його з’єднанніtarget_agent, як і його реалізація для Kubernetes, що відмовляє в облікових даних агентуexternal, до якого звертаються черезhttp, шлюз ШІ, чиє твердження зчитує її на кожному з’єднанні з його сокетамиmodelsіcache_store, а такожcore/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgatewayіcore/gateway/higress, чиї твердження зчитують її на кожному з’єднанні з їхніми сокетамиmodels, а також ізbackendобох Kong, із сокетамиcache_storeAPISIX і Traefik Hub та із сокетамиcacheEnvoy Gateway, Higress і Traefik Hub — див. «Ключ, який пред’являє клієнт» нижче. - Застосування в компіляторі: вона фіксує, хто експлуатує базовий ресурс компонента, дозволяючи політиці, яку під’єднує оператор, оцінювати ризик ексфільтрації даних; компілятор читає значення як рядок і нічого не оцінює. Коли агент, чия мітка класу вказує, що він містить дані
internal, під’єднується до моделі з міткоюmanaged— сервісу, що експлуатується поза власною межею сутності Release, — така політика може прочитати, що дані залишають цю межу, і зупинити збірку, якщо з’єднання не спрямоване через шлюз ШІ зcore/data-masking, який маскує текст чату й доповнень, що пересилає шлюз. Сокетmodelагента приймає такий шлюз замість моделі, тож цей маршрут є ребром графа, який читає політика, а модель, яку шлюз обслуговує зі свого сокетаmodels, є окремим ребром — від шлюзу до компонента моделі, мітки якого читає політика, — тож шлях від агента через шлюз до моделіmanagedприсутній у графі від початку до кінця. Upstream, уписаний вручну в мапу моделей шлюзу, — ні: це рядок, який компілятор не розв’язує, тож політика, що читає граф, бачить шлюз і нічого за ним. examples/policy-data-class-route — саме така політика: її налаштування відносять модельmanagedдо класуpublic, і вона зупиняє збірку, у якій асистент із данимиrestrictedдосягає такої моделі без маскувального шлюзу на маршруті. Це наскрізна ознака: ті самі значенняself-hosted | managed | externalописують керовану базу даних або самостійно розгорнутий сервер інференсу так само, як і модель, тому мітка розташована в спільному просторі іменcomponent.aggrega.ai/, а не в просторі, специфічному для моделей.
4. agent.aggrega.ai/autonomy
- Хто її записує? Архітектор платформи.
- Хто її споживає? Механізм політик (роль вердикту врядування).
- Застосування в компіляторі: вона визначає ризик виконання когнітивного циклу. Якщо агент має мітку
autonomous(тобто виконує фонові цикли без запитів користувача) і під’єднується до високочутливої бази даних, механізм політик може зупинити збірку, якщо автор не під’єднає ту Feature схвалення чи стримування, якої вимагають власні правила підприємства, щоб цикл без нагляду не міг дістатися цих даних без перевірки. - Що означає компонент без мітки на цій осі, адже відсутність є навмисною. Мітка описує ризик виконання когнітивного циклу, тож компонент, який не містить власного циклу, не має тут жодного значення, а не нижчого з двох. Чимало компонентів у категорії агентів не мають мітки саме з цієї причини: допоміжні частини, які платформа агентів постачає поруч зі своїм сервером, — консоль у браузері, запуск міграції схеми, task worker, пісочниця для коду, проксі вихідного трафіку — перебувають у цій категорії, бо саме там ви їх шукаєте, тоді як цикл, який вони підтримують, живе в сервері платформи, і саме там стоїть мітка. Найочевидніший випадок — один продукт, розділений між обома підходами: сервер платформи має
copilot, а пісочниця для коду, що постачається поруч, не має нічого. Критерій — де живе цикл, а не яку форму має частина, тож середовище виконання, що хостить код агента, наданий вами, теж не має мітки: цикл там — це те, що ви в ньому розгорнете, а не щось, що стверджує продукт. Тому селектор, що називає будь-яке з двох значень, збігається з компонентами, які містять цикл, і ні з якими іншими, а селектор, написаний для збігу з будь-яким рівнем автономності, пропускає допоміжні частини, а не вважає їх найменш автономними елементами розгортання.
5. gateway.aggrega.ai/intelligence
- Хто її записує? Архітектор платформи.
- Хто її споживає? Статичний аналізатор і створені підприємством плагіни-лінтери Wasm.
- Застосування в компіляторі: вона визначає, які функції маршрутизатор може фізично підтримувати. Feature для ШІ
fallback-chainоголошуєappliesTo: gateway.aggrega.ai/intelligence=semantic, а статичний аналізатор обчислює цей селектор щодо міток цільового компонента до рендерингу будь-якого артефакту. Якщо розробник під’єднає її до стандартного шлюзуl4-mesh, збірка зупиняється з порушенням селектора, яке називає Feature і селектор, якого вона не задовольнила, тому що архітектор створив цей селектор, знаючи, що стандартна TCP-сітка не може розбирати JSON-навантаження LLM, щоб прочитати модель, названу в запиті. Відмова ґрунтується на відсутностіsemantic, а не на наявностіl4-mesh, тому вона так само діє на маршрутизаторі, що взагалі не має мітки інтелекту. Компілятор розглядає мітку як непрозорий рядок, так само як вище: значенняsemanticзакладене в тому, як архітектор створює селектор. На маршрутизаторі, що маєsemantic, під’єднання проходить селектор, а що відбувається далі, залежить від його реалізації: реалізація зі стандартної бібліотеки записує ланцюжок у конфігурацію маршрутизації шлюзу ШІ. - Що містить стандартна бібліотека. Ці компоненти мають
semantic:core/gateway/litellm, реалізація якого рендерить таблицю маршрутизації проксі — мапу моделей над кількома upstream-провайдерами;core/gateway/cloudflare-ai-gateway, хостований шлюз Cloudflare, що читає кожен запит до моделі, який пересилає, — модель, яку він називає, токени, за які виставляється рахунок, і, коли ввімкнено власні перевірки шлюзу, його вміст;core/gateway/azure-api-management, шлюз ШІ в Azure API Management, хостований сервіс, що читає кожен запит до моделі на API, який обслуговує модель, — промпт, який порівнює його семантичний кеш, токени, про які повідомляє відповідь, і вміст, який його перевірка безпеки надсилає на інспекцію;core/gateway/apisix, проксі ШІ якого читає тіло кожного запиту на маршруті, що обслуговує модель, і токени, про які повідомляє відповідь моделі;core/gateway/envoy-gateway, розширення Envoy AI Gateway якого читає тіло кожного запиту на маршруті, що обслуговує під’єднані до нього моделі, щоб знайти названу модель, а також токени, про які повідомляє кожна відповідь;core/gateway/kong-enterprise, Kong Gateway Enterprise, проксі ШІ якого читає тіло кожного запиту на маршруті, що обслуговує під’єднану модель, — названу модель і повідомлення, які він несе, — а також токени, про які повідомляє кожна відповідь;core/gateway/traefik-hub, Traefik Hub, middleware Chat Completion якого читає тіло кожного запиту на маршруті, що обслуговує під’єднану модель, перевіряє його за схемою chat completion і читає токени, про які повідомляє кожна відповідь;core/gateway/agentgateway, agentgateway, який читає тіло кожного запиту на своїх шляхах обслуговування моделей, щоб знайти названу модель, — саме так він вибирає під’єднану модель, до якої надсилається запит, — а також токени, про які повідомляє кожна відповідь; іcore/gateway/higress, Higress, проксі ШІ якого читає тіло кожного запиту на маршруті, що обслуговує під’єднану модель, — названу модель і те, чи використовується потокова передача, — а плагіни якого читають токени, про які повідомляє кожна відповідь, — тож Features для ШІ, які вимагають цього значення, розв’язуються щодо будь-якого з них, і кожна реалізація вказує, що з цього підтримує її шлюз, або зупиняє збірку там, де її шлюз не підтримує нічого з цього; Feature без реалізації для певного шлюзу зупиняє там збірку, називаючи свій тип. Жоден компонент не маєl4-mesh, а інші компоненти шлюзів зі стандартної бібліотеки взагалі не мають мітки інтелекту: ті, що маршрутизують трафік, термінують HTTP і маршрутизують на рівні 7, а один із них є площиною керування, яка взагалі нічого не маршрутизує, тож жодне з двох значень його не описує. TCP-сітка рівня 4 — це ще інший клас продуктів. Тому описана вище відмова залишається повністю чинною, адже вона ґрунтується на відсутностіsemantic: під’єднання, що вимагає цього значення, зупиняється на будь-якому з них. Архітектор, чий каталог справді запускає сітку рівня 4, ставить на цей компонентl4-mesh, що робить розрізнення доступним для вибору в обох напрямках. - Ця вісь називає рівень продукту, а це інше питання, ніж те, що компонент може робити з трафіком, і читати її в другому значенні — це помилка, до якої вона спонукає.
semanticозначає, що маршрутизатор розбирає тіло запиту, а саме це потрібно контролю, який діє на модель, названу в запиті, — тож для цього це правильна вісь. Вона нічого не каже про те, чи може маршрутизатор копіювати трафік, передавати ідентичність того, хто викликає, перевіряти сертифікат upstream, відхиляти prompt, що відповідає списку шаблонів, або вести бюджет за період, і сутності Feature, якій потрібна одна з цих можливостей, немає чого питати про рівень: більшість компонентів, які їх пропонують, — це звичайні проксі рівня 7 без жодного значення intelligence, а там, де маршрутизаторsemanticпропонує одну з них, він пропонує її з причин, яких рівень не фіксує. Отже, рівень охоплює хибну множину в обох напрямках — він повністю виключає прості проксі й нічого не каже про те, які можливості насправді має AI-шлюз, який він охоплює. Це питання належить до осі шляху даних, описаної нижче, і обидві осі поєднуються — сутність Feature може вимагати маршрутизаторsemantic, який також виконує дзеркалювання, назвавши обидва значення.
6. tool.aggrega.ai/impact
- Хто її записує? Архітектор платформи.
- Хто її використовує? Рушій політик і Plugins Wasm для рендерингу.
- Застосування в компіляторі: Перенесення цієї інформації зі змінного блоку
valuesрозробника до незмінної ідентичності міток дає рушію політик змогу оцінювати суворі конфігурації з мінімальними привілеями. Плагін рендерингу може згенерувати стандартні дозволиinvokeдля інструмента вебпошукуread-only, але вимагати суворих конфігурацій криптографічного підпису для виклику інструментаmutating, що виконує SQL drop.
7. compliance.aggrega.ai/data-class
- Хто її записує? Архітектор платформи власного каталогу ІТ-ландшафту організації (або вона динамічно додається через роль керування
label-transform). - Хто її споживає? Механізм політик (роль вердикту врядування).
- Застосування в компіляторі: Вона надає даним, що зберігає компонент, ідентичність у межах керування, за якою політика може стежити вздовж графа. Компілятор переносить мітку до графа IR як рядок і нічого не ранжує: він не знає, що
restrictedчутливіше заpublic, ані того, що будь-яке з цих слів щось означає. Політика, приєднана до роліir-verdict, задає це значення у власних налаштуваннях — які класи існують і як вони ранжуються — і читає мітку на компонентах маршрутів, які компілятор перелічує вздовж реберuses, тож вона може зупинити збірку, у якій компонент із данимиrestrictedдосягає компонента іншого класу маршрутом, на якому не приєднано жодної сутності Feature, яку політика вважає такою, що знижує клас, наприкладcore/data-maskingна AI-шлюзі, через який проходить маршрут. Перелік обмежений для кожного початкового компонента й не містить нічого за межею, тож маршрут, який читає політика, реальний, тоді як відсутність маршруту не доводить, що його не існує. examples/policy-data-class-route — це саме така політика, написана для рушіїв Rego і CEL, вкомпільованих у CLI, і для OPA, зі збірками, що зупиняються, і збіркою, що завершується, поруч. - Що містить стандартна бібліотека. Жодна сутність Component
core/не має цієї мітки. Клас даних компонента — це твердження про те, як організація використовує компонент, а не властивість продукту, істинна в кожній сутності Release, тому за правилом Naked Base мітка лишається поза базою: організація розміщує її на власній сутності Component — спеціалізації черезextends, як-от асистент зі страхових випадків у розібраному прикладі, або власній базі в межах описаного вище Enterprise Exception.
8. hardware.aggrega.ai/accelerator
- Хто її записує? Архітектор платформи. Пакуючи компонент локальної моделі, він знає, що для роботи тому принципово потрібен GPU.
- Хто її використовує? DevOps (домен 4).
- Застосування в компіляторі: DevOps явно спрямовує компоненти з міткою GPU до меж пулів фізичного обладнання в
Releaseчерез мапуcomponents: {}. Розробник просто запитує когнітивну модель у своємуAggregate, а DevOps розміщує її в межі дорогого кластера GPU, повністю зберігаючи розділення відповідальності. Роль вердикту керування може додатково вимагати, щоб жоден компонент із цією міткою ніколи не розміщувався в межі без інфраструктури GPU.
9. datastore.aggrega.ai/engine
- Хто її записує? Архітектор платформи, на компонентах категорії datastore (статично, на flavored-спеціалізації або через роль
label-transform, колиvaluesрозробника підвищують роль). Значення, що використовуються в каталозі:relational,document,kv,vector,graph,semantic-memory,search. Кожне значення називає рушій зберігання, яким продукт є, —searchназиває рушій пошуку й аналітики, який також індексує вектори, — тож риса, що живе у власній схемі та шаблоні доступу застосунку, а не в жодному розгортуваному сховищі, не є значенням на цій осі. - Хто її використовує? Статичний аналізатор (через рядки селекторів) і рушій політик.
- Застосування в компіляторі: Селектори націлюються на семантику зберігання, а не на продукти, — сокет бази знань агента вибирає
datastore.aggrega.ai/engine in (vector, semantic-memory, search), а рушій політик може відхилити маршрутизацію SQL-навантажень до векторного рушія. Релевантність для AI у сховищах даних подвійного призначення виводиться з цієї мітки й ніколи не зберігається як окреме булеве значення. - Що містить стандартна бібліотека.
core/datastore/qdrant,core/datastore/weaviate,core/datastore/chroma,core/datastore/pgvectorіcore/datastore/milvusмаютьvector,core/datastore/cogneeмаєsemantic-memory, аcore/datastore/opensearchіcore/datastore/elasticsearchмаютьsearch, тож наведений вище селектор бази знань розв’язується щодо кожного з них.core/datastore/redis,core/datastore/valkeyіcore/datastore/memcachedмаютьkv. Кожна з цих міток розміщена на власній базі компонента, бо ідентичність продукту — це саме цей рушій. Дляcore/datastore/pgvectorця ідентичність — артефакт, який він закріплює: він запускає власний образ PostgreSQL проєкту pgvector, що містить розширення, і кожна сутність Recipe вмикає розширення в базі даних, яку створює компонент, — тож його векторна риса не залежить від налаштування, і саме це відрізняє його від описаного вище в «Naked Base, Flavored Edges» налаштовуваного випадку, де PostgreSQL загального призначення отримує цю рису лише тоді, коли розробник вмикає розширення.relational,documentіgraphне мають компонента в стандартній бібліотеці, тож селектор, що називає лише значення з-поміж них, тут нічому не відповідає і задовольняється каталогом, який такий компонент містить.
10. pipeline.aggrega.ai/mode
- Хто її записує? Архітектор платформи, на компонентах категорії pipeline. Кожне значення називає, як продукт виконує багатокрокове завдання, і значення йдуть за компонентами, що їх мають, а не за наперед визначеним списком. Стандартна бібліотека містить два:
durableнаcore/ai-pipeline/temporal, рушій якого записує результат кожного кроку як історію подій і відтворює її, тож завдання, worker якого аварійно завершився, продовжує з того місця, де зупинилося; іreconciledнаcore/ai-pipeline/argo-workflows, контролер якого запускає кожен крок як pod із ресурсу workflow, що зберігається у власному API кластера. - Хто її використовує? Рушій політик і Plugins Wasm для рендерингу.
- Застосування в компіляторі: Дає політикам і рендерерам змогу розрізняти рушії конвеєрів за тим, як запуск переживає збій, — відтворена історія подій або узгоджений ресурс кластера, — а не за назвою продукту.
11. dataplane.aggrega.ai/* (Можливості шляху даних)
- Хто її записує? Архітектор платформи, на будь-якому компоненті, що стоїть на шляху трафіку, — зворотному проксі, вхідному шлюзі, service mesh, AI-шлюзі.
- Хто її використовує? Статичний аналізатор, через
appliesToсутності Feature і селекторusesSchemaсокета. - Застосування в компіляторі: Вона відповідає на питання, що цей компонент може робити з трафіком, а саме це насправді потрібно знати контролю під час виконання і саме цього не може сказати мітка рівня продукту.
core/traffic-shadowing, який копіює живі запити до другого сервісу для оцінювання, оголошуєappliesTo: dataplane.aggrega.ai/request-mirroring— лише ключ, — і статичний аналізатор оцінює це щодо міток цілі до того, як щось буде відрендерено, тож приєднання його до компонента, який узагалі не вміє дзеркалювати, зупиняє збірку з порушенням селектора, що називає сутність Feature і селектор, якому вона не відповіла. Компілятор вважає кожен із цих рядків непрозорим, точно так само, як і решту. - Чому префікс називає шлях трафіку, а не вид компонента. Дзеркалювання, ідентичність того, хто викликає, і перевірка upstream не є властивостями шлюзу — це властивості будь-чого, що стоїть на шляху запиту, і service mesh, доданий до каталогу, має всі три. Назвати родину за видом компонента, який випадково мав їх першим, означало б змусити кожен наступний вид повторювати той самий словник під власним префіксом, залишивши одну можливість із кількома назвами й без селектора, здатного охопити їх усі.
- Чому точність записано в значенні. Два компоненти можуть обидва дзеркалювати запити й усе ж відрізнятися так, як це важливо для сутності Feature: один копіює кожен відповідний запит, інший — налаштовувану частку з них. Ключ, який казав би лише, чи компонент дзеркалює, допустив би обидва й залишив би різницю для виявлення після рендерингу. Розміщення точності в значенні дає змогу запитувати її тим із двох способів, який підходить сутності Feature. Сутність Feature, яка взагалі не може працювати без певної точності, називає це значення у своєму селекторі. Сутність Feature, яка працює й за нижчої точності, вибирає лише за ключем, а її реалізація відхиляє налаштування, якого компонент не може виконати: копіювання всього потоку працює на кожному компоненті, що дзеркалює, тож
core/traffic-shadowingприєднується до всіх них, а реалізація для компонента, що оголошуєfull-rate, відхиляє частку нижче 100 повідомленням, яке називає запитану частку й точність, оголошену компонентом, — дві речі, яких порушення селектора не каже. Тому значення виводяться з того, що реалізують наявні на ринку продукти, а не складаються як таксономія:request-mirroringмаєfull-rateіsampled, бо реальні проксі діляться саме так — один пропонує налаштування частоти копіювання, а інший не пропонує жодного. - Значення стверджує можливість, а ніколи не налаштований стан. Для розробника обидва читаються однаково, і лише одне з них є властивістю компонента. Проксі, здатний перевіряти сертифікат upstream, має
upstream-tls: trust-anchorнезалежно від того, чи вмикає якесь розгортання цю перевірку, — мітка є тим, за чим сутність Feature вибирає, перш ніж щось налаштовано, тож навантаження її конфігурацією зробило б її нечитабельною саме в мить, коли вона використовується. - Що містить стандартна бібліотека.
core/gateway/nginxмаєrequest-mirroring: full-rate,upstream-tls: trust-anchorіconcurrency-cap: total— одне обмеження на всі запити, які він пересилає.core/gateway/contourмаєrequest-mirroring: sampled,caller-identity: client-certificateіupstream-tls: trust-anchor.core/gateway/envoy-gatewayмає ті самі три значення, що йcore/gateway/contour, а такожperiod-budget: tokens, що рахує токени, про які повідомляє кожна відповідь моделі, яку він обслуговує через Envoy AI Gateway, іconcurrency-cap: per-target— обмеження на запити в обробці до кожної моделі, яку він обслуговує.core/gateway/kongмаєupstream-tls: trust-anchorіprompt-guard: pattern-list: його AI Prompt Guard звіряє повідомлення запиту до моделі зі списками, що містять його маршрути.core/gateway/tykмаєupstream-pinning: public-key, яке вибираєcore/upstream-key-pinning.core/gateway/litellmмаєcaller-identity: injected-header,content-masking: entity-recognition,period-budget: cost,prompt-guard: pattern-list,upstream-tls: trust-anchorіconcurrency-cap: per-target— обмеження на запити в обробці до кожного запису його мапи моделей.core/gateway/cloudflare-ai-gatewayмаєperiod-budget: cost.core/gateway/apisixмаєperiod-budget: tokens, що рахує токени, про які повідомляє відповідь кожної моделі, нічого не оцінюючи в грошах, іprompt-guard: pattern-list.core/gateway/kong-enterpriseмаєperiod-budget: tokens, що рахує токени, про які повідомляє відповідь кожної моделі, іcontent-masking: entity-recognition.core/gateway/traefik-hubмаєcontent-masking: entity-recognitionіprompt-guard: pattern-list: його middleware Content Guard маскує збіги шаблонів, що містить його конфігурація, або типи сутностей, які виявляє аналізатор Presidio, який він викликає, або відхиляє запит, якому відповідає шаблон, — а такожperiod-budget: costіз цінами з поданого з його middleware квот прейскуранта для кожної моделі, який натомість може рахувати токени, про які повідомляє кожна відповідь.core/gateway/agentgatewayмаєcontent-masking: pattern-listіprompt-guard: pattern-list: його захист на основі регулярних виразів маскує або відхиляє збіги шаблонів, що містить його конфігурація, і не розпізнає жодних типів сутностей, — а такожperiod-budget: cost, бюджети, які він веде для кожного ключа API в доларах США з цінами з його каталогу вартості моделей або в токенах.core/gateway/higressмаєcontent-masking: pattern-list: його плагінai-data-maskingмаскує збіги шаблонів, що містить його конфігурація, у тексті повідомлень запиту чату й не розпізнає жодних типів сутностей, — а такожperiod-budget: tokens, що разом рахує токени prompt і completion, про які повідомляє кожна відповідь, нічого не оцінюючи в грошах.core/gateway/azure-api-managementмаєperiod-budget: tokens, що разом рахує токени prompt і completion, про які повідомляє кожна відповідь, з окремим підрахунком на кожному шлюзі екземпляра, нічого не оцінюючи в грошах.core/security/nemo-guardrailsіcore/security/trustyai-guardrails-gateway, два захисники, що стоять на шляху моделі й оцінюють запит навченим класифікатором, маютьprompt-guard: classifier, яке вибирають сокетиguardAI-шлюзу та шлюзу NGINX. AI-шлюзи серед них —core/gateway/litellm,core/gateway/cloudflare-ai-gateway,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/kong-enterprise,core/gateway/traefik-hub,core/gateway/agentgateway,core/gateway/higressіcore/gateway/azure-api-management— маютьsemantic, а решта не має жодного значенняgateway.aggrega.ai/intelligence, і це розділення в дії, а не виняток із нього: сутність Feature, якій потрібне дзеркалювання, охоплює три компоненти, що його мають, тоді як селектор рівня продукту охопив би серед них лише Envoy Gateway, з причини, яка нічого не каже про дзеркалювання, а сутність Feature, якій потрібен захист prompt, маскування вмісту чи бюджет за період, охоплює AI-шлюз за тим, що він може робити, а не за рівнем, на якому він стоїть, тоді як та, що обмежує запити в обробці, охоплює шлюз NGINX, який не має значення рівня, так само як охоплює Envoy Gateway і AI-шлюз, а та, що відхиляє запит за списком шаблонів, охоплює Kong з відкритим кодом, який теж його не має, так само як охоплює APISIX. Компонент, якому нічого описати на одній із цих осей, не має там жодного значення замість найслабшого, тож селектор, що називає будь-яке значення на цій осі, слушно до нього не приєднується.
12. security.aggrega.ai/text-anonymization
- Хто її записує? Архітектор платформи, на сервісі, що бере участь у маскуванні чутливого тексту. Там, де цю роботу розподілено між двома сервісами,
analyzerставиться на той, що знаходить чутливі фрагменти в тексті й повідомляє про них, аanonymizer— на той, що переписує передані йому фрагменти;sanitizerставиться на сервіс, що робить і те, і те за один виклик: знаходить чутливі фрагменти в надісланому йому тексті, сам їх переписує й відповідає переписаним текстом. - Хто її використовує? Статичний аналізатор, через селектор
usesSchemaсокета. - Сценарій використання в компіляторі: так споживач отримує правильну адресу.
core/gateway/litellmоголошує сокетpii_analyzer, що вибираєsecurity.aggrega.ai/text-anonymization=analyzer, і сокетpii_anonymizer, що вибирає значенняanonymizer, тож під’єднання будь-якого з цих сервісів до сокета іншого зупиняє збірку з порушенням селектора, яке називає сокет.core/gateway/kong-enterpriseоголошує один сокет,pii_sanitizer, що вибирає значенняsanitizer, аcore/gateway/traefik-hub— один,pii_analyzer, що вибирає лише значенняanalyzer, бо Content Guard, який його Recipe для chart записує дляcore/data-masking, сам замінює те, що знаходить аналізатор. Компілятор маршрутизує адресу, яку публікує вибраний компонент, і нічого не перевіряє щодо того, що за нею відповідає. - Що містить стандартна бібліотека.
core/security/presidio-analyzerмаєanalyzer, аcore/security/presidio-anonymizer—anonymizer. Обидва підтримують HTTP API Presidio, який викликає AI-шлюз, коли приєднанняcore/data-maskingабо власне значенняvalues.log_maskingшлюзу перелічує типи сутностей, а Content Guard у Traefik Hub викликає лише аналізатор, коли їх перелічує приєднанняcore/data-maskingна цьому шлюзі.core/security/kong-ai-pii-serviceмаєsanitizerі підтримує API сервісу AI PII від Kong, який AI PII Sanitizer у Kong Gateway Enterprise викликає з кожним текстом, що його маскує, включно зі своїми регулярними виразами, доки на цьому шлюзі є приєднанняcore/data-masking. Sanitizer не надає йому жодних облікових даних, і кожен текст надходить до нього незамаскованим, тому його адреса є внутрішньокластерною і не призначена для відкриття за межі кластера.
13. model.aggrega.ai/api
- Хто це записує? Platform Architect — на кожному компоненті категорії model і на шлюзі, що обслуговує API моделей. Значення вказує, який API моделей відповідає за адресою, яку публікує компонент:
openai, якщо це API OpenAI — власний API постачальника або його реалізація сервером, —anthropic, якщо це Messages API від Anthropic,gemini, якщо це Gemini API від Google, іnative, якщо це власний API продукту й жоден із названих, до якого споживач звертається через клієнт цього продукту. Кожне значення береться з власної довідкової документації продукту, і компонент має його незалежно від того, що налаштовує конкретна сутність Release. - Хто це використовує? Static Analyzer — через селектор
usesSchemaсокета, а також твердження AI-шлюзу,core/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgatewayіcore/gateway/higressдля кожного з’єднання з їхніми сокетамиmodels. - Сценарій використання в компіляторі: саме це дає змогу одному сокету приймати або модель, або шлюз, що обслуговує моделі. Сокет
modelкожного агента, крім п’яти середовищ виконання, названих нижче, сокетtarget_modelкомпонентаcore/ai-tool/model-invocationі два сокети моделей компонентаcore/datastore/cogneeвибираютьcomponent.aggrega.ai/category in (ai-model, gateway), model.aggrega.ai/api: вимога категорії допускає обидві категорії, а вимога ключа допускає серед їхніх компонентів лише ті, що мають цю мітку, тож під’єднання такого сокета до шлюзу, який не обслуговує жодного API моделей, зупиняє збірку з порушенням селектора, яке називає сокет. Усі вимоги селектора мають виконуватися, а його альтернативи містяться в множині одного ключа, тому єдиний ключ, на який відповідають обидва види компонентів, має бути на кожному компоненті моделі так само, як і на шлюзі, — саме тому мітка називає API, а не позначає лише шлюзи. Шлюз, що має цю мітку, публікує ключіendpointіmodel, які публікує модель, тож Recipe споживача читає будь-який із них однаково. Агент, чиї Recipes постачають змінні одного API моделей, натомість називає його значення: сокетиmodelкомпонентівcore/ai-agent/openai-agents-sdk,core/ai-agent/agent-frameworkіcore/ai-agent/mastraвибираютьmodel.aggrega.ai/api=openai, сокетcore/ai-agent/claude-agent-sdkвибираєmodel.aggrega.ai/api=anthropic, а сокетcore/ai-agent/google-adkвибираєmodel.aggrega.ai/api=gemini, тож під’єднання одного з них до моделі чи шлюзу, що обслуговує інший API, зупиняє збірку з порушенням селектора, яке називає сокет. Сокетcore/ai-agent/google-adkтакож звужує категорію доai-model, відхиляючи будь-який шлюз, бо клієнт ADK не читає жодної адреси й надіслав би облікові дані шлюзу на власну адресу Google. AI-шлюз читає значення, а не вибирає за ним: його сокетmodelsвибираєcomponent.aggrega.ai/category=ai-model, допускаючи будь-яку модель, і оскільки шлюз описує під’єднану там модель своєму проксі лише через API OpenAI, твердження його сутності Component зупиняє збірку на з’єднанні, ціль якого має будь-яке значення, крімopenai, називаючи з’єднання й вказуючи натомість вписати цей upstream у написану вручну мапу моделей шлюзу.core/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgatewayіcore/gateway/higressчитають його так само на власних сокетахmodels, бо кожен із них записує маршрут під’єднаної моделі, а в agentgateway — її запис моделі, лише для API OpenAI. Компілятор розглядає значення як непрозорий рядок і нічого не перевіряє щодо того, що відповідає за адресою. - Що містить стандартна бібліотека.
core/gateway/litellm,core/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgatewayіcore/gateway/higressмаютьopenai, як і самостійно розміщені сервериcore/ai-model/vllm,ollama,docker-model-runner,tgi,tei,nvidia-nimіlitellm, керовані APIcore/ai-model/openai,openai-embeddingіnvidia-apiта брокерcore/ai-model/openai-compatible, який спрямовують на сервіс, що підтримує цей API.core/ai-model/anthropicмаєanthropic, аcore/ai-model/geminiмаєgemini. Кожен інший компонент моделі маєnative.
14. tool.aggrega.ai/transport
- Хто це записує? Platform Architect — на інструменті, до якого споживач звертається через транспорт, який він має підтримувати. Значення називає цей транспорт.
- Хто це використовує? Static Analyzer — через сокет інструментів споживача.
- Сценарій використання в компіляторі: так споживач отримує лише ті інструменти, з якими може взаємодіяти. Сокет інструментів вибирає
component.aggrega.ai/category=ai-tool, tool.aggrega.ai/transport=http: вимога категорії допускає інструменти й нічого іншого, а вимога транспорту допускає лише інструменти, доступні через HTTP, тож під’єднання такого сокета до інструмента, що не має такої мітки, зупиняє збірку з порушенням селектора, яке називає сокет. Спосіб доступу до інструмента має бути міткою, а не опублікованим значенням, бо селектор читає мітки й ніколи не читає вміст значення. Компілятор розглядає значення як непрозорий рядок і нічого не перевіряє щодо того, що відповідає за адресою. - Що містить стандартна бібліотека.
core/ai-tool/mcpмаєhttp. Він приєднує сервер Model Context Protocol до агента, а сутність Manifest вибирає, як цей сервер реалізується:helm/mcpіcompose/mcpзапускають образ, що обслуговує протокол через HTTP;helm/mcp-stdio-bridgeіcompose/mcp-stdio-bridgeзапускають пакет, що підтримує лише stdio, за закріпленим мостом, який обслуговує його через HTTP;helm/mcp-remoteіcompose/mcp-remoteзвертаються до сервера, який експлуатує хтось інший, і нічого не запускають. Кожна реалізація публікує ті саміhost,port,endpoint,protocolіcredential_header, тож під’єднання споживача не змінюється разом із реалізацією. Власні облікові дані сервера — це змінні середовища, що зберігаються в слотіserver_envінструмента: на Kubernetes вони передаються мосту за посиланням, а на Docker Compose записуються в середовище сервісу в переданому вигляді, де посилання на змінну Compose тримає облікові дані поза файлом; облікові дані віддаленого сервера зберігає споживач у власному з’єднанні з інструментом і пред’являє їх у заголовку, який називаєcredential_header, —Authorization, якщо сутність Release не називає інший. Якщо віддалений сервер читає свій ключ із власної адреси, споживач також зберігає всю адресу в цьому з’єднанні, у слотіendpoint, який на Kubernetes заповнюється посиланням на Secret, а на Docker Compose — посиланням на змінну Compose, тож ключ не потрапляє в жоден відрендерений файл, тоді якinfra.endpointінструмента містить адресу без частини, що несе ключ; examples/mcp-address-from-secret збирає обидва варіанти.core/ai-agent/openai-agents-sdk,core/ai-agent/claude-agent-sdk,core/ai-agent/agent-framework,core/ai-agent/google-adkіcore/ai-agent/mastra, а також платформи потоківcore/ai-agent/flowiseіcore/ai-agent/n8nоголошують сокет інструментів такого вигляду,tools, і передають адресу кожного під’єднаного інструмента, а облікові дані з’єднання — за посиланням, у змінних, названих за псевдонімом з’єднання, тоді як з’єднання, у якому записано блокinject:, отримує те, що приписує цей блок, замість змінних, виведених із того, що публікує інструмент, а вміст його слотівcredentialіendpointзалишається під іменем псевдоніма; власний споживач оголошує такий сокет так само. Кожна з трьох платформ потоків під час розгортання переносить у платформу потік, створений у сутності Aggregate, на обох цілях: Langflow завантажує перенесене визначення зі свого каталогу потоків під час кожного запуску, chatflow Flowise ініціалізується одноразовим кроком, що входить як обліковий запис власника, названий сутністю Release, а workflow n8n імпортується кроком init перед запуском платформи.core/ai-agent/langflowоголошує сокетtoolsтакого самого вигляду, який не допускає блокуinject:, але натомість передає кожне з’єднання через цей потік, бо компонент MCP Tools у Langflow бере адресу сервера лише з власних налаштувань Langflow або з потоку, ніколи — зі змінної: його Recipes записують адресу інструмента у вузол MCP Tools, сервер якого названо за псевдонімом з’єднання, передають облікові дані з’єднання за посиланням як змінну, яку називає заголовок цього вузла, — уAuthorizationзмінну, що міститьBearerі облікові дані, — і пропускають хости під’єднаних інструментів і сховищ крізь захист Langflow від приватних адрес. Усі три платформи також оголошують сокетvector_store, що вибираєdatastore.aggrega.ai/engine in (vector, semantic-memory, search)і так само передає адресу кожного під’єднаного сховища —endpoint, який воно публікує, дляcore/datastore/pgvectorURI з’єднання без пароля, або адресу, складену з його протоколу, хоста й порту, — а облікові дані з’єднання за посиланням; сховище, що також публікує свою базу даних і користувача, як це робитьcore/datastore/pgvector, надходить до Flowise і n8n і цими частинами, оскільки жоден із векторних вузлів PostgreSQL цих двох платформ не приймає рядок з’єднання; Langflow, чий компонент PGVector приймає один рядок, отримує таке сховище якAGGREGA_VECTOR_STORE_<ALIAS>_CONNECTION_STRINGз обліковими даними з’єднання як паролем — за посиланням на Kubernetes і в переданому вигляді на Docker Compose. Chatflow Flowise читає передану змінну через однойменну змінну Runtime, створену на сторінці Variables у Flowise, а workflow n8n читає її через$envлише там, де сутність Aggregate встановлює значенняallow_env_access_in_nodesплатформи, оскільки типово її Recipes зберігають блокування n8n доступу до середовища у вузлах.
2. Абстракція портів (домовленість про нуль портів)
Каталог стандартної бібліотеки Aggrega з відкритим кодом рекомендує не вказувати оголошення фізичних портів у когнітивному шарі Components, а натомість спрямовувати вибір порту через Recipe для Ops. Автори, які дотримуються цієї рекомендації, уникають колізій портів між цілями розгортання, запобігають появі API-бекдорів, що оминають Injection Contract, і зберігають гнучкість мережевої топографії між постачальниками. Сам компілятор агностичний щодо портів — він передає будь-які значення, які дозволяє розв’язана JSON Schema. Домовленість передбачає явний запасний вихід для застарілих систем, фізичні порти яких неможливо змінити.
- Типова поведінка cloud-native (динамічне впровадження): для сучасних робочих навантажень Components повністю опускають фізичні порти (жодних масивів
portsчиexpose) у своєму оголошенніschema:. Recipes від Platform Ops вибирають внутрішній порт TCP/UDP і публікують його як іменований ключprovides, який нижчі за потоком споживачі читають через Injection Contract.context.uses. - Запасний вихід для застарілих систем (явне оголошення): коли застарілий компонент має незмінний, жорстко закодований порт, Platform Architect явно відкриває поле
portв оголошенніschema:сутності Component. Це дає ролі Developer перевірений спосіб оголосити фізичне обмеження. Компілятор переносить значення конвеєром без змін; Recipe використовує його через{{ .values.port }}. - Операційні порти (поза смугою): порти, які використовує виключно інфраструктура кластера (наприклад, збирання метрик Prometheus, метрики сайдкарів Envoy), залишаються прихованими від когнітивного шару ролі Developer. Platform Ops впроваджує їх поза смугою через Features (наприклад, приєднуючи сутність Feature
core/prometheus-exporter, порт збирання метрик якої задає оператор вinfra).
3. Предметно-орієнтовані схеми (інтелект конфігурації)
Блоки values розробника (непрозорі для компілятора Go, але суворо типізовані оголошенням schema: сутності Component) перевіряються так, щоб підтримувати явні робочі процеси ШІ:
- Зв’язки агентів (масиви залежностей): спільна схема параметрів агентів у стандартній бібліотеці містить
tools_allowedіagents_allowedяк масивиvalues, що називають Components каталогу, які агент може викликати або яким може делегувати, — це задокументована домовленість, яку компілятор не обчислює. Зв’язок, який компілятор під’єднує як топологічне ребро, — це сокетuses, який Component агента оголошує у своємуusesSchema, і саме селектор цього сокета перевіряє збірка. - Глибоке розбиття когнітивної пам’яті (CoALA): замість одного плаского сегмента пам’яті архітектор може оголосити сокет
cognitive_memory, з’єднання якого зіставляють семантичну, епізодичну й процедурну пам’ять з окремими інфраструктурними цілями як явні топологічні ребра, тож рушії політик можуть оцінювати й вимагати детальні обмеження доступу (наприклад, гарантувати, що агент може читати семантичну пам’ять, але не може перезаписати її в разі захоплення). Стандартна бібліотека не оголошує такого сокета. - Мультимодальні конвеєри:
schema:сутності Component може оголошувати явні етапи виконання, як-отdocument_chunking,embedding_generationіstorage_routing, як типізованіvalues, тож декларативний потік даних перевіряється до того, як щось буде відрендерено. Стандартна бібліотека не оголошує таких етапів.
4. Інтелект шлюзів і маршрутизація
AI-шлюзи стандартної бібліотеки містять засоби контролю для маршрутизації запитів до API LLM: core/gateway/litellm, що працює в кластері, і два хостовані сервіси — core/gateway/cloudflare-ai-gateway, хостований шлюз Cloudflare, який його Recipe для terraform створює в обліковому записі Cloudflare, і core/gateway/azure-api-management, AI-шлюз Azure API Management, чий Recipe для terraform додає API, що обслуговує модель, разом із його бекендом і політикою, до вже наявного екземпляра API Management. Recipes для helm і compose кожного хостованого шлюзу посилаються на нього там, де його вже налаштовано. Деякі засоби контролю — це значення на самому шлюзі, а деякі — приєднані до нього Features, і кожна сутність Feature нижче вказує, на якому шлюзі її реалізує стандартна бібліотека. На хостованому шлюзі кожен засіб контролю записується у власну конфігурацію шлюзу — як параметр ресурсу шлюзу Cloudflare або елемент політики API в Azure API Management, — тож лише його Recipe для terraform може містити такий засіб, а його Recipes для helm і compose зупиняють збірку на будь-якому приєднанні. Нижче «AI-шлюз» — це core/gateway/litellm, «хостований шлюз» — core/gateway/cloudflare-ai-gateway, а шлюз Azure API Management названо повністю.
Поза Aggrega, під час виконання
агент
його сокет model, під’єднаний до шлюзу
ШІ-шлюз
з під’єднаними до нього засобами контролю
бюджет токенів
семантичний кеш
захист від ін’єкцій у промпт
модель
провайдер за шлюзом
Запити агента проходять через шлюз, до якого під’єднано його сокет model, тож кожен засіб контролю, під’єднаний до шлюзу, стоїть між агентом і моделлю. Три зображені тут — це сутності Features core/period-budget, core/semantic-caching і core/prompt-injection-shield, показані поруч, щоб було видно, де вони розташовані, а не як конфігурація одного шлюзу: у пунктах нижче сказано, який шлюз реалізує кожен засіб контролю і що зупиняє збирання.
-
Моделі за ним: мапа моделей AI-шлюзу — псевдоніми, які він обслуговує, кожен з upstream, куди надсилається запит до нього, — складається з двох частин. Компонент моделі, під’єднаний до сокета
modelsшлюзу, керований або самостійно розміщений, обслуговується під псевдонімом з’єднання, а його запис формується зendpointіmodel, які публікує модель, — рядків, які компілятор передає в конфігурацію шлюзу й ніколи не розв’язує; отже, модель є компонентом графа, доступним через власне ребро. Шлюз описує таку модель своєму проксі лише через API OpenAI, тож з’єднання з моделлю, чийmodel.aggrega.ai/apiне дорівнюєopenai, зупиняє збірку, називаючи з’єднання. Друга частина — цеvalues.modelsшлюзу, записи, введені вручну у власній нотації проксі постачальник/модель: для upstream, який каталог не моделює, для постачальника, чий власний API не є API OpenAI, і для кількох записів зі спільним псевдонімом, чого під’єднані моделі робити не можуть, бо кожна обслуговується під псевдонімом власного з’єднання. Під’єднаний запис пред’являє облікові дані, які несе його власне з’єднання, як описано нижче в розділі «Ключ, який пред’являє викликач», і ніколи —provider_keyшлюзу; кожен введений вручну запис пред’являє єдині облікові дані з цього слота. Псевдонім, який публікують обидві частини, зупиняє збірку з його назвою, так само як і шлюз, якому жодна з частин не надає моделі. -
На шляху агента: шлюз публікує
endpointіmodel— ключі, які публікує компонент моделі, — і маєmodel.aggrega.ai/api: openai, тож сокетmodelагента приймає шлюз безпосередньо, і кожен приєднаний до нього засіб контролю стоїть між цим агентом і постачальниками за ним.model, який він публікує, — це псевдонім, названий йогоvalues.model, і збірка зупиняється, коли жодна частина мапи його не публікує; його можна опустити лише там, де шлюз обслуговує один псевдонім і його публікує записvalues.models, який тоді й стає опублікованим. Викликач, якому потрібен інший псевдонім, опублікований мапою, запитує його за назвою в того самого endpoint.core/gateway/cloudflare-ai-gatewayпублікує ті самі два ключі — адресу одного з endpoint шлюзу, складену з облікового запису Cloudflare та ідентифікатора шлюзу, і модель, яку запитує викликач і яку шлюз пересилає без перевірки, — але не має жодногоmodel.aggrega.ai/api, тож сокетmodelагента його не приймає.core/gateway/azure-api-managementтакож їх публікує — адресу свого API, складену з хоста екземпляра й шляху API, і модель, яку запитує викликач, пересилану без перевірки, — і також не має жодногоmodel.aggrega.ai/api: API відповідає на запит chat completions від OpenAI, але типово викликач пред’являє ключ підписки API Management у власному заголовку замість bearer-токена OpenAI, тож звичайного клієнта OpenAI недостатньо, щоб його викликати. -
Kong перед моделями:
core/gateway/kong, шлюз Kong з відкритим кодом, обслуговує моделі, під’єднані до його власного сокетаmodels, через AI Proxy від Kong і з наведених нижче засобів контролю реалізує лише шаблони відхилення промптів — як AI Prompt Guard від Kong на кожному маршруті кожної під’єднаної моделі. Кожна під’єднана модель отримує маршрут chat і маршрут completion під/<alias>/v1, сформовані зendpointіmodel, які публікує модель, а його Recipes імпортують ці маршрути в бекенд PostgreSQL шлюзу перед його запуском. Маршрут вибирає модель, тож запит надсилається до моделі, яку називає його шлях, незалежно від того, яку назву моделі він містить. Шлюз пред’являє власні облікові дані кожного з’єднання як bearer-токен, який його конфігурація читає за назвою із середовища шлюзу, а з’єднання з моделлю, чийmodel.aggrega.ai/apiне дорівнюєopenai, зупиняє збірку. Він публікує маршрут псевдоніма, названого йогоvalues.model, як свійendpoint, а цей псевдонім — як свійmodel, і маєmodel.aggrega.ai/api: openai, тож сокетmodelагента приймає його так само, як AI-шлюз. Якщо до цього сокета нічого не під’єднано, шлюз не обслуговує жодної моделі й публікує обидва ключі порожніми, і під’єднаний до нього агент тоді не читає ні адреси, ні назви моделі. Імпорт додає й оновлює маршрути, але не видаляє жодного, тож маршрут, з’єднання якого видалено, продовжує відповідати, а захист промптів, записаний приєднаннямcore/prompt-deny-patterns, продовжує відхиляти запити після видалення приєднання, доки кожен із них не буде видалено через Admin API від Kong. З тієї самої причини шлюз не оголошує викликачів, і його маршрути моделей не перевіряють ключа жодного викликача: Kong розрізняє викликачів лише як consumers, названих плагіном автентифікації, а consumer і його ключ, щойно імпортовані, залишалися б здатними автентифікуватися після видалення викликача із сутності Release, а ротований ключ залишав би старий робочим; крім того, ключ key-auth не можна зберігати за посиланням, тож ключ викликача міг би потрапити до Kong лише як літерал у відрендереному файлі. -
Kong Gateway Enterprise перед моделями:
core/gateway/kong-enterprise, платна редакція Kong того самого шлюзу з базою даних, обслуговує моделі, підключені до його власного сокетаmodels, на маршрутах, які обслуговуєcore/gateway/kong, записаних із тієї самої конфігурації та імпортованих у його бекенд PostgreSQL кроком у власному поді шлюзу до запуску шлюзу, і публікує своїendpointтаmodelтак само, як Kong. Його єдина реалізація — Recipe типу chart на основі офіційного Helm-чарта Kong; реалізації compose немає. Він запускає образ, який сутність Release вказує вinfra.image, разом із тегом версії, оскільки Kong поширює enterprise-образ на власних умовах і тому каталог жодного не вказує; збірка зупиняється, доки цей ключ не задано або його тег не містить версії. Ліцензія потрапляє до шлюзу за посиланням на Secret, прив’язаний до його обов’язкового слотаlicense, ніколи як значення, і збірка зупиняється, доки ніщо не прив’язує цей слот. Компілятор не перевіряє жодної ліцензії й не звертається до жодного постачальника, тож сутність Release, яка збирається без помилок, нічого не каже про ліцензію: Kong зчитує ліцензію під час запуску вузла, а вузол без дійсної ліцензії поводиться як із простроченою — конфігурація його сутностей доступна лише для читання, а трафік проксі обслуговується з уже чинною конфігурацією. Kong продає свої AI-плагіни як пропозицію AI Gateway Enterprise — право, що міститься в ліцензії й якого жодна збірка не бачить, — і пропускає такий плагін замість того, щоб відхилити його, там, де ліцензія цього права не містить, тож приєднанняcore/semantic-caching,core/period-budget,core/data-masking,core/fallback-chain,core/retry-policyабоcore/target-selectionзупиняє збірку, доки сутність Release не встановитьinfra.ai_gateway_entitledуtrue, підтверджуючи, що ліцензія це право містить. З наведених нижче засобів контролю він реалізує бюджет на період і ланцюжок fallback, кожен записаний у маршрути, які імпортує шлюз, аcore/data-maskingреалізує так, як описано нижче в розділі «Витік даних і перехоплення корисного навантаження»; його реалізації семантичного кешу, політики повторних спроб і вибору цілі зупиняють будь-яке приєднання, кожна з зазначенням причини, а обмеження паралельності, журналювання аудиту, перевірка на prompt injection, перевірка відповідей і шаблони заборони промптів не мають там реалізації, тож приєднання будь-якого з них зупиняє збірку. Змінений набір маршрутів спричиняє поступове перерозгортання шлюзу, а імпорт додає й оновлює маршрути, не видаляючи жодного, тож маршрут, з’єднання якого видалено, і плагін, записаний сутністю Feature для AI, після видалення сутності Feature залишаються в базі даних, доки їх не буде видалено через Admin API Kong; з причин, наведених у пункті вище, він також не оголошує викликачів, і його маршрути моделей не перевіряють ключа жодного викликача. Те, що запущений шлюз застосовує будь-який із цих засобів контролю, не спостерігає жодна збірка. -
APISIX перед моделями:
core/gateway/apisix, шлюз Apache APISIX з відкритим кодом, обслуговує моделі, підключені до його власного сокетаmodels, через AI-проксі APISIX там, де сутність Manifest прив’язує його Recipe типу chart, яка запускає APISIX 3.18.0. Кожна підключена модель отримує маршрут chat і маршрут completion під/<alias>/v1— лише маршрут chat, поки приєднано бюджет на період або шаблони заборони промптів, оскільки APISIX не рахує токенів у запиті completion, а його prompt guard його не зчитує, — записані зendpointіmodel, які публікує модель, у файл маршрутів, що рендериться разом зі шлюзом і який шлюз зчитує під час запуску та знову щоразу, коли файл змінюється. Шлюз, що зчитує свої маршрути з цього файлу, не зчитує жодного etcd і не запускає жодного Admin API, тож за підключеної моделі з’єднанняetcdабо приєднанняadmin_keyзупиняє збірку, а коли нічого не підключено, обидва обов’язкові. Маршрут обирає модель. Шлюз подає власні облікові дані кожного з’єднання як bearer-токен, який його маршрути зчитують за іменем із середовища шлюзу, а з’єднання з моделлю, чийmodel.aggrega.ai/apiне дорівнюєopenai, зупиняє збірку. Він публікує маршрут псевдоніма, вказаного в йогоvalues.model, як свійendpoint, а цей псевдонім — як свійmodel, і маєmodel.aggrega.ai/api: openai, тож сокетmodelагента приймає його так само, як AI-шлюз; коли нічого не підключено, він публікує обидва ключі порожніми. Маршрут, з’єднання якого видалено, зникає з наступного рендерингу. Сутність Release може вказати викликачів шлюзу вinfra.callers, а їхні ключі — через слотcaller_keys, Secret, що містить по одному ключу даних на ім’я викликача: кожен викликач тоді є споживачем у файлі маршрутів, ключ якого зчитується за іменем із цього Secret, і кожен маршрут відхиляє з HTTP 401 запит, що не подає жодного оголошеного ключа якAuthorization: Bearer <key>— так, як його подає клієнт OpenAI, — і видаляє ключ із запиту, який пересилає. Без викликачів маршрути відкриті. Його Recipe типу workload, з APISIX 3.17.0, зберігає маршрути в etcd, не рендерить жодного й зупиняє збірку за наявності з’єднання з цим сокетом іinfra.callers. З наведених нижче засобів контролю він реалізує бюджет на період, семантичний кеш для оголошених ним викликачів і шаблони заборони промптів. -
Envoy Gateway перед моделями:
core/gateway/envoy-gateway, Envoy Gateway з відкритим кодом, обслуговує моделі, підключені до його власного сокетаmodels, через Envoy AI Gateway, контролер якого,core/gateway/envoy-ai-gateway-operator, шлюз викликає як свій сервер розширень через свій сокетextension. Підключена модель, коли до цього сокета нічого не підключено, зупиняє збірку, а за підключеного контролера сутність Release розміщує шлюз уenvoy-gateway-system, інакше збірка зупиняється. Кожна підключена модель стає правилом єдиного AI-маршруту, приєднаного до шлюзу, яке обирається за назвою моделі, що її несе запит, із бекендом, записаним зendpointіmodel, які публікує модель, тож кожна підключена модель обслуговується під/v1за власною адресою шлюзу. Шлюз подає власні облікові дані кожного з’єднання як bearer-токен, який контролер Envoy AI Gateway зчитує із Secret, вказаного в облікових даних, а з’єднання з моделлю, чийmodel.aggrega.ai/apiне дорівнюєopenai, зупиняє збірку. Поки модель підключено, кожен маршрут на шлюзі отримує буфер запитів 50Mi на з’єднання, який налаштовує Envoy AI Gateway. Він публікує свою адресу, уточненуenvoy-gateway-system, щоб вона розв’язувалася з будь-якого простору імен, як свійendpoint, а псевдонім, вказаний у йогоvalues.model, — як свійmodel, і маєmodel.aggrega.ai/api: openai, тож сокетmodelагента приймає його так само, як AI-шлюз; коли нічого не підключено, він публікує обидва ключі порожніми. Вебхук контролера подає сертифікат, який випускає cert-manager, тож cert-manager уже має працювати в кластері, якщо тільки сутність Release не вкаже вinfra.webhook_tls_secretконтролера Secret із сертифікатом, наданим оператором, який вебхук тоді й подає. З наведених нижче засобів контролю він реалізує бюджет на період, політику повторних спроб і обмеження паралельності, кожен записаний в єдину політику трафіку маршруту, що обслуговує його моделі. Він не реалізує семантичного кешу й перевірки відповідей, оскільки Envoy AI Gateway не зберігає жодної відповіді, якою міг би відповісти на пізніший запит, і не перевіряє жодної відповіді за схемою, а також ланцюжка fallback: Envoy AI Gateway виконує fallback, повторюючи спробу на інших бекендах правила моделі, а шлюз записує кількість повторних спроб своєї єдиної політики трафіку в кожне правило маршруту, що обслуговує його моделі, тож список fallback отримав би рівно свої надсилання лише там, де список кожної підключеної моделі має однакову довжину. Він реалізуєcore/audit-loggingяк свій журнал доступу, як описано нижче в розділі «Журналювання аудиту», і відхиляє за назвою те, чого цей журнал не може зберегти: вартість запиту, оскільки вартість на запит, яку може обчислити Envoy AI Gateway, не має одиниці, а шлюз не зберігає цін; викликача, перевіреного шлюзом, оскільки ніщо на цьому шляху не перевіряє викликача; і строк зберігання, оскільки цей журнал не має ні сховища, ні налаштування зберігання. examples/envoy-ai-gateway-token-budget будує весь шлях з агентом, який звертається до керованої моделі OpenAI через шлюз. -
agentgateway перед моделями:
core/gateway/agentgateway, agentgateway з відкритим кодом, обслуговує моделі, підключені до його власного сокетаmodels, з одного конфігураційного файлу, який рендерять його сутності Recipes. Кожна підключена модель є записом цього файлу, названим за псевдонімом з’єднання й записаним зendpointіmodel, які публікує модель, як OpenAI-сумісний постачальник chat completions, тож кожна підключена модель обслуговується під/v1за власною адресою шлюзу, а обирає її назва моделі, яку несе запит: запит доходить до моделі із запитом назви моделі, яку публікує модель, а на назву, якої не несе жодне з’єднання, відповідь — HTTP 404. Шлюз подає власні облікові дані кожного з’єднання як bearer-токен, який файл вказує як змінну, що її шлюз зчитує зі свого середовища під час зчитування файлу, причому відсутність там цієї змінної не дає йому запуститися, а з’єднання з моделлю, чийmodel.aggrega.ai/apiне дорівнюєopenai, зупиняє збірку. Він публікує цю базову URL-адресу/v1як свійendpoint, а псевдонім, вказаний у йогоvalues.model, — як свійmodel, і маєmodel.aggrega.ai/api: openai, тож сокетmodelагента приймає його так само, як AI-шлюз; коли нічого не підключено, він публікує обидва ключі порожніми. Дві сутності Recipes запускають той самий образ, закріплений за digest:agentgateway-chartрендерить автономний Helm-чарт проєкту, отриманий із реєстру проєкту, і реалізує наведені нижче засоби контролю, аagentgatewayзапускає образ як одну службу Docker Compose і не реалізує жодного з них, як і викликачів, тож приєднання там зупиняє збірку із зазначенням свого типу; на Kubernetes, де збірка може дістатися до цього реєстру, слід обирати чарт. У чарті сутність Release може вказати викликачів шлюзу вinfra.callers, а їхні ключі — через слотcaller_keys, як і в APISIX: кожен викликач є API-ключем файлу, що перевіряється в суворому режимі й зчитується за іменем із цього Secret, тож запит до моделі, який не подає жодного оголошеного ключа якAuthorization: Bearer <key>, відхиляється з HTTP 401, а ключ видаляється з пересланого запиту; без викликачів маршрути моделей відкриті. agentgateway підставляє кожен ключ, який файл вказує таким чином, — ключ підключеної моделі в будь-якій із сутностей Recipe і ключ викликача в чарті — у текст файлу, перш ніж зчитати файл як YAML, тож ключ має бути простим токеном — літери, цифри та-,.,_,~,+,/і=, — а інші символи можуть завантажитися як інший ключ або зупинити шлюз. Шлюз зчитує свій файл знову, коли той змінюється, тож викликач, видалений із сутності Release, відхиляється, щойно змонтований файл оновлено. Поки приєднаноcore/audit-loggingабоcore/period-budgetз областюcaller, Recipe типу chart надає шлюзу сховище — файл SQLite на власному томі — і запускає одну репліку. З наведених нижче засобів контролю він реалізує маскування даних, шаблони заборони промптів, бюджет на період, журналювання аудиту й політику повторних спроб, кожен записаний у файл, і відхиляє за назвою кожне значення, якого не може дотриматися. Маскування даних замінює кожен збіг шаблонів, перелічених у приєднанні, на<masked>або в режиміrefuseвідповідає на запит чи відповідь кодом HTTP 403 — у системних і розробницьких промптах запиту, інших його повідомленнях, аргументах і результатах його викликів інструментів, а також у тексті повідомлення відповіді, що надходить повністю; воно не розпізнає типів сутностей і нічого не відновлює. agentgateway не маскує потокову відповідь, тож поки відповіді маскуються, запит до моделі, який просить потокову відповідь, відхиляється з HTTP 403 до пересилання, як і будь-який запит до моделі, тіло якого більше за 2 MiB, які шлюз зчитує для цієї перевірки, потоковий чи ні. Відмова від запобіжника, зокрема від шаблону заборони, — це HTTP 403 з тілом «The request was rejected due to inappropriate content» (Запит відхилено через неприйнятний вміст). Бюджет, записи й повторні спроби описано нижче в розділах «Бюджет на період», «Журналювання аудиту» та «Стійкість». Його реалізації ланцюжка fallback, вибору цілі, семантичного кешу, перевірки відповідей і перевірки на prompt injection зупиняють будь-яке приєднання, кожна із зазначенням причини, а обмеження паралельності до нього не приєднується, оскільки він не має значенняdataplane.aggrega.ai/concurrency-cap. -
Traefik Hub перед моделями:
core/gateway/traefik-hub, платний шлюз Traefik, обслуговує моделі, підключені до його власного сокетаmodels, через проміжне ПЗ Chat Completion у Traefik Hub. Його єдина реалізація — Recipe типу chart на основі власного Helm-чарта Traefik; реалізації compose немає. Він запускає образ, який сутність Release вказує вinfra.image, разом із тегом, оскільки Traefik поширює Traefik Hub на власних умовах і тому каталог жодного не вказує; збірка зупиняється, доки цей ключ не задано або він не вказує тегу. Ліцензійний токен потрапляє до шлюзу за посиланням на Secret, прив’язаний до його обов’язкового слотаlicense, під ключем данихtoken, ніколи як значення, і збірка зупиняється, доки ніщо не прив’язує цей слот або він публікує інший ключ даних. Traefik потребує вихідного HTTPS доapi.traefik.io, де шлюз перевіряє свій токен; починаючи з Traefik Hub v3.21 шлюз продовжує обслуговувати, поки цей хост недоступний, повторюючи спроби у фоновому режимі, а токен за замовчуванням діє рік, і шлюз зупиняється, щойно строк його дії мине. Recipe типу chart вимикає експорт чартом журналів помилок шлюзу на платформу Traefik і його перевірку наявності новішої версії. Компілятор не перевіряє жодного токена й не звертається до жодного постачальника, тож сутність Release, яка збирається без помилок, нічого не каже про те, чи запуститься шлюз. Кожна підключена модель отримує маршрут за адресою/<alias>/v1/chat/completions, що надсилається наendpoint, який публікує модель, через Service типу ExternalName і запитуєmodel, який вона публікує, незалежно від назви моделі, яку несе запит, тож модель визначається шляхом; він обслуговує лише chat completions. Шлюз подає власні облікові дані кожного з’єднання як bearer-токен, який Traefik Hub зчитує із Secret, вказаного в проміжному ПЗ Chat Completion з’єднання, а з’єднання з моделлю, чийmodel.aggrega.ai/apiне дорівнюєopenaiабо чия кінцева точка вказує адресу замість хоста, зупиняє збірку. Він публікує маршрут псевдоніма, вказаного в йогоvalues.model, як свійendpoint, а цей псевдонім — як свійmodel, і маєmodel.aggrega.ai/api: openai, тож сокетmodelагента приймає його так само, як AI-шлюз; коли нічого не підключено, він публікує обидва ключі порожніми. Сутність Release може вказати викликачів шлюзу вinfra.callers, а htpasswd-хеші їхніх ключів — через слотcaller_keys: проміжне ПЗ API Key у Traefik Hub тоді стоїть на початку кожного маршруту моделі й відхиляє запит, що не подає жодного оголошеного ключа якAuthorization: Bearer <key>, а ключ видаляється з пересланого запиту; без викликачів маршрути відкриті. Що Traefik Hub робить із записом викликача, який вказує неіснуючий Secret або ключ даних, у його довідці не зазначено, тож у найгіршому випадку маршрути так само відкриті, як без викликачів. З наведених нижче засобів контролю він реалізує бюджет на період, семантичний кеш для оголошених ним викликачів, шаблони заборони промптів і маскування даних — через проміжне ПЗ AI-шлюзу Traefik Hub, — а також ланцюжок fallback і політику повторних спроб — через власні failover і повторні спроби Traefik, — кожен записаний у маршрути, які рендерить його Recipe типу chart. AI-шлюз — це право, що міститься в ліцензії, якого жодна збірка не бачить, а те, що Traefik Hub робить із дійсним токеном, ліцензія якого цього права не містить, не задокументовано, тож приєднання будь-якого з перших чотирьох зупиняє збірку, доки сутність Release не встановитьinfra.ai_gateway_entitledуtrue. Його реалізації перевірки на prompt injection, журналювання аудиту, вибору цілі й перевірки відповідей зупиняють будь-яке приєднання, кожна із зазначенням причини, а обмеження паралельності до нього не приєднується, оскільки він не має значенняdataplane.aggrega.ai/concurrency-cap. Те, що запущений шлюз застосовує будь-який із цих засобів контролю, не спостерігає жодна збірка. -
Higress перед моделями:
core/gateway/higress, шлюз Higress із відкритим кодом, побудований на Envoy і налаштовуваний через ресурси Kubernetes, обслуговує моделі, під’єднані до його власного сокетаmodels, через AI proxy Higress. Його єдина реалізація — сутність Recipe типу chart над власним Helm-чартом проєктуhigress-core, який запускає контролер Higress разом із його службою виявлення та шлюз; реалізації compose немає, оскільки проєкт призначає свій дистрибутив compose переважно для локального тестування, а цей дистрибутив запускає кілька взаємодійних служб, налаштовуваних через власне сховище. Сутність Recipe фіксує чарт, образи та кожен модуль плагіна, який вона записує, і приймає вinfra.source_versionлише ті версії чарта, для яких її конфігурацію перевірено; шлюз завантажує ці модулі з реєстру плагінів Higress під час виконання, тож кластер має мати до нього доступ, а збірка не може цього перевірити. Контролер стежить лише за простором імен сутності Release, під IngressClass, названим за шлюзом і цим простором імен, тож два шлюзи Higress в одному просторі імен конфліктують. Кожен псевдонім отримує маршрут за адресою/<alias>/v1, що надсилається наendpoint, який публікує модель псевдоніма, через запис власного реєстру шлюзу і запитує опублікований неюmodelнезалежно від назви моделі в запиті, тож модель обирає шлях; з’єднання, що називають один псевдонім у своєму значенніserves, ділять його запити порівну. Шлюз пред’являє власні облікові дані кожного з’єднання як bearer token, який контролер Higress зчитує з об’єкта Secret, названого в конфігурації AI proxy, у просторі імен шлюзу, і передає шлюзу, тож ключ не потрапляє до жодного відрендереного файлу; назва Secret, що містить крапку, зупиняє збірку, оскільки Higress зчитує назву лише до першої крапки, а з’єднання без облікових даних передає далі ключ, який пред’являє запит. AI proxy Higress також копіює заголовокAuthorization, надісланий клієнтом, у заголовокX-HI-ORIGINAL-AUTH, і кожен маршрут моделі видаляє цю копію, перш ніж запит досягне моделі, тож ключ, пред’явлений клієнтом, ніколи не передається поруч із власними обліковими даними з’єднання. Через https шлюз перевіряє, що сертифікат моделі веде до якорів довіри системи та називає хост моделі, незалежно від хосту, який надіслав клієнт, а інакше нічого моделі не надсилає: сутність Recipe позначає маршрут кожного псевдоніма, всі з’єднання якого використовують https, анотацією Higresshigress.io/backend-protocol: HTTPS, тож шлюз бере ім’я сервера з хосту, який AI proxy записує в кожен запит, — хосту моделі, доповненого простором імен моделі там, де він не містить крапки, — і перевіряє сертифікат щодо нього. Ця анотація застосовується до кожного з’єднання псевдоніма, тож псевдонім, що змішує з’єднання http і https, зупиняє збірку, називаючи обидва; обслуговування їх під двома псевдонімами це усуває. З’єднання з моделлю, чийmodel.aggrega.ai/apiне єopenaiабо чия кінцева точка вказує адресу замість хосту, зупиняє збірку. Шлюз публікує маршрут псевдоніма, названого йогоvalues.model, як свійendpoint, а цей псевдонім — як свійmodel, і несеmodel.aggrega.ai/api: openai, тож сокетmodelагента приймає його так само, як приймає AI-шлюз; коли нічого не під’єднано, він публікує обидва ключі порожніми. Він не оголошує викликачів, тож його маршрути моделей не перевіряють ключ жодного викликача, а значення, що потребує викликача, перевіреного шлюзом, відхиляється з указанням назви. Із засобів контролю, описаних нижче, він реалізує бюджет на період, журналювання аудиту та політику повторних спроб, кожен із яких записано на маршрути моделей, аcore/data-maskingреалізує так, як описує нижче розділ «Ексфільтрація даних і перехоплення корисного навантаження». Його реалізації перевірки відповідей, ланцюжка резервування, семантичного кешу, виявлення prompt injection і вибору цілі зупиняють кожне приєднання, кожна з указанням причини, а ні шаблони блокування промптів, ні обмеження паралельності до нього не приєднуються, оскільки він не несе жодного значенняdataplane.aggrega.ai/prompt-guardчиdataplane.aggrega.ai/concurrency-cap. Те, що запущений шлюз застосовує будь-який із цих засобів контролю, жодна збірка не спостерігає. -
Azure API Management перед моделлю:
core/gateway/azure-api-management, AI-шлюз Azure API Management, розміщеної служби, обслуговує один API моделі через API на вже наявному екземплярі API Management. Його сутність Recipe типу terraform зчитує екземпляр і додає API, його операцію chat completions, бекенд, на який він пересилає, і політику API, яка вилучає ключ підписки викликача з того, що пересилається, і автентифікується перед API моделі так, як указуєinfra.backend_authentication: керованою ідентичністю екземпляра, ключем постачальника, що зберігається в Key Vault, або без нічого. Його сутності Recipes типів helm і compose посилаються на API, налаштований поза сутністю Release, і зупиняють збірку за будь-якого приєднання. Із засобів контролю, описаних нижче, його сутність Recipe типу terraform реалізує семантичний кеш, бюджет на період, виявлення prompt injection і політику повторних спроб, кожен із яких записано в політику API. Він не реалізує обмеження паралельності, оскільки Microsoft називає ліміт, який застосовує її політика паралельності, ніколи не цілком точним і нижчим, коли в регіоні працює кілька одиниць ємності, ані ланцюжок резервування, оскільки API пересилає на один бекенд, а власне резервування Azure, групи пріоритетів пулу бекендів, відводить подальші запити від бекенда, чий запобіжник спрацював, замість того щоб надіслати невдалий запит іншій моделі. Його реалізаціяcore/audit-loggingзупиняє кожне приєднання, називаючи те, що поза її досяжністю: сам журнал, який вмикає параметр діагностики на екземплярі; вартість запиту, покиrequire_costувімкнено, оскільки журнал запитів до моделей Azure записує кількість токенів і модель, але не ціну; і строк зберігання, якщо заданоretention_days, оскільки рядок зберігається стільки, скільки його зберігає робоча область Log Analytics, у яку він потрапляє. Те, що політики застосовуються та виконуються так, як документує Microsoft, жодна збірка не спостерігає. -
Ключ, який пред’являє викликач: Сервер, що перевіряє ключ, який пред’являють його викликачі, зберігає цей ключ у власному слоті, названому
api_keyна кожній цілі, що обслуговує моделі й перевіряє ключ, —core/ai-model/vllm,teiіtgi, моделі LiteLLM і AI-шлюзі, де це ключ, який LiteLLM називає своїм головним ключем, — і кожна з його сутностей Recipes передає ключ як змінну, яку зчитує сервер.core/gateway/apisixіcore/gateway/agentgatewayзберігають по одному ключу для кожного викликача, якого їхня сутність Release називає вinfra.callers, у своєму слотіcaller_keys: один Secret, що містить ключ кожного викликача під його назвою.core/gateway/traefik-hubзберігає своїх викликачів так само, за винятком того, що його Secret містить хеш htpasswd ключа кожного викликача, з яким його перевірка ключів порівнює пред’явлений ключ, тож це не той Secret, з якого викликач пред’являє свій ключ. Викликач зберігає ключ, який пред’являє, на своєму боці, на з’єднанні, на якому його пред’являє, у слоті, який оголошує його сокет: агенти стандартної бібліотеки оголошують його на своєму сокетіmodel,credential; AI-шлюз — на своєму сокетіmodelsі на сокетіcache_store, де це пароль, який семантичний кеш шлюзу пред’являє своєму сховищу;core/gateway/kongіcore/gateway/kong-enterprise— на своїх сокетахmodels;core/gateway/apisix— на сокетіmodelsі на сокетіcache_store, де це так само пароль, який його семантичний кеш пред’являє своєму сховищу;core/gateway/agentgateway— на сокетіmodels;core/gateway/envoy-gateway— на сокетіmodelsі на сокетіcache, де це пароль, який служба обмеження частоти запитів шлюзу пред’являє сховищу, що веде лічильник бюджету на період;core/gateway/higress— на сокетіmodelsі на сокетіcache, де це пароль, який його ліміт токенів пред’являє сховищу, що веде лічильник бюджету на період; іcore/gateway/traefik-hub— на сокетіmodels, на сокетіcache, де це пароль, який його квота пред’являє сховищу, що веде лічильник бюджету на період, і на сокетіcache_store, де це пароль, який його семантичний кеш пред’являє своєму сховищу, — тож агент, що звертається до моделі, або шлюз, що звертається до моделі, яку обслуговує, зберігає там ключ цього з’єднання. AI-шлюз, обидва Kong, APISIX і agentgateway передають ключ кожної під’єднаної моделі як окрему змінну, яку називає запис або маршрут цієї моделі в їхній конфігурації; Envoy Gateway називає Secret у політиці безпеки бекенда моделі, і контролер Envoy AI Gateway зчитує з нього ключ; Traefik Hub називає Secret і ключ даних у middleware Chat Completion маршруту моделі та зчитує з нього ключ. З’єднання з моделлю з міткоюcomponent.aggrega.ai/hosting: managedнесе ключ або вказує у власнихvalues, що модель не приймає жодного,unauthenticated: true; якщо немає ні того, ні іншого, твердження викликача зупиняє збірку, називаючи з’єднання та його ціль, а модель з іншою міткою такої зупинки не спричиняє. Ключ, який сутність Component викликача натомість оголошує у власному слоті, є одним ключем для кожного з’єднання, яке вона встановлює. Жоден із кінців не бачить приєднань іншого, тож сервер нічого не дізнається про ключ викликача, а обидва збігаються, бо сутність Aggregate живить обидва з одного параметра: там, де обидва кінці розв’язують секрети в одній області — одному просторі імен Kubernetes, одному проєкті Compose, — вони посилаються на один секрет, а інакше кожен зберігає власний, реалізований з того самого запису сховища. vLLM, TEI і TGI перевіряють кожен лише один ключ, тож кожен викликач пред’являє той самий ключ і сервер не може розрізнити своїх викликачів, а TGI порівнює свій ключ без урахування регістру; APISIX, agentgateway і Traefik Hub перевіряють кожен ключ кожного оголошеного викликача й розрізняють за ним своїх викликачів; обидва Kong не оголошують викликачів і не перевіряють ключ жодного викликача з причин, наведених вище в розділі «Kong перед моделями»; модель LiteLLM і AI-шлюз також приймають ключі, які вони видають, поки приєднано їхню базу даних обліку. Модель облікових даних розбирає цю схему на прикладі однієї сутності Aggregate. -
Вибір між цілями:
core/target-selectionоголошує, як шлюз обирає між кількома цілями, здатними обслужити той самий запит, за допомогоюstrategyзі значеннямlatency(ціль, яка, за спостереженнями, відповідає найшвидше) абоcost(ціль, виклик якої найдешевший). Стратегія є частиною того, що застосунок вимагає від свого шлюзу, тож її приєднує розробник у сутності Aggregate. На AI-шлюзі цілями є записи йогоvalues.models, що публікують той самий псевдонім, — під’єднана модель обслуговується під псевдонімом свого з’єднання, який не може публікувати жоден інший запис, — і стандартна бібліотека реалізуєlatency, записуючиlatency-based-routingпроксі в конфігурацію маршрутизації, яку рендерить сутність Recipe шлюзу: проксі надсилає кожен запит до запису, останні десять відповідей якого в середньому тривали найменше, у розрахунку на вихідний токен, якщо відповідь повідомляє свої токени, або до першого токена для потокового запиту, а ще не випробуваний запис вважається найшвидшим. Без приєднання конфігурація не називає жодної стратегії, і проксі обирає серед цих записів випадково.costтам відхиляється з указанням назви: проксі визначає ціну запису, шукаючи його ціль точно так, як її записано, у таблиці цін, яка називає моделі OpenAI та Anthropic без префікса постачальника, що його несуть цілі шлюзу, а запису, якого не знаходить, призначає фіксовану резервну ціну, тож записи, що мають спільний псевдонім, отримали б однакову ціну й обиралися б за їхнім порядком. Наcore/gateway/kong-enterpriseкожне приєднання зупиняє збірку, бо кожна під’єднана до нього модель обслуговується на власних маршрутах, що несуть лише цю модель, і обирати немає з чого. Наcore/gateway/agentgatewayкожне приєднання також зупиняє збірку з указанням причини: agentgateway випадково вибирає дві цілі назви моделі й бере ту, чий стан справності, поділений на час, який вона витратила на відповідь, має вищу оцінку, тож найшвидша ціль береться лише тоді, коли її вибрано, і він не обирає жодної цілі за вартістю. Наcore/gateway/higressкожне приєднання також зупиняє збірку з указанням причини: Higress може вимірювати затримку служби, але його плагін балансування навантаження виконується після AI proxy — який уже встановив модель, адресу й облікові дані запиту для кандидата, визначеного маршрутом, — і записує свій вибір у заголовок запиту, за яким ніщо не маршрутизує без фільтра Envoy, якого цей каталог не рендерить, тож вибір не діє, і він не обирає жодної цілі за вартістю. Наcore/gateway/traefik-hubкожне приєднання також зупиняє збірку з указанням причини: Traefik обирає за найменшим часом відповіді лише серед серверів одного Service, які охоплюють одна назва моделі та одні облікові дані, а між Service балансує за вагою або за хешем адреси клієнта, ніколи за затримкою, і жодна з його стратегій не обирає ціль за вартістю; до того ж кожна під’єднана до шлюзу модель обслуговується на власному маршруті, що несе лише цю модель, і обирати немає з чого. На будь-якому іншому шлюзі приєднання зупиняє збірку. -
Стійкість:
core/fallback-chainпередає запит, модель якого дає збій, іншим моделям:chainsвизначає для кожного псевдоніма моделі, що має резерв, псевдоніми, які пробують по черзі, доки один не відповість, причому резервний варіант, що дав збій, у свою чергу йде за власним записом, аmax_hopsобмежує, як далеко вздовж цього ланцюжка передається запит. Стандартна бібліотека реалізує це на AI-шлюзі, записуючи обидва параметри в конфігурацію маршрутизації, яку рендерить сутність Recipe шлюзу, і зупиняє збірку на імені, яке мапа моделей шлюзу не публікує. Запит переходить на резерв лише після того, як шлюз відмовився від запитаного псевдоніма: там, де псевдонім опубліковано більше одного разу, невдалий виклик спочатку переходить до іншого з його записів як повторна спроба, обмежена кількістю повторних спроб шлюзу.core/retry-policyзадає цю кількість — скільки разів шлюз може надіслати запит, включно з першим надсиланням (max_attempts), у разі збою, який зникає після повторного надсилання, як-от відхилене з’єднання, обмеження частоти чи тайм-аут, — і стандартна бібліотека реалізує це на AI-шлюзі, записуючи її в конфігурацію маршрутизації, яку рендерить сутність Recipe шлюзу. Наcore/gateway/envoy-gatewayце реалізовано як повторну спробу traffic policy на маршруті, що обслуговує підключені моделі, — тієї самої policy, що несе обмеження частоти бюджету на період, бо Envoy Gateway приєднує до маршруту одну traffic policy: запит надсилається повторно після відхиленого з’єднання чи потоку, скидання або відповіді 429, 503 чи 504, доmax_attemptsнадсилань, а моделі, яка нічого не відповідає в межах тайм-ауту запиту маршруту, запит повторно не надсилається, бо цей тайм-аут охоплює всі надсилання. Наcore/gateway/azure-api-managementце реалізовано як повторну спробу Azure навколо пересилання, у розділі backend policy API: запит, на який відповіли HTTP 429 або статусом 5xx, надсилається повторно, з тілом, збереженим для повторного надсилання, через одну секунду після попереднього надсилання, доmax_attemptsнадсилань. Після відхиленого чи обірваного з’єднання, а також моделі, яка нічого не відповідає в межах тайм-ауту пересилання, запит повторно не надсилається, бо Azure припиняє повторні спроби на такій помилці й передає її в розділ on-error policy. Azure повторює від 1 до 50 разів після першого надсилання, тожmax_attempts, що дорівнює 1, не записує жодної повторної спроби, а значення понад 51 відхиляється з явним зазначенням. Повторна спроба заступає пересилання, яке API успадкувало б, тож поки її приєднано, налаштування пересилання, задане в ширшій області екземпляра, як-от тайм-аут, не застосовується до API, яке пересилає зі стандартними параметрами Azure. На розміщеному шлюзіcore/retry-policyреалізовано записом у ресурс шлюзу його кількості повторних спроб, яка визначає надсилання після першого, від 1 до 5, тожmax_attemptsвід 2 до 6 враховується, а будь-яке інше значення відхиляється;core/fallback-chainтам не реалізовано, бо цей шлюз переходить між моделями лише всередині маршруту, який запит називає замість моделі, тож запит до моделі ніколи не переходить на резерв. Наcore/gateway/kong-enterprisecore/fallback-chainреалізовано в його сутності Recipe для chart: маршрути chat і completion кожного псевдоніма, якомуchainsдає запис, несуть AI Proxy Advanced від Kong замість його AI proxy, з моделлю псевдоніма та моделями, на які переходить його обхід, як цілями в порядку пріоритету — псевдонім, потім резервні варіанти його запису по черзі, причому власний запис резервного варіанта, у свою чергу, враховується лише доти, доки налічено менше ніжmax_hops. Балансувальник надсилає запит до кожної цілі обходу один раз, по черзі, доки одна не відповість, переходячи далі після помилки чи тайм-ауту з’єднання, недійсного заголовка відповіді або відповіді 429, 500, 502, 503 чи 504, і повертає будь-яку іншу відповідь такою, якою вона надійшла. Збірка зупиняється на імені, якого не несе сокетmodels, на обході, що двічі досягає того самого псевдоніма, поряд ізcore/retry-policy, оскільки Kong веде одну кількість повторних спроб на весь обхід і не може повторно надіслати запит моделі, перш ніж перейти на резерв, а також на образі шлюзу, старішому за 3.12.core/retry-policyтам не реалізовано, і його реалізація зупиняє кожне приєднання із зазначенням причини: кожна підключена модель обслуговується на власних маршрутах, що несуть лише цю одну модель, тож повторна спроба мусить знову надіслати запит до тієї самої цілі, а довідник Kong можна прочитати в обидва боки щодо того, чи робить це його балансувальник. Наcore/gateway/agentgatewaycore/retry-policyреалізовано в сутності Recipe для chart як policy повторних спроб власної конфігурації шлюзу, приєднану до listener, на який надходять його запити до моделей: запит надсилається повторно, одразу й до тієї самої моделі, після відповіді 429, 500, 502, 503 чи 504, відхиленого чи скинутого з’єднання, з’єднання, відкриття якого триває понад 11 секунд, або невдалого розв’язання імені, доmax_attemptsнадсилань. agentgateway надсилає запит на один раз більше, ніж кількість спроб його policy, тож policy записується якmax_attemptsмінус один,max_attempts, що дорівнює 1, не записує жодної, а значення понад 256 відхиляється з явним зазначенням. Запит, тіло якого більше за 64 KiB, надсилається один раз, а конфігурація не задає тайм-ауту, тож на модель, яка приймає з’єднання й нічого не відповідає, чекають, а не надсилають запит повторно.core/fallback-chainтам не реалізовано, і його реалізація зупиняє кожне приєднання із зазначенням причини: agentgateway перемикається між моделями, виключаючи модель, що дала збій, для наступних запитів, тоді як на невдалий запит відповідають його помилкою, тож жоден запит не проводиться вздовж ланцюжка. Наcore/gateway/higresscore/retry-policyреалізовано як власну повторну спробу маршруту, записану як анотації Ingress на кожному маршруті моделі: запит надсилається повторно після відхиленого чи скинутого з’єднання, відповіді 5xx або 429, зокрема POST, доmax_attemptsнадсилань;max_attempts, що дорівнює 1, вимикає повторні спроби, перевизначаючи повторну спробу, яку площина керування Higress дає маршруту без анотації, а значення понад 2147483648 відхиляється з явним зазначенням. Моделі, яка приймає з’єднання, а потім нічого не відповідає або відповідає повільно, запит повторно не надсилається, оскільки маршрут не задає крайнього терміну на спробу, а потоковий запит надсилається повторно лише до того, як почалася його відповідь.core/fallback-chainтам теж не реалізовано, і його реалізація зупиняє кожне приєднання із зазначенням причини: Higress передає невдалий запит далі щонайбільше один раз, до одного іншого призначення — стандартного backend маршруту або єдиного резервного маршруту, який його консоль записує для AI-маршруту, — тож жоден запит не проводиться вздовж ланцюжка. Наcore/gateway/traefik-hubобидва реалізовано в сутності Recipe для chart, і кожен зупиняє збірку на образі Traefik Hub, старішому за v3.20, чий failover не приймає middleware на сервісах, які пробує, а чия повторна спроба не може повторно надіслати POST за статусом відповіді, — за винятком policy повторних спроб з одним надсиланням.core/fallback-chainпроводить маршрут кожного псевдоніма, якомуchainsдає запис, через вкладені failover самого Traefik, пробуючи по черзі моделі обходу псевдоніма — псевдонім, потім резервні варіанти його запису по черзі, причому власний запис резервного варіанта, у свою чергу, враховується лише доти, доки налічено менше ніжmax_hops, — кожну з власною назвою моделі, обліковими даними, квотами й повторною спробою. Відповідь моделі 429 або від 500 до 504, після можливої повторної спроби цієї моделі, передає запит наступній; будь-яка інша відповідь повертається такою, якою надійшла, відповідь останньої моделі — хай якою вона буде, а тіло запиту понад 1 MiB відхиляється з HTTP 413 замість надсилання. Збірка зупиняється на імені, якого не несе сокетmodels, і на обході, що двічі досягає того самого псевдоніма.core/retry-policy— це middleware повторних спроб Traefik, останній на кожному маршруті моделі або на кожній моделі, яку пробує обхід: запит надсилається повторно одразу після з’єднання, яке нічого не передало моделі, і після відповіді 429 або від 500 до 504, зокрема POST, доmax_attemptsнадсилань, включно з першим, аmax_attempts, що дорівнює 1, нічого не записує. Після відповіді, яку шлюз формує сам, — відмови його перевірки ключа, захисту, маскування чи квоти — запит ніколи не надсилається повторно, так само як і після потокової відповіді, що вже почалася. -
Бюджет на період:
core/period-budgetобмежує, скільки може спожити трафік через шлюз за період:limit,period, який він охоплює,scope— усе, що обслуговує шлюз, кожен викликач або кожна модель, — іunit— вартість у доларах США або в токенах, — і щойно те, що шлюз налічив за період, перевищує ліміт, подальші запити до моделей відхиляються. Він приєднується до будь-якого компонента, що оголошуєdataplane.aggrega.ai/period-budget. Стандартна бібліотека реалізує його на AI-шлюзі, бюджет якого охоплює все, що обслуговує шлюз, рахується в доларах США і починається знову на початку кожного періоду — кількість днів від опівночі UTC або календарний місяць від його першого дня: реалізація записує ліміт і період у конфігурацію, яку рендерить сутність Recipe шлюзу, відхиляє за назвою будь-яку іншу одиницю, область чи період — зокрема30d, який шлюз рахує як календарний місяць, — і зупиняється, якщо слоти облікових даних шлюзуdatabase_urlіapi_keyне приєднані обидва, бо без своєї облікової бази даних шлюз не веде жодного підрахунку, а без адміністративного ключа не перевіряє жодного викликача щодо бюджету. Щойно підрахунок перевищує ліміт, шлюз відхиляє запити до моделей з адміністративним ключем так само, як і запити кожного викликача; його перелік моделей і керування ключами й далі відповідають на цей ключ. На хостованому шлюзі він реалізується як правило ліміту витрат на ресурсі шлюзу, що рахується в доларах США за вікно, яке рухається вперед із часом, — останнійperiod, для моделей, ціни яких шлюз знає, — для всього, що обслуговує шлюз: бюджет на викликача або на модель, токени і календарний місяць відхиляються за назвою. Наcore/gateway/apisixвін реалізується в сутності Recipe типу chart і записується на маршрути підключених моделей як обмеження швидкості за токенами APISIX: рахується в токенах, які повідомляє відповідь кожної моделі, —total_tokens,prompt_tokensабоcompletion_tokens— за фіксоване вікноperiod, яке відкривається першим запитом до моделі після закриття попереднього вікна, а не за годинником, для всього, що обслуговує шлюз, для кожної підключеної моделі окремо або для кожного викликача, якого сутність Release шлюзу оголошує вinfra.callers, окремо, причому шлюз розрізняє їх за ключем, який пред’являє кожен. Щойно підрахунок досягає ліміту, шлюз відповідає на запити до моделей HTTP 503, доки вікно не закриється; токени запиту додаються, щойно його відповідь завершується, тож запит, який досягає ліміту, обслуговується, а відповідь, яку подає його семантичний кеш, нічого не додає до підрахунку й подається понад ліміт. APISIX не рахує токенів у запиті completion, тож поки бюджет приєднано, кожна підключена модель отримує лише свій чат-маршрут, а підрахунок він тримає в пам’яті процесу шлюзу, тож chart запускає одну репліку, а перезапуск відкриває нове вікно. Бюджет у доларах США, бюджет на викликача, покиinfra.callersне оголошує жодного, календарний місяць і другий бюджет на одному шлюзі відхиляються за назвою, як і приєднання до його сутності Recipe типу workload, яка не рендерить жодного маршруту. Наcore/gateway/envoy-gatewayвін реалізується як обмеження швидкості Envoy Gateway на основі використання на AI-маршруті, що обслуговує моделі, підключені до шлюзу: маршрут оголошує підрахунок токенів, який називаєunit, —total_tokens,prompt_tokensабоcompletion_tokens— як вартість, яку Envoy AI Gateway зчитує з кожної відповіді, а traffic policy на цьому маршруті стягує її, коли відповідь завершується, зlimitтокенів на одну одиницю обмеження швидкості Envoy Gateway, для всього, що обслуговує шлюз, або для кожної підключеної моделі окремо. Кожне вікно зафіксоване за годинником UTC — секунда, хвилина, година, доба від опівночі, тиждень від четверга або 30 чи 365 днів, відлічених від 1 січня 1970 року, — а1mo— це календарний місяць згідно з налаштуванням служби обмеження швидкості Envoy Gateway, яке тоді діє для кожного місячного обмеження швидкості, що веде ця інсталяція. Підрахунок веде служба обмеження швидкості, яку площина керування Envoy Gateway створює та вмикає для кожного шлюзу, який вона обслуговує, у сховищі з протоколом Redis, підключеному до сокетаcacheшлюзу. Щойно підрахунок перевищує ліміт, шлюз відповідає на запити до моделей HTTP 429, доки вікно не завершиться; токени запиту додаються, щойно його відповідь завершується, тож запит, який перетинає ліміт, обслуговується. Поки сховище або служба обмеження швидкості недосяжні чи перевірка триває довше за тайм-аут обмеження швидкості Envoy, запити до моделей відхиляються з HTTP 500 згідно з налаштуванням площини керування Envoy Gateway, яке тоді діє для кожного обмеження швидкості, що веде ця інсталяція, тож обмеження швидкості, застосоване до неї вручну, теж відмовляє в закритому режимі; запит, прийнятий безпосередньо перед збоєм, однаково обслуговується і не рахується, бо його токени стягуються після відповіді, а сховище, що тримає підрахунок у пам’яті, після перезапуску починає кожне вікно заново. Бюджет у доларах США, бюджет на викликача — шлюз розрізняє викликачів лише за заголовком, який викликач записує сам, і ніщо на цьому шляху його не перевіряє, — будь-який інший період і другий бюджет на одному шлюзі відхиляються за назвою, як і приєднання, коли до сокетаmodelsабоcacheнічого не підключено. Наcore/gateway/azure-api-managementвін реалізується як ліміт токенів Azure, записаний у політику API: рахується в токенах промпту й завершення, які повідомляє кожна відповідь, разом, для всього, що обслуговує API, або для кожної підписки API Management, ключ якої шлюз перевіряє, — або як квота за фіксоване вікно за годинником UTC, година, доба, тиждень, календарний місяць чи календарний рік (1h,1d,7d,1moабо12mo; Microsoft не вказує, з якого дня починається тиждень), на перевищення якої відповідають HTTP 403, або як швидкість за одну хвилину (1m), на яку відповідають HTTP 429 і яка рахується за ковзним вікном на класичних рівнях і як token bucket на рівнях v2. Підрахунок — це використання, яке повідомляє кожна відповідь, тож паралельні запити можуть перейти ліміт, а кожен шлюз екземпляра веде власний підрахунок. Бюджет у доларах США або лише в токенах промпту чи завершення, бюджет на модель — модель, яку називає запит, записує викликач, і кілька назв можуть вести до однієї моделі, — бюджет на підписку в API, що не вимагає ключа підписки, будь-який інший період і ліміт, що не є цілим числом, відхиляються за назвою. Рівень Consumption не запускає жодного ліміту токенів. Наcore/gateway/kong-enterpriseвін реалізується в сутності Recipe типу chart і записується в маршрути, які імпортує шлюз, як AI Rate Limiting Advanced від Kong: рахується в токенах, які повідомляє відповідь кожної моделі, —total_tokens,prompt_tokensабоcompletion_tokens— у фіксованих вікнахperiod, що є кількістю секунд, хвилин, годин або днів, причому кожен запит рахується в тому єдиному вікні, на яке припадає його час, для всього, що обслуговує шлюз, або для кожної підключеної моделі окремо, а запит з областюmodelрахується щодо псевдоніма, який він назвав, незалежно від того, яка модель на нього відповіла. Щойно підрахунок досягає ліміту, на наступний запит до моделі відповідають HTTP 429, доки вікно не завершиться, тож запит, який перетинає ліміт, обслуговується; Kong також може відхилити запит заздалегідь за власною оцінкою токенів промпту, які той містить. Підрахунок зберігається в бекенді PostgreSQL шлюзу, є спільним для всіх реплік і зберігається після перезапуску. Бюджет у доларах США — Kong рахує вартість лише за ціною, яку його конфігурація призначає кожній моделі, а каталог жодної не надає, — бюджет на викликача — Kong розрізняє викликачів лише як споживачів, яких називає плагін автентифікації, а шлюз не оголошує жодних викликачів з причин, наведених вище в «Kong перед моделями», — календарний місяць, другий бюджет на одному шлюзі та образ шлюзу, старший за 3.15, відхиляються за назвою, як і приєднання, коли до сокетаmodelsнічого не підключено. Наcore/gateway/agentgatewayвін реалізується в сутності Recipe типу chart, записується в конфігурацію шлюзу і рахується в загальній кількості токенів, яку повідомляє кожна відповідь: в областіcaller— як бюджет на API-ключі кожного викликача, якого сутність Release шлюзу оголошує вinfra.callers, за фіксовані вікнаperiod, вирівняні за епохою Unix, де доба починається опівночі UTC, що зберігається у сховищі SQLite на томі, який рендерить сутність Recipe, з однією реплікою; в областіgatewayабоmodel— як token bucket для всього, що обслуговує шлюз, або для кожної назви моделі, яку запитує запит, що поповнюється до ліміту коженperiodвід моменту, коли шлюз прочитав свою конфігурацію, і зберігається в його пам’яті, тож перезапуск або змінена конфігурація поповнює його знову. Щойно налічене досягає ліміту, на запити до моделей відповідають HTTP 429, доки вікно не завершиться або bucket не поповниться; запит, який його досягає, обслуговується. Бюджет у доларах США — каталог вартості моделей шлюзу не має цін для жодної з підключених до нього моделей, тож бюджет нічого не рахував би, — лише в токенах промпту чи завершення, бюджет на викликача, покиinfra.callersне оголошує жодного, календарний місяць, ліміт, що не є цілим числом, і другий бюджет на одному шлюзі відхиляються за назвою, як і приєднання, коли до сокетаmodelsнічого не підключено; його сутність Recipe типу compose не має реалізації цього. Наcore/gateway/traefik-hubвін реалізується в сутності Recipe типу chart як middleware квот Traefik Hub на маршруті кожної підключеної моделі, яке веде підрахунок у сховищі з протоколом Redis, підключеному до сокетаcacheшлюзу: воно рахує токени, які повідомляє кожна відповідь, —total_tokens,prompt_tokensабоcompletion_tokens— або, заusd, їхню вартість у доларах США за цінами зі списку моделей, що постачається з middleware, причому модель, ціни якої воно не має, відхиляється з HTTP 422, за вікно, що ковзає з часом, де налічене в певну мить звільняється знову через один період, для кожної підключеної моделі окремо або для всього, що обслуговує шлюз, поки підключено одну модель. Щойно підрахунок досягає ліміту, запити до моделей відхиляються з HTTP 429; підрахунок запиту додається, щойно його відповідь завершується, тож запит, який перетинає ліміт, і будь-який, обслуговуваний поряд із ним, обслуговується, а відповідь, яку подає семантичний кеш, нічого не додає. Довідник Traefik зазначає, що квота обслуговує запити без підрахунку, поки сховище недосяжне. Бюджет на викликача — квота розрізняє запити за адресою клієнта, заголовком запиту або хостом запиту, і жоден із них не є викликачем, якого перевірила перевірка ключів шлюзу, — бюджет на весь шлюз, поки підключено кілька моделей, оскільки довідник Traefik не вказує, чи маршрути, що називають одну квоту, спільно використовують її підрахунок, календарний місяць і будь-який період, крім годин або днів чи хвилин або секунд, що складають цілі години, відхиляються за назвою, як і ліміт, що не є цілим числом токенів, і приєднання, коли до сокетаmodelsабоcacheнічого не підключено. Наcore/gateway/higressвін реалізується в сутності Recipe типу chart як плагін ліміту токенів Higress на маршруті кожної підключеної моделі, який веде підрахунок у сховищі з протоколом Redis, підключеному до сокетаcacheшлюзу: він додає токени промпту й завершення, які повідомляє кожна відповідь, разом, щойно відповідь завершується, за фіксоване вікноperiod— секунда, хвилина, година або доба, — яке відкривається, коли в ньому враховано першу відповідь, для всього, що обслуговує шлюз, або для кожного псевдоніма окремо. Поки підрахунок перевищує ліміт, на запити до моделей відповідають HTTP 429, доки вікно не завершиться, тож запит, який перетинає ліміт, обслуговується. Відповідь, що не повідомляє використання, нічого не додає, тож сутність Recipe просить модель потокового запиту повідомляти своє використання і відхиляє з HTTP 403 потоковий запит, який вимикає це повідомлення, запит, тип вмісту якого не міститьapplication/jsonі не починається зmultipart/form-data, який AI-проксі пересилає, не запитуючи повідомлення, і запит, тіло якого плагіни шлюзу не читають, — стиснене тіло, тип вмісту, що міститьoctet-streamабоgrpc, upgrade; клієнт, який навмисно надсилає тіло, яке валідація шлюзу не може декодувати, обходить ці відмови, і такий потоковий запит залишається неврахованим. Коли маскування не приєднано, запит, тіло якого перевищує буфер шлюзу у 32 KiB, може бути відхилено з HTTP 413 залежно від того, коли відповість сховище. Поки сховище недосяжне, запити до моделей обслуговуються і не рахуються: плагін не має налаштування, яке б тоді їх відхиляло. Бюджет у доларах США або лише в токенах промпту чи завершення, бюджет на викликача — шлюз не оголошує жодних викликачів, тож жодного не перевіряє, — будь-який інший період, ліміт, що не є цілим числом, і другий бюджет на одному шлюзі відхиляються за назвою, як і приєднання, коли до сокетаmodelsабоcacheнічого не підключено. -
Паралельність:
core/concurrency-limitобмежує, скільки запитів шлюз одночасно несе (max_in_flight), що не дає сплеску викликачів перетворитися на чергу до моделі за ним.scopeвизначає, що рахує одне обмеження:gateway, значення за замовчуванням, рахує разом кожен запит, який пересилає шлюз;modelдає кожній цілі, якій шлюз надсилає запити, власний підрахунок, де ціллю є кожен upstream-запис, до якого шлюз маршрутизує, тож там, де одна назва моделі має кілька записів, кожен рахується окремо. Обмеження та його область — це визначення місткості, яке вирішує оператор і задає вinfraприєднання, тож оператор приєднує його в сутності Release. Обмеження рахується для кожного запущеного проксі, тож там, де працює кілька реплік, кожна з них допускає стільки ж. Воно приєднується до будь-якого компонента, що оголошуєdataplane.aggrega.ai/concurrency-cap, а реалізація відхиляє за назвою область, яку її шлюз не рахує. Наcore/gateway/nginxобластьgatewayреалізується якlimit_connNGINX з ключем в одне слово, однакове для кожного запиту, тож NGINX рахує кожен запит, який обробляє, як один загальний підсумок, що зберігається в пам’яті, спільній для його робочих процесів, і відповідає на запит понад обмеження HTTP 503; областьmodelвідхиляється, оскільки NGINX не веде підрахунку для кожної upstream-цілі, як іmax_in_flightпонад 65535 — максимум, який приймаєlimit_conn. Наcore/gateway/envoy-gatewayобластьmodelреалізується як circuit breaker traffic policy на маршруті, що обслуговує підключені моделі, — тієї самої policy, яка також несе обмеження швидкості бюджету на період і повтор політики повторів: Envoy Gateway застосовує його до бекенда кожного правила цього маршруту, а кожна підключена модель має власне правило, тож кожній підключеній моделі одночасно надсилається щонайбільшеmax_in_flightзапитів, а на запит понад обмеження відповідають HTTP 503 і повторно його не надсилають; надсилання, яке повторює політика повторів, рахується в обмеження так само, як перше. Робочі потоки Envoy перевіряють підрахунок, а потім збільшують його, тож запити, що надходять разом, можуть ненадовго підняти його понад обмеження. Областьgatewayвідхиляється, оскільки Envoy Gateway веде обмеження для кожного бекенда і жодного для їхньої суми, як і приєднання, коли до сокетаmodelsнічого не підключено. На AI-шлюзі областьmodelреалізується якmax_parallel_requestsкожного запису його карти моделей, як введеного вручну, так і підключеного: до кожного запису одночасно виконується щонайбільшеmax_in_flightзапитів, а на запит, що застає свій запис заповненим, відповідають HTTP 429 — після повторів шлюзу, якщо його псевдонім має один запис, і одразу, якщо їх кілька, навіть коли в іншому з них є місце, оскільки проксі обирає запис, перш ніж рахувати, — хіба щоcore/fallback-chainперелічує резервні моделі для його псевдоніма, до яких його тоді й надсилають. Проксі тримає кожен підрахунок у пам’яті, де за замовчуванням запис спливає через десять хвилин після створення, і тоді новий підрахунок починається з нуля, тож приєднання також встановлює цей час життя на сто років, зберігаючи кожен підрахунок, доки працює проксі. Через цей час життя шлюз відхиляє запит, що міститьpriority, поки обмеження приєднано, навіть там, де сутність Release допускає це поле, оскільки проксі тримає запис черги для кожного такого запиту, доки його запис не спливе; а збірка зупиняється на карті моделей з понад 100 записами, понад які сховище, де тримаються підрахунки, що вміщує 200 записів і відкидає один щоразу, коли заповнене, могло б відкинути підрахунок. Областьgatewayтам відхиляється, оскільки єдиний загальний підсумок проксі читає лише обмежувач запитів, який вмикає змінна середовища і який рахує запит протягом його першої секунди. Не реалізує його і хостований шлюз: ліміт запитів, який його сутність Recipe типу terraform записує в ресурс шлюзу, — це швидкість, кількість запитів за інтервал, а не обмеження кількості запитів, що виконуються. -
Журналювання аудиту:
core/audit-loggingзмушує шлюз зберігати запис про кожен запит до моделі, який він обслуговує, із зазначенням моделі, що відповіла, і токенів, про які повідомляє відповідь, а кожна реалізація вказує, куди потрапляє запис. Його приєднують до будь-якого компонента, що маєgateway.aggrega.ai/intelligence: semantic, а його три значення належать операторові й задаються в йогоinfra, тож приєднує його оператор у сутності Release.require_cost, увімкнене за замовчуванням, змушує запис також зазначати, скільки коштував кожен запит, у валюті, яку називає реалізація.require_verified_caller, увімкнене за замовчуванням, змушує запис називати клієнта, якого перевірив шлюз, за ключем, який шлюз видав або перевірив.retention_days, не задане за замовчуванням, змушує шлюз видаляти запис, щойно йому виповниться стільки днів; без нього сам шлюз не видаляє жодного запису, і запис існує доти, доки його зберігає місце, куди він потрапив. Шлюз, який не може дотриматися значення, відхиляє приєднання під час збирання, називаючи це значення, тож приєднання, яке залишаєrequire_costіrequire_verified_callerзі значеннями за замовчуванням, отримує вартість і перевіреного клієнта або зупинку. Вимкненняrequire_verified_callerозначає прийняття запису, клієнтом у якому є той, ким назвався сам запит, або взагалі жодного клієнта: будь-хто, хто надсилає запит, може тоді змусити записати його на іншого клієнта, тож такий запис не показує, хто надіслав запит. На AI-шлюзі запис — це рядок у базі даних обліку шлюзу, і кожного значення дотримано: рядок зазначає, скільки коштував запит у доларах США, за ціною з таблиці, яку шлюз веде для кожної моделі, — модель, для якої таблиця не задає ціни, записується як безкоштовна, — і називає ключ, який перевірив шлюз, разом із користувачем і командою, яким належить ключ, тоді як кінцевий користувач, якого називає рядок, — це той, кого вписує запит, без перевірки. Без своєї бази даних обліку шлюз не записує жодного рядка, а без адміністративного ключа не перевіряє жодного клієнта й не записує рядка для запиту, який не надає ключа й не називає кінцевого користувача, тож збирання зупиняється, якщо обидва слоти облікових даних шлюзу,database_urlіapi_key, не приєднано; докиvalues.log_maskingшлюзу перелічує, що маскувати, він записує лише запити, на які було надано відповідь. Наcore/gateway/envoy-gatewayзапис — це рядок журналу доступу шлюзу, який пише його Recipe, доки приєднання присутнє: один рядок JSON на запит у стандартному виводі площини даних, що містить поля, які Envoy Gateway пише за замовчуванням, модель, яку назвав запит, модель, що відповіла, і токени промпту, доповнення та загальні, про які повідомляє відповідь, причому маршрут, що обслуговує моделі, оголошує ці лічильники, щоб Envoy AI Gateway їх записував. Запит, на який модель не відповіла, не містить моделі, що відповіла, і токенів, а журнал доступу сам нічого не зберігає, тож те, як довго існує рядок, залежить від того, що збирає цей вивід. Жодне поле не називає клієнта, якого перевірив шлюз: адресу клієнта й заголовки, які він надсилає, записують так, як вони надходять. Шлюз не веде цін, ніщо на маршруті, який генерує його Recipe, не перевіряє клієнта, а журнал доступу не зберігає запису, який міг би видалити, тож його реалізація збирає приєднання, яке вимикаєrequire_costіrequire_verified_callerі не задаєretention_days, а інакше зупиняється, називаючи кожне значення, якого не може дотриматися, усі в одній помилці; вона також зупиняється, коли до сокетаmodelsнічого не підключено. Наcore/gateway/agentgatewayзапис — це рядок, який шлюз пише в сховище SQLite на томі, що його генерує його Recipe типу chart, доки приєднання присутнє, з однією реплікою, для кожного запиту до моделі, що проходить його перевірки ключа, бюджету й авторизації, зокрема й відмову guard: модель, яку шлюз запросив у сервера моделей, — назва, яку публікує підключена модель, а не псевдонім, надісланий клієнтом, — і модель, що відповіла, вхідні, вихідні й загальні токени, про які повідомляє відповідь, її статус і час, а також, для кожного клієнта, якого його сутність Release оголошує вinfra.callers, ім’я цього клієнта, отримане з API-ключа, який перевірив шлюз. Запит, відхилений через його ключ, правилом авторизації або бюджетом клієнта, не залишає рядка. Жодного тексту промпту чи відповіді не зберігається, а рядки читають через адміністративний інтерфейс шлюзу, який слухає всередині його пода.require_verified_callerдотримується, доки оголошено клієнтів;require_costвідхиляється з назвою, оскільки каталог вартості моделей шлюзу не задає ціни жодній із підключених до нього моделей, як іrequire_verified_callerбез оголошеного клієнта таretention_days, оскільки шлюз не видаляє жодного запису; його Recipe типу compose не має реалізації цього. Наcore/gateway/higressзапис — це полеai_logрядка журналу доступу шлюзу, яке заповнює плагін статистики Higress, доки приєднання присутнє: модель, що відповіла, і вхідні, вихідні та загальні токени, про які повідомляє відповідь, у стандартному виводі шлюзу, без тексту промпту чи відповіді. Шлюз не оголошує клієнтів, нічого не оцінює й не зберігає запису, який міг би видалити, тож його реалізація збирає приєднання, яке вимикаєrequire_costіrequire_verified_callerі не задаєretention_days, а інакше зупиняється, називаючи кожне значення, якого не може дотриматися, усі в одній помилці; вона також зупиняється, коли до сокетаmodelsнічого не підключено. Наcore/gateway/traefik-hubкожне приєднання зупиняється із зазначенням причини: Traefik Hub зберігає запис про запит до моделі лише як span OpenTelemetry, який його AI-middleware експортують до бекенда трасування, — із зазначенням моделі, а на детальному рівні також токенів і їхньої вартості в доларах США, — а його реалізація не підключає жодного бекенда трасування, тож запис нікуди б не потрапив; span також не називає клієнта, тож не може назвати того, кого перевірила перевірка ключа шлюзу. Наcore/gateway/azure-api-managementкожне приєднання зупиняється, як сказано в пункті про цей шлюз вище, і жоден інший шлюз стандартної бібліотеки цього не реалізує, тож приєднання до будь-якого іншого шлюзу зупиняється із зазначенням типу. -
Семантичне кешування:
core/semantic-cachingоголошує кеш, який відповідає на промпт відповіддю, збереженою для попереднього промпту, достатньо близького за змістом, замість того щоб знову викликати модель.embedding_modelназиває модель, яка перетворює кожен промпт на вектор, так, як її публікує шлюз; збережену відповідь видають, коли два промпти подібні щонайменше наsimilarity_threshold, і вона залишається придатною протягомttl_seconds.scopeвизначає, хто спільно використовує кеш:end_user, значення за замовчуванням, тримає окремо кожного кінцевого користувача, якого ідентифікує шлюз, тоді якkeyобслуговує з одного кешу кожного клієнта, що надає той самий ключ, тож кінцевому користувачеві за цим ключем може бути видано відповідь, згенеровану для іншого.core/data-maskingоголошує конфлікт із ним, тож збирання зупиняється на компоненті, що має обидва. Стандартна бібліотека реалізує його на AI-шлюзі, який зберігає відповіді вcore/datastore/redis, підключеному до його сокетаcache_store, надаючи сховищу пароль, що міститься в облікових даних цього з’єднання, коли сховище його вимагає, причому сховище видаляє кожну відповідь, щойно минутьttl_seconds; шлюз кешує запити chat, responses і messages, але не completions чи embeddings. Реалізація зупиняє збирання, якщо слотapi_keyшлюзу не приєднано, бо без адміністративного ключа шлюз не перевіряє жодного клієнта, а також наembedding_model, якого не публікує мапа моделей шлюзу, і коли доcache_storeнічого не підключено. Збережену відповідь видають лише запиту, що відповідає тому, під чим її збережено: ключу, який надає запит і який перевіряє шлюз, разом із командою та організацією цього ключа; заend_user— кінцевому користувачеві, якого називає запит; і моделі, яку запитує запит, з іншими його параметрами. Шлюз записує ключ, команду, організацію та кінцевого користувача в сам запит, поверх будь-якого значення, яке клієнт надіслав для них у запиті chat; у запиті responses чи messages він видаляє поле команди, організації чи кінцевого користувача з власних метаданих запиту й відхиляє поле, що називає там ключ, тож жоден запит не може дістатися відповідей іншого ключа, просто назвавши його. Власні метадані запиту все ж можуть переміщувати його між відповідями ключа, який він надає: у запиті responsesmodel_groupзамінює запитану модель у тому, під чим зберігається його відповідь; у запиті responses чи messagescaching_groupsдає змогу запитам, що називають ту саму групу псевдонімів моделей, спільно використовувати відповіді між ними; а в запиті responses чи chatredis_namespaceтримає запити, що називають простір імен, окремо від тих, що не називають жодного. Шлюз читає кінцевого користувача із заголовка або поля тіла, яке називає сам запит, і не перевіряє жодного з них: заend_userклієнтові, що називає іншого кінцевого користувача, видають відповіді цього кінцевого користувача, а запити, що не називають жодного кінцевого користувача, спільно використовують один кеш з усіма іншими такими запитами під ключем, який вони надають. Хостований шлюз цього не реалізує: його кеш відповідає лише на запит, ідентичний попередньому. Наcore/gateway/azure-api-managementйого реалізовано як пошук і збереження семантичного кешу Azure, записані в політику API:embedding_modelназиває бекенд, який екземпляр API Management уже має для моделі embeddings і до якого екземпляр звертається за допомогою своєї керованої ідентичності, а екземпляру потрібен кеш Redis із RediSearch, налаштований як його зовнішній кеш, і жодного з цього збирання не бачить, тож збирання зупиняється, доки оператор не підтвердить, що кеш підтримує RediSearch, задавшиinfra.cache_serves_vector_searchшлюзу; сховище зберігає відповідь протягомttl_seconds; аsimilarity_thresholdзаписується як поріг оцінки Azure, одиниця мінус поріг, при цьому оцінку прочитано як косинусну відстань, оскільки Microsoft наводить її діапазон і напрям — нижче означає ближчі промпти, — але не її міру. Відповідь зберігають і видають окремо для кожного API та кожної підписки API Management, ключ якої перевіряє шлюз, тож реалізація зберігаєkey, відхиляє його на API, що не вимагає ключа підписки, і відхиляєend_user: API, яке генерує його Recipe, не перевіряє токен жодного кінцевого користувача, тож шлюз не має перевіреного кінцевого користувача, якого треба тримати окремо.core/gateway/contourтаcore/gateway/nginxтеж його не реалізують, оскільки не пропонують семантичного кешу. Наcore/gateway/agentgatewayйого реалізація зупиняє кожне приєднання із зазначенням причини: agentgateway не тримає кешу відповідей, а його кешування промптів лише позначає, де це може зробити постачальник, що сам кешує промпти. Наcore/gateway/kong-enterpriseйого реалізація зупиняє кожне приєднання, називаючи запитану область: AI Semantic Cache у Kong не має налаштування, яке тримало б збережені відповіді одного клієнта окремо від відповідей іншого, а шлюз розрізняє клієнтів лише як consumers, яких називає плагін автентифікації, і не оголошує клієнтів з причин, наведених вище в розділі «Kong перед моделями», тож і заend_user, і заkeyкожен запит спільно використовував би один кеш. Наcore/gateway/higressйого реалізація зупиняє кожне приєднання, називаючи запитану область: семантичний кеш Higress зберігає кожну відповідь під одним префіксом ключа, за яким іде текст промпту, і ніщо в цьому ключі не називає клієнта чи кінцевого користувача, тоді як шлюз не оголошує клієнтів, тож кожен запит спільно використовував би один кеш. Наcore/gateway/apisixйого реалізовано в Recipe типу chart, записано на маршрут chat кожної підключеної моделі як семантичний кеш APISIX 3.18.0, для клієнтів, яких його сутність Release оголошує вinfra.callers: відповідь зберігають для кожного маршруту й кожного клієнта під ключем, який надав клієнт і який перевіряє шлюз, тож жодному клієнтові не видають відповідь, збережену для іншого; реалізація зберігаєkeyі відхиляєend_userз назвою, бо шлюз не може розрізнити кінцевих користувачів за одним ключем.embedding_modelназиває з’єднання на сокетіmodelsшлюзу, з кінцевою точкою, моделлю та обліковими даними якого кеш обчислює embeddings. Кеш обчислює embedding останнього повідомлення користувача в запиті й видає збережену відповідь, повідомлення якої подібне щонайменше наsimilarity_threshold, а попередні повідомлення — системний промпт, попередні репліки — ті самі. Відповіді зберігаються протягомttl_secondsуcore/datastore/redis, підключеному до сокетаcache_storeшлюзу, якому кеш надає пароль, що міститься в облікових даних цього з’єднання, а відповідь, видану за змістом, знову зберігають під цим запитом ще наttl_seconds. Запити completion не кешуються, а збій сховища чи обчислення embedding вважається промахом: на запит усе одно надається відповідь. Реалізація зупиняється, коли не оголошено жодного клієнта, коли доcache_storeабо до сокетаmodelsнічого не підключено, і наembedding_model, якого не несе жодне з’єднання там. APISIX прив’язує збережену відповідь до маршруту й клієнта, а не до шлюзу, тож два шлюзи APISIX, підключені до одного сховища, або дві сутності Releases однієї сутності Aggregate, що спрямовують свій шлюз на одне зовнішнє сховище, можуть видати кешовану відповідь клієнтові з тим самим ім’ям на тому самому псевдонімі й моделі. Його Recipe типу workload, на APISIX 3.17.0, взагалі не має семантичного кешу. Наcore/gateway/traefik-hubйого реалізовано в Recipe типу chart як семантичний кеш Traefik Hub на маршруті кожної підключеної моделі, для клієнтів, яких його сутність Release оголошує вinfra.callers: відповідь зберігають для кожної підключеної моделі й кожного клієнта під клієнтом, якого перевірила перевірка ключа шлюзу, кожного за його власним ключем, тож жодному клієнтові не видають відповідь, збережену для іншого; реалізація зберігаєkeyі відхиляєend_userз назвою, бо шлюз не може розрізнити кінцевих користувачів за одним ключем.embedding_modelназиває з’єднання на сокетіmodelsшлюзу, з кінцевою точкою, моделлю та обліковими даними якого кеш обчислює embedding тексту запиту.similarity_thresholdзаписується як межа відстані кешу, одиниця мінус поріг, прочитана як косинусна відстань, оскільки довідка Traefik наводить напрям межі, але не її міру. Відповідь зберігається протягомttl_secondsуcore/datastore/redis, підключеному до сокетаcache_storeшлюзу, а на запит, завеликий для обчислення embedding, відповідають без кешу. Реалізація зупиняється, коли не оголошено жодного клієнта, коли доcache_storeабо до сокетаmodelsнічого не підключено, наembedding_model, якого не несе жодне з’єднання там, і на образі Traefik Hub, тег якого не називає версії від v3.19.11 у межах 3.19 або від v3.20.6, оскільки ранніша версія використовує один кеш для всіх клієнтів маршруту. -
Перевірка на prompt injection:
core/prompt-injection-shieldоголошує, що запити до моделей, які пересилає gateway, перевіряються перед викликом моделі на спробу переписати інструкції, надані моделі, зsensitivityрівняstandardабоstrict— strict відхиляє більше таких спроб, а разом із ними й більше легітимних запитів. Перевірка є вердиктом імовірнісного класифікатора: вона пропускає деякі атаки — серед них перефразовані, закодовані або написані інакше, — відхиляє деякі легітимні запити й, як відомо, піддається обходу, тож це один засіб контролю поряд з іншими, і вона не оцінює відповідь моделі, аргументи викликів інструментів чи зображення. Її можна приєднати до будь-якого gateway, і реалізація або пропускає запити gateway через охоронця, під’єднаного до його сокетаguard, що не вимагає від gateway нічого, крім пересилання на налаштовану адресу, або вмикає перевірку, яку gateway виконує сам. З охоронцем саме охоронець перевіряє кожен запит і пересилає моделі те, що допускає, а приєднання Feature без нічого на цьому сокеті зупиняє збірку із зазначенням цього. Стандартна бібліотека реалізує її на AI-gateway і на NGINX-gateway, в обох випадках ізcore/security/nemo-guardrailsяк охоронцем: це сервіс, що працює через API chat-completions від OpenAI, rail якого надсилає останнє повідомлення користувача із запиту класифікатору під’єднаного до ньогоcore/security/trustyai-huggingface-detectorі відхиляє запит, коли оцінка цього класифікатора досягає порогу охоронця. На відхилений запит відповідає сам охоронець звичайним completion, і ніщо з нього не доходить до моделі; коли охоронець або його детектор недоступні, запит теж відхиляється. Кожен із двох зупиняє збірку, якщо охоронець не є саме цим сервісом із порогом, який задає чутливість, — 0.5 дляstandardі 0.001 дляstrict, два значення, виміряні для типового класифікатора детектора, модель якого gateway, що бачить охоронця, а не детектор за ним, перевірити не може. На AI-gateway кожен псевдонім мапи моделей надсилається охоронцю, а кожна ціль записується якopenai/<model>, тож мапа — це та, що записана вручну: модель, під’єднану до сокетаmodelsgateway, було б надіслано на її власний endpoint з обліковими даними її власного з’єднання в обхід охоронця, тому реалізація зупиняє збірку, доки цей сокет містить з’єднання, і називає його. AI-gateway відхиляє кожен запит, окрім chat completion — єдиного типу, який перевіряє охоронець; на NGINX-gateway його єдина location пересилає охоронцю замість upstream, і охоронець не відповідає на жоден інший маршрут моделі. Наcore/gateway/azure-api-managementїї реалізовано як власний prompt shield від Azure, увімкнений у policy API через бекенд Azure AI Content Safety екземпляра, який задаєinfra.content_safety_backend_id, і збірка зупиняється, доки цей ключ не встановлено: Azure AI Content Safety перевіряє кожен запит на атаку користувача перед викликом моделі, ще до пошуку в семантичному кеші, і gateway відповідає HTTP 403 на запит, у якому виявляє таку атаку, так само як відповідає на запит, довший, ніж приймає сервіс. Shield або увімкнений, або вимкнений, тожstandardзберігається, аstrictвідхиляється за назвою, і він працює з власною чутливістю Microsoft, не виміряною відносно порогу, якийstandardзадає для охоронців. Екземпляр звертається до цього бекенду через свою керовану ідентичність, якій потрібна роль Cognitive Services User для сервісу; збірка не бачить ні того, ні іншого. Жоден gateway стандартної бібліотеки, окрім цих трьох, її не реалізує, і приєднання її до іншого зупиняє збірку із зазначенням типу: більшість не генерує жодного маршруту, який реалізація могла б пропустити через охоронця, — вони зберігають маршрути у власному сховищі, беруть їх від сервісів за ними або є хостованим сервісом, на якому стандартна бібліотека не вмикає жодної перевірки такого роду, — аcore/gateway/apisix, Recipe чарту якого генерує маршрути під’єднаних до нього моделей, іcore/gateway/envoy-gateway, Recipe якого генерує AI-маршрут під’єднаних до нього моделей, не мають її реалізації. Наcore/gateway/agentgateway, Recipes якого генерують запис для кожної під’єднаної до нього моделі, реалізація зупиняє кожне приєднання із зазначенням причини: agentgateway оцінює запит на таку спробу лише через сервіс, який він викликає, — webhook, який запускає оператор, або Azure AI Content Safety, Google Model Armor чи AWS Bedrock Guardrails, — і реалізація не під’єднує жодного з них. Наcore/gateway/higressреалізація теж зупиняє кожне приєднання із зазначенням причини: Higress оцінює таку спробу лише через сервіс, який він викликає, — сервіс безпеки вмісту Alibaba Cloud або, через плагін, що є в його вихідному коді, але не опублікований у його випуску плагінів 2.2.5, сервіс моделі Qwen3Guard, який запускає оператор, — і кожен із них пропускає запит, коли цей виклик завершується невдачею, а реалізація не під’єднує жодного з них. Наcore/gateway/traefik-hubреалізація так само зупиняє кожне приєднання із зазначенням причини: Traefik Hub оцінює таку спробу лише через сервіс, який він викликає, — свої middleware LLM Guard і Parallel LLM Guard, що викликають сервіс охоронця або модель із запитом і з умовами, які реалізації довелося б записати, і робота яких із детектором атак на промпти не виміряна, тож жодна чутливість там не відповідає перевірці; або свої middleware Azure Prompt Shield, Amazon Bedrock Guardrails і GCP Model Armor, що викликають хостовані сервіси, які реалізація не під’єднує. Охоронець читає лише останнє повідомлення користувача, тож системне повідомлення, попередній хід або результат інструмента доходить до моделі непрочитаним, і перевіряється лише трафік, що проходить через gateway: робоче навантаження, яке викликає адресу моделі напряму, обходить його. -
Валідація відповідей і оцінювання:
core/response-validationоголошує перевірку відповіді моделі на відповідність JSON Schema до того, як вона дійде до викликача:schemaмістить саму схему, і відповідь, яка їй не відповідає, відхиляється замість передавання далі — або, з увімкненимinvert, відповідь, яка їй відповідає. Схема належить приєднанню й однакова для кожного запиту, а не надсилається викликачем у його власному запиті, тож розробник приєднує її в сутності Aggregate, записуючи схему в їїvalues. Жодна реалізація стандартної бібліотеки її не забезпечує: наcore/gateway/agentgatewayїї реалізація зупиняє кожне приєднання із зазначенням причини — охоронці відповідей agentgateway зіставляють шаблони або викликають сервіс content safety чи webhook, і жоден із них не приймає схему, — так само як її реалізація наcore/gateway/higress, перевірка відповідей якої на відповідь, що її пройшла, відповідає голим JSON, знайденим у повідомленні відповіді, замість chat completion, який повертає її маршрут OpenAI, пропускається будь-яким клієнтом, що надсилає заголовок запитуX-HIGRESS-AI-JSON-RESP: true, і залишає неперевіреною схему з вкладеністю понад шість рівнів; і так само її реалізація наcore/gateway/traefik-hub, оскільки жоден middleware у довідці Traefik Hub не перевіряє відповідь на відповідність схемі — його middleware Chat Completion перевіряє запити на відповідність схемі chat completion, його керування API перевіряє тіла запитів на відповідність документу OpenAPI, а його LLM Guard надсилає відповідь зовнішньому сервісу, який реалізація не під’єднує; на будь-якому іншому gateway приєднання зупиняє збірку із зазначенням типу.core/traffic-shadowingкопіює живі запити до другого сервісу й відкидає відповіді цього сервісу, тож кандидатну модель або сервіс можна оцінити під реальним трафіком так, щоб жоден викликач не побачив її виводу. Її можна приєднати до будь-якого компонента, що оголошуєdataplane.aggrega.ai/request-mirroring, чого AI-gateway не робить; стандартна бібліотека реалізує її на NGINX-gateway, який копіює весь потік, а не його частку, і зупиняється на меншій частці, називаючи її.
5. Асинхронне виконання та інфраструктура HITL
Aggrega розглядає фреймворки з участю людини (як-от AutoGen і LangGraph) як вузли-воркери. Щоб підтримувати «сплячих» агентів, які чекають на введення від людини без втрати стану, архітектори платформи можуть оголошувати сокети usesSchema на сутностях Components цих агентів, які суворо вимагають явного прив’язування до них компонентів категорії datastore, вибраних за міткою рушія datastore — datastore.aggrega.ai/engine in (vector, semantic-memory, search) для сховища, з якого агент отримує дані за подібністю, або datastore.aggrega.ai/engine=kv для сховища, у яке він записує контрольні точки стану свого виконання. Сокет прив’язується до мітки рушія, а не до назви продукту, тож автор вибирає, яке сховище буде під’єднано, а оголошення й далі виконується. Крім того, для циклів зворотного зв’язку від людини до агента (наприклад, інтеграцій зі Slack) можна налаштувати роль вердикту governance, яка відхилятиме архітектуру, якщо не приєднано явно оголошений компонент gateway, щоб callback-вебхуки входили через оголошену межу вхідного трафіку.
Агенти, побудовані на фреймворку або SDK, навколо якого написано застосунок, а не постачені як окремий продукт, мають у стандартній бібліотеці одну форму. Сутність Release задає образ застосунку, який каталог не фіксує. Сокет model передає те, що фреймворк читає з під’єднаної моделі, — її адресу та назву моделі, де фреймворк їх читає, і облікові дані з’єднання, за посиланням, — у змінні, які читає цей фреймворк. Там, де фреймворк не визначає власного сервера, компонент є worker і не відкриває жодного порту: таку форму мають core/ai-agent/crewai і core/ai-agent/langgraph, а також core/ai-agent/openai-agents-sdk, сокет model якого приймає лише модель або gateway з model.aggrega.ai/api: openai, core/ai-agent/claude-agent-sdk, сокет якого приймає лише елемент з model.aggrega.ai/api: anthropic, і core/ai-agent/agent-framework — для застосунку, побудованого на Microsoft Agent Framework, який сам нічого не обслуговує, — сокет якого приймає лише елемент з model.aggrega.ai/api: openai і передає змінні, які читають Python-клієнти OpenAI з Agent Framework; ці три зупиняють збірку, називаючи infra.image, доки сутність Release його не встановить. OpenAI Agents SDK типово вивантажує трасу кожного запуску до OpenAI, тому core/ai-agent/openai-agents-sdk вимикає це вивантаження, якщо сутність Aggregate не встановить своє значення upload_traces_to_openai у true. Там, де фреймворк сам обслуговує HTTP, компонент є server на власному порту фреймворку й публікує адресу, на яку звертається викликач, як host, port, endpoint і protocol, і він теж зупиняє збірку, називаючи infra.image, доки сутність Release його не встановить: core/ai-agent/google-adk обслуговує REST API ADK на порту 8000 і передає ключ, який клієнт Gemini з ADK надсилає до Gemini API, а його сокет model приймає лише модель з model.aggrega.ai/api: gemini, як-от core/ai-model/gemini, і ніколи не gateway, адресу якого клієнт ADK не прочитав би; core/ai-agent/mastra обслуговує сервер, який будує Mastra, на порту 4111, готовий у Kubernetes, щойно відповідає його маршрут /health, приймає модель або gateway з model.aggrega.ai/api: openai і, там, де сутність Aggregate називає одного з агентів застосунку у своєму значенні agent_id, публікує адресу картки Agent2Agent цього агента, щоб core/ai-tool/agent-invocation міг йому делегувати. Маршрути обох серверів відповідають будь-якому викликачу, якщо застосунок їх не автентифікує, тому приєднання core/public-ingress або core/http-route до будь-якого з них зупиняє збірку, доки сутність Release не встановить свій infra.routes_authenticated у true, підтверджуючи, що застосунок автентифікує кожен запит, який приймають його маршрути. Середовища виконання SDK і серверів та core/ai-agent/agent-framework також оголошують необов’язковий сокет tools, який передає адресу кожного під’єднаного інструмента та облікові дані з’єднання за посиланням у змінних, названих за псевдонімом з’єднання. Оскільки застосунок — це власний код сутності Release, змінні, які ці агенти передають для читання цим кодом, є типовими значеннями: кожен їхній сокет допускає блок inject:, через який сутність Aggregate називає змінні або файли, які застосунок читає натомість, тоді як змінна, яку фреймворк читає сам, і те, що передає приєднання на з’єднанні, залишаються. Те саме стосується власних значень агента: кожен компонент допускає на собі блок inject: із записів env і file, і запис, шаблон якого читає одне з його власних значень і нічого іншого з компонента — жодного іншого значення, ані його infra, метаданих чи ідентичності, — замінює типову назву, під якою сутність Recipe передає це значення, як-от CREWAI_ROLE для role агента CrewAI. Імпорт оголошень агентів проєкту CrewAI, файлу langgraph.json застосунку LangGraph, конфігурацій агентів застосунку Google ADK або декларативного агента Agent Framework створює чернетки цих агентів — core/ai-agent/crewai, core/ai-agent/langgraph, core/ai-agent/google-adk і core/ai-agent/agent-framework — під’єднаних до сховища даних, яке називає конфігурація, і до моделі, яку вона називає, там, де сокет model агента її приймає, поряд із чернеткою сутності Release, яка залишає оператору вказати образ, у якому працює програма, і читає лише конфігурацію, ніколи програму, як описано в розділі Plugins імпорту.
6. Топологічна валідація безпеки та забезпечення під час виконання
Оскільки AI-навантаження приносять нові вектори атак (як-от prompt injection і автономне викрадення даних), їх захист потребує поєднання статичного governance архітектури з активним забезпеченням під час виконання. Як компілятор Ahead-of-Time (AOT, попередня компіляція), Aggrega не перехоплює живий мережевий трафік і не оцінює AI-промпти. Натомість він розв’язує складні вимоги безпеки через двочастинне архітектурне рукостискання: статичну компіляцію архітектури (під час компіляції) і передавання на виконання (під час розгортання).
A. Час компіляції: валідація політик і генерація артефактів
Компілятор будує плаский граф проміжного представлення (IR), що містить усі вузли, ребра й приєднані Features. Перш ніж буде згенеровано будь-яку фізичну інфраструктуру, безпекова позиція підприємства забезпечується оцінюванням цього статичного JSON-графа галузевими стандартними рушіями політик у ролі вердикту governance.
Оскільки сокет оцінює загальні JSON-дані, він не прив’язаний до однієї мови політик. Підприємства можуть компілювати й забезпечувати свої архітектурні правила за допомогою стандарту, який найкраще пасує до їхньої екосистеми:
- Open Policy Agent (OPA/Rego): широко вживана мова для оцінювання складних багатокрокових зв’язків у графі та обчислення доступу з найменшими привілеями в розподілених топологіях. Рушій Rego, вбудований у CLI, виконує файли
.regoяк є; політику, якій потрібен повний набір вбудованих функцій OPA, компілюють власним інструментарієм OPA, і вона виконується за гостем-адаптером. - Common Expression Language (CEL): рушій CEL, вбудований у CLI, виконує правила, записані як окремі вирази над документом, — так, як пишеться політика validating-admission у Kubernetes.
- Kyverno: оцінює статичні маніфести JSON/YAML, дозволяючи командам писати політики нативним YAML замість вивчення Rego. Компілятор не постачається з гостем Kyverno: він виконує політики лише як гостей WebAssembly і ніколи не викликає Kyverno CLI, тож правила Kyverno виконуються за гостем, що обгортає цей рушій.
- Власна валідація на Rust/TypeScript: команди безпеки можуть писати індивідуальні організаційні політики стандартними мовами й компілювати їх у Wasm, щоб вони слугували шлюзом валідації.
Щойно рушій політик валідує граф, компілятор перетворює ці абстрактні вимоги безпеки на фізичну конфігурацію. Коли розробник приєднує безпекову Feature — наприклад, core/data-masking на AI-gateway, — компілятор виконує крок конвеєра, який називає її реалізація, ізольований плагін WebAssembly (Wasm), і цей крок записує налаштування, потрібне засобу контролю, у конфігурацію, яку вже генерує власний Recipe gateway. Реалізація може натомість залишити записування власному Recipe gateway, який читає приєднання й сам записує налаштування, як це робить core/data-masking на core/gateway/kong-enterprise, а реалізація для іншого типу контролю може видавати власний ресурс; у будь-якому разі результатом є статичний артефакт, записаний на основі того, що приєднав розробник.
B. Час розгортання й виконання: передавання на виконання та забезпечення
Відповідальність Aggrega закінчується саме в ту мить, коли він завершує обробку вхідних даних і записує налаштовані статичні артефакти в каталог виводу. Це чистий компілятор: він записує конфігурацію, після чого керування повністю повертається до системи, яка його викликала.
Те, як ці конфігурації виконуються, дуже гнучке й повністю залежить від підприємства:
- Передавання артефактів (час розгортання): зовнішні контролери розгортання беруть на себе втілення артефактів у реальність. Це може бути суворий контролер GitOps (як-от ArgoCD або Flux), що синхронізує файли в кластер Kubernetes, але так само це може бути стандартний конвеєр CI/CD, який виконує
terraform apply, або розробник, що запускає локальний shell-скрипт для Docker Compose. - Забезпечення під час виконання: щойно конфігурації застосовано до цільового середовища, справу перебирає фізична інфраструктура. Спеціалізовані інструменти, налаштовані Aggrega (як-от sidecar із guardrails, активна service mesh або нативні хмарні брандмауери), запускаються й починають свою активну роботу: фізично перехоплюють корисні навантаження, перевіряють JWT або відкидають зловмисні prompt injection.
7. Як Aggrega підходить до проблем безпеки AI
Відокремивши архітектурну валідацію від виконання, команди платформи можуть використовувати Aggrega, щоб явно моделювати, валідувати й генерувати конфігураційні рішення для наведених нижче вразливостей AI.
A. Викрадення даних і перехоплення корисних навантажень
- Проблема: автономний агент може спробувати передати конфіденційні корпоративні дані до неавторизованого зовнішнього API.
- Рішення Aggrega:
- Час компіляції (валідація й генерація): команда платформи створює політику (наприклад, на Rego), що оцінюється в ролі вердикту governance й проголошує: «Кожен шлях, що проходить через AI-gateway, мусить мати
core/data-masking.» Якщо його немає, компілятор зупиняється. Якщо він є, реалізація, яку прив’язує сутність Manifest, записує маскування в конфігурацію, яку gateway уже генерує: наcore/gateway/litellm— записи guardrail, що відповідають регулярним виразам, перелічених у приєднанні, і надсилають текст аналізатору й анонімізатору Presidio, під’єднаним до сокетівpii_analyzerіpii_anonymizergateway, для перелічених типів сутностей; наcore/gateway/kong-enterprise— AI PII Sanitizer від Kong на маршрутах chat і completion кожної під’єднаної моделі, записаний Recipe чарту gateway, який надсилає текст, що маскує, разом із регулярними виразами й типами сутностей, переліченими в приєднанні, до сервісу Kong AI PII, під’єднаного до сокетаpii_sanitizergateway; наcore/gateway/agentgateway— власні охоронці регулярних виразів gateway, записані в його конфігурацію його Recipe чарту, які замінюють кожен збіг шаблонів, перелічених у приєднанні, на<masked>або в режиміrefuseвідповідають на запит чи відповідь HTTP 403 і не розпізнають жодних типів сутностей; ці охоронці не маскують потокову відповідь, тому, доки відповіді маскуються, той самий Recipe записує правило, яке до пересилання відхиляє з HTTP 403 запит, що просить таку відповідь, а також будь-який запит, тіло якого перевищує 2 MiB, що їх gateway читає для цього правила, потоковий чи ні; наcore/gateway/traefik-hub— Content Guard AI-gateway Traefik Hub на маршруті кожної під’єднаної моделі, записаний його Recipe чарту, який маскує збіги шаблонів, перелічених у приєднанні, через свій рушій регулярних виразів або збіги перелічених типів сутностей через аналізатор Presidio, під’єднаний до сокетаpii_analyzergateway, один рушій на приєднання; наcore/gateway/higress— плагінai-data-maskingвід Higress на маршруті кожної під’єднаної моделі, записаний його Recipe чарту, який замінює кожен збіг шаблонів, перелічених у приєднанні, у повідомленнях chat-запиту назвою шаблону в дужках і не розпізнає жодних типів сутностей. Політика може також поставити вужче питання — чи розташоване маскування між конфіденційними даними й постачальником, — читаючи приєднання кожного компонента вздовж маршруту, а не приєднання маршруту загалом, як це робить examples/policy-data-class-route. - Час виконання (фізичне забезпечення): Щойно оркестратор розгорне згенеровані артефакти, шлюз перед пересиланням замінює кожен збіг у тексті запиту, який він маскує, на заповнювач, тож постачальник моделі отримує заповнювач; з
action: refuseприв’язка не пересилає нічого із запиту, що містить збіг, а натомість відповідає на нього помилкою. Розпізнавач, до якого неможливо дістатися або який повертає помилку, спричиняє збій запиту, тож його текст не передається далі. Те, чого маскування не досягає, визначають два значення, значення за замовчуванням яких і є захистом. На AI-шлюзі, коли прив’язка маскує також відповіді, шлюз маскує текст відповіді та частини, які модель або її постачальник додає поруч із ним, — відмову, цитати й анотації, запит і результати вебпошуку, поля з власними назвами постачальника — або, заrefuse, не надсилає нічого з відповіді, що містить збіг; потокова відповідь, яку він маскує за шаблонами, доходить до викликача цілою, наприкінці. За замовчуванням те, чого його маскування не досягає в запиті, — маршрут, як-от генерування зображень, поле, як-отsafety_identifier, зображення або файл у розмові, інструмент, який постачальник запускає сам, — AI-шлюз відхиляє з HTTP 400, перш ніж переслати будь-що з цього; оператор, який погоджується, що такий текст дійде до постачальника незамаскованим, задаєallow_unmasked_textна прив’язці в сутності Release, і реалізація точно перелічує, що тоді проходить, а вміст, що не є текстом, і далі регулюєтьсяallow_non_text_content. За замовчуванням те, що містить замаскована відповідь і чого її маскування не може прочитати, — усне аудіо та його транскрипт, зображення, імовірності токенів, обраних моделлю, — утримується, а невдалий виклик доходить до викликача з фіксованим повідомленням замість того, яке повернув постачальник;allow_unmasked_reply_partsдозволяє цим частинам доходити до викликача незамаскованими. Власний текст відповіді цим значенням ніколи не пропускається, але частини, які воно пропускає, можуть містити слова відповіді: транскрипт усної відповіді, токени за імовірностями токенів, повідомлення про помилку постачальника, що цитує відповідь. Наcore/gateway/kong-enterpriseкожен збіг замінюється нумерованим заповнювачем, тож прив’язка, що перелічує шаблони вredact, задаєplaceholder_shows_name: false;refuseохоплює лише запити, починаючи з Kong 3.12, який відповідає на запит зі збігом кодом HTTP 400; а відповіді маскуються починаючи з 3.12, і тоді запит на потокову відповідь відхиляється до пересилання, аallow_streamed_repliesвідхиляється. Sanitizer Kong читає текст реплік користувача, prompt completion і текст повідомлення відповіді, а довідник Kong не називає жодного параметра, який відхиляв би запит через те, чого sanitizer не читає, або утримував решту відповіді, тож на цьому шлюзі кожен захист відхиляється за назвою під час збирання, доки зберігає своє значення за замовчуванням, а прив’язка збирається, щойно сутність Release їх послабить, —allow_unmasked_textіallow_non_text_contentтам, де маскуються запити,allow_unmasked_reply_partsіmask_reasoning: falseтам, де маскуються відповіді, — при цьомуdata-masking-kong-enterpriseперелічує, що кожен тоді пропускає. Там відповідь, текст якої надходить не як єдиний рядок, що його повертає OpenAI API, проходить непрочитаною, і її власний текст доходить до викликача незамаскованим; захистом від цього є перевірка, яку збирання виконує для кожної моделі, під’єднаної до цього шлюзу, і яка зупиняється на моделі, чийmodel.aggrega.ai/apiне єopenai. Наcore/gateway/traefik-hubкожен збіг замінюється послідовністю*завдовжки зі збіг, тож прив’язка, що перелічує шаблони вredact, задаєplaceholder_shows_name: false;refuseвідповідає HTTP 403 замість запиту або відповіді; а замаскована відповідь утримується цілою й надсилається наприкінці, зокрема й потокова, тож прив’язка, що маскує типи сутностей у відповідях, задаєallow_streamed_replies. Довідник Traefik не каже, які поля запиту або відповіді чату читає Content Guard, і не називає жодного параметра, який відхиляв би запит або утримував частину відповіді через те, чого він не читає, тож на цьому шлюзі кожен захист відхиляється за назвою під час збирання, доки зберігає своє значення за замовчуванням, а прив’язка збирається, щойно сутність Release їх послабить, —allow_unmasked_textіallow_non_text_contentтам, де маскуються запити,allow_unmasked_reply_partsіmask_reasoning: falseтам, де маскуються відповіді, — при цьомуdata-masking-traefik-hubперелічує, що кожен тоді пропускає. Прив’язка, що перелічує і шаблони, і типи сутностей, а також друга прив’язка маскування на одному шлюзі відхиляються, оскільки довідник Traefik не каже, чи другий Content Guard на маршруті читає текст, замаскований першим, чи запит у тому вигляді, в якому його надіслав викликач. Наcore/gateway/higressплагін Higressai-data-maskingзамінює кожен збіг шаблонів, перелічених прив’язкою, у вмісті та міркуваннях кожного повідомлення запиту чату назвою шаблону в квадратних дужках; він маскує лише запити, тожscoperesponseіbothвідхиляються, і він не розпізнає жодних типів сутностей. Плагін більше нічого не читає із запиту, тож, доки захисти зберігають свої значення за замовчуванням, Recipe чарту шлюзу також прописує плагін перевірки запитів Higress, щоб відхиляти з HTTP 403, перш ніж буде переслано будь-що, запит, який містить те, чого маскування не читає, — тіло, надіслане не як JSON або яке не є chat completion, повідомлення, вміст якого є списком або null, виклик інструмента або репліку інструмента, ім’я повідомлення, будь-який параметр, окрім нетекстових параметрів chat completion і власних інструментів, формату відповіді та стоп-послідовностей розробника, — а також, хоч би що послаблювала прив’язка, запит, тіло якого плагіни Higress пропускають, — стиснене тіло, тип вмісту, що міститьoctet-streamабоgrpc, upgrade, — і тіло, що містить символ заміни Unicode U+FFFD, яким ця перевірка читає байт, що не є коректним UTF-8, оскільки плагін маскування пересилає тіло, що не є коректним UTF-8, незамаскованим. Запит, тіло якого перевищує буфер шлюзу обсягом 32 KiB, відхиляється з HTTP 413. Перевірка читає лише тіло, яке приймає її декодер JSON, тож клієнт, що навмисно надсилає коректний JSON, який декодер відхиляє, — наприклад, число, що виходить за межі того, що вміщує double, — проходить крізь кожне відхилення щодо свого тіла: плагін маскування тоді маскує лише простий вміст і міркування кожного повідомлення, тож перелічене значення в будь-якому іншому місці тіла — аргументи виклику інструмента, ім’я, будь-яке інше поле — пересилається незамаскованим, так само як і вміст, записаний за допомогою escape-послідовностей JSON, а якщо таке тіло до того ж не є коректним UTF-8, воно пересилається незамаскованим повністю. Клієнт, що навмисно вкладає тіло на глибину понад 127 рівнів усередині поля, яке перевірка допускає, як-отtools, надсилає коректний JSON, який перевірка декодує й допускає, але JSON-читач плагіна маскування зупиняється на цій глибині, тож вміст, записаний за допомогою escape-послідовностей JSON у такому тілі, теж пересилається незамаскованим. Маскування саме по собі недостатнє: текст, якому не відповідає жоден шаблон і який не виявляє жоден розпізнавач, проходить без змін; на AI-шлюзі аргументи викликів інструментів і результати інструментів маскуються значення за значенням, але назви їхніх ключів — ні; власні визначення інструментів, формати відповіді та стоп-послідовності розробника проходять у надісланому вигляді; шлюз і служби розпізнавання бачать оригінальний текст; те, що шлюз записує про виклик, — у власному журналі або в тому, що він передає інтеграції журналювання, — однаково може містити цей текст; а трафік, що не проходить через шлюз, лишається незачепленим.
- Час компіляції (валідація й генерація): команда платформи створює політику (наприклад, на Rego), що оцінюється в ролі вердикту governance й проголошує: «Кожен шлях, що проходить через AI-gateway, мусить мати
B. Захист від отруєння MCP (довіра та ізоляція)
- Проблема: Якщо агента скомпрометовано через отруєний інструмент Model Context Protocol (MCP), він може автономно виконувати руйнівні дії (як-от видалення бази даних або авторизацію переказу).
- Рішення Aggrega:
- Час компіляції (перевірка та генерування): Розробник прив’язує Feature шлюзу схвалення до чутливого інструмента у своєму
Aggregate.yaml. Стандартна бібліотека не постачає такої Feature, тож її створюють у власному каталозі підприємства разом із FeatureRecipe, яка її рендерить. Компілятор перевіряє граф і перетворює прив’язку на конфігурацію для проксі L7 або webhook-шлюзу. - Час виконання (фізичне забезпечення): Коли захоплений агент намагається викликати інструмент, розгорнутий проксі призупиняє запит і фізично блокує виконання, доки не отримає криптографічно підписане схвалення від оператора-людини.
- Час компіляції (перевірка та генерування): Розробник прив’язує Feature шлюзу схвалення до чутливого інструмента у своєму
C. Розв’язання проблеми «Confused Deputy» (поширення контексту)
- Проблема: У багатоагентних ланцюжках публічно доступного агента можуть захопити, і він накаже внутрішньому агентові з високими привілеями отримати чутливі дані. Стандартні брандмауери бачать лише, що «агент A розмовляє з агентом B», і пропускають трафік, повністю втрачаючи контекст початкового зловмисного користувача.
- Рішення Aggrega: Підприємства можуть поєднувати два конкретні патерни:
- Поширення ідентичності викликача на двох переходах: Ідентичність початкового викликача має пережити два різні переходи, і кожен захищається в іншому місці. На переході через шлюз розробник прив’язує
core/context-propagation, що вибирає заdataplane.aggrega.ai/caller-identity, до шлюзу, через який надходить запит. Під час компіляції прив’язка реалізується у власній конфігурації цього шлюзу — на Envoy Gateway як client traffic policy, що перевіряє сертифікат кожного клієнта щодо центру сертифікації, названого сутністю Release, і пересилає дані сертифіката; на AI-шлюзі LiteLLM як хук запитів, що видаляє будь-який заголовок ідентичності, наданий викликачем, і додає користувача та команду віртуального ключа, перевіреного шлюзом, а також його організацію, якщо ключ її називає, у запитах до псевдонімів моделей, які прив’язка перелічує вdestinations. Під час виконання служба за шлюзом отримує, хто викликав, а не лише те, що викликав шлюз. На переході між робочими навантаженнями запит, який один агент робить безпосередньо до іншого, ніколи не проходить через цей шлюз, тож його перевіряють на власному ingress агента-отримувача, де service mesh відхиляє будь-який запит без підписаного токена, що доводить намір початкового користувача (наприклад, Istio JWTAuthorizationPolicy). Стандартна бібліотека постачає Feature для переходу через шлюз і жодної Feature для переходу між робочими навантаженнями, тож прив’язкаcore/context-propagationзахищає трафік, що проходить через шлюз, а виклики між агентами залишає конфігурації mesh, яку підприємство надає саме. Агент, якого запускає інша сторона і до якогоcore/ai-tool/agent-invocationзвертається через A2A як доcore/ai-agent/a2a-remote, перебуває повністю поза сутністю Release: ця сторона перевіряє кожен виклик за схемою безпеки, яку оголошує Agent Card агента, а інструмент пред’являє облікові дані, що зберігаються в його з’єднанні й зчитуються за посиланням із Secret, у заголовку запиту, який публікує агент. Коли картка вимагає client credentials OAuth 2.0 або OpenID Connect, з’єднання зберігає натомість або додатково client secret разом із client id, який на ньому записує оператор, а агент публікує адресу токена або discovery і scopes, які оголошує його картка; власний контейнер інструмента отримує з ними токен, оновлює його й пред’являє під час кожного виклику; каталог постачає лише ці вхідні дані, і жодне збирання не може перевірити, що контейнер із ними робить. Коли картка вимагає взаємного TLS, з’єднання зберігає клієнтський сертифікат, а якщо серверний сертифікат агента підписує центр сертифікації, якому образ ще не довіряє, — і цей центр; кожен монтується в контейнер інструмента як файли із Secret, який називає з’єднання, і контейнер сам пред’являє сертифікат під час рукостискання TLS. Отже, інструмент дістається агента, картка якого оголошує ключ API в заголовку або cookie, схему автентифікації HTTP із фіксованим значенням, як-от Bearer або Basic, де Secret містить усе значення заголовка, OAuth 2.0 або OpenID Connect із grant client-credentials чи взаємний TLS. Він не дістається агента, картка якого вимагає ключа в рядку запиту, схеми HTTP, що відповідає на challenge від агента, як-от Digest, або потоку OAuth 2.0, відмінного від client credentials. Не пред’являє він облікових даних і агентові, якого інша сторона запускає через звичайний HTTP: коли адреса цього агента —http, облікові дані або client secret на з’єднанні зупиняють збирання із зазначенням з’єднання, бо облікові дані або токен, отриманий за допомогою secret, надходили б до нього незашифрованими. Агент, що працює всередині сутності Release, лишається доступним черезhttpз будь-чим із них, і облікові дані тоді проходять мережею кластера незашифрованими. - Перевірка payload між агентами: Запит, який один агент надсилає безпосередньо іншому, ніколи не проходить через AI-шлюз, тож його перевіряють на власному ingress агента-отримувача за допомогою рушія guardrails, що працює поруч із цим агентом (наприклад, NeMo Guardrails). Під час компіляції FeatureRecipe, що реалізує Feature, прив’язану до агента-отримувача, рендерить конфігурацію рушія. Під час виконання рушій оцінює кожен запит за правилами, які пише підприємство, і відхиляє той, що ці правила відкидають; наскільки добре він відрізняє захоплений запит від легітимного, залежить від рушія та правил, бо Aggrega компілює конфігурацію й ніколи не оцінює prompt. Стандартна бібліотека не постачає жодної Feature, яка розміщувала б такий рушій, тож цей патерн створюють у власному каталозі підприємства. Власний шаблонний захист шлюзу,
dataplane.aggrega.ai/prompt-guard: pattern-list, вужчий, іcore/prompt-deny-patternsвмикає його — на AI-шлюзі читається кожне повідомлення запиту, а регістр літер ігнорується, наcore/gateway/apisixіcore/gateway/kongкожне повідомлення кожної ролі читається як один текст, регістр літер враховується, а також дотримується список шаблонів, яким запит має відповідати, наcore/gateway/agentgatewayкожне повідомлення, аргумент виклику інструмента й результат інструмента читаються окремо, регістр літер враховується, а наcore/gateway/traefik-hubзапит читається як chat completion, прочитаних полів якої довідник Traefik не перелічує, регістр літер враховується: він відхиляє запит до моделі, текст якого буквально відповідає одному з виразів, перелічених прив’язкою, — перефразування, інша мова або кодування його оминають — і лише в трафіку, що проходить через шлюз, тож запит, надісланий безпосередньо між агентами, ніколи на нього не натрапляє.core/prompt-injection-shield— його відповідник на основі класифікатора на тому самому переході, що надсилає кожен запит до моделі, який пересилає шлюз, через захисника NeMo Guardrails, під’єднаного до сокетаguardцього шлюзу, або через prompt shield Azure AI Content Safety в Azure API Management, і він теж охоплює лише трафік, що проходить через шлюз.
- Поширення ідентичності викликача на двох переходах: Ідентичність початкового викликача має пережити два різні переходи, і кожен захищається в іншому місці. На переході через шлюз розробник прив’язує
D. Топологічний аналіз ризиків
- Проблема: Складні архітектури ШІ з десятками взаємопов’язаних моделей, векторів та інструментів надто масштабні, щоб людина могла вручну перевірити їх на транзитивні вразливості (наприклад, «Чи може агент A говорити з інструментом B, який говорить з агентом C, що має доступ до бази даних D?»).
- Рішення Aggrega: Ця перевірка виконується заздалегідь. Оскільки Aggrega будує в пам’яті повний граф IR запланованої топології, роль вердикту governance може запускати розширені правила пошуку шляхів по всій архітектурі. Якщо політика виявляє безперервний транзитивний ланцюжок ребер, що починається в публічному вузлі й закінчується у вкрай чутливій базі даних і вздовж якого ніде не прив’язано жодного з контролів, яких вимагає підприємство, вона негайно зупиняє збирання. Небезпечна архітектура блокується ще до того, як буде згенеровано бодай один рядок коду інфраструктури.
8. Спостережуваність і відповідність вимогам
Щоб задовольнити суворі регуляторні вимоги (наприклад, EU AI Act), архітектори платформи можуть використовувати систему функцій Aggrega, щоб забезпечити спостережуваність AI як структурну вимогу до інфраструктури, а не покладатися на код застосунку:
- Журналювання аудиту: Wasm-плагіни, створені підприємством, можуть налаштовувати sidecar-контейнери шлюзу для асинхронного потокового передавання необроблених, невідредагованих промптів і відповідей до захищеного бакета сховища WORM (Write Once, Read Many — один запис, багато читань), в обхід стандартних журналів застосунку.
- Трасування LLM: Функції проксі можуть налаштовувати площину даних для вилучення й пересилання специфічних для AI заголовків span OpenTelemetry, щоб складні цикли міркувань агентів можна було візуалізувати у зовнішніх інструментах.
9. Сумісність Feature і топологічна безпека
Оскільки ядро компілятора агностичне щодо механіки фізичної інфраструктури, воно повністю покладається на явні декларації в каталозі, щоб запобігти генеруванню несумісних конфігурацій.
conflictsWith: Список, оголошений у сутності каталогу для Feature в розділіinteroperability, тих Features, поряд із якими її не можна приєднати. Компілятор порівнює його з Features, які зрештою несе кожен компонент після того, як свій внесок зробили всі області дії, — власні приєднання компонента, ті, що записані в підсистемі чи межі, яка його містить, ті, що в записі компонента в Release, і ті, що створило розгортання на основі анотацій, — і зупиняється до рендерингу будь-яких фізичних артефактів, коли один компонент несе обидві (тобто автор приєднує, безпосередньо або через область дії, дві Features, які автор однієї з них явно оголосив несумісними). Достатньо однієї декларації, а Features зіставляються за назвою незалежно від їхніх версій. Компілятор не вкладає в назви жодного змісту: несумісність — це декларація автора, а перевірка — порівняння назв. Атомарність і чистота самої Feature залишаються суспільним договором — ніщо не перевіряє, що Feature робить одну річ.
10. Динамічне відображення топології (розв’язання залежностей)
Щоб побудувати граф IR без жорстко закодованих правил, компілятор зчитує його з трьох явних оголошень:
- Ребра
uses: розробники пов’язують компоненти в блоціusesкожного екземпляра, називаючи цільовий компонент у сокеті, і кожне ребро графа походить із такого блоку. Записvalues, у якому випадково названо інший компонент, не проводить ребра: компілятор не вкладає в значення жодного сенсу. - Цілі ребер: кожна ціль
usesмає називати компонент, наявний у збірці; ціль, якої не існує, зупиняє збірку із зазначенням сокета, до якого її під’єднано. - Типобезпека між вузлами: Рядки селекторів
usesSchemaдіють як явні позасмугові інструкції, які нативно обчислює рушій зіставлення міток компілятора Go під час статичного аналізу. Вони гарантують, що розробники не зможуть випадково під’єднати стандартні компоненти до оголошеного сокета, що вимагає конкретної AI-нативної можливості або мітки відповідності. Гарантія за самою побудовою обмежена оголошеними сокетами: селектор міститься в записіusesSchema, тож ad-hoc сокет не має селектора для обчислення. Кожне ребро фіксує, чи було його сокет оголошено в каталозі, тож оператор, якому потрібна повна гарантія, може вимагати цього як вердикт управління.
11. Автоматизоване проєктування агентних систем (ADAS)
Розвинені AI-системи містять мета-агентів, які пишуть код, щоб на льоту вигадувати й розгортати нових агентів. Оскільки Aggrega вимагає статичної архітектури, визначеної заздалегідь (ahead-of-time, AOT), вона розв’язує еволюцію інфраструктури під час виконання за допомогою двох явних меж:
- Межа заздалегідь підготовленої пісочниці: Для тимчасових інструментів, вигаданих під час виконання, архітектор визначає функцію (наприклад,
dynamic-execution-environment). Коли її приєднано, Wasm-плагін рендерингу генерує конфігурацію для виділення ізольованого пулу обчислювальних ресурсів (як-от середовища виконання WebAssembly). Мета-агент вставляє новий код у цю пісочницю, але радіус ураження обмежено згенерованими статичними мережевими політиками. - Мета-агент у ролі «розробника» (цикл GitOps): Якщо мета-агенту потрібна справді нова фізична інфраструктура, він діє як розробник. Він пише новий
Aggregate.yamlі комітить його в Git. Це запускає стандартний конвеєр CI/CD. Роль вердикту управління статично аналізує топологію, яку запросив AI, і безпечно зупиняє збірку, якщо AI згалюцинував вразливість.
12. Серіалізація моделей і безпека ланцюга постачання
Розгортання моделі з відкритим кодом часто означає завантаження непрозорих файлів .pkl або .gguf, які можуть містити шкідливий код. Підприємства можуть розглядати безпеку ланцюга постачання моделей як задачу конфігурації цільової платформи. Якщо визначити функцію model_provenance у каталозі, Wasm-плагін рендерингу підприємства може обчислити конфігурацію й перетворити її на артефакти середовища виконання (як-от політики Kubernetes Kyverno), тож цільовий кластер налаштовується блокувати завантаження оркестратором непідписаних або неперевірених ваг моделей.