AI Features
Aggrega AI Feature 세트
현대 AI 시스템의 고유한 요구 사항, 변동성, 보안 위협을 지원하기 위해 Aggrega는 오픈 소스 **AI 표준 라이브러리(카탈로그)**에 전문화된 지능을 직접 내장합니다. 이를 통해 범용 클라우드 네이티브 스캐폴딩과 고도로 전문화된 AI 네이티브 추론 엔진이 안전하게 공존할 수 있습니다.
핵심 Go 컴파일러는 내용에 중립적인 범용 라우터입니다. AI 고유의 지능은 모두 플러그인 방식의 WebAssembly(Wasm) 정책과, 플랫폼 아키텍트가 카탈로그 엔티티에 작성하는 JSON Schema 2020-12 선언에 있습니다.
1. 운영 클라우드 온톨로지와 AI 덕 타이핑
범용 Open Application Model(OAM)과 현대 인프라의 엄격한 현실을 연결하기 위해, component.aggrega.ai/type 레이블은 닫힌 집합인 범용 클라우드 네이티브 프리미티브에만 매핑됩니다. 이 시맨틱 정체성은 소켓 셀렉터, Feature의 appliesTo, 거버넌스 정책이 컴포넌트가 상태, 네트워크 인그레스, 수명 주기를 어떻게 다루는지 알기 위해 읽는 것입니다. 컴파일러는 이를 불투명한 문자열로 매칭할 뿐 이에 따라 분기하지 않으며, 컴포넌트가 어떻게 렌더링되는지는 Manifest가 그 컴포넌트에 매핑하는 Recipe가 결정합니다.
클라우드 네이티브 유형(인프라 기반):
server: 인바운드 애플리케이션 트래픽을 받는 장기 실행 무상태 컴퓨트입니다(예: AI 게이트웨이 또는 채팅 UI).worker: 인바운드 애플리케이션 포트 없이 큐에서 가져오거나 백그라운드 루프를 실행하는 장기 실행 무상태 컴퓨트입니다(예: LangGraph 에이전트 또는 Celery 워커).task: 완료될 때까지 실행된 후 종료되는 일시적 컴퓨트입니다(예: DB 마이그레이션 스크립트).function: 0까지 축소되는 이벤트 기반 컴퓨트입니다(예: AWS Lambda).stateful-server: 안정적인 네트워크 ID와 영구 디스크가 필요한 클러스터 내 컴퓨트입니다(예: Qdrant 벡터 데이터베이스, Kafka 브로커).resource: 플랫폼이 관리하는 외부 인프라입니다(예: AWS RDS PostgreSQL, S3 버킷, 호스팅된 이벤트 버스).
이 집합은 Aggrega 고유의 것이며 닫혀 있습니다. 게시된 Component 스키마가 이 값들을 열거하며, 그 밖의 값을 가진 문서는 로드될 때 거부됩니다 — E0215가 해당 레이블을 지목하고 허용되는 값을 나열합니다. 이것이 이 축이 주는 이점입니다. stateful-server를 대상으로 작성된 Feature나 소켓 선택자는 만나는 모든 카탈로그에서 같은 의미를 가집니다.
자체 어휘로 컴포넌트가 무엇인지는 자체 키에 둡니다. 티어, 데이터 영역, 서비스 클래스, 프리미티브의 더 세분화된 구분은 모두 예약된 키 옆에 직접 작성하는 레이블 키입니다. Component 스키마는 문자열 값을 가진 추가 레이블 키를 모두 허용하며, 모든 선택자 표면이 이를 동일하게 읽기 때문입니다. 이는 아래의 AI 덕 타이핑 레이블이 이미 사용하는 것과 같은 메커니즘입니다. 예약된 키는 공유되는 바닥이며, 그 위의 모든 것은 사용자의 것입니다.
운영 유형은 탐색 카테고리가 아니며, 둘은 의도적으로 별개의 축입니다. Kafka 브로커는 사용자가 찾는 위치인 messaging 카테고리에 속하고, 인프라가 그것을 위해 해야 하는 일이 그것이므로 유형으로 stateful-server를 가집니다. 한 축을 대상으로 작성된 선택자는 다른 축과 절대 일치하지 않습니다.
시맨틱 레이블 분류 표는 entities/component를 참고하십시오. 여기에는 아키텍트가 기본 유형 위에 인지적 정체성을 덧씌우는 데 사용하는 범용 클라우드 계층, 전문 AI 계층, 횡단 관심사, 동적 비즈니스 컨텍스트 레이블이 있습니다.
1.1 오픈 소스 카탈로그 표준: “Naked Base, Flavored Edges”
이러한 레이블을 적용할 때는 공식 Aggrega 오픈 소스 카탈로그(core/*)와 사설 엔터프라이즈 카탈로그(acme/*)를 반드시 구분해야 합니다.
공식 오픈 소스 카탈로그가 보편적으로 사용 가능한 상태를 유지하려면 불변의 기술적 물리 특성과 주관적인 인지적 의도를 엄격히 구분해야 합니다. 범용 core/datastore/postgres에 engine: relational이 하드코딩되어 있다면, 데이터스토어 유형 일치를 강제하도록 구성된 거버넌스 판정 플러그인은 개발자가 values에서 pgvector 확장을 활성화하고 vector 데이터스토어를 요구하는 AI 에이전트를 연결하려 할 때 빌드를 중단합니다.
주관이 없는 핵심 카탈로그를 유지하기 위해 공식 컴포넌트는 다음 표준을 따릅니다: 베이스는 꾸미지 않고, 가장자리에 특색을 더한다.
- 꾸미지 않은 베이스(Naked Base): 루트 수준의 오픈 소스
Component는 제품에 대해 객관적으로 참이며 작성자가 구성하는 어떤 것으로도 바꿀 수 없는 것만 하드코딩합니다. 그 첫째이자 언제나 포함되는 것은 운영 프리미티브(component.aggrega.ai/type)입니다. Postgres 데이터베이스는 객관적으로stateful-server이며, 이 사실은 바뀔 수 없습니다. 같은 기준에 따라 제품의 정체성 자체가 그 기능인 경우에는 기능 레이블도 허용됩니다.core/datastore/qdrant와core/datastore/weaviate는 벡터 검색 엔진이며 작성자가 무엇을 작성해도 다른 것이 되지 않으므로,core/datastore/redis가kv를 지니는 것과 똑같이 각각 베이스에datastore.aggrega.ai/engine: vector를 지닙니다. 꾸미지 않은 베이스가 거부하는 것은 그 반대의 경우, 즉 컴포넌트가 어떻게 구성되거나 사용되는지에 따라 달라지는 특성이며, 아래의 세 번째 메커니즘이 이를 위해 존재합니다. - 특색 있는 인터페이스(스키마 상속): Component는
extends를 선언하여 다른 Component를 베이스로 지정할 수 있으며, 이것이 합성하는 것은 구조입니다: 레이블, 어노테이션, 첨부 슬롯, self-inject 허용 목록, 토폴로지 소켓, 그리고 이름 있는assertions입니다. 세 가지 데이터 축은 합성되지 않습니다. 확장하는 Component는 리터럴 마커schema: inherited를 작성하고 자체적인values,infra,provides내용을 작성하지 않으므로, 그 계약은 베이스의 계약과 동일합니다. 이 때문에 이 메커니즘은 변형하기보다는 좁힙니다: 계약이 바뀌지 않으므로 베이스를 위해 작성된 모든 Recipe가 이미 특화 버전에도 적용되며, 특화 비용은 카탈로그 엔티티 하나와 Manifest 매핑 한 줄입니다. 따라서 특화가 더하는 것은 셀렉터나 정책이 읽는 정체성입니다: 감사 등급, 데이터 영역, 거버넌스 담당자, 또는 셀렉터가 베이스보다 적은 것을 허용하는 소켓입니다. 다른 계약을 더할 수는 없습니다. 계약을 작성할 표면이 없기 때문입니다. 놓치기 쉬운 결과가 하나 있습니다: 매핑 줄은 여전히 필요합니다. Recipe 선택은 정확한 매핑 키로 이루어지므로, 특화 버전은 자체 Recipe가 필요 없더라도 자체mappings.components.type항목이 필요합니다. 검토 등급 레이블을 추가하고 그 위의 소켓을 좁히는 공개 래퍼와, 그 소켓에 연결된 에지가 해당 등급을 벗어날 때 중단되는 빌드는 examples/extends-wrapper를 참조하십시오. 컴포넌트가 어떻게 구성되는지에 따라 달라지는 특성은 이 메커니즘의 대상이 아닙니다: 특화 버전은 베이스의 아티팩트를 고정하고 그 계약을 상속하므로, 특화 버전에 참인 특성은 이미 베이스에도 참이며, Naked Base 규칙이 그것을 베이스에 둡니다. 그러한 특성은 아래의 동적 변경자에 속합니다. - 동적 변경자(Wasm 승격): 특성이 개발자의 페이로드(예:
enable_vector: true)에 의해 결정된다면, 엔터프라이즈는 토폴로지 구성 시점에 거버넌스 소켓의label-transform역할을 사용하여 불투명한values를 동적으로 읽고, 정책이 실행되기 전에datastore.aggrega.ai/engine: vector레이블을 IR 그래프에 자동으로 주입합니다. 여기서 구성에 의존하는 특성이 엄격한 정책 평가에 사용 가능해집니다. 개발자가 선언한values가 그것을 승격시키며, 변환은 어떤 정책이 레이블을 읽기 전에 실행됩니다.
엔터프라이즈 예외: 컴파일러는 주관이 없으므로, 자체 내부 카탈로그를 작성하는 엔터프라이즈는 이 규칙을 자유롭게 깰 수 있습니다. 기업 보안 정책이 모든 내부 데이터베이스를 고도로 민감한 것으로 규정한다면, 플랫폼 아키텍트는 compliance.aggrega.ai/data-class: restricted(또는 회사가 정한 유사한 레이블)를 acme/postgres 베이스 컴포넌트에 직접 하드코딩할 수 있고 그렇게 해야 합니다. 그러면 그 모든 인스턴스가 해당 등급을 지니며, 엔터프라이즈가 첨부하는 정책이 모든 인스턴스에서 그것을 읽습니다. 레이블 자체는 아무것도 강제하지 않습니다: 컴파일러는 그것을 문자열로 전달할 뿐이며, 빌드를 중단하는 것은 첨부된 정책입니다. 한 제품의 사용처 중 일부만 그러한 데이터를 보유하는 경우에는 extends를 통한 특화 버전이 대신 등급을 지닙니다. examples/policy-data-class-route를 참조하십시오. 이 예제의 청구 어시스턴트는 표준 라이브러리의 LangGraph 에이전트에 등급 레이블 하나를 더한 것이며, 그것을 읽는 정책이 함께 있습니다.
1.2 시맨틱 레이블이 컴파일러 파이프라인을 구동하는 방식
레이블을 플랫폼 아키텍트의 영역에 두기 위해, 개발자는 Aggregate 내부의 Component 인스턴스에 레이블을 작성할 수 없습니다. Aggregate 스키마는 컴포넌트 인스턴스에 labels 키를 제공하지 않습니다. 노드의 레이블은 그 카탈로그 엔티티의 레이블이며, 여기에 운영자가 구성한 label-transform 거버넌스 연결이 토폴로지 구성 중에 추가하는 레이블이 더해집니다. 다음은 이러한 레이블이 사용자 정의 Go 코드 없이 컴파일 파이프라인을 구동하는 방식입니다:
1. component.aggrega.ai/type (베이스 프리미티브)
- 누가 작성합니까? 플랫폼 아키텍트(도메인 2)입니다. 카탈로그의 모든 컴포넌트에 필수입니다.
- 누가 사용합니까? Static Analyzer와 Wasm Rendering Plugins입니다.
- 컴파일러 사용 사례: 이것은 핵심 운영 클라우드 온톨로지입니다. 정적 분석기는
usesSchema셀렉터 문자열을 Go에서 네이티브로 평가하여, 소켓이 특정 AI 기능을 요구하는 경우 개발자가 에이전트를 표준 데이터베이스에 연결할 수 없도록 보장합니다. 또한 DevOps는 이 레이블을 사용하여 상태 저장 프리미티브(stateful-server,resource)를 영구 디스크를 지원하는 물리적 클러스터 경계로 명시적으로 라우팅하며, 거버넌스 판정 역할은 상태 저장 컴포넌트가 임시 전용 경계에 절대 배치되지 않도록 강제할 수 있습니다.
2. model.aggrega.ai/capability
- 누가 작성합니까? 플랫폼 아키텍트입니다.
- 누가 사용합니까? 정적 분석기(
usesSchema소켓의 Kubernetes 스타일 레이블 셀렉터를 통해)입니다. - 컴파일러 사용 사례: 아키텍트가 필요한 기능 레이블을 지정하는
usesSchema셀렉터를 작성하면, 컴파일러의 네이티브 레이블 매칭 엔진은 아티팩트가 생성되기 전에 셀렉터를 충족하지 않는 연결을 거부합니다. 컴파일러는 이 레이블을 불투명한 문자열로 취급하며, “text-generation”과 “embedding”의 의미론적 의미는 아키텍트의 셀렉터 작성에 있습니다.
3. component.aggrega.ai/hosting
- 누가 작성합니까? 플랫폼 아키텍트입니다.
- 누가 사용합니까? Policy Engine(거버넌스 판정 역할), Wasm Rendering Plugins, 그리고 표준 라이브러리 안에서 모델이나 에이전트를 호출하는 쪽입니다. 구체적으로는 다음과 같습니다. 표준 라이브러리의 에이전트는 각
model연결에서 assertion이 이 레이블을 읽습니다.core/ai-tool/agent-invocation은target_agent연결에서 assertion이 이 레이블을 읽으며, 이 컴포넌트의 Kubernetes 구현도 이를 읽어http로 도달하는external에이전트에는 자격 증명을 제공하지 않습니다. AI 게이트웨이는models및cache_store소켓에 대한 각 연결에서 assertion이 이 레이블을 읽습니다.core/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgateway,core/gateway/higress는models소켓에 대한 각 연결에서 assertion이 이 레이블을 읽으며, 두 Kong의backend, APISIX와 Traefik Hub의cache_store소켓, Envoy Gateway, Higress, Traefik Hub의cache소켓에 대한 연결에서도 읽습니다. 아래의 “호출자가 제시하는 키”를 참조하십시오. - 컴파일러 사용 사례: 이 레이블은 컴포넌트의 기반 리소스를 누가 운영하는지 기록하여, 운영자가 연결한 정책이 데이터 유출(Data Exfiltration) 위험을 판단할 수 있게 합니다. 컴파일러는 값을 문자열로 읽을 뿐 아무것도 판단하지 않습니다. 클래스 레이블상
internal데이터를 보유한 Agent가managed레이블이 붙은 Model, 즉 Release 자체 경계 밖에서 운영되는 서비스에 연결되면, 그러한 정책은 데이터가 그 경계를 벗어난다는 것을 읽어 내고, 연결이core/data-masking을 지닌 AI 게이트웨이를 거치지 않는 한 빌드를 중단할 수 있습니다. 이 게이트웨이는 자신이 전달하는 채팅 및 완성 텍스트를 마스킹합니다. 에이전트의model소켓은 모델 대신 그러한 게이트웨이를 받으므로 그 경로는 정책이 읽는 그래프의 에지가 되며, 게이트웨이가models소켓에서 제공하는 모델은 게이트웨이에서 모델 컴포넌트로 향하는 별도의 에지가 되고 정책은 그 모델의 레이블을 읽습니다. 따라서 에이전트에서 게이트웨이를 거쳐managed모델에 이르는 경로는 처음부터 끝까지 그래프에 존재합니다. 게이트웨이의 모델 맵에 직접 입력한 업스트림은 그렇지 않습니다. 이는 컴파일러가 해석하지 않는 문자열이므로, 그래프를 읽는 정책에는 게이트웨이만 보이고 그 뒤의 것은 보이지 않습니다. examples/policy-data-class-route가 바로 그러한 정책입니다. 이 정책의 설정은managed모델을public으로 분류하며,restricted데이터를 보유한 어시스턴트가 경로상에 마스킹 게이트웨이 없이 그러한 모델에 도달하는 빌드를 중단합니다. 이는 여러 영역에 걸친 특성입니다. 동일한self-hosted | managed | external값이 모델뿐 아니라 관리형 데이터베이스나 자체 운영 추론 서버도 똑같이 설명하므로, 이 레이블은 모델 전용 네임스페이스가 아니라 공유component.aggrega.ai/네임스페이스 아래에 있습니다.
4. agent.aggrega.ai/autonomy
- 누가 작성합니까? 플랫폼 아키텍트입니다.
- 누가 사용하나요? 정책 엔진(거버넌스 판정 역할)입니다.
- 컴파일러 사용 사례: 이 레이블은 인지 루프의 실행 위험을 식별합니다. 에이전트에
autonomous레이블이 붙어 있고(사용자 프롬프트 없이 백그라운드 루프를 실행한다는 의미) 매우 민감한 데이터베이스에 연결된다면, 정책 엔진은 작성자가 기업 자체 규칙이 요구하는 승인 또는 격리 Feature를 연결하지 않는 한 빌드를 중단할 수 있으므로, 무인 루프가 검토 없이 해당 데이터에 도달할 수 없습니다. - 이 축에서 레이블이 없는 컴포넌트의 의미(이 부재는 의도된 것입니다). 이 레이블은 인지 루프의 실행 위험을 설명하므로, 자체 루프를 보유하지 않는 컴포넌트는 두 값 중 낮은 값이 아니라 아무 값도 갖지 않습니다. 에이전트 카테고리의 상당수 컴포넌트가 바로 그 이유로 레이블이 없습니다. 에이전트 플랫폼이 서버와 함께 제공하는 지원 요소들, 즉 브라우저 콘솔, 스키마 마이그레이션 실행, 작업 워커, 코드 샌드박스, 이그레스 프록시는 찾기 쉬운 곳이라서 그 카테고리에 있을 뿐이며, 이들이 지원하는 루프는 플랫폼의 서버에 있고 레이블도 그곳에 있습니다. 가장 명확한 사례는 하나의 제품이 두 방식으로 나뉘는 경우입니다. 플랫폼의 서버는
copilot을 지니고, 그 옆에 함께 제공되는 코드 샌드박스는 아무것도 지니지 않습니다. 기준은 요소의 형태가 아니라 루프가 어디에 있는가이므로, 사용자가 직접 제공하는 에이전트 코드를 호스팅하는 런타임 역시 레이블이 없습니다. 그곳의 루프는 제품이 주장하는 것이 아니라 사용자가 배포하는 무엇이든이기 때문입니다. 따라서 어느 한 값을 지정하는 셀렉터는 루프를 보유한 컴포넌트만 정확히 일치시키며, 모든 자율성 수준과 일치하도록 작성한 셀렉터는 지원 요소들을 배포에서 가장 자율성이 낮은 것으로 취급하지 않고 건너뜁니다.
5. gateway.aggrega.ai/intelligence
- 누가 작성합니까? 플랫폼 아키텍트입니다.
- 누가 사용하나요? 정적 분석기와 기업이 작성한 린터 Wasm 플러그인입니다.
- 컴파일러 사용 사례: 이 레이블은 라우터가 물리적으로 지원할 수 있는 기능을 규정합니다. AI
fallback-chainFeature는appliesTo: gateway.aggrega.ai/intelligence=semantic을 선언하며, 정적 분석기는 아티팩트를 렌더링하기 전에 이 셀렉터를 대상 컴포넌트의 레이블에 대해 평가합니다. Developer가 이를 일반l4-mesh게이트웨이에 연결하면 빌드는 해당 Feature와 실패한 셀렉터를 명시하는 셀렉터 위반으로 중단됩니다. Architect는 일반 TCP 메시가 요청이 지정하는 모델을 읽기 위해 LLM JSON 페이로드를 파싱할 수 없다는 것을 알고 그 셀렉터를 작성했기 때문입니다. 이 거부는l4-mesh의 존재가 아니라semantic의 부재를 기준으로 하므로, 인텔리전스 레이블이 전혀 없는 라우터에도 똑같이 적용됩니다. 앞에서와 마찬가지로 컴파일러는 레이블을 불투명한 문자열로 취급하며,semantic의 의미는 Architect의 셀렉터 작성에 있습니다.semantic을 지닌 라우터에서는 연결이 셀렉터를 통과하고, 그다음 일어나는 일은 그 구현(realization)의 몫입니다. 표준 라이브러리의 구현은 이 체인을 AI 게이트웨이의 라우팅 구성에 기록합니다. - 표준 라이브러리가 지니는 값. 다음 컴포넌트들이
semantic을 지닙니다.core/gateway/litellm은 그 구현이 프록시의 라우팅 테이블, 즉 여러 업스트림 제공자에 걸친 모델 맵을 렌더링합니다.core/gateway/cloudflare-ai-gateway는 Cloudflare의 호스팅 게이트웨이로, 자신이 전달하는 각 모델 요청을 읽습니다. 요청이 지정하는 모델, 과금 대상 토큰, 그리고 게이트웨이 자체 검사가 켜져 있는 경우 그 내용입니다.core/gateway/azure-api-management는 호스팅 서비스인 Azure API Management의 AI 게이트웨이로, 모델을 제공하는 API의 각 모델 요청을 읽습니다. 시맨틱 캐시가 비교하는 프롬프트, 응답이 보고하는 토큰, 안전 검사가 검사를 위해 보내는 내용입니다.core/gateway/apisix는 그 AI 프록시가 모델을 제공하는 라우트의 각 요청 본문과 모델 응답이 보고하는 토큰을 읽습니다.core/gateway/envoy-gateway는 그 Envoy AI Gateway 확장이 연결된 모델을 제공하는 라우트의 각 요청 본문을 읽어 요청이 지정하는 모델을 찾고, 각 응답이 보고하는 토큰을 읽습니다.core/gateway/kong-enterprise, 즉 Kong Gateway Enterprise는 그 AI 프록시가 연결된 모델을 제공하는 라우트의 각 요청 본문(요청이 지정하는 모델과 담긴 메시지)과 각 응답이 보고하는 토큰을 읽습니다.core/gateway/traefik-hub, 즉 Traefik Hub는 그 Chat Completion 미들웨어가 연결된 모델을 제공하는 라우트의 각 요청 본문을 읽고 채팅 완성 스키마에 대해 검사하며 각 응답이 보고하는 토큰을 읽습니다.core/gateway/agentgateway, 즉 agentgateway는 모델 제공 경로의 각 요청 본문을 읽어 요청이 지정하는 모델, 즉 요청을 보낼 연결된 모델을 선택하는 기준을 찾고, 각 응답이 보고하는 토큰을 읽습니다. 그리고core/gateway/higress, 즉 Higress는 그 AI 프록시가 연결된 모델을 제공하는 라우트의 각 요청 본문(요청이 지정하는 모델과 스트리밍 여부)을 읽고, 그 플러그인이 각 응답이 보고하는 토큰을 읽습니다. 따라서 이 값을 요구하는 AI Features는 이들 중 어느 것에 대해서도 해석되며, 각 구현은 자신의 게이트웨이가 무엇을 지원하는지 명시하거나, 게이트웨이가 아무것도 지원하지 않는 경우 빌드를 중단합니다. 어떤 게이트웨이에 대한 구현이 없는 Feature는 그 지점에서 자신의 타입을 명시하며 빌드를 중단합니다.l4-mesh를 지니는 컴포넌트는 없으며, 표준 라이브러리의 다른 게이트웨이 컴포넌트들은 인텔리전스 레이블을 전혀 지니지 않습니다. 트래픽을 라우팅하는 것들은 HTTP를 종료하고 레이어 7에서 라우팅하며, 그중 하나는 아무것도 라우팅하지 않는 컨트롤 플레인이므로 어느 값도 이를 설명하지 않습니다. 레이어 4 TCP 메시는 또 다른 제품군입니다. 그래서 앞의 거부는semantic의 부재를 기준으로 하므로 완전히 유효합니다. 그 값을 요구하는 연결은 이들 중 어느 것에서도 중단됩니다. 카탈로그에서 실제로 레이어 4 메시를 운영하는 Architect는 해당 컴포넌트에l4-mesh를 붙이며, 이로써 양방향으로 구분을 선택할 수 있게 됩니다. - 이 축은 제품 등급을 나타내며, 이는 Component가 트래픽에 무엇을 할 수 있는가와는 다른 질문입니다. 이를 후자로 읽는 것이 이 축이 불러오기 쉬운 실수입니다.
semantic은 라우터가 요청 본문을 파싱한다는 뜻이며, 이는 요청이 지정하는 모델에 따라 동작하는 제어에 필요한 것이므로 그 목적에는 올바른 축입니다. 그러나 라우터가 트래픽을 복제할 수 있는지, 호출자의 ID를 전달할 수 있는지, 업스트림의 인증서를 검증할 수 있는지, 패턴 목록과 일치하는 프롬프트를 거부할 수 있는지, 기간별 예산을 유지할 수 있는지에 대해서는 아무것도 말하지 않으며, 그러한 기능 중 하나가 필요한 Feature가 등급을 물을 이유는 없습니다. 그러한 기능을 제공하는 컴포넌트 대부분은 intelligence 값을 전혀 갖지 않는 일반적인 레이어 7 프록시이고,semantic라우터가 그중 하나를 제공하더라도 등급이 기록하지 않는 이유로 제공하는 것입니다. 따라서 등급은 양방향 모두에서 잘못된 집합에 도달합니다. 일반 프록시를 완전히 제외하고, 도달하는 AI 게이트웨이가 실제로 어떤 기능을 갖는지에 대해서도 아무것도 말하지 않습니다. 그 질문은 아래의 데이터 경로 축에 속하며, 두 축은 조합됩니다. Feature는 두 값을 모두 지정하여 미러링도 하는semantic라우터를 요구할 수 있습니다.
6. tool.aggrega.ai/impact
- 누가 작성합니까? 플랫폼 아키텍트입니다.
- 누가 사용합니까? 정책 엔진과 Wasm 렌더링 Plugins입니다.
- 컴파일러 사용 사례: 이 정보를 개발자가 변경할 수 있는
values블록에서 변경할 수 없는 레이블 ID로 옮김으로써, 정책 엔진이 엄격한 최소 권한 구성을 평가할 수 있게 합니다. 렌더링 플러그인은read-only웹 검색 도구에는 표준invoke권한을 생성하고,mutatingSQL 삭제 도구를 호출할 때는 엄격한 암호화 서명 구성을 요구할 수 있습니다.
7. compliance.aggrega.ai/data-class
- 누가 작성합니까? 환경 자체 카탈로그의 플랫폼 아키텍트입니다(또는 거버넌스
label-transform역할을 통해 동적으로 주입됩니다). - 누가 사용하나요? 정책 엔진(거버넌스 판정 역할)입니다.
- 컴파일러 사용 사례: 컴포넌트가 보유한 데이터에 정책이 그래프를 따라 추적할 수 있는 거버넌스 ID를 부여합니다. 컴파일러는 레이블을 문자열로 IR 그래프에 전달할 뿐 순위를 매기지 않습니다.
restricted가public보다 민감하다는 것도, 두 단어 중 어느 것이 무언가를 의미한다는 것도 알지 못합니다.ir-verdict역할에 연결된 정책이 자체 설정에서 그 의미, 즉 어떤 등급이 있고 어떻게 순위가 매겨지는지를 제공하며, 컴파일러가uses엣지를 따라 열거하는 경로의 컴포넌트에서 레이블을 읽습니다. 그래서restricted데이터를 보유한 컴포넌트가, 경로가 통과하는 AI 게이트웨이의core/data-masking처럼 정책이 기밀 해제로 간주하는 Feature가 연결되지 않은 경로를 따라 다른 등급의 컴포넌트에 도달하는 빌드를 중단시킬 수 있습니다. 열거는 시작 컴포넌트마다 상한이 있으며 상한을 넘는 것은 나열하지 않으므로, 정책이 읽는 경로는 실제로 존재하지만 경로가 없다는 것이 경로가 존재하지 않는다는 증거는 아닙니다. examples/policy-data-class-route가 바로 그 정책으로, CLI에 컴파일된 Rego 및 CEL 엔진과 OPA용으로 작성되었으며 중단되는 빌드와 완료되는 빌드를 나란히 보여 줍니다. - 표준 라이브러리가 갖는 것. 이 레이블을 갖는
core/Component는 없습니다. 컴포넌트의 데이터가 어떤 등급인지는 환경이 그 컴포넌트를 어떻게 사용하는지에 대한 진술이지 모든 Release에서 참인 제품의 속성이 아니므로, Naked Base 규칙에 따라 베이스에는 두지 않습니다. 환경은 이를 자체 Component에 둡니다. 예제의 청구 어시스턴트처럼extends를 통한 특수화이거나, 위의 엔터프라이즈 예외에 따른 자체 베이스입니다.
8. hardware.aggrega.ai/accelerator
- 누가 작성합니까? 플랫폼 아키텍트입니다. 로컬 모델 컴포넌트를 패키징할 때, 그것이 동작하려면 근본적으로 GPU가 필요하다는 것을 알고 있습니다.
- 누가 소비합니까? DevOps(도메인 4)입니다.
- 컴파일러 사용 사례: DevOps는
components: {}맵을 통해Release에서 GPU 레이블이 붙은 컴포넌트를 물리적 하드웨어 풀 경계로 명시적으로 라우팅합니다. 개발자는 자신의Aggregate에서 인지 모델을 요청하기만 하고, DevOps가 이를 고가의 GPU 클러스터 경계에 배치하므로 관심사의 분리가 완전히 유지됩니다. 거버넌스 판정 역할은 추가로 이 레이블을 갖는 컴포넌트가 GPU 인프라가 없는 경계에 절대 배치되지 않도록 강제할 수 있습니다.
9. datastore.aggrega.ai/engine
- 누가 작성합니까? 플랫폼 아키텍트가 datastore 범주의 컴포넌트에 작성합니다(정적으로, 특화된 특수화에, 또는 개발자
values가 역할을 승격할 때label-transform역할이 주입). 카탈로그 전반에서 사용되는 값은 다음과 같습니다:relational,document,kv,vector,graph,semantic-memory,search. 각 값은 제품이 그 자체로 해당하는 스토리지 엔진을 나타냅니다.search는 벡터도 인덱싱하는 검색 및 분석 엔진을 나타냅니다. 따라서 배포 가능한 저장소가 아니라 애플리케이션 자체의 스키마와 접근 패턴에 있는 특성은 이 축의 값이 아닙니다. - 누가 소비합니까? 정적 분석기(셀렉터 문자열을 통해)와 정책 엔진입니다.
- 컴파일러 사용 사례: 셀렉터는 제품이 아니라 스토리지 의미 체계를 대상으로 합니다. 에이전트의 지식 베이스 소켓은
datastore.aggrega.ai/engine in (vector, semantic-memory, search)를 선택하며, 정책 엔진은 벡터 엔진으로의 SQL 페이로드 라우팅을 거부할 수 있습니다. 이중 용도 데이터 저장소 전반의 AI 관련성은 이 레이블에서 도출되며, 별도의 불리언으로 저장되지 않습니다. - 표준 라이브러리가 갖는 것.
core/datastore/qdrant,core/datastore/weaviate,core/datastore/chroma,core/datastore/pgvector,core/datastore/milvus는vector를,core/datastore/cognee는semantic-memory를,core/datastore/opensearch와core/datastore/elasticsearch는search를 가지므로, 위의 지식 베이스 셀렉터는 이들 각각에 대해 해석됩니다.core/datastore/redis,core/datastore/valkey,core/datastore/memcached는kv를 갖습니다. 제품의 정체성이 곧 그 엔진이므로 이 레이블은 모두 컴포넌트 자체의 베이스에 있습니다.core/datastore/pgvector의 경우 그 정체성은 고정하는 아티팩트입니다. 확장을 포함한 pgvector 프로젝트 자체의 PostgreSQL 이미지를 실행하고, 모든 Recipe가 컴포넌트가 생성하는 데이터베이스에서 확장을 활성화합니다. 따라서 벡터 특성이 설정에 의존하지 않으며, 이것이 범용 PostgreSQL이 개발자가 확장을 켤 때만 특성을 얻는, 위 “Naked Base, Flavored Edges”의 구성된 경우와 구별되는 점입니다.relational,document,graph에는 표준 라이브러리 컴포넌트가 없으므로, 이들 중 값만 지정하는 셀렉터는 여기서는 아무것과도 일치하지 않으며 해당 컴포넌트를 갖는 카탈로그에서 충족됩니다.
10. pipeline.aggrega.ai/mode
- 누가 작성합니까? 플랫폼 아키텍트가 pipeline 범주의 컴포넌트에 작성합니다. 각 값은 제품이 다단계 작업을 실행하는 방식을 나타내며, 값은 미리 정해진 목록이 아니라 그 값을 갖는 컴포넌트를 따릅니다. 표준 라이브러리에는 두 가지가 있습니다.
core/ai-pipeline/temporal의durable은 엔진이 모든 단계의 결과를 이벤트 기록으로 저장하고 재생하므로 워커가 충돌한 작업이 중단된 곳에서 재개됩니다.core/ai-pipeline/argo-workflows의reconciled은 컨트롤러가 클러스터 자체 API에 보관된 워크플로 리소스로부터 각 단계를 파드로 실행합니다. - 누가 사용합니까? 정책 엔진과 Wasm 렌더링 Plugins입니다.
- 컴파일러 사용 사례: 정책과 렌더러가 제품 이름이 아니라 실행이 장애에서 살아남는 방식, 즉 재생되는 이벤트 기록인지 조정되는 클러스터 리소스인지로 파이프라인 엔진을 구별할 수 있게 합니다.
11. dataplane.aggrega.ai/* (데이터 경로 기능)
- 누가 작성합니까? 플랫폼 아키텍트가 트래픽 경로에 있는 모든 컴포넌트, 즉 리버스 프록시, 인그레스 게이트웨이, 서비스 메시, AI 게이트웨이에 작성합니다.
- 누가 소비합니까? 정적 분석기가 Feature의
appliesTo와 소켓의usesSchema셀렉터를 통해 소비합니다. - 컴파일러 사용 사례: 이 레이블은 이 구성 요소가 트래픽에 무엇을 할 수 있는지에 답합니다. 이는 런타임 제어가 실제로 알아야 하는 것이며 제품 등급 레이블로는 말할 수 없는 것입니다. 실시간 요청을 평가용 두 번째 서비스로 복사하는
core/traffic-shadowing은 키만으로appliesTo: dataplane.aggrega.ai/request-mirroring을 선언하고, Static Analyzer는 렌더링 전에 이를 대상의 레이블에 대해 평가합니다. 따라서 미러링을 전혀 할 수 없는 구성 요소에 이를 연결하면 해당 Feature와 실패한 선택자를 명시하는 선택자 위반으로 중단됩니다. 컴파일러는 나머지 문자열과 똑같이 이 문자열들을 모두 불투명한 값으로 취급합니다. - 접두사가 구성 요소의 종류가 아니라 트래픽 경로를 명명하는 이유. 미러링, 호출자 신원, 업스트림 검증은 게이트웨이의 속성이 아닙니다. 이는 요청 경로에 서 있는 모든 것의 속성이며, 카탈로그에 추가된 서비스 메시는 세 가지를 모두 갖습니다. 이를 처음 갖게 된 구성 요소 종류의 이름을 따서 계열을 명명하면, 이후의 모든 종류가 같은 어휘를 자신의 접두사로 다시 정의해야 하므로 하나의 기능에 여러 이름이 생기고 이를 아우를 수 있는 선택자는 없게 됩니다.
- 충실도를 값에 담는 이유. 두 구성 요소가 모두 요청을 미러링하면서도 Feature가 중요하게 여기는 방식에서 다를 수 있습니다. 하나는 일치하는 모든 요청을 복사하고, 다른 하나는 설정 가능한 비율만 복사합니다. 구성 요소가 미러링을 하는지 여부만 말하는 키는 둘 다 허용하여 그 차이를 렌더링 후에야 발견하게 합니다. 충실도를 값에 넣으면 Feature에 맞는 두 방식 중 하나로 이를 요구할 수 있습니다. 특정 충실도 없이는 전혀 동작할 수 없는 Feature는 선택자에서 그 값을 명시합니다. 낮은 충실도에서도 동작하는 Feature는 키만으로 선택하고, 그 구현이 구성 요소가 지킬 수 없는 설정을 거부합니다. 전체 스트림 복사는 미러링하는 모든 구성 요소에서 동작하므로
core/traffic-shadowing은 그 모두에 연결되며,full-rate를 선언한 구성 요소에 대한 구현은 100 미만의 비율을 거부하고 요청된 비율과 구성 요소가 선언한 충실도를 명시하는 메시지를 냅니다. 이 두 가지는 선택자 위반이 말해 주지 않는 것입니다. 따라서 값은 분류 체계로 구성되는 것이 아니라 출시된 제품이 구현하는 것에서 도출됩니다.request-mirroring이full-rate와sampled를 갖는 것은 실제 프록시가 정확히 그렇게 나뉘기 때문입니다. 하나는 복사 비율 설정을 제공하고 다른 하나는 제공하지 않습니다. - 값은 구성된 상태가 아니라 기능을 나타냅니다. 개발자에게 둘은 똑같이 읽히지만 그중 하나만 구성 요소의 속성입니다. 업스트림 인증서를 검증할 수 있는 프록시는 어떤 배포가 그 검사를 활성화하든 하지 않든
upstream-tls: trust-anchor를 가집니다. 레이블은 Feature가 무엇이든 구성되기 전에 선택하는 대상이므로, 여기에 구성을 담으면 사용되는 시점에 읽을 수 없게 됩니다. - 표준 라이브러리가 갖는 것.
core/gateway/nginx는request-mirroring: full-rate,upstream-tls: trust-anchor, 그리고 전달하는 모든 요청에 대한 단일 상한인concurrency-cap: total을 가집니다.core/gateway/contour는request-mirroring: sampled,caller-identity: client-certificate,upstream-tls: trust-anchor를 가집니다.core/gateway/envoy-gateway는core/gateway/contour와 같은 세 값에 더해, Envoy AI Gateway를 통해 제공하는 모델의 각 응답이 보고하는 토큰을 세는period-budget: tokens와, 제공하는 각 모델로 진행 중인 요청에 대한 상한인concurrency-cap: per-target을 가집니다.core/gateway/kong은upstream-tls: trust-anchor와prompt-guard: pattern-list를 가지며, 그 AI Prompt Guard는 모델 요청의 메시지를 라우트가 보유한 목록과 대조합니다.core/gateway/tyk는core/upstream-key-pinning이 선택하는upstream-pinning: public-key를 가집니다.core/gateway/litellm은caller-identity: injected-header,content-masking: entity-recognition,period-budget: cost,prompt-guard: pattern-list,upstream-tls: trust-anchor, 그리고 모델 맵의 각 항목으로 진행 중인 요청에 대한 상한인concurrency-cap: per-target을 가집니다.core/gateway/cloudflare-ai-gateway는period-budget: cost를 가집니다.core/gateway/apisix는 각 모델의 응답이 보고하는 토큰을 세고 가격은 매기지 않는period-budget: tokens와prompt-guard: pattern-list를 가집니다.core/gateway/kong-enterprise는 각 모델의 응답이 보고하는 토큰을 세는period-budget: tokens와content-masking: entity-recognition을 가집니다.core/gateway/traefik-hub는content-masking: entity-recognition과prompt-guard: pattern-list를 가지며, 그 Content Guard 미들웨어는 구성이 보유한 패턴의 일치 항목이나 호출하는 Presidio 분석기가 탐지하는 엔터티 유형을 마스킹하거나 패턴이 일치하는 요청을 거부합니다. 또한 쿼터 미들웨어에 함께 제공되는 모델별 가격표로 가격을 매기는period-budget: cost를 가지며, 이 미들웨어는 대신 각 응답이 보고하는 토큰을 셀 수도 있습니다.core/gateway/agentgateway는content-masking: pattern-list와prompt-guard: pattern-list를 가지며, 그 정규 표현식 가드는 구성이 보유한 패턴의 일치 항목을 마스킹하거나 거부하고 엔터티 유형은 인식하지 않습니다. 또한 API 키별로 미국 달러(모델 비용 카탈로그로 가격 산정) 또는 토큰 단위로 예산을 유지하는period-budget: cost를 가집니다.core/gateway/higress는content-masking: pattern-list를 가지며, 그ai-data-masking플러그인은 채팅 요청 메시지의 텍스트에서 구성이 보유한 패턴의 일치 항목을 마스킹하고 엔터티 유형은 인식하지 않습니다. 또한 각 응답이 보고하는 프롬프트 토큰과 완성 토큰을 합산해 세고 가격은 매기지 않는period-budget: tokens를 가집니다.core/gateway/azure-api-management는 각 응답이 보고하는 프롬프트 토큰과 완성 토큰을 합산해 세되 인스턴스의 각 게이트웨이에서 별도로 세고 가격은 매기지 않는period-budget: tokens를 가집니다. 모델의 경로에 서서 학습된 분류기로 요청을 판정하는 두 가드인core/security/nemo-guardrails와core/security/trustyai-guardrails-gateway는prompt-guard: classifier를 가지며, AI 게이트웨이와 NGINX 게이트웨이의guard소켓이 이를 선택합니다. 이들 중 AI 게이트웨이인core/gateway/litellm,core/gateway/cloudflare-ai-gateway,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/kong-enterprise,core/gateway/traefik-hub,core/gateway/agentgateway,core/gateway/higress,core/gateway/azure-api-management는semantic을 가지고 나머지는gateway.aggrega.ai/intelligence값을 갖지 않습니다. 이는 분리가 예외가 아니라 의도대로 작동하는 것입니다. 미러가 필요한 Feature는 미러를 가진 세 구성 요소에 도달하지만, 제품 등급 선택자는 그중 Envoy Gateway에만, 그것도 미러링과 무관한 이유로 도달합니다. 프롬프트 가드, 콘텐츠 마스킹 또는 기간 예산이 필요한 Feature는 AI 게이트웨이가 속한 등급이 아니라 그것이 할 수 있는 것을 근거로 도달합니다. 진행 중인 요청에 상한을 두는 Feature는 Envoy Gateway와 AI 게이트웨이에 도달하듯이 등급 값이 없는 NGINX 게이트웨이에도 도달하며, 패턴 목록으로 요청을 거부하는 Feature는 APISIX에 도달하듯이 역시 등급 값이 없는 오픈 소스 Kong에도 도달합니다. 이러한 축 중 하나에서 설명할 것이 없는 구성 요소는 가장 약한 값이 아니라 아무 값도 갖지 않으므로, 그 축의 어떤 값을 명시하는 선택자도 올바르게 그 구성 요소에 연결되지 않습니다.
12. security.aggrega.ai/text-anonymization
- 누가 작성합니까? Platform Architect가 민감한 텍스트 마스킹에 참여하는 서비스에 작성합니다. 그 작업이 두 서비스로 나뉘는 경우,
analyzer는 텍스트에서 민감한 구간을 찾아 보고하는 서비스에,anonymizer는 전달받은 구간을 다시 쓰는 서비스에 붙습니다.sanitizer는 한 번의 호출로 두 가지를 모두 수행하는 서비스, 즉 전송받은 텍스트에서 민감한 구간을 찾아 직접 다시 쓰고 다시 쓴 텍스트로 응답하는 서비스에 붙습니다. - 누가 소비합니까? Static Analyzer가 소켓의
usesSchema선택자를 통해 소비합니다. - 컴파일러 사용 사례: 이 라벨은 소비자에게 올바른 주소를 전달하는 방법입니다.
core/gateway/litellm은security.aggrega.ai/text-anonymization=analyzer를 선택하는pii_analyzer소켓과anonymizer값을 선택하는pii_anonymizer소켓을 선언하므로, 어느 한 서비스를 다른 쪽의 소켓에 연결하면 해당 소켓을 명시하는 셀렉터 위반으로 중단됩니다.core/gateway/kong-enterprise는sanitizer값을 선택하는 소켓pii_sanitizer하나를 선언하고,core/gateway/traefik-hub는analyzer값만 선택하는 소켓pii_analyzer하나를 선언합니다. 이는 해당 차트 Recipe가core/data-masking용으로 작성하는 Content Guard가 analyzer가 찾은 내용을 직접 치환하기 때문입니다. 컴파일러는 선택된 구성 요소가 게시하는 주소를 라우팅할 뿐, 그 주소에서 무엇이 응답하는지는 전혀 검사하지 않습니다. - 표준 라이브러리가 지니는 값.
core/security/presidio-analyzer는analyzer를,core/security/presidio-anonymizer는anonymizer를 지닙니다. 둘 다 Presidio HTTP API를 사용하며, AI 게이트웨이는core/data-masking연결 또는 게이트웨이 자체의values.log_masking이 엔터티 유형을 나열할 때 이 API를 호출하고, Traefik Hub의 Content Guard는 해당 게이트웨이의core/data-masking연결이 엔터티 유형을 나열할 때 analyzer만 호출합니다.core/security/kong-ai-pii-service는sanitizer를 지니며 Kong의 AI PII 서비스 API를 사용합니다. Kong Gateway Enterprise의 AI PII Sanitizer는 해당 게이트웨이에core/data-masking연결이 있는 동안, 정규 표현식을 포함해 마스킹하는 모든 텍스트를 가지고 이 API를 호출합니다. sanitizer는 이 서비스에 자격 증명을 제시하지 않으며 모든 텍스트가 마스킹되지 않은 채 도달하므로, 그 주소는 클러스터 내부 주소이며 클러스터 밖으로 노출하기 위한 것이 아닙니다.
13. model.aggrega.ai/api
- 누가 작성합니까? Platform Architect가 모델 카테고리의 모든 컴포넌트와 모델 API를 제공하는 게이트웨이에 작성합니다. 이 값은 컴포넌트가 게시하는 주소에서 어떤 모델 API가 응답하는지를 나타냅니다. OpenAI API(공급업체 자체의 API 또는 서버가 구현한 API)이면
openai, Anthropic의 Messages API이면anthropic, Google의 Gemini API이면gemini입니다. 이들 중 어느 것도 아닌 제품 자체의 API로서 소비자가 해당 제품의 클라이언트를 통해 접근하는 경우에는native입니다. 각 값은 제품 자체의 레퍼런스에서 확인한 것이며, 컴포넌트는 특정 Release가 무엇을 구성하든 이 값을 가집니다. - 누가 소비합니까? Static Analyzer가 소켓의
usesSchema셀렉터를 통해 소비하며, AI 게이트웨이,core/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgateway,core/gateway/higress의 어서션이 각자의models소켓에 대한 각 연결에서 소비합니다. - 컴파일러 사용 사례: 이 라벨은 하나의 소켓이 모델과 모델을 제공하는 게이트웨이 중 어느 쪽이든 받을 수 있게 해 줍니다. 아래에 명시된 다섯 런타임을 제외한 모든 에이전트의
model소켓,core/ai-tool/model-invocation의target_model소켓,core/datastore/cognee의 두 모델 소켓은component.aggrega.ai/category in (ai-model, gateway), model.aggrega.ai/api를 선택합니다. 범주 요구 사항은 두 범주를 허용하고, 키 요구 사항은 그중 이 라벨을 지닌 구성 요소만 허용하므로, 이러한 소켓을 모델 API를 제공하지 않는 게이트웨이에 연결하면 해당 소켓을 명시하는 셀렉터 위반으로 중단됩니다. 셀렉터의 요구 사항은 모두 충족되어야 하고 대안은 한 키의 집합 안에만 존재하므로, 두 종류의 구성 요소가 모두 응답하는 하나의 키는 게이트웨이뿐 아니라 모든 모델 구성 요소에도 있어야 합니다. 라벨이 게이트웨이만 표시하지 않고 API를 명시하는 이유가 이것입니다. 이 라벨을 지닌 게이트웨이는 모델이 게시하는endpoint및model키를 게시하므로, 소비자의 Recipe는 어느 쪽이든 같은 방식으로 읽습니다. Recipes가 하나의 모델 API 변수를 전달하는 에이전트는 대신 그 값을 명시합니다.core/ai-agent/openai-agents-sdk,core/ai-agent/agent-framework,core/ai-agent/mastra의model소켓은model.aggrega.ai/api=openai를,core/ai-agent/claude-agent-sdk의 소켓은model.aggrega.ai/api=anthropic을,core/ai-agent/google-adk의 소켓은model.aggrega.ai/api=gemini를 선택하므로, 이 중 하나를 다른 API를 제공하는 모델이나 게이트웨이에 연결하면 해당 소켓을 명시하는 셀렉터 위반으로 중단됩니다.core/ai-agent/google-adk의 소켓은 범주도ai-model로 좁혀 모든 게이트웨이를 거부합니다. ADK의 클라이언트는 주소를 읽지 않으므로 게이트웨이의 자격 증명을 Google 자체의 주소로 보내게 되기 때문입니다. AI 게이트웨이는 이 값을 선택하지 않고 읽습니다. 그models소켓은component.aggrega.ai/category=ai-model을 선택하여 모든 모델을 허용하며, 게이트웨이가 그곳에 연결된 모델을 OpenAI API로만 프록시에 기술하므로, 그 Component의 어서션은 대상이openai이외의 값을 지닌 연결에서 빌드를 중단하고, 해당 연결을 명시하며 그 업스트림을 게이트웨이의 수동 입력 모델 맵에 대신 입력하라고 안내합니다.core/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgateway,core/gateway/higress도 각자의models소켓에서 같은 방식으로 이 값을 읽습니다. 각각이 연결된 모델의 라우트(agentgateway에서는 모델 항목)를 OpenAI API용으로만 작성하기 때문입니다. 컴파일러는 이 값을 불투명한 문자열로 취급하며 그 주소에서 무엇이 응답하는지는 전혀 검사하지 않습니다. - 표준 라이브러리가 지니는 값.
core/gateway/litellm,core/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgateway,core/gateway/higress는openai를 지니며, 자체 호스팅 서버core/ai-model/vllm,ollama,docker-model-runner,tgi,tei,nvidia-nim,litellm, 관리형 APIcore/ai-model/openai,openai-embedding,nvidia-api, 그리고 해당 API를 사용하는 서비스를 가리키는 브로커core/ai-model/openai-compatible도 마찬가지입니다.core/ai-model/anthropic은anthropic을,core/ai-model/gemini는gemini를 지닙니다. 그 밖의 모든 모델 구성 요소는native를 지닙니다.
14. tool.aggrega.ai/transport
- 누가 작성합니까? Platform Architect가 소비자가 특정 전송 방식을 사용해야 접근할 수 있는 도구에 작성합니다. 이 값은 그 전송 방식을 나타냅니다.
- 누가 소비합니까? Static Analyzer가 소비자의 도구 소켓을 통해 소비합니다.
- 컴파일러 사용 사례: 이 라벨은 소비자가 통신할 수 있는 도구만 전달받게 하는 방법입니다. 도구 소켓은
component.aggrega.ai/category=ai-tool, tool.aggrega.ai/transport=http를 선택합니다. 범주 요구 사항은 도구만 허용하고, 전송 요구 사항은 HTTP로 접근하는 도구만 허용하므로, 이러한 소켓을 해당 라벨이 없는 도구에 연결하면 해당 소켓을 명시하는 셀렉터 위반으로 중단됩니다. 셀렉터는 라벨을 읽을 뿐 값의 내용은 읽지 않으므로, 도구에 접근하는 방식은 게시된 값이 아니라 라벨이어야 합니다. 컴파일러는 이 값을 불투명한 문자열로 취급하며 그 주소에서 무엇이 응답하는지는 전혀 검사하지 않습니다. - 표준 라이브러리가 갖추고 있는 것.
core/ai-tool/mcp는http를 가집니다. 이 구성 요소는 Model Context Protocol 서버를 에이전트에 연결하며, 그 서버가 어떻게 구현될지는 Manifest가 선택합니다.helm/mcp와compose/mcp는 HTTP로 프로토콜을 제공하는 이미지를 실행하고,helm/mcp-stdio-bridge와compose/mcp-stdio-bridge는 stdio만 사용하는 패키지를 HTTP로 제공하는 고정된 브리지 뒤에서 실행하며,helm/mcp-remote와compose/mcp-remote는 다른 누군가가 운영하는 서버에 접속할 뿐 아무것도 실행하지 않습니다. 모든 구현은 동일한host,port,endpoint,protocol,credential_header를 게시하므로, 구현이 바뀌어도 소비자의 연결은 바뀌지 않습니다. 서버 자체의 자격 증명은 환경 변수로, 도구의server_env슬롯에 보관됩니다. Kubernetes에서는 참조로 브리지에 전달되고, Docker Compose에서는 전달된 그대로 서비스의 환경에 기록되며, 이때 Compose 변수 참조를 쓰면 자격 증명이 파일에 들어가지 않습니다. 원격 서버의 자격 증명은 소비자가 도구로의 자신의 연결에 보관하며,credential_header가 지정하는 헤더로 제시됩니다. Release가 다른 헤더를 지정하지 않으면Authorization입니다. 원격 서버가 자신의 주소에서 키를 읽는 경우, 소비자는 그 연결에 주소 전체도 보관합니다. 이는 Kubernetes에서는 Secret 참조로, Docker Compose에서는 Compose 변수 참조로 채워지는endpoint슬롯에 담기므로 키가 렌더링된 파일에 도달하지 않으며, 도구의infra.endpoint는 키를 담은 부분을 제외한 주소를 보관합니다. examples/mcp-address-from-secret에서 두 가지를 모두 빌드합니다.core/ai-agent/openai-agents-sdk,core/ai-agent/claude-agent-sdk,core/ai-agent/agent-framework,core/ai-agent/google-adk,core/ai-agent/mastra, 그리고 플로우 플랫폼core/ai-agent/flowise와core/ai-agent/n8n은 이 형식의 도구 소켓tools를 선언하고, 연결된 각 도구의 주소와 연결의 자격 증명(참조로)을 연결의 별칭으로 이름 붙인 변수로 전달합니다. 다만inject:블록을 작성하는 연결은 도구가 게시하는 것에서 파생된 변수 대신 그 블록이 지정하는 것을 받으며, 그credential및endpoint슬롯이 담은 것은 별칭의 이름 아래에 그대로 남습니다. 자체 소비자도 같은 방식으로 소켓을 선언합니다. 세 플로우 플랫폼은 각각 Aggregate에서 작성된 플로우를 배포 시 두 대상 모두에서 플랫폼으로 옮깁니다. Langflow는 시작할 때마다 플로우 디렉터리에서 옮겨진 정의를 불러오고, Flowise의 chatflow는 Release가 지정한 소유자 계정으로 로그인한 일회성 단계가 시드하며, n8n의 workflow는 플랫폼 시작 전에 init 단계가 가져옵니다.core/ai-agent/langflow는 같은 형식의tools소켓을 선언하되, 이 소켓은inject:블록을 허용하지 않으며, 각 연결을 그 플로우를 통해 전달합니다. Langflow의 MCP Tools component는 서버 주소를 Langflow 자체 설정이나 플로우에서만 받고 변수에서는 절대 받지 않기 때문입니다. 그 Recipes는 연결의 별칭으로 이름 붙은 서버를 가진 MCP Tools 노드에 도구의 주소를 기록하고, 연결의 자격 증명을 그 노드의 헤더가 지정하는 변수로 참조를 통해 전달하며(Authorization아래에Bearer와 자격 증명을 담은 변수), 연결된 도구와 저장소의 호스트가 사설 주소에 대한 Langflow의 차단을 통과하도록 허용합니다. 세 플랫폼은 모두datastore.aggrega.ai/engine in (vector, semantic-memory, search)를 선택하는vector_store소켓도 선언하며, 이 소켓은 연결된 각 저장소의 주소(게시하는endpoint로,core/datastore/pgvector의 경우 비밀번호가 없는 연결 URI, 또는 프로토콜·호스트·포트로 구성한 주소)와 연결의 자격 증명을 참조로 같은 방식으로 전달합니다.core/datastore/pgvector처럼 데이터베이스와 사용자도 게시하는 저장소는 Flowise와 n8n에 그 부분들로도 전달됩니다. 두 플랫폼의 PostgreSQL 벡터 노드 모두 연결 문자열을 받지 않기 때문입니다. 하나의 문자열을 받는 PGVector component를 가진 Langflow는 그러한 저장소를AGGREGA_VECTOR_STORE_<ALIAS>_CONNECTION_STRING으로 받으며, 연결의 자격 증명이 그 비밀번호가 되고, Kubernetes에서는 참조로, Docker Compose에서는 전달된 그대로 받습니다. Flowise chatflow는 전달된 변수를 Flowise의 Variables 페이지에서 만든 같은 이름의 Runtime 변수를 통해 읽으며, n8n workflow는 Aggregate가 플랫폼의allow_env_access_in_nodes값을 설정한 경우에만$env를 통해 읽습니다. 기본적으로 그 Recipes는 노드에서의 환경 접근에 대한 n8n의 차단을 유지하기 때문입니다.
2. 포트 추상화(제로 포트 관례)
오픈 소스 Aggrega 표준 라이브러리 카탈로그는 Components의 인지 계층에서 물리적 포트 선언을 생략하고, 대신 Ops Recipe를 통해 포트를 선택하도록 권장합니다. 이 권장을 따르는 작성자는 배포 대상 간 포트 충돌을 피하고, Injection Contract를 우회하는 백도어 API를 막으며, 프로바이더 간 네트워크 구성을 유연하게 유지합니다. 컴파일러 자체는 포트에 구애받지 않으며, 해석된 JSON Schema가 허용하는 값이면 무엇이든 전달합니다. 이 관례에는 물리적 포트를 옮길 수 없는 레거시 시스템을 위한 명시적인 탈출구가 있습니다.
- 클라우드 네이티브 기본값(동적 주입): 현대적인 워크로드의 경우, Components는
schema:선언에서 물리적 포트를 완전히 생략합니다(ports또는expose배열 없음). Platform Ops Recipes가 내부 TCP/UDP 포트를 선택하여 명명된provides키로 게시하고, 다운스트림 소비자는.context.usesInjection Contract를 통해 이를 읽습니다. - 레거시 탈출구(명시적 선언): 레거시 구성 요소가 변경할 수 없는 하드코딩된 포트를 가진 경우, Platform Architect는 Component의
schema:선언 안에port필드를 명시적으로 노출합니다. 이를 통해 Developer는 물리적 제약을 검증된 방식으로 선언할 수 있습니다. 컴파일러는 값을 파이프라인 전체에 변경 없이 전달하며, Recipe는{{ .values.port }}로 이를 사용합니다. - 운영 포트(대역 외): 클러스터 인프라만 사용하는 포트(예: Prometheus 스크래핑, Envoy 사이드카 메트릭)는 Developer의 인지 계층에서 숨겨진 상태로 유지됩니다. 이러한 포트는 Platform Ops가 Features를 통해 대역 외로 주입합니다(예: 스크레이프 포트가 운영자
infra인core/prometheus-exporterFeature 연결).
3. 도메인 특화 스키마(구성 인텔리전스)
개발자의 values 블록(Go 컴파일러에는 불투명하지만 Component의 schema: 선언으로 엄격하게 타입이 지정됨)은 명시적인 AI 워크플로를 지원하도록 검증됩니다.
- 에이전트 링크(의존성 배열): 표준 라이브러리의 공유 에이전트 매개변수 스키마는 에이전트가 호출하거나 위임할 수 있는 카탈로그 Components를 지정하는
values배열로tools_allowed와agents_allowed를 가집니다. 이는 문서화된 관례이며 컴파일러는 이를 평가하지 않습니다. 컴파일러가 토폴로지 엣지로 연결하는 링크는 에이전트의 Component가usesSchema에 선언하는uses소켓이며, 빌드가 검사하는 것은 그 소켓의 셀렉터입니다. - 심층 인지 메모리 분할(CoALA): 하나의 평면적인 메모리 버킷 대신, Architect는
cognitive_memory소켓을 선언할 수 있으며, 그 연결은 Semantic, Episodic, Procedural 메모리를 명시적인 토폴로지 엣지로서 서로 다른 인프라 대상에 매핑하므로 정책 엔진이 세분화된 접근 가드레일을 평가하고 강제할 수 있습니다(예: 에이전트가 Semantic 메모리를 읽을 수는 있지만, 탈취되더라도 덮어쓸 수는 없도록 보장). 표준 라이브러리는 그러한 소켓을 선언하지 않습니다. - 멀티모달 파이프라인: Component의
schema:는document_chunking,embedding_generation,storage_routing같은 명시적 실행 단계를 타입이 지정된values로 선언할 수 있으므로, 선언적 데이터 흐름이 무엇이든 렌더링되기 전에 검증됩니다. 표준 라이브러리는 그러한 단계를 선언하지 않습니다.
4. 게이트웨이 인텔리전스와 라우팅
표준 라이브러리의 AI 게이트웨이는 LLM API로 요청을 라우팅하기 위한 제어 기능을 제공합니다. 클러스터 안에서 실행되는 core/gateway/litellm, 그리고 두 가지 호스팅 서비스가 있습니다. 하나는 Cloudflare의 호스팅 게이트웨이인 core/gateway/cloudflare-ai-gateway로, terraform Recipe가 이를 Cloudflare 계정에 생성합니다. 다른 하나는 Azure API Management의 AI 게이트웨이인 core/gateway/azure-api-management로, terraform Recipe가 모델을 제공하는 API를 그 백엔드 및 정책과 함께 이미 존재하는 API Management 인스턴스에 추가합니다. 각 호스팅 게이트웨이의 helm 및 compose Recipes는 이미 구성되어 있는 게이트웨이를 참조합니다. 일부 제어 기능은 게이트웨이 자체의 값이고 일부는 게이트웨이에 연결되는 Features이며, 아래의 각 Feature는 표준 라이브러리가 어느 게이트웨이에서 이를 구현하는지 설명합니다. 호스팅 게이트웨이에서는 모든 제어 기능이 게이트웨이 자체 구성(Cloudflare 게이트웨이 리소스의 설정, Azure API Management에서는 API 정책의 요소)에 기록되므로 terraform Recipe만 이를 담을 수 있으며, helm 및 compose Recipes는 어떤 연결이든 있으면 빌드를 중단합니다. 아래에서 “AI 게이트웨이”는 core/gateway/litellm, “호스팅 게이트웨이”는 core/gateway/cloudflare-ai-gateway를 가리키며, Azure API Management의 게이트웨이는 전체 이름으로 부릅니다.
Aggrega 외부, 실행 시점
에이전트
게이트웨이에 연결된 model 소켓
AI 게이트웨이
연결된 컨트롤과 함께
토큰 예산
시맨틱 캐시
프롬프트 인젝션 방어
모델
게이트웨이 뒤의 프로바이더
에이전트의 요청은 model 소켓이 연결된 게이트웨이를 거치므로, 게이트웨이에 연결된 모든 컨트롤은 에이전트와 모델 사이에 위치합니다. 여기에 그려진 세 가지는 Features core/period-budget, core/semantic-caching, core/prompt-injection-shield이며, 하나의 게이트웨이 구성이 아니라 각각의 위치를 보여 주기 위해 나란히 표시했습니다. 어떤 게이트웨이가 각 컨트롤을 구현하고 무엇이 빌드를 중단시키는지는 아래 항목에서 설명합니다.
-
뒤에 있는 모델: AI 게이트웨이의 모델 맵, 즉 게이트웨이가 제공하는 별칭과 각 별칭에 대한 요청이 전달되는 업스트림은 두 부분으로 이루어집니다. 게이트웨이의
models소켓에 연결된 모델 컴포넌트는 관리형이든 자체 호스팅이든 연결의 별칭으로 제공되며, 그 항목은 모델이 게시하는endpoint와model에서 작성됩니다. 이 값들은 컴파일러가 게이트웨이 구성으로 전달할 뿐 해석하지 않는 문자열입니다. 따라서 모델은 그래프의 컴포넌트이며 자체 엣지를 통해 도달합니다. 게이트웨이는 이러한 모델을 OpenAI API로만 프록시에 설명하므로,model.aggrega.ai/api가openai가 아닌 모델에 도달하는 연결은 해당 연결을 명시하며 빌드를 중단합니다. 다른 부분은 게이트웨이의values.models로, 프록시 자체의 provider/model 표기법으로 직접 입력하는 항목입니다. 카탈로그가 모델링하지 않는 업스트림, 자체 API가 OpenAI API가 아닌 공급자, 그리고 하나의 별칭을 공유하는 여러 항목에 사용합니다. 연결된 모델은 각각 자기 연결의 별칭으로 제공되므로 별칭을 공유할 수 없습니다. 연결된 항목은 아래 “호출자가 제시하는 키”에서 설명하는 대로 자기 연결이 담은 자격 증명을 제시하며, 게이트웨이의provider_key는 결코 제시하지 않습니다. 직접 입력한 항목은 모두 그 슬롯의 단일 자격 증명을 제시합니다. 두 부분이 모두 게시하는 별칭은 그 별칭을 명시하며 빌드를 중단하고, 어느 부분도 모델을 제공하지 않는 게이트웨이도 마찬가지입니다. -
에이전트의 경로에서: 게이트웨이는 모델 컴포넌트가 게시하는 키인
endpoint와model을 게시하고model.aggrega.ai/api: openai를 담고 있으므로, 에이전트의model소켓은 게이트웨이를 직접 받으며 게이트웨이에 연결된 모든 제어 기능이 그 에이전트와 뒤의 공급자 사이에 놓입니다. 게이트웨이가 게시하는model은values.model이 지정하는 별칭이며, 맵의 어느 부분도 그 별칭을 게시하지 않으면 빌드가 중단됩니다. 이 값은 게이트웨이가 단일 별칭만 제공하고values.models의 항목이 그 별칭을 게시하는 경우에만 생략할 수 있으며, 그때는 그 별칭이 게시됩니다. 맵이 게시하는 다른 별칭을 원하는 호출자는 같은 엔드포인트에 이름으로 요청합니다.core/gateway/cloudflare-ai-gateway도 같은 두 키, 즉 Cloudflare 계정과 게이트웨이 id로 구성한 게이트웨이 엔드포인트 중 하나의 주소와, 게이트웨이가 검사 없이 전달하는 호출자가 요청하는 모델을 게시하지만model.aggrega.ai/api는 담지 않으므로 에이전트의model소켓은 이를 받지 않습니다.core/gateway/azure-api-management도 이 키들, 즉 인스턴스 호스트와 API 경로로 구성한 API 주소와, 검사 없이 전달되는 호출자가 요청하는 모델을 게시하며, 역시model.aggrega.ai/api를 담지 않습니다. 이 API는 OpenAI chat completions 요청에 응답하지만, 기본적으로 호출자는 OpenAI의 bearer 토큰 대신 자체 헤더에 API Management 구독 키를 제시하므로 일반 OpenAI 클라이언트만으로는 호출할 수 없습니다. -
모델 앞의 Kong: 오픈 소스 Kong 게이트웨이인
core/gateway/kong은 자체models소켓에 연결된 모델을 Kong의 AI 프록시로 제공하며, 아래 제어 기능 중에서는 프롬프트 거부 패턴만을 각 연결된 모델의 모든 라우트에 Kong의 AI Prompt Guard로 구현합니다. 연결된 각 모델은 모델이 게시하는endpoint와model에서 작성되는 chat 라우트와 completion 라우트를/<alias>/v1아래에 받으며, Recipes는 게이트웨이가 시작되기 전에 그 라우트를 게이트웨이의 PostgreSQL 백엔드로 가져옵니다. 라우트가 모델을 선택하므로, 요청은 어떤 모델 이름을 담고 있든 경로가 지정하는 모델로 전달됩니다. 게이트웨이는 각 연결의 자격 증명을 구성이 게이트웨이 환경에서 이름으로 읽는 bearer 토큰으로 제시하며,model.aggrega.ai/api가openai가 아닌 모델에 도달하는 연결은 빌드를 중단합니다. 게이트웨이는values.model이 지정하는 별칭의 라우트를endpoint로, 그 별칭을model로 게시하고model.aggrega.ai/api: openai를 담으므로, 에이전트의model소켓은 AI 게이트웨이를 받듯이 이를 받습니다. 그 소켓에 아무것도 연결되지 않으면 게이트웨이는 모델을 제공하지 않고 두 키를 비워 게시하며, 그때 연결된 에이전트는 주소도 모델 이름도 읽지 못합니다. 가져오기는 라우트를 추가하고 갱신할 뿐 제거하지 않으므로, 연결이 제거된 라우트는 계속 응답하고,core/prompt-deny-patterns연결이 작성한 프롬프트 가드는 연결이 제거된 후에도 계속 거부하며, 각각을 Kong의 Admin API로 삭제할 때까지 유지됩니다. 같은 이유로 게이트웨이는 호출자를 선언하지 않으며 모델 라우트는 호출자의 키를 검사하지 않습니다. Kong은 인증 플러그인이 지정하는 consumer로만 호출자를 구별하는데, 한 번 가져온 consumer와 그 키는 호출자가 Release에서 제거된 후에도 계속 인증할 수 있고 키를 교체해도 이전 키가 계속 작동하게 됩니다. 또한 key-auth 키는 참조로 보관할 수 없으므로, 호출자의 키는 렌더링된 파일 안의 리터럴로만 Kong에 전달될 수 있습니다. -
모델 앞단의 Kong Gateway Enterprise:
core/gateway/kong-enterprise는 동일한 데이터베이스 기반 게이트웨이의 Kong 유료 에디션으로, 자체models소켓에 연결된 모델을core/gateway/kong이 제공하는 라우트에서 제공합니다. 이 라우트는 동일한 구성에서 작성되며, 게이트웨이가 시작되기 전에 게이트웨이 자체 파드의 한 단계가 PostgreSQL 백엔드로 가져옵니다.endpoint와model은 Kong과 같은 방식으로 게시합니다. 유일한 구현은 Kong 공식 Helm 차트 위의 차트 Recipe이며, compose 구현은 없습니다. Kong은 엔터프라이즈 이미지를 자체 약관에 따라 배포하므로 카탈로그는 이미지를 지정하지 않으며, 게이트웨이는 Release가infra.image에 지정한 이미지를 버전 태그까지 포함하여 실행합니다. 이 키가 설정되지 않았거나 태그에 버전이 없으면 빌드가 중단됩니다. 라이선스는 값으로 전달되지 않고, 필수license슬롯에 바인딩된 Secret을 참조하는 방식으로 게이트웨이에 전달되며, 이 슬롯에 아무것도 바인딩되지 않으면 빌드가 중단됩니다. 컴파일러는 라이선스를 검증하지 않고 벤더에 연결하지도 않으므로, Release가 문제없이 빌드되었다고 해서 라이선스에 대해 알 수 있는 것은 없습니다. Kong은 노드가 시작될 때 라이선스를 읽으며, 유효한 라이선스가 없는 노드는 라이선스가 만료된 경우와 똑같이 동작합니다. 즉 엔터티 구성은 읽기 전용이 되고 프록시 트래픽은 이미 적용된 구성으로 처리됩니다. Kong은 AI 플러그인을 AI Gateway Enterprise 상품으로 판매하는데, 이는 라이선스 내부의 권한으로 어떤 빌드도 확인할 수 없습니다. 또한 라이선스에 해당 권한이 없으면 Kong은 그 플러그인을 거부하지 않고 건너뜁니다. 따라서core/semantic-caching,core/period-budget,core/data-masking,core/fallback-chain,core/retry-policy또는core/target-selection을 연결하면, Release가infra.ai_gateway_entitled를true로 설정하여 라이선스에 그 권한이 있음을 확인할 때까지 빌드가 중단됩니다. 아래 제어 중 이 게이트웨이는 기간 예산과 폴백 체인을 구현하며, 각각 게이트웨이가 가져오는 라우트에 작성됩니다.core/data-masking은 아래 “Data Exfiltration & Payload Interception”에서 설명하는 방식으로 구현합니다. 시맨틱 캐시, 재시도 정책, 대상 선택의 구현은 모든 연결에서 각각 이유를 밝히며 빌드를 중단하고, 동시성 제한, 감사 로깅, 프롬프트 인젝션 검사, 응답 검증, 프롬프트 거부 패턴은 이 게이트웨이에 구현이 없으므로 이 중 어느 것을 연결해도 빌드가 중단됩니다. 라우트 집합이 바뀌면 게이트웨이가 롤링되며, 가져오기는 라우트를 추가하고 갱신할 뿐 제거하지 않습니다. 따라서 연결이 제거된 라우트와 AI Feature가 작성한 플러그인은 그 Feature가 제거된 뒤에도 Kong의 Admin API를 통해 삭제될 때까지 데이터베이스에 남습니다. 위 항목에서 설명한 이유로 이 게이트웨이도 호출자를 선언하지 않으며, 모델 라우트는 호출자의 키를 확인하지 않습니다. 실행 중인 게이트웨이가 이러한 제어를 실제로 적용하는지는 어떤 빌드도 관찰하지 않습니다. -
모델 앞단의 APISIX:
core/gateway/apisix는 오픈 소스 Apache APISIX 게이트웨이로, Manifest가 APISIX 3.18.0을 실행하는 차트 Recipe를 바인딩하는 경우 자체models소켓에 연결된 모델을 APISIX의 AI 프록시를 통해 제공합니다. 연결된 각 모델은/<alias>/v1아래에 채팅 라우트와 완성 라우트를 받습니다. 단, 기간 예산이나 프롬프트 거부 패턴이 연결된 동안에는 채팅 라우트만 받는데, APISIX는 완성 요청의 토큰을 세지 않고 프롬프트 가드도 완성 요청을 읽지 않기 때문입니다. 이 라우트는 모델이 게시하는endpoint와model로부터 게이트웨이와 함께 렌더링되는 라우트 파일에 작성되며, 게이트웨이는 시작할 때와 파일이 바뀔 때마다 이 파일을 읽습니다. 이 파일에서 라우트를 읽는 게이트웨이는 etcd를 읽지 않고 Admin API를 실행하지 않으므로, 모델이 연결된 경우etcd연결이나admin_key연결은 빌드를 중단시키고, 아무것도 연결되지 않은 경우에는 둘 다 필요합니다. 라우트가 모델을 선택합니다. 게이트웨이는 각 연결 자체의 자격 증명을 베어러 토큰으로 제시하며, 라우트는 이 토큰을 게이트웨이 환경에서 이름으로 읽습니다.model.aggrega.ai/api가openai가 아닌 모델에 도달하는 연결은 빌드를 중단시킵니다. 게이트웨이는values.model이 지정하는 별칭의 라우트를endpoint로, 그 별칭을model로 게시하고model.aggrega.ai/api: openai를 지니므로, 에이전트의model소켓은 AI 게이트웨이를 받아들이는 것과 같이 이 게이트웨이를 받아들입니다. 아무것도 연결되지 않으면 두 키를 모두 비워 게시합니다. 연결이 제거된 라우트는 다음 렌더링에서 사라집니다. Release는infra.callers에 게이트웨이의 호출자를,caller_keys슬롯을 통해 그 키를 지정할 수 있으며, 이 슬롯은 호출자 이름마다 데이터 키를 하나씩 담은 하나의 Secret입니다. 이 경우 각 호출자는 라우트 파일의 컨슈머가 되고 그 키는 해당 Secret에서 이름으로 읽히며, 모든 라우트는 선언된 키를 OpenAI 클라이언트가 키를 제시하는 방식인Authorization: Bearer <key>로 제시하지 않은 요청을 HTTP 401로 거부하고, 전달하는 요청에서 키를 제거합니다. 호출자가 없으면 라우트는 열려 있습니다. APISIX 3.17.0의 워크로드 Recipe는 라우트를 etcd에 보관하고 아무것도 렌더링하지 않으며, 해당 소켓에 대한 연결과infra.callers에서 빌드를 중단합니다. 아래 제어 중 이 게이트웨이는 기간 예산, 선언된 호출자에 대한 시맨틱 캐시, 프롬프트 거부 패턴을 구현합니다. -
모델 앞단의 Envoy Gateway:
core/gateway/envoy-gateway는 오픈 소스 Envoy Gateway로, 자체models소켓에 연결된 모델을 Envoy AI Gateway를 통해 제공합니다. 게이트웨이는 Envoy AI Gateway의 컨트롤러인core/gateway/envoy-ai-gateway-operator를extension소켓을 통해 확장 서버로 호출합니다. 이 소켓에 아무것도 없는 상태에서 모델을 연결하면 빌드가 중단되며, 컨트롤러가 연결된 경우 Release는 게이트웨이를envoy-gateway-system에 배치해야 하고 그렇지 않으면 빌드가 중단됩니다. 연결된 각 모델은 게이트웨이에 연결된 하나의 AI 라우트의 규칙이 되며, 요청이 지닌 모델 이름으로 선택되고, 백엔드는 모델이 게시하는endpoint와model로부터 작성됩니다. 따라서 연결된 모든 모델은 게이트웨이 자체 주소의/v1아래에서 제공됩니다. 게이트웨이는 각 연결 자체의 자격 증명을 베어러 토큰으로 제시하며, Envoy AI Gateway의 컨트롤러가 자격 증명이 지정하는 Secret에서 이를 읽습니다.model.aggrega.ai/api가openai가 아닌 모델에 도달하는 연결은 빌드를 중단시킵니다. 모델이 연결된 동안에는 게이트웨이의 모든 라우트가 Envoy AI Gateway가 구성하는 연결당 50Mi 요청 버퍼를 사용합니다. 게이트웨이는 어느 네임스페이스에서든 해석되도록envoy-gateway-system으로 한정한 자신의 주소를endpoint로,values.model이 지정하는 별칭을model로 게시하고model.aggrega.ai/api: openai를 지니므로, 에이전트의model소켓은 AI 게이트웨이를 받아들이는 것과 같이 이 게이트웨이를 받아들입니다. 아무것도 연결되지 않으면 두 키를 모두 비워 게시합니다. 컨트롤러의 웹훅은 cert-manager가 발급하는 인증서를 제공하므로 cert-manager가 클러스터에서 이미 실행 중이어야 합니다. 단, Release가 컨트롤러의infra.webhook_tls_secret에 운영자가 제공한 인증서를 담은 Secret을 지정하면 웹훅은 그 인증서를 제공합니다. 아래 제어 중 이 게이트웨이는 기간 예산, 재시도 정책, 동시성 제한을 구현하며, 각각 모델을 제공하는 라우트의 하나뿐인 트래픽 정책에 작성됩니다. 시맨틱 캐시와 응답 검증은 구현하지 않는데, Envoy AI Gateway는 이후 요청에 응답할 회신을 보관하지 않고 회신을 스키마에 대해 검사하지도 않기 때문입니다. 폴백 체인도 구현하지 않습니다. Envoy AI Gateway는 모델 규칙의 추가 백엔드로 재시도하는 방식으로 폴백하며, 게이트웨이는 하나뿐인 트래픽 정책의 재시도 횟수를 모델을 제공하는 라우트의 모든 규칙에 작성하므로, 폴백 목록은 연결된 모든 모델의 목록 길이가 같은 경우에만 정확히 그만큼 전송됩니다.core/audit-logging은 아래 “Audit logging”에서 설명하는 대로 액세스 로그로 구현하며, 그 로그가 보관할 수 없는 것은 이름을 밝혀 거부합니다. 즉 요청의 비용은 Envoy AI Gateway가 계산할 수 있는 요청당 비용에 단위가 없고 게이트웨이가 가격을 보관하지 않으므로 거부하고, 게이트웨이가 검증한 호출자는 그 경로에서 호출자를 검증하는 것이 없으므로 거부하며, 보존 기간은 그 로그에 저장소와 보존 설정이 없으므로 거부합니다. examples/envoy-ai-gateway-token-budget은 에이전트가 게이트웨이를 통해 OpenAI의 관리형 모델에 도달하는 전체 경로를 빌드합니다. -
모델 앞단의 agentgateway: 오픈 소스 agentgateway인
core/gateway/agentgateway는 자신의models소켓에 연결된 모델을 Recipes가 렌더링하는 하나의 구성 파일로 제공합니다. 연결된 각 모델은 해당 파일의 항목이며, 연결의 별칭으로 이름이 지정되고 모델이 게시하는endpoint와model로부터 채팅 완성의 OpenAI 호환 provider로 작성됩니다. 따라서 연결된 모든 모델은 게이트웨이 자체 주소의/v1아래에서 제공되며, 요청이 담은 모델 이름이 모델을 선택합니다. 요청은 모델이 게시하는 모델 이름을 요청하며 모델에 도달하고, 어떤 연결도 담지 않은 이름에는 HTTP 404로 응답합니다. 게이트웨이는 각 연결의 자체 자격 증명을 bearer 토큰으로 제시하며, 파일은 이를 게이트웨이가 파일을 읽을 때 환경에서 읽는 변수로 지정합니다. 환경에 해당 변수가 없으면 게이트웨이가 시작되지 않으며,model.aggrega.ai/api가openai가 아닌 모델에 도달하는 연결은 빌드를 중단시킵니다. 게이트웨이는 그/v1기본 URL을endpoint로,values.model이 지정하는 별칭을model로 게시하고model.aggrega.ai/api: openai를 지니므로, 에이전트의model소켓은 AI 게이트웨이를 받아들이듯 이를 받아들입니다. 연결된 것이 없으면 두 키를 모두 비워 게시합니다. 두 Recipes는 다이제스트로 고정된 동일한 이미지를 실행합니다.agentgateway-chart는 프로젝트 레지스트리에서 가져온 프로젝트의 독립형 Helm 차트를 렌더링하고 아래 제어를 실현하며,agentgateway는 이미지를 하나의 Docker Compose 서비스로 실행하고 그 제어도 호출자도 실현하지 않으므로, 그곳에 연결하면 그 유형을 지명하며 빌드가 중단됩니다. 빌드가 해당 레지스트리에 도달할 수 있는 Kubernetes에서는 차트를 사용하십시오. 차트에서 Release는 APISIX에서와 같이infra.callers에 게이트웨이의 호출자를,caller_keys슬롯을 통해 그 키를 지정할 수 있습니다. 각 호출자는 파일의 API 키가 되며 strict 모드로 검사되고 해당 Secret에서 이름으로 읽히므로, 선언된 키를Authorization: Bearer <key>로 제시하지 않는 모델 요청은 HTTP 401로 거부되고, 키는 전달되는 요청에서 제거됩니다. 호출자가 없으면 모델 경로는 열려 있습니다. agentgateway는 파일이 이런 방식으로 지정하는 각 키(두 Recipe 모두에서 연결된 모델의 키, 차트에서 호출자의 키)를 파일을 YAML로 읽기 전에 파일의 텍스트에 넣으므로, 키는 일반 토큰(문자, 숫자 및-,.,_,~,+,/,=)이어야 하며 다른 문자는 다른 키로 로드되거나 게이트웨이를 멈출 수 있습니다. 게이트웨이는 파일이 변경되면 다시 읽으므로, Release에서 제거된 호출자는 마운트된 파일이 업데이트되면 거부됩니다.core/audit-logging또는 범위가caller인core/period-budget가 연결되어 있는 동안, 차트 Recipe는 게이트웨이에 자체 볼륨의 SQLite 파일인 저장소를 부여하고 하나의 레플리카를 실행합니다. 아래 제어 중 데이터 마스킹, 프롬프트 거부 패턴, 기간 예산, 감사 로깅, 재시도 정책을 각각 파일에 작성하여 실현하며, 유지할 수 없는 각 값은 이름을 들어 거부합니다. 데이터 마스킹은 요청의 시스템 및 개발자 프롬프트, 그 밖의 메시지, 도구 호출의 인수와 결과, 그리고 전체가 한꺼번에 도착하는 응답의 메시지 텍스트에서 연결이 나열하는 패턴과 일치하는 각 부분을<masked>로 대체하거나,refuse에서는 요청이나 응답에 HTTP 403으로 응답합니다. 엔터티 유형은 인식하지 않으며 아무것도 복원하지 않습니다. agentgateway는 스트리밍 응답을 마스킹하지 않으므로, 응답이 마스킹되는 동안 스트리밍 응답을 요청하는 모델 요청은 전달되기 전에 HTTP 403으로 거부되며, 스트리밍 여부와 관계없이 본문이 게이트웨이가 해당 검사를 위해 읽는 2 MiB보다 큰 모델 요청도 마찬가지입니다. 거부 패턴에 의한 것을 포함하여 가드에 의한 거부는 본문 “The request was rejected due to inappropriate content”가 담긴 HTTP 403입니다. 예산, 기록, 재시도는 아래 “Period budget”, “Audit logging”, “Resilience”에서 설명합니다. 폴백 체인, 대상 선택, 시맨틱 캐시, 응답 검증, 프롬프트 인젝션 차단의 실현은 모든 연결을 중단시키며 각각 그 이유를 밝힙니다. 동시성 제한은dataplane.aggrega.ai/concurrency-cap값을 지니지 않으므로 연결되지 않습니다. -
모델 앞단의 Traefik Hub: Traefik의 유료 게이트웨이인
core/gateway/traefik-hub는 Traefik Hub의 Chat Completion 미들웨어를 통해 자신의models소켓에 연결된 모델을 제공합니다. 유일한 실현은 Traefik 자체 Helm 차트 위의 차트 Recipe이며, compose 실현은 없습니다. Traefik은 Traefik Hub를 자체 약관에 따라 배포하므로 카탈로그는 이미지를 지정하지 않으며, 게이트웨이는 Release가infra.image에 지정하는 이미지를 태그를 포함하여 실행합니다. 해당 키가 설정되지 않았거나 태그를 지정하지 않으면 빌드가 중단됩니다. 라이선스 토큰은 값으로 전달되지 않고, 필수license슬롯에 바인딩된 Secret을 참조하여 데이터 키token아래로 게이트웨이에 전달되며, 해당 슬롯에 바인딩된 것이 없거나 Secret이 다른 데이터 키를 게시하면 빌드가 중단됩니다. Traefik은 게이트웨이가 토큰을 검증하는api.traefik.io로의 아웃바운드 HTTPS를 요구합니다. Traefik Hub v3.21부터 게이트웨이는 해당 호스트에 도달할 수 없는 동안에도 백그라운드에서 재시도하며 서비스를 제공하고, 토큰은 기본적으로 1년 동안 유효하며 만료되면 게이트웨이가 멈춥니다. 차트 Recipe는 게이트웨이의 오류 로그를 Traefik 플랫폼으로 내보내는 차트의 기능과 새 릴리스 확인 기능을 끕니다. 컴파일러는 토큰을 검증하지 않고 어떤 벤더와도 통신하지 않으므로, 깔끔하게 빌드되는 Release는 게이트웨이가 시작되는지에 대해 아무것도 말해 주지 않습니다. 연결된 각 모델은/<alias>/v1/chat/completions에 경로를 받으며, 이 경로는 ExternalName 유형의 Service를 통해 모델이 게시하는endpoint로 전송되고 요청이 담은 모델 이름과 관계없이 모델이 게시하는model을 요청하므로, 경로가 모델을 선택합니다. 채팅 완성만 제공합니다. 게이트웨이는 각 연결의 자체 자격 증명을 bearer 토큰으로 제시하며, Traefik Hub는 이를 연결의 Chat Completion 미들웨어가 지정하는 Secret에서 읽습니다.model.aggrega.ai/api가openai가 아니거나 엔드포인트가 호스트가 아닌 주소를 지정하는 모델에 도달하는 연결은 빌드를 중단시킵니다. 게이트웨이는values.model이 지정하는 별칭의 경로를endpoint로, 그 별칭을model로 게시하고model.aggrega.ai/api: openai를 지니므로, 에이전트의model소켓은 AI 게이트웨이를 받아들이듯 이를 받아들입니다. 연결된 것이 없으면 두 키를 모두 비워 게시합니다. Release는infra.callers에 게이트웨이의 호출자를,caller_keys슬롯을 통해 그 키의 htpasswd 해시를 지정할 수 있습니다. 그러면 Traefik Hub의 API Key 미들웨어가 모든 모델 경로의 앞에 놓여 선언된 키를Authorization: Bearer <key>로 제시하지 않는 요청을 거부하고, 키는 전달되는 요청에서 제거됩니다. 호출자가 없으면 경로는 열려 있습니다. 존재하지 않는 Secret이나 데이터 키를 지정하는 호출자 항목을 Traefik Hub가 어떻게 처리하는지는 레퍼런스에 명시되어 있지 않으므로, 최악의 경우 경로는 호출자가 없을 때만큼 열려 있습니다. 아래 제어 중 기간 예산, 선언된 호출자를 위한 시맨틱 캐시, 프롬프트 거부 패턴, 데이터 마스킹은 Traefik Hub AI 게이트웨이의 미들웨어를 통해, 폴백 체인과 재시도 정책은 Traefik 자체의 페일오버와 재시도를 통해 실현하며, 각각 차트 Recipe가 렌더링하는 경로에 작성됩니다. AI 게이트웨이는 어떤 빌드도 볼 수 없는 라이선스 내부의 사용 권한이며, 라이선스에 이 권한이 없는 유효한 토큰을 Traefik Hub가 어떻게 처리하는지는 문서화되어 있지 않으므로, 처음 네 가지 중 하나를 연결하면 Release가infra.ai_gateway_entitled를true로 설정할 때까지 빌드가 중단됩니다. 프롬프트 인젝션 차단, 감사 로깅, 대상 선택, 응답 검증의 실현은 모든 연결을 중단시키며 각각 그 이유를 밝힙니다. 동시성 제한은dataplane.aggrega.ai/concurrency-cap값을 지니지 않으므로 연결되지 않습니다. 실행 중인 게이트웨이가 이러한 제어를 시행하는지는 어떤 빌드도 관찰하지 않습니다. -
모델 앞단의 Higress:
core/gateway/higress는 Envoy를 기반으로 구축되고 Kubernetes 리소스로 구성되는 오픈 소스 Higress 게이트웨이로, 자신의models소켓에 연결된 모델을 Higress의 AI 프록시를 통해 제공합니다. 유일한 구현은 프로젝트 자체의higress-coreHelm 차트를 기반으로 하는 차트 Recipe이며, 이 차트는 Higress의 컨트롤러를 디스커버리 서비스와 함께 실행하고 게이트웨이도 실행합니다. compose 구현은 없습니다. 프로젝트가 compose 배포판을 주로 로컬 테스트용으로 의도하며, 그 배포판은 자체 저장소로 구성되는 여러 협력 서비스를 실행하기 때문입니다. Recipe는 차트, 이미지, 그리고 자신이 작성하는 모든 플러그인 모듈을 고정하며,infra.source_version에는 구성이 검증된 차트 버전만 허용합니다. 게이트웨이는 실행 시점에 Higress 플러그인 레지스트리에서 그 모듈들을 가져오며, 클러스터는 이 레지스트리에 접근할 수 있어야 하고 빌드는 이를 확인할 수 없습니다. 컨트롤러는 게이트웨이와 해당 네임스페이스의 이름을 딴 IngressClass 아래에서 Release의 네임스페이스만 감시하므로, 한 네임스페이스에 있는 두 Higress 게이트웨이는 충돌합니다. 각 별칭은/<alias>/v1에 라우트를 받으며, 이 라우트는 게이트웨이 자체 레지스트리의 항목을 통해 해당 별칭의 모델이 게시하는endpoint로 전송되고, 요청이 어떤 모델 이름을 담고 있든 그 모델이 게시하는model을 요청하므로 경로가 모델을 선택합니다.serves값에 같은 별칭을 지정하는 연결들은 그 별칭의 요청을 균등하게 나누어 받습니다. 게이트웨이는 각 연결 자체의 자격 증명을 bearer 토큰으로 제시하며, Higress 컨트롤러는 이 자격 증명을 AI 프록시의 구성이 지정하는, 게이트웨이 네임스페이스의 Secret에서 읽어 게이트웨이에 전달하므로 키는 렌더링된 어떤 파일에도 없습니다. Higress는 이름을 첫 번째 점까지만 읽기 때문에 점이 포함된 Secret 이름은 빌드를 중단시키며, 자격 증명을 갖지 않은 연결은 요청이 제시하는 키를 그대로 전달합니다. Higress의 AI 프록시는 클라이언트가 보내는Authorization헤더를X-HI-ORIGINAL-AUTH헤더로도 복사하며, 모든 모델 라우트는 요청이 모델에 도달하기 전에 이 복사본을 제거하므로 클라이언트가 제시한 키가 연결 자체의 자격 증명과 함께 전송되는 일은 없습니다. https에서 게이트웨이는 클라이언트가 보낸 호스트가 무엇이든 모델의 인증서가 시스템의 신뢰 앵커로 연결되고 모델의 호스트를 명시하는지 확인하며, 그렇지 않으면 모델에 아무것도 보내지 않습니다. Recipe는 연결이 모두 https인 모든 별칭의 라우트에 Higress의higress.io/backend-protocol: HTTPS어노테이션을 표시하므로, 게이트웨이는 AI 프록시가 각 요청에 기록하는 호스트, 즉 모델의 호스트(점이 없으면 모델의 네임스페이스로 한정됨)에서 서버 이름을 가져와 인증서를 그에 대해 확인합니다. 이 어노테이션은 별칭의 모든 연결에 적용되므로, http와 https 연결을 섞은 별칭은 두 연결을 모두 명시하며 빌드를 중단시킵니다. 두 별칭으로 나누어 제공하면 해소됩니다.model.aggrega.ai/api가openai가 아니거나 엔드포인트가 호스트가 아닌 주소를 지정하는 모델에 도달하는 연결은 빌드를 중단시킵니다. 게이트웨이는values.model이 지정하는 별칭의 라우트를 자신의endpoint로, 그 별칭을 자신의model로 게시하고model.aggrega.ai/api: openai를 지니므로, 에이전트의model소켓은 AI 게이트웨이를 받아들이듯 이를 받아들입니다. 아무것도 연결되지 않으면 두 키를 모두 비워 게시합니다. 호출자를 선언하지 않으므로 모델 라우트는 어떤 호출자의 키도 확인하지 않으며, 게이트웨이가 검증한 호출자를 필요로 하는 값은 이름을 명시하여 거부됩니다. 아래 제어 중 기간 예산, 감사 로깅, 재시도 정책을 구현하며 각각 모델 라우트에 기록되고,core/data-masking은 아래 “Data Exfiltration & Payload Interception”에서 설명하는 대로 구현합니다. 응답 검증, 폴백 체인, 시맨틱 캐시, 프롬프트 인젝션 검사, 대상 선택의 구현은 모든 연결을 중단시키며 각각 그 이유를 명시합니다. 또한dataplane.aggrega.ai/prompt-guard또는dataplane.aggrega.ai/concurrency-cap값을 지니지 않으므로 프롬프트 거부 패턴과 동시성 제한 모두 이 게이트웨이에 연결되지 않습니다. 실행 중인 게이트웨이가 이러한 제어를 실제로 적용하는지는 어떤 빌드도 관찰하지 않습니다. -
모델 앞단의 Azure API Management:
core/gateway/azure-api-management는 호스팅 서비스인 Azure API Management의 AI 게이트웨이로, 이미 존재하는 API Management 인스턴스의 API를 통해 하나의 모델 API를 제공합니다. 이 게이트웨이의 terraform Recipe는 인스턴스를 읽고 API, 그 chat completions 작업, 전달 대상 백엔드, 그리고 API의 정책을 추가합니다. 이 정책은 전달하는 내용에서 호출자의 구독 키를 제거하고,infra.backend_authentication이 지정하는 방식, 즉 인스턴스의 관리 ID, Key Vault에 보관된 공급자 키, 또는 인증 없음으로 모델 API에 인증합니다. helm 및 compose Recipes는 Release 밖에서 구성된 API를 참조하며, 어떤 연결이든 빌드를 중단시킵니다. 아래 제어 중 terraform Recipe는 시맨틱 캐시, 기간 예산, 프롬프트 인젝션 검사, 재시도 정책을 구현하며 각각 API의 정책에 기록됩니다. 동시성 제한은 구현하지 않습니다. Microsoft는 동시성 정책이 적용하는 상한이 결코 완전히 정확하지 않으며 한 지역에서 여러 용량 단위가 실행되면 더 낮아진다고 설명하기 때문입니다. 폴백 체인도 구현하지 않습니다. API는 하나의 백엔드로 전달하며, Azure 자체의 폴백인 백엔드 풀의 우선순위 그룹은 실패한 요청을 다른 모델로 보내는 대신 회로 차단기가 작동한 백엔드에서 이후 요청을 옮기기 때문입니다.core/audit-logging의 구현은 모든 연결을 중단시키며, 범위 밖의 것을 명시합니다. 즉, 인스턴스의 진단 설정이 켜는 로그 자체,require_cost가 켜져 있을 때의 요청 비용(Azure의 모델 요청 로그는 토큰 수와 모델을 기록할 뿐 가격은 기록하지 않음), 그리고retention_days가 주어진 경우의 보존 기간(행은 그것이 저장되는 Log Analytics 작업 영역이 보관하는 동안 유지됨)입니다. 정책이 Microsoft의 문서대로 적용되고 시행되는지는 어떤 빌드도 관찰하지 않습니다. -
호출자가 제시하는 키: 호출자가 제시하는 키를 확인하는 서버는 그 키를 자체 슬롯에 보관하며, 키를 확인하는 각 모델 서빙 대상에서 이 슬롯의 이름은
api_key입니다. 해당 대상은core/ai-model/vllm,tei,tgi, LiteLLM 모델, 그리고 AI 게이트웨이이며, AI 게이트웨이에서 이 키는 LiteLLM이 마스터 키라고 부르는 키입니다. 각 서버의 Recipes는 서버가 읽는 변수로 키를 전달합니다.core/gateway/apisix와core/gateway/agentgateway는 각각 자신의 Release가infra.callers에 지정하는 호출자마다 키 하나를caller_keys슬롯에 보관합니다. 이 슬롯은 각 호출자의 키를 그 호출자의 이름 아래에 담은 하나의 Secret입니다.core/gateway/traefik-hub도 같은 방식으로 호출자를 보관하지만, 그 Secret은 각 호출자 키의 htpasswd 해시를 담고 있어 키 검사가 제시된 키를 이 해시와 비교하므로, 호출자가 키를 제시할 때 사용하는 Secret은 아닙니다. 호출자는 자신이 제시하는 키를 자기 쪽, 즉 키를 제시하는 연결에서 소켓이 선언하는 슬롯에 보관합니다. 표준 라이브러리 에이전트는model소켓에credential슬롯 하나를 선언하고, AI 게이트웨이는models소켓과cache_store소켓에 선언하며(후자에서는 게이트웨이의 시맨틱 캐시가 저장소에 제시하는 비밀번호입니다),core/gateway/kong과core/gateway/kong-enterprise는models소켓에,core/gateway/apisix는models소켓과cache_store소켓에(후자에서는 마찬가지로 시맨틱 캐시가 저장소에 제시하는 비밀번호입니다),core/gateway/agentgateway는models소켓에,core/gateway/envoy-gateway는models소켓과cache소켓에(후자에서는 게이트웨이의 속도 제한 서비스가 기간 예산의 카운트를 보관하는 저장소에 제시하는 비밀번호입니다),core/gateway/higress는models소켓과cache소켓에(후자에서는 토큰 제한이 기간 예산의 카운트를 보관하는 저장소에 제시하는 비밀번호입니다),core/gateway/traefik-hub는models소켓,cache소켓(쿼터가 기간 예산의 카운트를 보관하는 저장소에 제시하는 비밀번호입니다),cache_store소켓(시맨틱 캐시가 저장소에 제시하는 비밀번호입니다)에 선언합니다. 따라서 모델에 접근하는 에이전트나 자신이 제공하는 모델에 접근하는 게이트웨이는 그 연결의 키를 그곳에 보관합니다. AI 게이트웨이, 두 Kong, APISIX, agentgateway는 연결된 각 모델의 키를 고유한 변수로 전달하며, 그 변수는 구성 안의 해당 모델 항목이나 라우트가 지정합니다. Envoy Gateway는 모델 백엔드의 보안 정책에서 Secret을 지정하고 Envoy AI Gateway의 컨트롤러가 그 Secret에서 키를 읽습니다. Traefik Hub는 모델 라우트의 Chat Completion 미들웨어에서 Secret과 데이터 키를 지정하고 그로부터 키를 읽습니다.component.aggrega.ai/hosting: managed레이블이 붙은 모델에 접근하는 연결은 키를 지니거나, 자신의values에서unauthenticated: true로 모델이 키를 받지 않는다고 명시합니다. 둘 다 없으면 호출자의 어서션이 연결과 대상을 명시하며 빌드를 중단시키며, 다른 레이블이 붙은 모델에는 이러한 중단이 발생하지 않습니다. 호출자의 Component가 대신 자체 슬롯에 선언하는 키는 그 Component가 만드는 모든 연결에 공통인 하나의 키입니다. 양 끝은 서로의 어태치먼트를 보지 못하므로 서버는 호출자의 키에 대해 아무것도 알지 못하며, 두 키가 일치하는 것은 Aggregate가 하나의 매개변수로 양쪽에 값을 공급하기 때문입니다. 양 끝이 하나의 범위(하나의 Kubernetes 네임스페이스, 하나의 Compose 프로젝트)에서 시크릿을 확인하는 경우 하나의 시크릿을 참조하고, 그렇지 않으면 각자 같은 저장소 항목에서 구현된 자체 시크릿을 보관합니다. vLLM, TEI, TGI는 각각 단일 키를 확인하므로 모든 호출자가 같은 키를 제시하고 서버는 호출자를 구별할 수 없으며, TGI는 대소문자를 구분하지 않고 키를 비교합니다. APISIX, agentgateway, Traefik Hub는 각각 선언된 모든 호출자의 키를 확인하고 이를 통해 호출자를 구별합니다. 두 Kong은 위의 “Kong in front of models”에서 설명한 이유로 호출자를 선언하지 않으며 어떤 호출자의 키도 확인하지 않습니다. LiteLLM 모델과 AI 게이트웨이는 장부 데이터베이스가 연결되어 있는 동안 자신이 발급하는 키도 받아들입니다. Credential Model은 하나의 Aggregate에서 이 구조를 자세히 다룹니다. -
대상 간 선택:
core/target-selection은 같은 요청을 처리할 수 있는 여러 대상 중 게이트웨이가 어떻게 선택할지를 선언하며,strategy로latency(가장 빨리 응답하는 것으로 관측된 대상) 또는cost(호출 비용이 가장 저렴한 대상)를 지정합니다. 전략은 애플리케이션이 게이트웨이에 요구하는 사항의 일부이므로 개발자가 Aggregate에서 연결합니다. AI 게이트웨이에서 대상은 같은 별칭을 게시하는values.models의 항목들입니다(연결된 모델은 해당 연결의 별칭으로 서빙되며, 다른 항목은 그 별칭을 게시할 수 없습니다). 표준 라이브러리는 게이트웨이의 Recipe가 렌더링하는 라우팅 구성에 프록시의latency-based-routing을 기록하여latency를 구현합니다. 프록시는 각 요청을 최근 10개 응답의 평균 소요 시간이 가장 짧은 항목으로 보내며, 응답이 토큰 수를 보고하면 출력 토큰당 시간으로, 스트리밍 요청이면 첫 토큰까지의 시간으로 계산하고, 아직 시도하지 않은 항목은 가장 빠른 것으로 간주합니다. 어태치먼트가 없으면 구성에 전략이 명시되지 않고, 프록시는 해당 항목 중에서 무작위로 선택합니다. 그곳에서cost는 이름을 명시하여 거부됩니다. 프록시는 항목의 대상을 작성된 그대로 가격표에서 조회하여 가격을 매기는데, 이 가격표는 OpenAI와 Anthropic의 모델을 게이트웨이 대상에 붙는 provider 접두사 없이 명시하고, 찾지 못한 항목에는 고정된 대체 가격을 매기므로, 별칭을 공유하는 항목들이 같은 가격으로 매겨져 순서대로 선택되기 때문입니다.core/gateway/kong-enterprise에서는 모든 어태치먼트가 중단됩니다. 연결된 각 모델이 그 하나의 모델만 담은 자체 라우트에서 서빙되므로 선택할 대상이 없기 때문입니다.core/gateway/agentgateway에서도 모든 어태치먼트가 이유를 명시하며 중단됩니다. agentgateway는 모델 이름의 대상 중 두 개를 무작위로 뽑아 상태를 응답 소요 시간으로 나눈 점수가 더 높은 쪽을 선택하므로, 가장 빠른 대상은 뽑혔을 때만 선택되며, 비용으로 대상을 선택하지도 않습니다.core/gateway/higress에서도 모든 어태치먼트가 이유를 명시하며 중단됩니다. Higress는 서비스의 지연 시간을 측정할 수 있지만, 로드 밸런서 플러그인이 AI 프록시 이후에 실행되며(AI 프록시는 이미 라우트가 결정한 후보에 대해 요청의 모델, 주소, 자격 증명을 설정해 둔 상태입니다), 그 선택을 요청 헤더에 기록하는데 이 카탈로그가 렌더링하지 않는 Envoy 필터 없이는 그 헤더로 라우팅하는 것이 없으므로 선택이 적용되지 않고, 비용으로 대상을 선택하지도 않습니다.core/gateway/traefik-hub에서도 모든 어태치먼트가 이유를 명시하며 중단됩니다. Traefik은 하나의 모델 이름과 하나의 자격 증명이 포괄하는 하나의 Service의 서버들 사이에서만 최저 응답 시간으로 선택하고, Service 간에는 가중치나 클라이언트 주소의 해시로 분산할 뿐 지연 시간으로는 분산하지 않으며, 어떤 전략도 비용으로 대상을 선택하지 않습니다. 또한 게이트웨이에 연결된 각 모델은 그 하나의 모델만 담은 자체 라우트에서 서빙되므로 선택할 대상이 없습니다. 그 밖의 게이트웨이에서는 어태치먼트가 빌드를 중단합니다. -
복원력:
core/fallback-chain은 모델이 실패한 요청을 다른 모델로 넘깁니다.chains는 폴백하는 각 모델 별칭마다 하나가 응답할 때까지 순서대로 시도할 별칭을 지정하며, 실패한 폴백은 다시 자신의 항목을 따릅니다.max_hops는 요청이 그 체인을 따라 얼마나 멀리 전달될지를 제한합니다. 표준 라이브러리는 AI 게이트웨이에서 두 값을 게이트웨이의 Recipe가 렌더링하는 라우팅 구성에 기록하는 방식으로 이를 실현하며, 게이트웨이의 모델 맵이 게시하지 않는 이름이 있으면 빌드를 중단합니다. 요청은 게이트웨이가 요청한 별칭을 포기한 뒤에야 폴백합니다. 하나의 별칭이 두 번 이상 게시된 경우, 실패한 호출은 먼저 재시도로서 그 별칭의 다른 항목으로 이동하며, 이는 게이트웨이의 재시도 횟수로 제한됩니다.core/retry-policy가 그 횟수를 설정합니다. 즉 거부된 연결, 속도 제한, 타임아웃처럼 다시 보내면 성공하는 실패에 대해 게이트웨이가 첫 전송을 포함하여 요청을 몇 번 보낼 수 있는지(max_attempts)를 설정하며, 표준 라이브러리는 AI 게이트웨이에서 이를 게이트웨이의 Recipe가 렌더링하는 라우팅 구성에 기록하는 방식으로 실현합니다.core/gateway/envoy-gateway에서는 연결된 모델을 서비스하는 라우트의 트래픽 정책 재시도로 실현됩니다. 이는 기간 예산의 속도 제한을 담는 정책과 같은 정책인데, Envoy Gateway는 라우트 하나에 트래픽 정책 하나를 연결하기 때문입니다. 요청은 연결 또는 스트림 거부, 리셋, 429·503·504 응답 후 최대max_attempts번까지 다시 전송되며, 라우트의 요청 타임아웃 안에 아무것도 응답하지 않는 모델에는 다시 전송되지 않습니다. 그 타임아웃이 모든 전송에 걸쳐 있기 때문입니다.core/gateway/azure-api-management에서는 API 정책의 backend 섹션에서 전달을 감싸는 Azure의 재시도로 실현됩니다. HTTP 429 또는 5xx 상태로 응답된 요청은 다시 보낼 수 있도록 본문을 보관한 채, 이전 전송 1초 후에 최대max_attempts번까지 다시 전송됩니다. 거부되거나 끊긴 연결, 그리고 전달의 타임아웃 안에 아무것도 응답하지 않는 모델에는 다시 전송되지 않습니다. Azure는 그런 오류에서 재시도를 끝내고 이를 정책의 on-error 섹션에 넘기기 때문입니다. Azure는 첫 전송 후 150번 재시도하므로,5로 지정하므로max_attempts가 1이면 재시도를 기록하지 않고 51을 넘는 값은 이름을 명시하여 거부됩니다. 재시도는 API가 상속받을 전달을 대체하므로, 재시도가 연결되어 있는 동안에는 인스턴스의 더 넓은 범위에서 설정한 타임아웃 같은 전달 설정이 API에 적용되지 않으며, API는 Azure의 기본값으로 전달합니다. 호스팅 게이트웨이에서는core/retry-policy가 게이트웨이 리소스에 재시도 횟수를 기록하는 방식으로 실현됩니다. 이 횟수는 첫 전송 이후의 전송을 1max_attempts26이 반영되고 그 밖의 값은 거부됩니다.504 응답은 그 모델의 재시도 이후 요청을 다음 모델로 넘기며, 그 밖의 응답은 받은 그대로 반환되고 마지막 모델의 응답은 무엇이든 그대로 반환됩니다. 1 MiB를 넘는 요청 본문은 전송되지 않고 HTTP 413으로 거부됩니다.core/fallback-chain은 그곳에서 실현되지 않습니다. 그 게이트웨이는 요청이 모델 대신 지정하는 라우트 안에서만 모델 간에 폴백하므로, 모델을 요청한 요청은 결코 폴백하지 않기 때문입니다.core/gateway/kong-enterprise에서는core/fallback-chain이 차트 Recipe에서 실현됩니다.chains가 항목을 부여한 각 별칭의 chat 및 completion 라우트는 AI 프록시 대신 Kong의 AI Proxy Advanced를 사용하며, 그 별칭의 모델과 그 순회가 폴백하는 모델들을 우선순위 순서의 대상으로 둡니다. 즉 그 별칭, 다음으로 그 항목의 폴백들을 순서대로 두며, 폴백 자신의 항목은 센 개수가max_hops보다 적을 때에만 다시 따릅니다. 밸런서는 하나가 응답할 때까지 순회의 각 대상에 순서대로 한 번씩 요청을 보내며, 연결 오류나 타임아웃, 잘못된 응답 헤더, 429·500·502·503·504 응답 후에 다음으로 넘어가고, 그 밖의 모든 응답은 받은 그대로 반환합니다.models소켓에 없는 이름, 같은 별칭에 두 번 도달하는 순회,core/retry-policy와의 병용(Kong은 순회 전체에 대해 재시도 횟수 하나만 유지하며 폴백 전에 모델에 다시 보낼 수 없기 때문입니다), 그리고 3.12보다 오래된 게이트웨이 이미지에서 빌드가 중단됩니다.core/retry-policy는 그곳에서 실현되지 않으며, 그 실현은 이유를 명시하며 모든 연결을 중단합니다. 연결된 각 모델은 그 모델 하나만 담는 자체 라우트에서 서비스되므로 재시도는 같은 대상에 요청을 다시 보내야 하는데, Kong의 레퍼런스는 밸런서가 그렇게 하는지에 대해 양쪽으로 읽히기 때문입니다.core/gateway/agentgateway에서는core/retry-policy가 차트 Recipe에서 게이트웨이 자체 구성의 재시도 정책으로 실현되며, 모델 요청이 도착하는 리스너에 연결됩니다. 요청은 429·500·502·503·504 응답, 거부되거나 리셋된 연결, 여는 데 11초보다 오래 걸리는 연결, 실패한 이름 조회 후 즉시 같은 모델로 최대max_attempts번까지 다시 전송됩니다. agentgateway는 정책의 시도 횟수보다 한 번 더 요청을 보내므로 정책은max_attempts에서 1을 뺀 값으로 기록되고,max_attempts가 1이면 아무것도 기록하지 않으며, 256을 넘는 값은 이름을 명시하여 거부됩니다. 본문이 64 KiB보다 큰 요청은 한 번만 전송되며, 구성은 타임아웃을 설정하지 않으므로 연결을 수락하고 아무것도 응답하지 않는 모델은 다시 전송되는 대신 계속 대기합니다.core/fallback-chain은 그곳에서 실현되지 않으며, 그 실현은 이유를 명시하며 모든 연결을 중단합니다. agentgateway는 실패한 모델을 이후 요청에서 제외하는 방식으로 모델 간 장애 조치를 하며, 실패한 요청은 그 실패로 응답되므로 어떤 요청도 체인을 따라 순회되지 않기 때문입니다.core/gateway/higress에서는core/retry-policy가 모든 모델 라우트에 Ingress 어노테이션으로 기록되는 라우트 자체의 재시도로 실현됩니다. 요청은 거부되거나 리셋된 연결, 5xx 응답 또는 429 후에 POST를 포함하여 최대max_attempts번까지 다시 전송됩니다.max_attempts가 1이면 재시도를 끄도록 기록하여, Higress의 컨트롤 플레인이 어노테이션 없는 라우트에 부여하는 재시도를 덮어쓰며, 2147483648을 넘는 값은 이름을 명시하여 거부됩니다. 연결을 수락한 뒤 아무것도 응답하지 않거나 느리게 응답하는 모델에는 다시 전송되지 않습니다. 라우트가 시도별 기한을 설정하지 않기 때문입니다. 스트리밍 요청은 응답이 시작되기 전에만 다시 전송됩니다.core/fallback-chain도 그곳에서 실현되지 않으며, 그 실현은 이유를 명시하며 모든 연결을 중단합니다. Higress는 실패한 요청을 최대 한 번, 다른 대상 하나(라우트의 기본 백엔드, 또는 콘솔이 AI 라우트에 기록하는 폴백 라우트 하나)로만 넘기므로 어떤 요청도 체인을 따라 순회되지 않기 때문입니다.core/gateway/traefik-hub에서는 둘 다 차트 Recipe에서 실현되며, 각각 v3.20보다 오래된 Traefik Hub 이미지에서 빌드를 중단합니다. 그런 이미지의 페일오버는 시도하는 서비스에 미들웨어를 받지 않고, 재시도는 응답 상태에 따라 POST를 다시 보낼 수 없기 때문입니다. 단, 전송 한 번짜리 재시도 정책은 예외입니다.core/fallback-chain은chains가 항목을 부여한 각 별칭의 라우트를 Traefik 자체의 중첩된 페일오버로 보내, 별칭의 순회에 있는 모델들을 순서대로 시도합니다. 즉 그 별칭, 다음으로 그 항목의 폴백들을 순서대로 시도하며, 폴백 자신의 항목은 센 개수가max_hops보다 적을 때에만 다시 따르고, 각 모델은 자체 모델 이름, 자격 증명, 할당량, 재시도를 갖습니다. 모델의 429 또는 500models소켓에 없는 이름과 같은 별칭에 두 번 도달하는 순회에서 빌드가 중단됩니다.core/retry-policy는 각 모델 라우트 또는 순회가 시도하는 각 모델의 마지막에 놓이는 Traefik의 retry 미들웨어입니다. 요청은 모델에 아무것도 전달하지 못한 연결 후, 그리고 429 또는 500~504 응답 후 즉시 POST를 포함하여 첫 전송을 포함한 최대max_attempts번까지 다시 전송되며,max_attempts가 1이면 아무것도 기록하지 않습니다. 게이트웨이가 스스로 만든 응답(키 검사의 거부, 가드, 마스킹 또는 할당량)은 다시 전송되지 않으며, 이미 시작된 스트리밍 응답도 다시 전송되지 않습니다. -
기간 예산:
core/period-budget는 게이트웨이를 통과하는 트래픽이 한 기간 동안 소비할 수 있는 양을 제한합니다.limit, 그것이 적용되는period,scope(게이트웨이가 제공하는 전체, 호출자별 또는 모델별),unit(미국 달러 비용 또는 토큰)을 지정하며, 게이트웨이가 해당 기간 동안 집계한 양이 한도를 넘으면 이후의 모델 요청은 거부됩니다.dataplane.aggrega.ai/period-budget를 선언하는 모든 component에 연결됩니다. 표준 라이브러리는 이를 AI 게이트웨이에서 구현합니다. 이 게이트웨이의 예산은 게이트웨이가 제공하는 전체를 대상으로 하고, 미국 달러로 집계되며, 매 기간이 시작될 때 다시 시작됩니다. 기간은 UTC 자정부터의 일수이거나 1일부터의 달력상 한 달입니다. 구현은 한도와 기간을 게이트웨이의 Recipe가 렌더링하는 구성에 기록하고, 다른 단위, 범위, 기간은 이름을 들어 거부하며(게이트웨이가 달력상 한 달로 집계하는30d도 포함됩니다), 게이트웨이의database_url와api_key자격 증명 슬롯이 둘 다 연결되어 있지 않으면 중단합니다. 장부 데이터베이스가 없으면 게이트웨이는 집계를 유지하지 않고, 관리 키가 없으면 어떤 호출자도 예산과 대조하지 않기 때문입니다. 집계가 한도를 넘으면 게이트웨이는 모든 호출자의 모델 요청뿐 아니라 관리 키의 모델 요청도 거부합니다. 모델 목록 조회와 키 관리는 여전히 그 키에 응답합니다. 호스팅 게이트웨이에서는 게이트웨이 리소스의 지출 한도 규칙으로 구현되며, 시간과 함께 앞으로 이동하는 기간(마지막period, 게이트웨이가 가격을 아는 모델에 한함) 동안 게이트웨이가 제공하는 전체에 대해 미국 달러로 집계됩니다. 호출자별 또는 모델별 예산, 토큰, 달력상 한 달은 이름을 들어 거부됩니다.core/gateway/apisix에서는 차트 Recipe에서 구현되며, 연결된 모델의 라우트에 APISIX의 토큰 속도 제한으로 기록됩니다. 각 모델의 응답이 보고하는 토큰(total_tokens,prompt_tokens또는completion_tokens)으로 집계하며, 시계가 아니라 이전 창이 닫힌 뒤 첫 모델 요청과 함께 열리는period길이의 고정 창에 걸쳐, 게이트웨이가 제공하는 전체, 연결된 각 모델별, 또는 Release가infra.callers에 선언한 각 호출자별로 집계합니다. 게이트웨이는 각 호출자가 제시하는 키로 이들을 구별합니다. 집계가 한도에 도달하면 게이트웨이는 창이 닫힐 때까지 모델 요청에 HTTP 503으로 응답합니다. 요청의 토큰은 응답이 완료된 후 더해지므로 한도에 도달하게 만든 요청은 처리되며, 시맨틱 캐시가 제공한 응답은 아무것도 집계되지 않고 한도를 넘어서도 제공됩니다. APISIX는 completion 요청의 토큰을 집계하지 않으므로 예산이 연결되어 있는 동안 연결된 각 모델은 chat 라우트만 갖게 되며, 집계를 게이트웨이 프로세스의 메모리에 유지하므로 차트는 레플리카 하나를 실행하고 재시작하면 새 창이 열립니다. 미국 달러 예산,infra.callers가 아무것도 선언하지 않은 상태의 호출자별 예산, 달력상 한 달, 한 게이트웨이의 두 번째 예산은 이름을 들어 거부되며, 라우트를 렌더링하지 않는 workload Recipe에 대한 연결도 마찬가지입니다.core/gateway/envoy-gateway에서는 게이트웨이에 연결된 모델을 제공하는 AI 라우트에서 Envoy Gateway의 사용량 기반 속도 제한으로 구현됩니다. 라우트는unit가 지정하는 토큰 수(total_tokens,prompt_tokens또는completion_tokens)를 Envoy AI Gateway가 각 응답에서 읽는 비용으로 선언하고, 그 라우트의 트래픽 정책은 응답이 완료될 때 이를 Envoy Gateway 속도 제한의 한 단위당limit토큰에 대해, 게이트웨이가 제공하는 전체 또는 연결된 각 모델별로 부과합니다. 각 창은 UTC 시계에 고정됩니다. 1초, 1분, 1시간, 자정부터 하루, 목요일부터 한 주, 또는 1970년 1월 1일부터 센 30일이나 365일이며,1mo는 달력상 한 달입니다. 이는 Envoy Gateway 속도 제한 서비스의 설정에 따르며, 이 설정은 그 설치가 유지하는 모든 월간 속도 제한에 적용됩니다. 집계는 Envoy Gateway의 컨트롤 플레인이 생성하고 자신이 제공하는 모든 게이트웨이에 대해 켜는 속도 제한 서비스가, 게이트웨이의cache소켓에 연결된 Redis 프로토콜 저장소에 유지합니다. 집계가 한도를 넘으면 게이트웨이는 창이 끝날 때까지 모델 요청에 HTTP 429로 응답합니다. 요청의 토큰은 응답이 완료된 후 더해지므로 한도를 넘게 만든 요청은 처리됩니다. 저장소나 속도 제한 서비스에 접근할 수 없거나 검사가 Envoy의 속도 제한 타임아웃보다 오래 걸리는 동안에는 모델 요청이 HTTP 500으로 거부됩니다. 이는 Envoy Gateway 컨트롤 플레인의 설정에 따르며, 이 설정은 그 설치가 유지하는 모든 속도 제한에 적용되므로 수동으로 적용한 속도 제한도 닫힌 상태로 실패합니다. 장애 직전에 허용된 요청은 토큰이 응답 후에 부과되므로 여전히 처리되고 집계되지 않으며, 집계를 메모리에 유지하는 저장소는 재시작할 때 모든 창을 다시 시작합니다. 미국 달러 예산, 호출자별 예산(게이트웨이는 호출자가 직접 쓰는 헤더로만 호출자를 구별하며, 그 경로에서 아무것도 이를 검증하지 않습니다), 다른 모든 기간, 한 게이트웨이의 두 번째 예산은 이름을 들어 거부되며,models또는cache소켓에 아무것도 연결되지 않은 연결도 마찬가지입니다.core/gateway/azure-api-management에서는 API 정책에 기록되는 Azure의 토큰 한도로 구현됩니다. 각 응답이 보고하는 프롬프트 토큰과 completion 토큰을 합산하여, API가 제공하는 전체 또는 게이트웨이가 키를 검증하는 각 API Management 구독별로 집계합니다. UTC 시계의 고정 창(1시간, 하루, 한 주, 달력상 한 달 또는 달력상 1년, 즉1h,1d,7d,1mo또는12mo. Microsoft는 한 주가 어느 요일에 시작하는지 밝히지 않습니다)에 대한 할당량으로서 초과 시 HTTP 403으로 응답하거나, 1분(1m)에 대한 속도로서 HTTP 429로 응답하며, 후자는 클래식 계층에서는 슬라이딩 창으로, v2 계층에서는 토큰 버킷으로 집계됩니다. 집계는 각 응답이 보고하는 사용량이므로 동시 요청이 한도를 넘을 수 있으며, 인스턴스의 각 게이트웨이는 자체 집계를 유지합니다. 미국 달러 예산 또는 프롬프트나 completion 토큰만의 예산, 모델별 예산(요청이 지정하는 모델은 호출자가 쓰며, 여러 이름이 한 모델에 도달할 수 있습니다), 구독 키를 요구하지 않는 API의 구독별 예산, 다른 모든 기간, 정수가 아닌 한도는 이름을 들어 거부됩니다. Consumption 계층은 토큰 한도를 실행하지 않습니다.core/gateway/kong-enterprise에서는 차트 Recipe에서 구현되며, 게이트웨이가 가져오는 라우트에 Kong의 AI Rate Limiting Advanced로 기록됩니다. 각 모델의 응답이 보고하는 토큰(total_tokens,prompt_tokens또는completion_tokens)으로, 초, 분, 시간 또는 일 단위인period의 고정 창에서 집계하며, 각 요청은 그 시각이 속한 하나의 창에서 집계되고, 게이트웨이가 제공하는 전체 또는 연결된 각 모델별로 집계됩니다. 범위model에서 요청은 어떤 모델이 응답했든 요청이 지정한 별칭에 대해 집계됩니다. 집계가 한도에 도달하면 다음 모델 요청은 창이 끝날 때까지 HTTP 429로 응답받으므로 한도를 넘게 만든 요청은 처리됩니다. Kong은 요청이 담은 프롬프트 토큰에 대한 자체 추정으로 요청을 미리 거부할 수도 있습니다. 집계는 게이트웨이의 PostgreSQL 백엔드에 유지되며, 모든 레플리카가 공유하고 재시작 후에도 유지됩니다. 미국 달러 예산(Kong은 구성이 각 모델에 부여한 가격으로만 비용을 집계하는데, 카탈로그는 가격을 제공하지 않습니다), 호출자별 예산(Kong은 인증 플러그인이 지정하는 consumer로만 호출자를 구별하며, 위의 “Kong in front of models”에서 밝힌 이유로 게이트웨이는 호출자를 선언하지 않습니다), 달력상 한 달, 한 게이트웨이의 두 번째 예산, 3.15보다 오래된 게이트웨이 이미지는 이름을 들어 거부되며,models소켓에 아무것도 연결되지 않은 연결도 마찬가지입니다.core/gateway/agentgateway에서는 차트 Recipe에서 구현되며, 게이트웨이의 구성에 기록되고 각 응답이 보고하는 총 토큰으로 집계됩니다. 범위caller에서는 Release가infra.callers에 선언한 각 호출자의 API 키에 대한 예산으로서, Unix epoch에 맞춘period길이의 고정 창(하루는 UTC 자정에 시작)에 걸쳐 집계되고, Recipe가 렌더링하는 볼륨의 SQLite 저장소에 레플리카 하나로 유지됩니다. 범위gateway또는model에서는 게이트웨이가 제공하는 전체 또는 요청이 요구하는 각 모델 이름별 토큰 버킷으로서, 게이트웨이가 구성을 읽은 시점부터 매period마다 한도까지 채워지고 메모리에 유지되므로 재시작하거나 구성이 바뀌면 다시 채워집니다. 집계된 양이 한도에 도달하면 창이 끝나거나 버킷이 채워질 때까지 모델 요청은 HTTP 429로 응답받습니다. 한도에 도달하게 만든 요청은 처리됩니다. 미국 달러 예산(게이트웨이의 모델 비용 카탈로그는 연결된 어떤 모델에도 가격을 매기지 않으므로 예산은 아무것도 집계하지 않게 됩니다), 프롬프트나 completion 토큰만의 예산,infra.callers가 아무것도 선언하지 않은 상태의 호출자별 예산, 달력상 한 달, 정수가 아닌 한도, 한 게이트웨이의 두 번째 예산은 이름을 들어 거부되며,models소켓에 아무것도 연결되지 않은 연결도 마찬가지입니다. compose Recipe에는 이에 대한 구현이 없습니다.core/gateway/traefik-hub에서는 차트 Recipe에서 연결된 각 모델의 라우트에 Traefik Hub의 할당량 미들웨어로 구현되며, 게이트웨이의cache소켓에 연결된 Redis 프로토콜 저장소에 집계를 유지합니다. 각 응답이 보고하는 토큰(total_tokens,prompt_tokens또는completion_tokens)을 집계하거나,usd에서는 미들웨어에 포함된 모델 목록으로 가격을 매긴 미국 달러 비용을 집계하며(가격이 없는 모델은 HTTP 422로 거부됩니다), 시간과 함께 미끄러지는 창에 걸쳐(한 시점에 집계된 양은 한 기간 뒤에 다시 풀립니다) 연결된 각 모델별로, 또는 모델 하나가 연결된 동안에는 게이트웨이가 제공하는 전체에 대해 집계합니다. 집계가 한도에 도달하면 모델 요청은 HTTP 429로 거부됩니다. 요청의 집계는 응답이 완료된 후 더해지므로 한도를 넘게 만든 요청과 그와 함께 처리된 요청은 처리되며, 시맨틱 캐시가 제공한 응답은 아무것도 집계되지 않습니다. Traefik의 레퍼런스에 따르면 저장소에 접근할 수 없는 동안 할당량은 요청을 집계하지 않고 처리합니다. 호출자별 예산(할당량은 클라이언트 주소, 요청 헤더 또는 요청의 호스트로 요청을 구별하며, 그중 어느 것도 게이트웨이의 키 검사가 검증한 호출자가 아닙니다), 여러 모델이 연결된 동안의 게이트웨이 전체 예산(Traefik의 레퍼런스는 한 할당량을 지정하는 라우트들이 집계를 공유하는지 밝히지 않습니다), 달력상 한 달, 그리고 시간이나 일, 또는 정확히 몇 시간을 이루는 분이나 초 외의 기간은 이름을 들어 거부되며, 정수 토큰이 아닌 한도와models또는cache소켓에 아무것도 연결되지 않은 연결도 마찬가지입니다.core/gateway/higress에서는 차트 Recipe에서 연결된 각 모델의 라우트에 Higress의 토큰 한도 플러그인으로 구현되며, 게이트웨이의cache소켓에 연결된 Redis 프로토콜 저장소에 집계를 유지합니다. 각 응답이 보고하는 프롬프트 토큰과 completion 토큰을 응답이 완료된 후 합산하며, 그 안의 첫 응답이 집계될 때 열리는period길이(1초, 1분, 1시간 또는 하루)의 고정 창에 걸쳐 게이트웨이가 제공하는 전체 또는 각 별칭별로 집계합니다. 집계가 한도를 넘는 동안 모델 요청은 창이 끝날 때까지 HTTP 429로 응답받으므로 한도를 넘게 만든 요청은 처리됩니다. 사용량을 보고하지 않는 응답은 아무것도 집계되지 않으므로, Recipe는 스트리밍 요청의 모델에 사용량 보고를 요청하고, 그 보고를 끄는 스트리밍 요청, 콘텐츠 유형에application/json이 포함되지 않고multipart/form-data로 시작하지도 않는 요청(AI 프록시는 보고를 요청하지 않고 이를 전달합니다), 그리고 게이트웨이의 플러그인이 본문을 읽지 않는 요청(압축된 본문,octet-stream또는grpc가 포함된 콘텐츠 유형, 업그레이드)을 HTTP 403으로 거부합니다. 게이트웨이의 검증이 디코딩할 수 없는 본문을 의도적으로 보내는 클라이언트는 이러한 거부를 통과하며, 그런 스트리밍 요청은 집계되지 않습니다. 마스킹이 연결되어 있지 않으면, 본문이 게이트웨이의 32 KiB 버퍼를 넘는 요청은 저장소가 언제 응답하는지에 따라 HTTP 413으로 거부될 수 있습니다. 저장소에 접근할 수 없는 동안 모델 요청은 처리되고 집계되지 않습니다. 플러그인에는 그때 요청을 거부하는 설정이 없습니다. 미국 달러 예산 또는 프롬프트나 completion 토큰만의 예산, 호출자별 예산(게이트웨이는 호출자를 선언하지 않으므로 아무도 검증하지 않습니다), 다른 모든 기간, 정수가 아닌 한도, 한 게이트웨이의 두 번째 예산은 이름을 들어 거부되며,models또는cache소켓에 아무것도 연결되지 않은 연결도 마찬가지입니다. -
동시성:
core/concurrency-limit는 게이트웨이가 한 번에 처리하는 요청 수(max_in_flight)를 제한하여, 호출자가 몰려들어도 그 뒤의 모델 앞에 대기열이 생기지 않게 합니다.scope는 하나의 상한이 무엇을 집계하는지 지정합니다. 기본값인gateway는 게이트웨이가 전달하는 모든 요청을 함께 집계하고,model은 게이트웨이가 요청을 보내는 각 대상에 자체 집계를 부여합니다. 대상은 게이트웨이가 라우팅하는 각 업스트림 항목이므로, 한 모델 이름에 여러 항목이 있으면 각각 따로 집계됩니다. 상한과 그 범위는 운영자가 결정하는 용량 산정으로, 연결의infra에 설정되므로 운영자가 Release에서 연결합니다. 상한은 실행 중인 프록시별로 집계되므로, 여러 레플리카가 실행되면 각 레플리카가 그만큼의 요청을 허용합니다.dataplane.aggrega.ai/concurrency-cap를 선언하는 모든 component에 연결되며, 구현은 게이트웨이가 집계하지 않는 범위를 이름을 들어 거부합니다.core/gateway/nginx에서 범위gateway는 모든 요청에 대해 동일한 하나의 단어를 키로 하는 NGINX의limit_conn으로 구현됩니다. 따라서 NGINX는 처리 중인 모든 요청을 하나의 합계로 집계하여 워커 프로세스들이 공유하는 메모리에 유지하고, 상한을 넘는 요청에는 HTTP 503으로 응답합니다. NGINX는 업스트림 대상별 집계를 유지하지 않으므로 범위model은 거부되며,limit_conn이 받는 최댓값인 65535를 넘는max_in_flight도 거부됩니다.core/gateway/envoy-gateway에서 범위model은 연결된 모델을 제공하는 라우트의 트래픽 정책에 있는 서킷 브레이커로 구현됩니다. 이 정책은 기간 예산의 속도 제한과 재시도 정책의 재시도도 담고 있습니다. Envoy Gateway는 이를 그 라우트의 각 규칙의 백엔드에 적용하고, 연결된 각 모델은 자체 규칙을 가지므로, 연결된 각 모델에는 한 번에 최대max_in_flight개의 요청이 전송되며, 상한을 넘는 요청은 HTTP 503으로 응답받고 다시 전송되지 않습니다. 재시도 정책이 반복하는 전송도 첫 전송처럼 상한에 포함됩니다. Envoy의 워커 스레드는 집계를 확인한 다음 더하므로, 동시에 도착한 요청들이 잠시 상한을 넘길 수 있습니다. Envoy Gateway는 백엔드별 상한을 유지하고 그 합계에 대한 상한은 유지하지 않으므로 범위gateway는 거부되며,models소켓에 아무것도 연결되지 않은 연결도 마찬가지입니다. AI 게이트웨이에서 범위model은 직접 입력했든 연결되었든 모델 맵의 모든 항목의max_parallel_requests로 구현됩니다. 각 항목에는 한 번에 최대max_in_flight개의 요청이 진행되며, 항목이 가득 찬 요청은 HTTP 429로 응답받습니다. 별칭에 항목이 하나이면 게이트웨이의 재시도 후에, 여러 개이면 그중 다른 항목에 여유가 있더라도 즉시 그렇게 됩니다. 프록시는 집계하기 전에 항목을 고르기 때문입니다. 단,core/fallback-chain이 해당 별칭에 대한 폴백을 나열하면 요청은 그 폴백으로 전달됩니다. 프록시는 각 집계를 메모리에 유지하며, 기본적으로 레코드는 생성 후 10분이 지나면 만료되고 새 집계가 0부터 시작되므로, 연결은 그 수명을 한 세기로 설정하여 프록시가 실행되는 동안 모든 집계를 유지합니다. 이 수명 때문에 상한이 연결되어 있는 동안에는 Release가 해당 필드를 허용하더라도 게이트웨이는priority를 담은 요청을 거부합니다. 프록시는 그런 요청마다 레코드가 만료될 때까지 대기열 항목을 유지하기 때문입니다. 또한 항목이 100개를 넘는 모델 맵에서는 빌드가 중단됩니다. 그보다 많으면 집계가 유지되는 저장소(레코드 200개를 보관하며 가득 찰 때마다 하나를 삭제합니다)가 집계를 삭제할 수 있기 때문입니다. 그곳에서 범위gateway는 거부됩니다. 프록시의 단일 합계는 환경 변수로 켜는 요청 제한기만 읽으며, 이 제한기는 요청을 처음 1초 동안만 집계하기 때문입니다. 호스팅 게이트웨이도 이를 구현하지 않습니다. terraform Recipe가 게이트웨이 리소스에 기록하는 요청 한도는 진행 중인 요청에 대한 상한이 아니라 일정 간격 동안의 요청 수, 즉 속도이기 때문입니다. -
감사 로깅:
core/audit-logging은 게이트웨이가 처리하는 각 모델 요청의 기록을 남기게 하며, 기록에는 응답한 모델과 응답이 보고하는 토큰이 담기고, 각 구현은 기록이 어디에 저장되는지를 정합니다. 이것은gateway.aggrega.ai/intelligence: semantic을 가진 모든 component에 부착되며, 세 값은 운영자의 것으로infra에 설정되므로 운영자가 Release에서 부착합니다. 기본적으로 켜져 있는require_cost는 기록에 각 요청의 비용도 구현이 지정하는 통화로 담게 합니다. 기본적으로 켜져 있는require_verified_caller는 게이트웨이가 검증한 호출자, 즉 게이트웨이가 발급했거나 확인한 키를 기록에 담게 합니다. 기본적으로 설정되지 않는retention_days는 기록이 그 일수만큼 오래되면 게이트웨이가 삭제하게 합니다. 설정하지 않으면 게이트웨이 자체는 어떤 기록도 삭제하지 않으며, 기록은 저장된 곳이 보관하는 동안 유지됩니다. 어떤 값을 지킬 수 없는 게이트웨이는 빌드 시 그 값을 지명하며 부착을 거부하므로,require_cost와require_verified_caller를 기본값으로 둔 부착은 비용과 검증된 호출자를 얻거나, 아니면 중단됩니다.require_verified_caller를 끄면 호출자가 요청 자체가 주장하는 것이거나 아예 호출자가 없는 기록을 받아들이게 됩니다. 그러면 요청을 보내는 누구든 다른 호출자 명의로 기록되게 할 수 있으므로, 그런 기록은 누가 요청을 보냈는지 보여 주지 못합니다. AI 게이트웨이에서 기록은 게이트웨이의 장부 데이터베이스의 한 행이며, 모든 값이 지켜집니다. 행에는 게이트웨이가 모델별로 유지하는 가격표로 산정한 요청 비용이 미국 달러로 담기고 — 가격표에 없는 모델은 비용이 없는 것으로 기록됩니다 — 게이트웨이가 검증한 키와 그 키가 속한 사용자 및 팀이 담기며, 행이 지명하는 최종 사용자는 요청이 적는 그대로이고 확인되지 않습니다. 장부 데이터베이스가 없으면 게이트웨이는 행을 쓰지 않고, 관리 키가 없으면 호출자를 확인하지 않으며 키를 제시하지 않고 최종 사용자도 지명하지 않는 요청에 대해서는 행을 쓰지 않으므로, 게이트웨이의database_url과api_key자격 증명 슬롯이 모두 부착되지 않으면 빌드가 중단됩니다. 게이트웨이의values.log_masking이 마스킹할 대상을 나열하는 동안에는 응답된 요청만 기록합니다.core/gateway/envoy-gateway에서 기록은 게이트웨이 액세스 로그의 한 줄이며, 부착이 있는 동안 그 Recipe가 이를 씁니다. 요청마다 데이터 플레인의 표준 출력에 JSON 한 줄이 기록되며, 여기에는 Envoy Gateway가 기본으로 쓰는 필드, 요청이 지명한 모델, 응답한 모델, 응답이 보고하는 프롬프트·완성·전체 토큰이 담기고, 모델을 제공하는 라우트가 그 수치를 선언하여 Envoy AI Gateway가 이를 기록하게 합니다. 모델이 응답하지 않은 요청에는 응답한 모델도 토큰도 없으며, 액세스 로그 자체는 아무것도 보관하지 않으므로 한 줄이 얼마나 유지되는지는 그 출력을 수집하는 쪽에 달려 있습니다. 게이트웨이가 검증한 호출자를 지명하는 필드는 없으며, 클라이언트의 주소와 보내는 헤더는 도착한 그대로 기록됩니다. 게이트웨이는 가격을 보관하지 않고, 그 Recipe가 렌더링하는 라우트의 어떤 것도 호출자를 검증하지 않으며, 액세스 로그에는 삭제할 수 있는 기록이 없으므로, 이 구현은require_cost와require_verified_caller를 끄고retention_days를 주지 않는 부착을 빌드하며, 그렇지 않으면 지킬 수 없는 각 값을 지명하며 한 번의 실패로 모두 묶어 중단합니다.models소켓에 아무것도 연결되지 않은 경우에도 중단합니다.core/gateway/agentgateway에서 기록은 부착이 있는 동안 그 chart Recipe가 렌더링하는 볼륨 위의 SQLite 저장소에 게이트웨이가 쓰는 행이며, 레플리카는 하나이고, 키·예산·인가 검사를 통과한 각 모델 요청마다(가드의 거부 포함) 기록됩니다. 행에는 게이트웨이가 모델 서버에 요청한 모델 — 호출자가 보낸 별칭이 아니라 연결된 모델이 게시하는 이름 — 과 응답한 모델, 응답이 보고하는 입력·출력·전체 토큰, 상태와 소요 시간, 그리고 Release가infra.callers에 선언한 각 호출자에 대해 게이트웨이가 검증한 API 키로부터 얻은 호출자 이름이 담깁니다. 키, 인가 규칙 또는 호출자 예산 때문에 거부된 요청은 행을 남기지 않습니다. 프롬프트나 응답 텍스트는 보관되지 않으며, 행은 pod 안에서 수신 대기하는 게이트웨이의 관리 인터페이스를 통해 읽습니다.require_verified_caller는 호출자가 선언되어 있는 동안 지켜집니다.require_cost는 게이트웨이의 모델 비용 카탈로그가 연결된 어떤 모델의 가격도 정하지 않으므로 이름을 지명하며 거부되고, 호출자가 선언되지 않은require_verified_caller와, 게이트웨이가 어떤 기록도 삭제하지 않으므로retention_days도 거부됩니다. 그 compose Recipe에는 이 구현이 없습니다.core/gateway/higress에서 기록은 게이트웨이 액세스 로그 줄의ai_log필드이며, 부착이 있는 동안 Higress의 통계 플러그인이 이를 채웁니다. 여기에는 응답한 모델과 응답이 보고하는 입력·출력·전체 토큰이 게이트웨이의 표준 출력에 담기며, 프롬프트나 응답 텍스트는 없습니다. 게이트웨이는 호출자를 선언하지 않고, 가격을 정하지 않으며, 삭제할 수 있는 기록을 보관하지 않으므로, 이 구현은require_cost와require_verified_caller를 끄고retention_days를 주지 않는 부착을 빌드하며, 그렇지 않으면 지킬 수 없는 각 값을 지명하며 한 번의 실패로 모두 묶어 중단합니다.models소켓에 아무것도 연결되지 않은 경우에도 중단합니다.core/gateway/traefik-hub에서는 모든 부착이 이유를 지명하며 중단됩니다. Traefik Hub는 모델 요청의 기록을 AI 미들웨어가 트레이싱 백엔드로 내보내는 OpenTelemetry span으로만 남기며 — 모델과, 상세 수준에서는 토큰과 그 비용을 미국 달러로 지명합니다 — 이 구현은 트레이싱 백엔드를 연결하지 않으므로 기록이 어디에도 저장되지 않습니다. 또한 span은 호출자를 지명하지 않으므로 게이트웨이의 키 검사가 검증한 호출자를 지명할 수 없습니다.core/gateway/azure-api-management에서는 위의 게이트웨이 항목이 말하는 대로 모든 부착이 중단되며, 표준 라이브러리의 다른 어떤 게이트웨이도 이를 구현하지 않으므로 그 밖의 게이트웨이에 대한 부착은 타입을 지명하며 중단됩니다. -
시맨틱 캐싱:
core/semantic-caching는 모델을 다시 호출하는 대신, 의미가 충분히 가까운 이전 프롬프트에 대해 저장된 응답으로 프롬프트에 답하는 캐시를 선언합니다.embedding_model은 각 프롬프트를 벡터로 변환하는 모델을 게이트웨이가 게시하는 이름으로 지정하며, 저장된 응답은 두 프롬프트의 유사도가similarity_threshold이상일 때 제공되고ttl_seconds동안 사용할 수 있습니다.scope는 캐시를 누가 공유하는지 결정합니다. 기본값인end_user는 게이트웨이가 식별하는 최종 사용자를 각각 분리하고,key는 하나의 키를 제시하는 모든 호출자에게 하나의 캐시로 응답하므로, 그 키 뒤의 최종 사용자가 다른 사용자를 위해 생성된 응답을 받을 수 있습니다.core/data-masking은 이 기능과의 충돌을 선언하므로, 둘 다 가진 component에서는 빌드가 중단됩니다. 표준 라이브러리는 이를 AI 게이트웨이에서 구현합니다. AI 게이트웨이는cache_store소켓에 연결된core/datastore/redis에 응답을 보관하고, 저장소가 비밀번호를 요구하는 경우 그 연결의 자격 증명이 담은 비밀번호를 저장소에 제시하며, 저장소는ttl_seconds가 지나면 각 응답을 제거합니다. 또한 chat, responses, messages 요청을 캐시하고 completions나 embeddings는 캐시하지 않습니다. 이 구현은 게이트웨이의api_key슬롯이 연결되지 않으면 빌드를 중단합니다. 관리 키가 없으면 게이트웨이가 어떤 호출자도 확인하지 않기 때문입니다. 또한 게이트웨이의 모델 맵이 게시하지 않는embedding_model에서, 그리고cache_store에 아무것도 연결되지 않았을 때 빌드를 중단합니다. 저장된 응답은 그것이 저장된 기준과 일치하는 요청에만 제공됩니다. 즉 요청이 제시하고 게이트웨이가 확인하는 키와 그 키의 팀 및 조직,end_user에서는 요청이 지정하는 최종 사용자, 그리고 요청이 요구하는 모델과 그 밖의 파라미터입니다. 게이트웨이는 키, 팀, 조직, 최종 사용자를 요청 자체에 기록하며, chat 요청에서는 호출자가 보낸 값을 덮어씁니다. responses나 messages 요청에서는 요청 자체의 메타데이터에서 팀, 조직, 최종 사용자 필드를 제거하고 그곳에 키를 지정한 요청을 거부하므로, 어떤 요청도 이름을 지정하여 다른 키의 응답에 접근할 수 없습니다. 그래도 요청 자체의 메타데이터로 요청이 제시하는 키의 응답들 사이를 오갈 수는 있습니다. responses 요청에서model_group은 응답이 저장되는 기준에서 요청이 요구하는 모델을 대체하고, responses나 messages 요청에서caching_groups는 같은 모델 별칭 그룹을 지정한 요청들이 그 별칭들에 걸쳐 응답을 공유하게 하며, responses나 chat 요청에서redis_namespace는 네임스페이스를 지정한 요청을 지정하지 않은 요청과 분리합니다. 게이트웨이는 요청 자체가 지정하는 헤더나 본문 필드에서 최종 사용자를 읽고 그중 어느 것도 확인하지 않습니다.end_user에서 다른 최종 사용자를 지정한 호출자는 그 최종 사용자의 응답을 받으며, 최종 사용자를 지정하지 않은 요청은 제시하는 키 아래에서 그런 다른 모든 요청과 하나의 캐시를 공유합니다. 호스팅 게이트웨이는 이를 구현하지 않습니다. 그 캐시는 이전 요청과 동일한 요청에만 응답합니다.core/gateway/azure-api-management에서는 API의 정책에 기록되는 Azure의 시맨틱 캐시 조회 및 저장으로 구현됩니다.embedding_model은 API Management 인스턴스가 embeddings 모델용으로 이미 보유한 백엔드를 지정하며, 인스턴스는 관리 ID로 이에 접근합니다. 또한 인스턴스에는 외부 캐시로 RediSearch가 구성된 Redis 캐시가 필요하지만, 빌드는 둘 중 어느 것도 볼 수 없으므로 운영자가 게이트웨이의infra.cache_serves_vector_search를 설정하여 캐시가 RediSearch를 제공함을 확인할 때까지 빌드가 중단됩니다. 저장소는 응답을ttl_seconds동안 보관하며,similarity_threshold는 Azure의 점수 임계값으로 1에서 임계값을 뺀 값으로 기록되고 그 점수는 코사인 거리로 읽힙니다. Microsoft가 범위와 방향(낮을수록 더 가까운 프롬프트를 요구함)은 제시하지만 그 척도는 제시하지 않기 때문입니다. 응답은 API별, 그리고 게이트웨이가 키를 확인하는 API Management 구독별로 분리하여 저장되고 제공되므로, 이 구현은key를 유지하되 구독 키를 요구하지 않는 API에서는 이를 거부하고,end_user는 거부합니다. 해당 Recipe가 렌더링하는 API는 최종 사용자의 토큰을 검증하지 않으므로 게이트웨이가 분리할 확인된 최종 사용자가 없기 때문입니다.core/gateway/contour와core/gateway/nginx도 시맨틱 캐시를 제공하지 않으므로 이를 구현하지 않습니다.core/gateway/agentgateway에서는 구현이 모든 연결을 중단하고 그 이유를 밝힙니다. agentgateway는 응답 캐시를 보관하지 않으며, 그 프롬프트 캐싱은 자체적으로 프롬프트를 캐시하는 provider가 캐시할 수 있는 위치를 표시할 뿐입니다.core/gateway/kong-enterprise에서는 구현이 모든 연결을 중단하고 요청된 scope를 밝힙니다. Kong의 AI Semantic Cache에는 한 호출자의 저장된 응답을 다른 호출자의 것과 분리하는 설정이 없으며, 게이트웨이는 인증 플러그인이 지정하는 consumer로만 호출자를 구분하고, 위의 “Kong in front of models”가 제시한 이유로 어떤 호출자도 선언하지 않으므로,end_user에서든key에서든 모든 요청이 하나의 캐시를 공유하게 됩니다.core/gateway/higress에서는 구현이 모든 연결을 중단하고 요청된 scope를 밝힙니다. Higress의 시맨틱 캐시는 각 응답을 하나의 키 접두사 뒤에 프롬프트 텍스트를 붙인 키로 저장하며, 그 키에는 호출자나 최종 사용자를 지정하는 부분이 없고 게이트웨이는 어떤 호출자도 선언하지 않으므로 모든 요청이 하나의 캐시를 공유하게 됩니다.core/gateway/apisix에서는 chart Recipe에서 구현되며, Release가infra.callers에 선언한 호출자를 위해 연결된 각 모델의 chat 라우트에 APISIX 3.18.0의 시맨틱 캐시로 기록됩니다. 응답은 라우트별, 호출자별로 호출자가 제시하고 게이트웨이가 확인한 키 아래에 저장되므로 어떤 호출자도 다른 호출자를 위해 저장된 응답을 받지 않습니다. 이 구현은key를 유지하고end_user는 이름을 밝혀 거부합니다. 게이트웨이가 하나의 키 뒤에 있는 최종 사용자들을 구분할 수 없기 때문입니다.embedding_model은 게이트웨이의models소켓에 있는 연결을 지정하며, 캐시는 그 엔드포인트, 모델, 자격 증명으로 임베딩합니다. 캐시는 요청의 마지막 사용자 메시지를 임베딩하고, 메시지의 유사도가similarity_threshold이상이며 이전 메시지(시스템 프롬프트, 이전 턴)가 동일한 저장된 응답을 제공합니다. 응답은 게이트웨이의cache_store소켓에 연결된core/datastore/redis에ttl_seconds동안 보관되며, 캐시는 그 연결의 자격 증명이 담은 비밀번호를 저장소에 제시하고, 의미로 제공된 응답은 해당 요청 아래에ttl_seconds동안 다시 저장됩니다. Completion 요청은 캐시되지 않으며, 저장소나 임베딩 실패는 캐시 미스로 처리되어 요청은 여전히 응답을 받습니다. 이 구현은 선언된 호출자가 없을 때,cache_store나models소켓에 아무것도 연결되지 않았을 때, 그리고 그곳의 어떤 연결도 담고 있지 않은embedding_model에서 중단됩니다. APISIX는 저장된 응답을 게이트웨이가 아니라 라우트와 호출자로 키를 지정하므로, 하나의 저장소에 연결된 두 APISIX 게이트웨이나, 게이트웨이가 하나의 외부 저장소를 가리키는 한 Aggregate의 두 Releases는 같은 별칭과 모델에서 같은 이름의 호출자에게 캐시된 응답을 제공할 수 있습니다. APISIX 3.17.0의 workload Recipe에는 시맨틱 캐시가 전혀 없습니다.core/gateway/traefik-hub에서는 chart Recipe에서 Release가infra.callers에 선언한 호출자를 위해 연결된 각 모델의 라우트에 Traefik Hub의 시맨틱 캐시로 구현됩니다. 응답은 연결된 모델별, 호출자별로 게이트웨이의 키 확인이 검증한 호출자 아래에 각자의 키로 저장되므로 어떤 호출자도 다른 호출자를 위해 저장된 응답을 받지 않습니다. 이 구현은key를 유지하고end_user는 이름을 밝혀 거부합니다. 게이트웨이가 하나의 키 뒤에 있는 최종 사용자들을 구분할 수 없기 때문입니다.embedding_model은 게이트웨이의models소켓에 있는 연결을 지정하며, 캐시는 그 엔드포인트, 모델, 자격 증명으로 요청의 텍스트를 임베딩합니다.similarity_threshold는 캐시의 거리 상한으로 1에서 임계값을 뺀 값으로 기록되고 코사인 거리로 읽힙니다. Traefik의 레퍼런스가 상한의 방향은 제시하지만 척도는 제시하지 않기 때문입니다. 응답은 게이트웨이의cache_store소켓에 연결된core/datastore/redis에ttl_seconds동안 보관되며, 임베딩하기에 너무 큰 요청은 캐시 없이 응답을 받습니다. 이 구현은 선언된 호출자가 없을 때,cache_store나models소켓에 아무것도 연결되지 않았을 때, 그곳의 어떤 연결도 담고 있지 않은embedding_model에서, 그리고 태그가 3.19 내에서 v3.19.11 이상 또는 v3.20.6 이상의 릴리스를 지정하지 않는 Traefik Hub 이미지에서 중단됩니다. 그 이전 릴리스는 한 라우트의 모든 호출자가 하나의 캐시를 공유하기 때문입니다. -
프롬프트 인젝션 검사:
core/prompt-injection-shield는 게이트웨이가 전달하는 모델 요청을 모델이 호출되기 전에 검사하여, 모델에 주어진 지시를 무시하게 하려는 시도가 있는지standard또는strict의sensitivity로 판단한다고 선언합니다. strict는 그러한 시도를 더 많이 거부하며, 그만큼 정상적인 요청도 더 많이 거부합니다. 이 검사는 확률적 분류기의 판정입니다. 일부 공격(표현을 바꾸거나 인코딩하거나 철자를 바꾼 공격 등)을 놓치고, 일부 정상 요청을 거부하며, 우회될 수 있다고 알려져 있습니다. 따라서 이 검사는 여러 통제 수단 중 하나이며, 모델의 응답, 도구 호출 인수, 이미지는 판단하지 않습니다. 이 Feature는 어떤 게이트웨이에든 연결되며, realization은 게이트웨이의 요청을guard소켓에 연결된 가드를 거치게 하거나(이 경우 게이트웨이에 필요한 것은 구성된 주소로 전달하는 기능뿐입니다), 게이트웨이가 직접 실행하는 검사를 켭니다. 가드를 거치는 경우 가드가 각 요청을 검사하고 허용한 요청을 모델로 전달하며, 해당 소켓에 아무것도 없는 상태로 Feature를 연결하면 그 소켓을 명시하며 빌드가 중단됩니다. 표준 라이브러리는 AI 게이트웨이와 NGINX 게이트웨이에서 이를 구현하며, 둘 다core/security/nemo-guardrails를 가드로 사용합니다. 이 가드는 OpenAI chat-completions API를 사용하는 서비스로, 그 rail이 요청의 최신 사용자 메시지를 연결된core/security/trustyai-huggingface-detector의 분류기로 보내고, 분류기 점수가 가드의 임계값에 도달하면 요청을 거부합니다. 거부된 요청에는 가드가 일반 completion으로 직접 응답하며, 그 어떤 내용도 모델에 도달하지 않습니다. 가드나 그 탐지기에 연결할 수 없을 때도 요청은 거부됩니다. 두 게이트웨이 모두 가드가 바로 이 가드이고 sensitivity가 지정하는 임계값(standard는 0.5,strict는 0.001로, 탐지기의 기본 분류기에 대해 측정된 두 값입니다)으로 실행되지 않으면 빌드를 중단합니다. 게이트웨이는 가드만 볼 뿐 그 뒤의 탐지기는 보지 못하므로 탐지기의 모델을 확인할 수 없습니다. AI 게이트웨이에서는 모델 맵의 모든 별칭이 가드로 전송되며 각 대상은openai/<model>로 기록되므로, 모델 맵은 직접 작성한 것이어야 합니다. 게이트웨이의models소켓에 연결된 모델은 가드를 거치지 않고 자체 연결의 자격 증명으로 자체 엔드포인트에 전송되므로, 이 소켓에 연결이 있는 동안 realization은 그 연결을 명시하며 빌드를 중단합니다. AI 게이트웨이는 가드가 검사하는 유일한 종류인 chat completion 외의 모든 요청을 거부합니다. NGINX 게이트웨이에서는 하나의 location이 업스트림 대신 가드로 전달하며, 가드는 다른 모델 경로에는 응답하지 않습니다.core/gateway/azure-api-management에서는infra.content_safety_backend_id가 지정하는 인스턴스의 Azure AI Content Safety 백엔드를 통해 API 정책에서 켜는 Azure 자체 prompt shield로 구현되며, 이 키가 설정되지 않은 동안 빌드가 중단됩니다. Azure AI Content Safety는 모델이 호출되기 전, 시맨틱 캐시 조회보다 먼저 각 요청에 사용자 공격이 있는지 검사하며, 게이트웨이는 탐지한 요청에 HTTP 403으로 응답합니다. 서비스가 허용하는 길이보다 긴 요청에도 같은 방식으로 응답합니다. shield는 켜거나 끄는 것만 가능하므로standard는 유지되고strict는 이름을 명시하며 거부됩니다. 또한 Microsoft 자체 민감도로 실행되며, 가드에서standard가 지정하는 임계값에 대해 측정된 것이 아닙니다. 인스턴스는 관리 ID로 해당 백엔드에 연결하며, 이 ID에는 서비스에 대한 Cognitive Services User 역할이 필요합니다. 빌드는 둘 다 확인할 수 없습니다. 표준 라이브러리에서 이 세 게이트웨이 외에는 이를 구현하지 않으며, 다른 게이트웨이에 연결하면 유형을 명시하며 빌드가 중단됩니다. 대부분은 realization이 가드를 거치게 할 수 있는 경로를 렌더링하지 않습니다. 자체 저장소에 경로를 보관하거나, 뒤에 있는 서비스에서 경로를 가져오거나, 표준 라이브러리가 이러한 종류의 검사를 켜지 않는 호스팅 서비스이기 때문입니다. 또한 연결된 모델의 경로를 chart Recipe가 렌더링하는core/gateway/apisix와, 연결된 모델의 AI 경로를 Recipe가 렌더링하는core/gateway/envoy-gateway에는 이에 대한 realization이 없습니다. 연결된 각 모델의 항목을 Recipes가 렌더링하는core/gateway/agentgateway에서는 realization이 모든 연결을 중단하며 그 이유를 명시합니다. agentgateway는 그러한 시도를 자신이 호출하는 서비스(운영자가 실행하는 webhook, 또는 Azure AI Content Safety, Google Model Armor, AWS Bedrock Guardrails)를 통해서만 판단하며, realization은 그중 어느 것도 연결하지 않습니다.core/gateway/higress에서도 realization이 모든 연결을 중단하며 그 이유를 명시합니다. Higress는 그러한 시도를 자신이 호출하는 서비스(Alibaba Cloud의 콘텐츠 보안 서비스, 또는 소스에는 포함되어 있지만 2.2.5 플러그인 릴리스에서는 게시되지 않은 플러그인을 통해 운영자가 실행하는 Qwen3Guard 모델 서비스)를 통해서만 판단하며, 각각 해당 호출이 실패하면 요청을 통과시킵니다. realization은 둘 다 연결하지 않습니다.core/gateway/traefik-hub에서도 realization이 모든 연결을 중단하며 그 이유를 명시합니다. Traefik Hub는 그러한 시도를 자신이 호출하는 서비스를 통해서만 판단합니다. 그 서비스는 LLM Guard 및 Parallel LLM Guard 미들웨어로, realization이 작성해야 할 요청과 조건으로 가드 서비스나 모델을 호출하며, 프롬프트 공격 탐지기와의 동작이 측정되지 않았으므로 어떤 sensitivity도 그곳의 검사에 대응하지 않습니다. 또는 Azure Prompt Shield, Amazon Bedrock Guardrails, GCP Model Armor 미들웨어로, realization이 연결하지 않는 호스팅 서비스를 호출합니다. 가드는 최신 사용자 메시지만 읽으므로 시스템 메시지, 이전 턴, 도구 결과는 읽히지 않은 채 모델에 도달하며, 게이트웨이를 통과하는 트래픽만 검사됩니다. 모델 주소를 직접 호출하는 workload는 게이트웨이를 우회합니다. -
응답 검증 및 평가:
core/response-validation은 모델의 응답이 호출자에게 도달하기 전에 JSON Schema에 대해 검사한다고 선언합니다.schema에는 스키마 자체가 들어가며, 스키마와 일치하지 않는 응답은 전달되지 않고 거부됩니다.invert를 켜면 일치하는 응답이 거부됩니다. 스키마는 연결에 속하며 모든 요청에 동일하고, 호출자가 자신의 요청과 함께 보내는 것이 아닙니다. 따라서 개발자는 Aggregate에서 이를 연결하고values에 스키마를 작성합니다. 표준 라이브러리의 어떤 realization도 이를 유지하지 않습니다.core/gateway/agentgateway에서는 realization이 모든 연결을 중단하며 그 이유를 명시합니다. agentgateway의 응답 가드는 패턴을 매칭하거나 콘텐츠 안전 서비스 또는 webhook 서비스를 호출하며, 그중 어느 것도 스키마를 받지 않습니다.core/gateway/higress의 realization도 마찬가지입니다. 그 응답 검사는 통과한 응답에 대해 OpenAI 경로가 반환하는 chat completion 대신 응답 메시지에서 찾은 JSON만 반환하고, 요청 헤더X-HIGRESS-AI-JSON-RESP: true를 보내는 클라이언트에 대해서는 건너뛰며, 여섯 단계보다 깊게 중첩된 스키마는 검사하지 않습니다.core/gateway/traefik-hub의 realization도 마찬가지입니다. Traefik Hub 레퍼런스의 어떤 미들웨어도 응답을 스키마에 대해 검사하지 않기 때문입니다. Chat Completion 미들웨어는 요청을 chat completion 스키마에 대해 검사하고, API 관리는 요청 본문을 OpenAPI 문서에 대해 검사하며, LLM Guard는 응답을 외부 서비스로 보내는데 realization은 이를 연결하지 않습니다. 그 밖의 게이트웨이에서는 연결 시 유형을 명시하며 빌드가 중단됩니다.core/traffic-shadowing은 실시간 요청을 두 번째 서비스로 복사하고 그 서비스의 응답은 폐기하므로, 후보 모델이나 서비스를 어떤 호출자에게도 출력을 보이지 않고 실제 트래픽에서 평가할 수 있습니다. 이는dataplane.aggrega.ai/request-mirroring을 선언하는 모든 component에 연결되며, AI 게이트웨이는 이를 선언하지 않습니다. 표준 라이브러리는 이를 NGINX 게이트웨이에서 구현하며, 이 게이트웨이는 스트림의 일부가 아닌 전체를 복사하고, 더 작은 비율이 지정되면 그 이름을 명시하며 중단합니다.
5. 비동기 실행 및 HITL 인프라
Aggrega는 사람과 상호작용하는 프레임워크(AutoGen, LangGraph 등)를 워커 노드로 취급합니다. 사람의 입력을 기다리며 “잠든” 에이전트가 상태를 잃지 않도록 지원하기 위해, 플랫폼 아키텍트는 이러한 에이전트의 Components에 usesSchema 소켓을 선언할 수 있으며, 이 소켓은 datastore 범주 컴포넌트를 에이전트에 명시적으로 바인딩하도록 엄격하게 강제합니다. 바인딩 대상은 datastore 엔진 레이블로 선택됩니다. 에이전트가 유사도로 검색하는 저장소에는 datastore.aggrega.ai/engine in (vector, semantic-memory, search)를, 실행 상태를 체크포인트하는 저장소에는 datastore.aggrega.ai/engine=kv를 사용합니다. 소켓은 제품 이름이 아니라 엔진 레이블로 바인딩되므로, 작성자가 어떤 저장소를 연결할지 선택해도 선언은 그대로 유효합니다. 또한 사람에서 에이전트로 향하는 피드백 루프(예: Slack 통합)의 경우, 명시적으로 선언된 Gateway 컴포넌트가 연결되지 않으면 아키텍처를 거부하도록 거버넌스 판정 역할을 구성할 수 있으며, 이를 통해 콜백 웹훅이 선언된 인그레스 경계를 거쳐 들어오게 됩니다.
자체 제품으로 배포되는 것이 아니라 애플리케이션이 그 위에 작성되는 프레임워크나 SDK로 구축된 에이전트는 표준 라이브러리에서 한 가지 형태를 취합니다. Release는 카탈로그가 고정하지 않는 애플리케이션 이미지를 지정합니다. model 소켓은 프레임워크가 연결된 모델에서 읽는 것, 즉 프레임워크가 읽는 경우 그 주소와 모델 이름, 그리고 참조로 전달되는 연결의 자격 증명을 해당 프레임워크가 읽는 변수로 전달합니다. 프레임워크가 자체 서버를 정의하지 않는 경우 컴포넌트는 worker이며 포트를 열지 않습니다. core/ai-agent/crewai와 core/ai-agent/langgraph가 이 형태를 취하며, model 소켓이 model.aggrega.ai/api: openai를 가진 모델 또는 게이트웨이만 받는 core/ai-agent/openai-agents-sdk, 소켓이 model.aggrega.ai/api: anthropic을 가진 것만 받는 core/ai-agent/claude-agent-sdk, 그리고 Microsoft Agent Framework로 구축된 애플리케이션을 위한 것으로, 그 자체로는 아무것도 서비스하지 않고, 소켓이 model.aggrega.ai/api: openai를 가진 것만 받으며 Agent Framework의 Python OpenAI 클라이언트가 읽는 변수를 전달하는 core/ai-agent/agent-framework도 마찬가지입니다. 이 세 가지는 Release가 infra.image를 설정할 때까지 이를 지목하며 빌드를 중단합니다. OpenAI Agents SDK는 기본적으로 각 실행의 트레이스를 OpenAI에 업로드하므로, core/ai-agent/openai-agents-sdk는 Aggregate가 upload_traces_to_openai 값을 true로 설정하지 않는 한 그 업로드를 끕니다. 프레임워크가 직접 HTTP를 서비스하는 경우 컴포넌트는 프레임워크 자체 포트의 server이며, 호출자가 접근하는 주소를 host, port, endpoint, protocol로 게시하고, 이 역시 Release가 infra.image를 설정할 때까지 이를 지목하며 빌드를 중단합니다. core/ai-agent/google-adk는 포트 8000에서 ADK의 REST API를 서비스하고 ADK의 Gemini 클라이언트가 Gemini API에 보내는 키를 전달하며, 그 model 소켓은 core/ai-model/gemini처럼 model.aggrega.ai/api: gemini를 가진 모델만 받고, ADK의 클라이언트가 그 주소를 읽지 않을 게이트웨이는 결코 받지 않습니다. core/ai-agent/mastra는 Mastra가 빌드하는 서버를 포트 4111에서 서비스하고, Kubernetes에서는 /health 경로가 응답하면 준비 상태가 되며, model.aggrega.ai/api: openai를 가진 모델 또는 게이트웨이를 받고, Aggregate가 agent_id 값으로 애플리케이션의 에이전트 중 하나를 지정하면 그 에이전트의 Agent2Agent 카드 주소를 게시하므로 core/ai-tool/agent-invocation이 그 에이전트에 위임할 수 있습니다. 두 서버의 경로는 애플리케이션이 인증하지 않는 한 어떤 호출자에게나 응답하므로, 둘 중 어느 쪽에든 core/public-ingress 또는 core/http-route를 붙이면 Release가 infra.routes_authenticated를 true로 설정하여 애플리케이션이 그 경로가 받는 모든 요청을 인증함을 확인할 때까지 빌드가 중단됩니다. SDK 및 서버 런타임과 core/ai-agent/agent-framework는 선택적인 tools 소켓도 선언하며, 이 소켓은 연결된 각 도구의 주소와 참조로 전달되는 연결의 자격 증명을 연결의 별칭으로 이름 붙인 변수로 전달합니다. 애플리케이션은 Release 자체의 코드이므로, 이러한 에이전트가 그 코드가 읽도록 전달하는 변수는 기본값일 뿐입니다. 이들의 모든 소켓은 inject: 블록을 허용하며, Aggregate는 이를 통해 애플리케이션이 대신 읽는 변수나 파일을 지정합니다. 반면 프레임워크가 스스로 읽는 변수와 연결의 첨부가 전달하는 것은 그대로 유지됩니다. 에이전트 자체의 값도 마찬가지입니다. 각 컴포넌트는 자기 자신에 대해 env 및 file 항목으로 이루어진 inject: 블록을 허용하며, 템플릿이 자체 값 중 하나만 읽고 컴포넌트의 다른 어떤 것도, 즉 다른 값도, infra도, 메타데이터도, 아이덴티티도 읽지 않는 항목은 CrewAI 에이전트의 role에 대한 CREWAI_ROLE처럼 Recipe가 그 값을 전달할 때 사용하는 기본 이름을 대체합니다. CrewAI 프로젝트의 에이전트 선언, LangGraph 애플리케이션의 langgraph.json, Google ADK 애플리케이션의 에이전트 구성 또는 Agent Framework 선언적 에이전트를 가져오면 이러한 에이전트(core/ai-agent/crewai, core/ai-agent/langgraph, core/ai-agent/google-adk, core/ai-agent/agent-framework)의 초안이 구성이 지정하는 데이터 저장소에, 그리고 에이전트의 model 소켓이 받는 경우 구성이 지정하는 모델에 연결된 채로, 프로그램이 실행될 이미지는 운영자가 지정하도록 남겨 둔 초안 Release와 함께 작성되며, Importer Plugins에서 설명하듯 프로그램은 결코 읽지 않고 구성만 읽습니다.
6. 토폴로지 보안 검증 및 런타임 강제
AI 워크로드는 새로운 공격 벡터(프롬프트 인젝션, 자율적 데이터 유출 등)를 도입하므로, 이를 보호하려면 정적 아키텍처 거버넌스와 능동적 런타임 강제를 연결해야 합니다. AOT(Ahead-of-Time) 컴파일러인 Aggrega는 실시간 네트워크 트래픽을 가로채거나 AI 프롬프트를 평가하지 않습니다. 대신 두 부분으로 이루어진 아키텍처 핸드셰이크, 즉 정적 아키텍처 컴파일(컴파일 시점)과 실행 인계(배포 시점)를 통해 복잡한 보안 요구 사항을 해결합니다.
A. 컴파일 시점: 정책 검증 및 아티팩트 생성
컴파일러는 모든 노드, 엣지, 연결된 Features를 담은 평면 IR(중간 표현) 그래프를 구성합니다. 물리적 인프라가 생성되기 전에, 거버넌스 판정 역할에서 이 정적 JSON 그래프를 업계 표준 정책 엔진으로 평가하여 기업의 보안 태세를 강제합니다.
소켓은 일반 JSON 데이터를 평가하므로 단일 정책 언어에 묶이지 않습니다. 기업은 자사 생태계에 가장 잘 맞는 표준을 사용해 아키텍처 규칙을 컴파일하고 강제할 수 있습니다.
- Open Policy Agent (OPA/Rego): 복잡한 다중 홉 그래프 관계를 평가하고 분산 토폴로지 전반에서 최소 권한 접근을 계산하는 데 널리 쓰이는 언어입니다. CLI에 컴파일되어 들어간 Rego 엔진은
.rego파일을 있는 그대로 실행합니다. OPA의 전체 내장 함수가 필요한 정책은 OPA 자체 툴체인으로 컴파일되어 어댑터 게스트 뒤에서 실행됩니다. - Common Expression Language (CEL): CLI에 컴파일되어 들어간 CEL 엔진은 Kubernetes validating-admission 정책을 작성하는 방식처럼, 문서에 대한 단일 표현식으로 작성된 규칙을 실행합니다.
- Kyverno: 정적 JSON/YAML 매니페스트를 평가하므로, 팀은 Rego를 배우지 않고도 네이티브 YAML로 정책을 작성할 수 있습니다. 컴파일러에는 Kyverno 게스트가 포함되어 있지 않습니다. 컴파일러는 정책을 WebAssembly 게스트로만 실행하고 Kyverno CLI를 호출하지 않으므로, Kyverno 규칙은 엔진을 감싸는 게스트 뒤에서 실행됩니다.
- 사용자 정의 Rust/TypeScript 검증: 보안 팀은 표준 언어로 조직 고유의 정책을 작성하고 이를 Wasm으로 컴파일하여 검증 게이트로 사용할 수 있습니다.
정책 엔진이 그래프를 검증하면, 컴파일러는 그 추상적인 보안 요구 사항을 물리적 구성으로 변환합니다. 개발자가 보안 Feature(예: AI 게이트웨이의 core/data-masking)를 연결하면, 컴파일러는 그 실현이 지정하는 파이프라인 단계, 즉 격리된 WebAssembly(Wasm) 플러그인을 실행하고, 그 단계는 제어에 필요한 설정을 게이트웨이 자체 Recipe가 이미 렌더링하는 구성에 기록합니다. 실현은 대신 기록을 게이트웨이 자체 Recipe에 맡길 수도 있으며, 이 경우 core/gateway/kong-enterprise의 core/data-masking처럼 Recipe가 연결을 읽고 직접 설정을 기록합니다. 다른 종류의 제어를 위한 실현은 자체 리소스를 내보낼 수도 있습니다. 어느 경우든 출력은 개발자가 연결한 내용으로부터 작성된 정적 아티팩트입니다.
B. 배포 시점 및 런타임: 실행 인계 및 적용
Aggrega의 책임은 입력 처리를 마치고 구성된 정적 아티팩트를 출력 디렉터리에 기록하는 바로 그 순간 끝납니다. Aggrega는 순수한 컴파일러입니다. 구성을 기록하고 나면 제어는 이를 호출한 시스템으로 완전히 돌아갑니다.
이러한 구성이 어떻게 실행되는지는 매우 유연하며 전적으로 기업에 달려 있습니다.
- 아티팩트 인계(배포 시점): 외부 배포 컨트롤러가 이어받아 아티팩트를 실제 환경에 반영합니다. 이는 Kubernetes 클러스터에 파일을 동기화하는 엄격한 GitOps 컨트롤러(ArgoCD나 Flux 등)일 수도 있지만,
terraform apply를 실행하는 일반 CI/CD 파이프라인이나 Docker Compose를 대상으로 로컬 셸 스크립트를 실행하는 개발자일 수도 있습니다. - 런타임 적용: 구성이 대상 환경에 적용되면 물리적 인프라가 이어받습니다. Aggrega가 구성한 전문 도구(가드레일 사이드카, 활성 서비스 메시, 네이티브 클라우드 방화벽 등)가 기동되어 실제 작업을 시작합니다. 페이로드를 물리적으로 가로채고, JWT를 검증하고, 악의적인 프롬프트 인젝션을 차단합니다.
7. Aggrega가 AI 보안 과제에 대응하는 방법
아키텍처 검증을 런타임 실행과 분리함으로써, 플랫폼 팀은 Aggrega를 사용해 아래의 AI 취약점에 대한 해결책을 명시적으로 모델링하고, 검증하고, 구성으로 생성할 수 있습니다.
A. 데이터 유출 및 페이로드 가로채기
- 문제: 자율 에이전트가 제한된 기업 데이터를 승인되지 않은 외부 API로 유출하려 할 수 있습니다.
- Aggrega의 해결책:
- 컴파일 시점(검증 및 생성): 플랫폼 팀은 거버넌스 판정 역할에서 평가되는 정책(예: Rego)을 작성하여 *“AI 게이트웨이를 통과하는 모든 경로는
core/data-masking을 지녀야 한다.”*라고 명시합니다. 이것이 없으면 컴파일러가 중단됩니다. 있으면 Manifest가 바인딩하는 구현이 게이트웨이가 이미 렌더링하는 구성에 마스킹을 기록합니다.core/gateway/litellm에서는 첨부가 나열하는 정규식과 일치하는 가드레일 항목을 기록하며, 이 항목은 첨부가 나열하는 엔터티 유형에 대해 게이트웨이의pii_analyzer및pii_anonymizer소켓에 연결된 Presidio 분석기와 익명화기로 텍스트를 보냅니다.core/gateway/kong-enterprise에서는 게이트웨이의 차트 Recipe가 연결된 각 모델의 채팅 및 완성 경로에 Kong의 AI PII Sanitizer를 기록하며, 이는 마스킹할 텍스트를 첨부가 나열하는 정규식 및 엔터티 유형과 함께 게이트웨이의pii_sanitizer소켓에 연결된 Kong AI PII 서비스로 보냅니다.core/gateway/agentgateway에서는 차트 Recipe가 게이트웨이 자체의 정규식 가드를 구성에 기록하며, 이 가드는 첨부가 나열하는 패턴의 각 일치 항목을<masked>로 대체하거나refuse에서는 요청 또는 응답에 HTTP 403으로 답하고, 엔터티 유형은 인식하지 않습니다. 이 가드는 스트리밍 응답을 마스킹하지 않으므로, 응답을 마스킹하는 동안 같은 Recipe가 스트리밍 응답을 요청하는 요청과, 스트리밍 여부와 관계없이 게이트웨이가 그 규칙을 위해 읽는 2 MiB보다 본문이 큰 요청을 전달 전에 HTTP 403으로 거부하는 규칙을 기록합니다.core/gateway/traefik-hub에서는 차트 Recipe가 연결된 각 모델의 경로에 Traefik Hub AI 게이트웨이의 Content Guard를 기록하며, 이는 첨부가 나열하는 패턴의 일치 항목을 정규식 엔진으로, 또는 첨부가 나열하는 엔터티 유형을 게이트웨이의pii_analyzer소켓에 연결된 Presidio 분석기로 마스킹하고, 첨부당 엔진은 하나입니다.core/gateway/higress에서는 차트 Recipe가 연결된 각 모델의 경로에 Higress의ai-data-masking플러그인을 기록하며, 이는 채팅 요청 메시지에서 첨부가 나열하는 패턴의 각 일치 항목을 대괄호로 감싼 패턴 이름으로 대체하고, 엔터티 유형은 인식하지 않습니다. 정책은 경로의 첨부 전체가 아니라 경로를 따라 각 컴포넌트의 첨부를 읽어, 마스킹이 제한된 데이터와 공급자 사이에 있는지라는 더 좁은 질문도 던질 수 있습니다. examples/policy-data-class-route가 그렇게 합니다. - 런타임(물리적 시행): 오케스트레이터가 생성된 아티팩트를 배포하면, 게이트웨이는 마스킹하는 요청 텍스트의 각 일치 항목을 전달하기 전에 자리 표시자로 바꾸므로 모델 공급자는 자리 표시자를 받습니다.
action: refuse를 사용하면 attachment는 일치 항목이 있는 요청을 전혀 전달하지 않고 대신 오류로 응답합니다. 연결할 수 없거나 오류를 내는 인식기는 요청을 실패시키므로 그 텍스트는 전달되지 않습니다. 마스킹이 미치지 않는 범위는 기본값이 곧 보호인 두 값으로 결정됩니다. AI 게이트웨이에서 attachment가 응답도 마스킹하는 동안, 게이트웨이는 응답의 텍스트와 모델이나 그 공급자가 그 옆에 덧붙이는 부분, 즉 거부, 인용과 주석, 웹 검색의 쿼리와 결과, 공급자 고유 이름의 필드를 마스킹하며,refuse에서는 일치 항목이 있는 응답을 전혀 보내지 않습니다. 패턴으로 마스킹하는 스트리밍 응답은 마지막에 한꺼번에 호출자에게 전달됩니다. 기본적으로 요청에서 마스킹이 미치지 않는 것, 즉 이미지 생성 같은 경로,safety_identifier같은 필드, 대화 속 이미지나 파일, 공급자가 직접 실행하는 도구는 AI 게이트웨이가 아무것도 전달하기 전에 HTTP 400으로 거부합니다. 그런 텍스트가 마스킹되지 않은 채 공급자에게 도달하는 것을 받아들이는 운영자는 Release의 attachment에allow_unmasked_text를 설정하며, realization이 그때 통과하는 것을 정확히 나열합니다. 텍스트가 아닌 콘텐츠는 계속allow_non_text_content의 적용을 받습니다. 기본적으로 마스킹된 응답이 담고 있으나 마스킹이 읽을 수 없는 것, 즉 음성 오디오와 그 전사본, 이미지, 모델이 선택한 토큰의 확률은 보류되며, 실패한 호출은 공급자가 반환한 메시지 대신 고정된 메시지로 호출자에게 전달됩니다.allow_unmasked_reply_parts는 이것들이 마스킹되지 않은 채 호출자에게 도달하도록 허용합니다. 응답 자체의 텍스트는 이 설정으로 절대 통과되지 않지만, 이 설정이 통과시키는 부분은 응답의 단어를 담을 수 있습니다. 음성 응답의 전사본, 토큰 확률 뒤의 토큰, 응답을 인용하는 공급자의 오류 메시지가 그렇습니다.core/gateway/kong-enterprise에서는 각 일치 항목이 번호가 매겨진 자리 표시자로 바뀌므로,redact아래에 패턴을 나열하는 attachment는placeholder_shows_name: false를 설정합니다.refuse는 Kong 3.12부터 요청에만 적용되며, 일치 항목이 있는 요청에 HTTP 400으로 응답합니다. 응답은 3.12부터 마스킹되며, 이때 스트리밍 응답을 요청하는 요청은 전달되기 전에 거부되고allow_streamed_replies는 거부됩니다. Kong의 sanitizer는 사용자 턴의 텍스트, completion의 프롬프트, 응답의 메시지 텍스트를 읽으며, Kong의 레퍼런스는 sanitizer가 읽지 않는 것에 대해 요청을 거부하거나 응답의 나머지를 보류하는 설정을 명시하지 않습니다. 따라서 이 게이트웨이에서는 각 보호가 기본값을 유지하는 동안 빌드 시점에 이름으로 거부되며, Release가 이를 완화하면, 즉 요청을 마스킹하는 경우allow_unmasked_text와allow_non_text_content, 응답을 마스킹하는 경우allow_unmasked_reply_parts와mask_reasoning: false를 설정하면 attachment가 빌드되고,data-masking-kong-enterprise가 각 설정이 그때 통과시키는 것을 나열합니다. 이 게이트웨이에서 텍스트가 OpenAI API가 반환하는 단일 문자열로 오지 않는 응답은 읽히지 않은 채 통과하여 그 텍스트가 마스킹되지 않은 채 호출자에게 도달합니다. 이에 대한 방어책은 그 게이트웨이에 연결된 모든 모델에 대한 빌드 검사로,model.aggrega.ai/api가openai가 아닌 모델에서 중단합니다.core/gateway/traefik-hub에서는 각 일치 항목이 일치 항목 길이만큼의*연속으로 바뀌므로,redact아래에 패턴을 나열하는 attachment는placeholder_shows_name: false를 설정합니다.refuse는 요청이나 응답 대신 HTTP 403으로 응답하며, 마스킹되는 응답은 스트리밍 응답을 포함해 통째로 보관되었다가 마지막에 전송되므로, 응답에서 엔터티 유형을 마스킹하는 attachment는allow_streamed_replies를 설정합니다. Traefik의 레퍼런스는 Content Guard가 채팅 요청이나 응답의 어떤 필드를 읽는지 밝히지 않으며, 읽지 않는 것에 대해 요청을 거부하거나 응답의 일부를 보류하는 설정도 명시하지 않습니다. 따라서 이 게이트웨이에서는 각 보호가 기본값을 유지하는 동안 빌드 시점에 이름으로 거부되며, Release가 이를 완화하면, 즉 요청을 마스킹하는 경우allow_unmasked_text와allow_non_text_content, 응답을 마스킹하는 경우allow_unmasked_reply_parts와mask_reasoning: false를 설정하면 attachment가 빌드되고,data-masking-traefik-hub가 각 설정이 그때 통과시키는 것을 나열합니다. 패턴과 엔터티 유형을 모두 나열하는 attachment와 한 게이트웨이의 두 번째 마스킹 attachment는 거부됩니다. 경로의 두 번째 Content Guard가 첫 번째가 마스킹한 텍스트를 읽는지, 호출자가 보낸 그대로의 요청을 읽는지 Traefik의 레퍼런스가 밝히지 않기 때문입니다.core/gateway/higress에서는 Higress의ai-data-masking플러그인이 채팅 요청의 각 메시지의 content와 reasoning에서 attachment가 나열하는 패턴의 각 일치 항목을 대괄호로 감싼 패턴 이름으로 바꿉니다. 이 플러그인은 요청만 마스킹하므로scoperesponse와both는 거부되며, 엔터티 유형은 인식하지 않습니다. 플러그인은 요청의 다른 부분은 전혀 읽지 않으므로, 보호가 기본값을 유지하는 동안 게이트웨이의 차트 Recipe는 Higress의 request-validation 플러그인도 작성하여, 마스킹이 읽지 않는 것을 담은 요청, 즉 JSON으로 보내지 않았거나 chat completion이 아닌 본문, content가 목록이거나 null인 메시지, 도구 호출이나 도구 턴, 메시지의 name, chat completion의 텍스트가 아닌 매개변수와 개발자 자신의 도구, 응답 형식, 중지 시퀀스를 제외한 모든 매개변수를 담은 요청을, 그리고 attachment가 무엇을 완화하든 Higress의 플러그인이 건너뛰는 본문을 가진 요청, 즉 압축된 본문,octet-stream이나grpc를 포함하는 콘텐츠 유형, 업그레이드와, 유니코드 대체 문자 U+FFFD를 담은 본문을 무엇이든 전달되기 전에 HTTP 403으로 거부하게 합니다. U+FFFD는 그 검증이 유효한 UTF-8이 아닌 바이트를 읽는 방식이며, 마스킹 플러그인은 유효한 UTF-8이 아닌 본문을 마스킹하지 않은 채 전달하기 때문입니다. 본문이 게이트웨이의 32 KiB 버퍼를 초과하는 요청은 HTTP 413으로 거부됩니다. 검증은 JSON 디코더가 받아들이는 본문만 읽으므로, 디코더가 거부하는 유효한 JSON(예: double이 담을 수 있는 범위를 넘는 숫자)을 의도적으로 보내는 클라이언트는 본문에 대한 모든 거부를 통과합니다. 이때 마스킹 플러그인은 각 메시지의 일반 content와 reasoning만 마스킹하므로, 본문의 다른 위치에 있는 나열된 값, 즉 도구 호출의 인수, name, 그 밖의 필드는 마스킹되지 않은 채 전달되며, JSON 이스케이프 시퀀스로 작성된 콘텐츠도 마찬가지입니다. 그런 본문이 유효한 UTF-8도 아니면 전체가 마스킹되지 않은 채 전달됩니다.tools처럼 검증이 허용하는 필드 안에 본문을 127단계보다 깊게 의도적으로 중첩하는 클라이언트는 검증이 디코딩하고 허용하는 유효한 JSON을 보내지만, 마스킹 플러그인의 JSON 리더는 그 깊이에서 멈추므로, 그 본문에서 JSON 이스케이프 시퀀스로 작성된 콘텐츠 역시 마스킹되지 않은 채 전달됩니다. 마스킹만으로는 충분하지 않습니다. 어떤 패턴과도 일치하지 않고 어떤 인식기도 감지하지 않는 텍스트는 그대로 통과합니다. AI 게이트웨이에서 도구 호출 인수와 도구 결과는 값 단위로 마스킹되지만 키 이름은 마스킹되지 않습니다. 개발자 자신의 도구 정의, 응답 형식, 중지 시퀀스는 보낸 그대로 통과합니다. 게이트웨이와 인식기 서비스는 원본 텍스트를 봅니다. 게이트웨이가 호출에 관해 기록하는 내용, 즉 자체 로그나 로깅 통합에 넘기는 내용에는 여전히 그 텍스트가 담길 수 있습니다. 그리고 게이트웨이를 거치지 않는 트래픽은 영향을 받지 않습니다.
- 컴파일 시점(검증 및 생성): 플랫폼 팀은 거버넌스 판정 역할에서 평가되는 정책(예: Rego)을 작성하여 *“AI 게이트웨이를 통과하는 모든 경로는
B. MCP 포이즈닝 방어(신뢰와 격리)
- 문제: 오염된 Model Context Protocol(MCP) 도구를 통해 에이전트가 탈취되면, 에이전트가 파괴적인 작업(데이터베이스 삭제나 송금 승인 등)을 자율적으로 실행할 수 있습니다.
- Aggrega의 해결책:
- 컴파일 타임(검증 및 생성): 개발자는
Aggregate.yaml에서 민감한 도구에 승인 게이트 Feature를 연결합니다. 표준 라이브러리는 이러한 Feature를 제공하지 않으므로, 이 Feature는 이를 렌더링하는 FeatureRecipe와 함께 기업 자체 카탈로그에서 작성합니다. 컴파일러는 그래프를 검증하고, 이 연결을 L7 프록시 또는 웹훅 게이트웨이의 구성으로 변환합니다. - 런타임(물리적 강제): 탈취된 에이전트가 도구를 호출하려고 하면, 배포된 프록시가 요청을 일시 중지하고 인간 운영자로부터 암호학적으로 서명된 승인을 받을 때까지 실행을 물리적으로 차단합니다.
- 컴파일 타임(검증 및 생성): 개발자는
C. “Confused Deputy” 문제 해결(컨텍스트 전파)
- 문제: 다중 에이전트 체인에서는 외부에 공개된 에이전트가 탈취되어, 높은 권한을 가진 내부 에이전트에게 민감한 데이터를 가져오도록 명령할 수 있습니다. 일반적인 방화벽은 “에이전트 A가 에이전트 B와 통신하고 있다”는 사실만 보고 트래픽을 허용하므로, 원래의 악의적인 사용자에 대한 컨텍스트를 완전히 잃게 됩니다.
- Aggrega 솔루션: 기업은 두 가지 특정 패턴을 계층화할 수 있습니다.
- 두 홉에서의 호출자 신원 전파: 원래 호출자의 신원은 서로 다른 두 홉을 거쳐도 유지되어야 하며, 각 홉은 서로 다른 위치에서 보호됩니다. 게이트웨이 홉에서는 개발자가 요청이 들어오는 게이트웨이에
core/context-propagation을 연결하며, 이는dataplane.aggrega.ai/caller-identity로 선택합니다. 컴파일 타임에 이 연결은 해당 게이트웨이 자체의 구성으로 실현됩니다. Envoy Gateway에서는 각 클라이언트의 인증서를 Release가 지정한 인증 기관에 대해 검증하고 인증서의 세부 정보를 전달하는 클라이언트 트래픽 정책이 되며, LiteLLM AI 게이트웨이에서는 연결이destinations에 나열한 모델 별칭에 대한 요청에서 호출자가 제공한 신원 헤더를 모두 제거하고, 게이트웨이가 검증한 가상 키의 사용자와 팀, 그리고 키가 조직을 지정하는 경우 그 조직을 추가하는 요청 훅이 됩니다. 런타임에 게이트웨이 뒤의 서비스는 게이트웨이가 호출했다는 사실만이 아니라 누가 호출했는지를 전달받습니다. 워크로드 홉에서는 한 에이전트가 다른 에이전트에게 직접 보내는 요청이 해당 게이트웨이를 거치지 않으므로, 수신 에이전트 자체의 인그레스에서 검사합니다. 여기서 서비스 메시는 원래 사용자의 의도를 증명하는 서명된 토큰이 없는 요청을 모두 거부합니다(예: Istio JWTAuthorizationPolicy). 표준 라이브러리는 게이트웨이 홉 Feature를 제공하지만 워크로드 홉 Feature는 제공하지 않으므로,core/context-propagation을 연결하면 게이트웨이를 통과하는 트래픽이 보호되고, 에이전트 간 호출은 기업이 직접 제공하는 메시 구성에 맡겨집니다.core/ai-tool/agent-invocation이 A2A를 통해core/ai-agent/a2a-remote로 접근하는, 다른 당사자가 운영하는 에이전트는 Release 밖에 완전히 위치합니다. 해당 당사자는 에이전트의 Agent Card가 선언한 보안 체계에 따라 각 호출을 검사하고, 도구는 연결에 보관된 자격 증명을 Secret에서 참조로 읽어 에이전트가 게시한 요청 헤더로 제시합니다. 카드가 OAuth 2.0 클라이언트 자격 증명이나 OpenID Connect를 요구하는 경우, 연결은 그 대신 또는 그에 더해 클라이언트 시크릿을 운영자가 연결에 작성한 클라이언트 ID와 함께 보관하고, 에이전트는 토큰 주소 또는 디스커버리 주소와 카드가 선언한 스코프를 게시합니다. 도구 자체의 컨테이너가 이를 사용해 토큰을 얻고, 갱신하며, 각 호출에 제시합니다. 카탈로그는 이러한 입력만 전달하며, 컨테이너가 이를 어떻게 사용하는지는 어떤 빌드도 검사할 수 없습니다. 카드가 상호 TLS를 요구하는 경우, 연결은 클라이언트 인증서를 보관하고, 이미지가 아직 신뢰하지 않는 인증 기관이 에이전트의 서버 인증서에 서명한 경우 그 인증 기관도 보관합니다. 각각은 연결이 지정한 Secret에서 파일로 도구의 컨테이너에 마운트되며, 컨테이너가 TLS 핸드셰이크에서 직접 인증서를 제시합니다. 따라서 도구는 카드가 헤더나 쿠키의 API 키, Secret이 헤더 값 전체를 보관하는 Bearer나 Basic처럼 값이 고정된 HTTP 인증 체계, 클라이언트 자격 증명 그랜트를 사용하는 OAuth 2.0 또는 OpenID Connect, 또는 상호 TLS를 선언한 에이전트에 접근할 수 있습니다. 카드가 쿼리 문자열의 키, Digest처럼 에이전트의 챌린지에 응답하는 HTTP 체계, 또는 클라이언트 자격 증명 이외의 OAuth 2.0 흐름을 요구하는 에이전트에는 접근하지 않습니다. 또한 다른 당사자가 평문 HTTP로 운영하는 에이전트에는 자격 증명을 제시하지 않습니다. 해당 에이전트의 주소가http인 경우, 연결에 있는 자격 증명이나 클라이언트 시크릿은 연결 이름을 지정하며 빌드를 중단시킵니다. 자격 증명이나 시크릿으로 얻은 토큰이 암호화되지 않은 채 전송되기 때문입니다. Release 내부에서 실행되는 에이전트는 둘 중 어느 것을 사용하든http로 계속 접근할 수 있으며, 이때 자격 증명은 암호화되지 않은 채 클러스터 네트워크를 지나갑니다. - 에이전트 간 페이로드 검사: 한 에이전트가 다른 에이전트에게 직접 보내는 요청은 AI 게이트웨이를 거치지 않으므로, 수신 에이전트 자체의 인그레스에서 해당 에이전트 옆에서 실행되는 가드레일 엔진(예: NeMo Guardrails)이 검사합니다. 컴파일 타임에는 수신 에이전트에 연결된 Feature를 실현하는 FeatureRecipe가 엔진의 구성을 렌더링합니다. 런타임에는 엔진이 기업이 작성한 규칙에 따라 각 요청을 평가하고 해당 규칙이 거부하는 요청을 거절합니다. 탈취된 요청과 정상 요청을 얼마나 잘 구별하는지는 엔진과 규칙에 달려 있습니다. Aggrega는 구성을 컴파일할 뿐 프롬프트를 평가하지 않기 때문입니다. 표준 라이브러리는 이러한 엔진을 배치하는 Feature를 제공하지 않으므로, 이 패턴은 기업 자체 카탈로그에서 작성합니다. 게이트웨이 자체의 패턴 가드인
dataplane.aggrega.ai/prompt-guard: pattern-list는 범위가 더 좁으며,core/prompt-deny-patterns가 이를 활성화합니다. AI 게이트웨이에서는 요청의 모든 메시지를 읽고 대소문자를 무시하며,core/gateway/apisix와core/gateway/kong에서는 모든 역할의 모든 메시지를 하나의 텍스트로 읽고 대소문자를 구분하며 요청이 반드시 일치해야 하는 패턴 목록도 준수하고,core/gateway/agentgateway에서는 각 메시지, 도구 호출 인수, 도구 결과를 따로 읽고 대소문자를 구분하며,core/gateway/traefik-hub에서는 요청을 채팅 완성으로 읽되 Traefik 참조 문서가 읽는 필드를 나열하지 않으며 대소문자를 구분합니다. 이 가드는 텍스트가 연결에 나열된 표현식 중 하나와 문자 그대로 일치하는 모델 요청을 거부하며(바꿔 쓴 표현, 다른 언어, 인코딩은 통과합니다), 게이트웨이를 통과하는 트래픽에만 적용되므로 에이전트 간에 직접 전송되는 요청은 이 가드를 만나지 않습니다.core/prompt-injection-shield는 같은 홉에서 이에 대응하는 분류기 방식으로, 게이트웨이가 전달하는 각 모델 요청을 해당 게이트웨이의guard소켓에 연결된 NeMo Guardrails 가드를 통해, 또는 Azure API Management에서는 Azure AI Content Safety의 프롬프트 실드를 통해 보내며, 이 역시 게이트웨이를 거치는 트래픽만 다룹니다.
- 두 홉에서의 호출자 신원 전파: 원래 호출자의 신원은 서로 다른 두 홉을 거쳐도 유지되어야 하며, 각 홉은 서로 다른 위치에서 보호됩니다. 게이트웨이 홉에서는 개발자가 요청이 들어오는 게이트웨이에
D. 토폴로지 위험 분석
- 문제: 수십 개의 상호 연결된 모델, 벡터, 도구로 이루어진 복잡한 AI 아키텍처는 사람이 전이적 취약점을 수동으로 감사하기에는 규모가 너무 큽니다(예: “에이전트 A가 도구 B와 통신할 수 있고, 도구 B는 에이전트 C와 통신하며, 에이전트 C는 데이터베이스 D에 접근할 수 있는가?”).
- Aggrega 솔루션: 이 검사는 사전에 실행됩니다. Aggrega는 의도한 토폴로지의 완전한 IR 그래프를 메모리에 구축하므로, 거버넌스 판정 역할이 전체 아키텍처에 걸쳐 고급 경로 탐색 규칙을 실행할 수 있습니다. 정책이 공개 노드에서 시작해 매우 민감한 데이터베이스에서 끝나는 연속적이고 전이적인 에지 체인을 감지했는데, 그 경로 어디에도 기업이 요구하는 제어가 연결되어 있지 않다면 즉시 빌드를 중단합니다. 안전하지 않은 아키텍처는 인프라 코드가 한 줄이라도 생성되기 전에 차단됩니다.
8. 관측성 및 규정 준수
엄격한 규제 요구 사항(예: EU AI Act)을 충족하기 위해 플랫폼 아키텍트는 Aggrega의 기능 시스템을 활용하여 애플리케이션 코드에 의존하는 대신 AI 관측성을 구조적인 인프라 요구 사항으로 강제할 수 있습니다:
- 감사 로깅: 엔터프라이즈가 작성한 Wasm 플러그인은 게이트웨이 사이드카가 편집되지 않은 원본 프롬프트와 응답을 표준 애플리케이션 로그를 거치지 않고 안전한 WORM(Write Once, Read Many) 스토리지 버킷으로 비동기 스트리밍하도록 구성할 수 있습니다.
- LLM 추적: 프록시 기능은 데이터 플레인이 AI 전용 OpenTelemetry 스팬 헤더를 추출하고 전달하도록 구성하여, 복잡한 에이전트 추론 루프를 외부 도구에서 시각화할 수 있게 합니다.
9. Feature 호환성 및 토폴로지 안전성
코어 컴파일러는 물리적 인프라 메커니즘에 구애받지 않으므로, 호환되지 않는 구성의 생성을 방지하기 위해 전적으로 카탈로그의 명시적 선언에 의존합니다.
conflictsWith: Feature의 카탈로그 엔터티에서interoperability아래에 선언하는 목록으로, 함께 부착할 수 없는 Features를 나열합니다. 컴파일러는 모든 범위가 기여를 마친 뒤 각 컴포넌트가 최종적으로 갖게 되는 Features — 컴포넌트 자체의 부착, 해당 컴포넌트를 포함하는 서브시스템이나 경계에 작성된 부착, Release 컴포넌트 항목의 부착, 어노테이션 기반 확장이 생성한 부착 — 와 이 목록을 비교하며, 한 컴포넌트가 둘 다 갖는 경우(즉, 작성자가 직접 또는 범위를 통해, 한 Feature의 작성자가 명시적으로 호환되지 않는다고 선언한 두 Features를 부착한 경우) 물리적 아티팩트를 렌더링하기 전에 중단합니다. 선언은 한 번으로 충분하며, Features는 버전과 관계없이 이름으로 일치시킵니다. 컴파일러는 이름에 아무 의미도 부여하지 않습니다. 비호환성은 작성자의 선언이며, 검사는 이름의 비교입니다. Feature의 원자성과 순수성 자체는 여전히 사회 계약으로 남습니다 — Feature가 한 가지 일만 하는지는 아무것도 검사하지 않습니다.
10. 동적 토폴로지 매핑(의존성 해석)
하드코딩된 규칙 없이 IR 그래프를 구축하기 위해 컴파일러는 세 가지 명시적 선언에서 그래프를 읽습니다:
uses간선: 개발자는 각 인스턴스의uses블록에서 소켓에 대상 컴포넌트를 지정하여 컴포넌트를 연결하며, 그래프의 모든 간선은 이 블록에서 나옵니다. 우연히 다른 컴포넌트의 이름을 담은values항목은 간선을 그리지 않습니다. 컴파일러는 값에서 어떤 의미도 읽어 내지 않기 때문입니다.- 간선 대상: 모든
uses대상은 빌드에 있는 컴포넌트를 지정해야 합니다. 존재하지 않는 대상은 그것이 연결된 소켓을 지목하며 빌드를 중단합니다. - 노드 간 타입 안전성:
usesSchema셀렉터 문자열은 명시적인 대역 외 지시로 작동하며, 정적 분석 중 Go 컴파일러의 레이블 매칭 엔진이 네이티브로 평가합니다. 이를 통해 개발자가 특정 AI 네이티브 기능이나 규정 준수 레이블을 요구하는 선언된 소켓에 일반 컴포넌트를 실수로 연결할 수 없도록 보장합니다. 이 보장은 구조상 선언된 소켓으로 한정됩니다. 셀렉터는usesSchema항목에 존재하므로, 임시 소켓에는 평가할 셀렉터가 없습니다. 각 엣지는 해당 소켓이 카탈로그에 선언되었는지를 기록하므로, 보장이 전면적이어야 하는 운영자는 이를 거버넌스 판정으로 요구할 수 있습니다.
11. 에이전트 시스템의 자동 설계(ADAS)
고급 AI 시스템에는 코드를 작성하여 새로운 에이전트를 즉석에서 만들고 배포하는 메타 에이전트가 있습니다. Aggrega는 AOT(ahead-of-time) 정적 아키텍처를 요구하므로, 두 가지 명시적 경계를 통해 런타임 인프라의 진화를 해결합니다:
- 사전 프로비저닝된 샌드박스 경계: 런타임에 만들어지는 임시 도구를 위해 아키텍트는 기능(예:
dynamic-execution-environment)을 정의합니다. 이 기능이 부착되면 Wasm 렌더링 플러그인이 잠긴 컴퓨트 풀(WebAssembly 런타임 등)을 프로비저닝하는 구성을 생성합니다. 메타 에이전트는 이 샌드박스에 새 코드를 주입하지만, 그 영향 범위는 생성된 정적 네트워크 정책에 의해 제한됩니다. - “개발자” 역할로서의 메타 에이전트(GitOps 루프): 메타 에이전트가 실제로 새로운 물리 인프라를 필요로 하면, 개발자로서 행동합니다. 새
Aggregate.yaml을 작성하여 Git에 커밋합니다. 이는 표준 CI/CD 파이프라인을 트리거합니다. 거버넌스 판정 역할이 AI가 요청한 토폴로지를 정적으로 분석하고, AI가 환각으로 취약점을 만들어 냈다면 빌드를 안전하게 중단합니다.
12. 모델 직렬화 및 공급망 보안
오픈 소스 모델을 배포하려면 악성 코드 페이로드를 포함할 수 있는 불투명한 .pkl 또는 .gguf 파일을 내려받아야 하는 경우가 많습니다. 엔터프라이즈는 모델 공급망 보안을 대상 플랫폼의 구성 문제로 다룰 수 있습니다. 카탈로그에 model_provenance 기능을 정의하면, 엔터프라이즈의 Wasm 렌더링 플러그인이 구성을 평가하여 런타임 아티팩트(Kubernetes Kyverno 정책 등)로 변환할 수 있으며, 이를 통해 대상 클러스터가 오케스트레이터의 서명되지 않았거나 검증되지 않은 모델 가중치 풀링을 차단하도록 구성됩니다.