İçeriğe geç
AggregaAggrega
Dil seçin: Türkçe
Bu sayfa makine çevirisiyle çevrilmiştir. İngilizce orijinalini okuyun.

Yapay zekâ Features

Aggrega yapay zekâ Feature kümesi

Modern yapay zekâ sistemlerinin kendine özgü taleplerini, oynaklığını ve güvenlik tehditlerini desteklemek için Aggrega, uzmanlaşmış zekâyı doğrudan açık kaynaklı yapay zekâ standart kitaplığına (Katalog) yerleştirir. Hem genel cloud-native iskeletin hem de son derece uzmanlaşmış, yapay zekâya özgü akıl yürütme motorlarının güvenli biçimde bir arada var olmasını sağlar.

Çekirdek Go derleyicisi içeriğe karşı tarafsız evrensel bir yönlendiricidir; yapay zekâya özgü tüm zekâ, takılabilir WebAssembly (Wasm) ilkelerinde ve platform mimarlarının Katalog varlıkları üzerinde yazdığı JSON Schema 2020-12 bildirimlerinde yer alır.

1. Operasyonel bulut ontolojisi ve yapay zekâ duck typing’i

Genel Open Application Model’i (OAM) modern altyapının katı gerçekleriyle buluşturmak için component.aggrega.ai/type etiketi yalnızca kapalı bir evrensel cloud-native temel öğeler kümesine eşlenir. Bu anlamsal kimlik, bir soket seçicisinin, bir Feature’ın appliesTo alanının ve bir yönetişim politikasının, bir bileşenin durumu, ağ girişini ve yaşam döngülerini nasıl ele aldığını öğrenmek için okuduğu şeydir; derleyici onu opak bir dize olarak eşleştirir ve ona göre dallanmaz; bir bileşenin nasıl işleneceğine ise Manifest’in onun için eşlediği Recipe karar verir.

Cloud-native türler (altyapı tabanı):

  • server: gelen uygulama trafiği bekleyen uzun süre çalışan, durumsuz işlem (ör. bir AI Gateway veya bir Chat UI).
  • worker: hiçbir gelen uygulama portu olmadan kuyruklardan çeken veya arka plan döngüleri çalıştıran uzun süre çalışan, durumsuz işlem (ör. bir LangGraph ajanı veya Celery worker’ı).
  • task: tamamlanana kadar çalışıp sonlanan geçici işlem (ör. veritabanı geçiş betikleri).
  • function: sıfıra ölçeklenen olay güdümlü işlem (ör. AWS Lambda).
  • stateful-server: kararlı ağ kimlikleri ve kalıcı diskler gerektiren küme içi işlem (ör. bir Qdrant vektör veritabanı, bir Kafka aracısı).
  • resource: platform tarafından yönetilen harici altyapı (ör. AWS RDS PostgreSQL, S3 kovaları, barındırılan bir olay veri yolu).

Küme Aggrega’nın kendisine aittir ve kapalıdır. Yayımlanmış Component şeması bu değerleri sıralar ve başka herhangi bir değer taşıyan bir belge yüklenirken reddedilir — E0215 etiketi adlandırır ve aldığı değerleri listeler. Eksenin sağladığı budur: stateful-server’a göre yazılmış bir Feature veya soket seçicisi, karşılaştığı her katalogda aynı anlama gelir.

Bir bileşenin kendi sözcük dağarcığınızda ne olduğu, kendi anahtarınıza yazılır. Bir katman, bir veri bölgesi, bir hizmet sınıfı, temel öğelerin daha ince bir bölümlenmesi — her biri ayrılmış anahtarın yanında yazdığınız bir etiket anahtarıdır, çünkü Component şeması dize değerli her ek etiket anahtarını kabul eder ve her seçici yüzeyi onu aynı biçimde okur. Bu, aşağıdaki yapay zekâ duck typing etiketlerinin zaten kullandığı mekanizmanın aynısıdır; ayrılmış anahtar ortak tabandır ve onun üzerindeki her şey sizindir.

Operasyonel tür, göz atma kategorisi değildir ve bunlar bilerek ayrı eksenlerdir. Bir Kafka aracısı messaging kategorisinde yer alır — kullanıcının onu aradığı yer — ve türü olarak stateful-server taşır, çünkü altyapının onun için yapması gereken budur. Bir eksene göre yazılmış bir seçici diğer eksende hiçbir zaman eşleşmez.

Anlamsal etiket taksonomisi tabloları için entities/component sayfasına bakın — mimarların temel türlerin üzerine bilişsel kimlik katmanlamak için kullandığı Generic Cloud Layer, Specialized AI Layer, Cross-Cutters ve Dynamic Business Context etiketleri.


1.1 Açık kaynak katalog standardı: “Çıplak taban, uzmanlaşmış kenarlar”

Bu etiketler uygulanırken Resmî Aggrega açık kaynak kataloğu (core/*) ile bir Özel kurumsal katalog (acme/*) arasında kritik bir ayrım vardır.

Resmî açık kaynak kataloğun evrensel olarak kullanılabilir kalması için değişmez teknik fizik ile öznel bilişsel niyet arasında kesin bir ayrım yapması gerekir. Genel amaçlı core/datastore/postgres içine engine: relational sabit olarak yazılırsa, veri deposu türü eşleşmesini zorlamak üzere yapılandırılmış bir yönetişim kararı eklentisi, bir geliştirici values’ında pgvector uzantısını etkinleştirip vector veri deposu gerektiren bir yapay zekâ ajanını bağlamaya çalıştığında derlemeyi durdurur.

Kendi görüşü olmayan bir çekirdek katalog sürdürmek için resmî bileşenler şu standarda uyar: Tabanı çıplak tut, kenarları uzmanlaştır.

  1. Çıplak taban: Kök düzeydeki açık kaynak Component, yalnızca ürün hakkında nesnel olarak doğru olan ve bir yazarın yapılandırdığı hiçbir şeyle değiştirilemeyen şeyi sabit olarak yazar — her şeyden önce ve her zaman operasyonel temel öğeyi (component.aggrega.ai/type). Bir Postgres veritabanı nesnel olarak bir stateful-server’dır; bu olgu değişemez. Aynı ölçüt, ürünün kimliği o yetenek olduğunda bir yetenek etiketine izin verir: core/datastore/qdrant ve core/datastore/weaviate vektör arama motorlarıdır ve bir yazarın yazdığı hiçbir şey onları başka bir şeye dönüştürmez; bu yüzden her biri, tıpkı core/datastore/redis’in kv taşıması gibi, tabanda datastore.aggrega.ai/engine: vector taşır. Çıplak tabanın reddettiği şey bunun tersi olan durumdur — bir bileşenin nasıl yapılandırıldığına veya kullanıldığına bağlı olan bir özellik; aşağıdaki üçüncü mekanizma bunun için vardır.
  2. Uzmanlaşmış arayüzler (şema kalıtımı): Bir Component, temeli olarak başka bir Component’i adlandırarak extends bildirebilir ve bunun birleştirdiği şey yapıdır: etiketler, ek açıklamalar, ek slotları, kendi kendine enjeksiyon izin listesi, topoloji soketleri ve adlandırılmış assertions. Üç veri sütunu birleşmez — genişleten bir Component schema: inherited sabit işaretçisini yazar ve kendine ait hiçbir values, infra veya provides içeriği yazmaz; bu nedenle sözleşmesi temelininkiyle birebir aynıdır. Mekanizmanın çeşitlendirmek yerine daraltmasının nedeni budur: sözleşme değişmediği için temel için yazılmış her Recipe uzmanlaşmaya zaten hizmet eder ve uzmanlaşmanın maliyeti bir katalog varlığı ve bir Manifest eşleme satırıdır. Dolayısıyla bir uzmanlaşmanın eklediği şey, bir seçicinin veya bir ilkenin okuduğu kimliktir — bir denetim katmanı, bir veri bölgesi, bir yönetişim irtibat kişisi veya seçicisi temelinkinden daha azını kabul eden bir soket. Farklı bir sözleşme ekleyemez, çünkü bir sözleşme yazabileceği hiçbir yüzeyi yoktur. Bir sonucu gözden kaçırmak kolaydır: eşleme satırı yine de gereklidir. Recipe seçimi tam eşleme anahtarına göre yapılır; bu nedenle bir uzmanlaşma, kendine ait bir Recipe’e ihtiyaç duymasa bile kendi mappings.components.type girdisine ihtiyaç duyar. İncelenmiş katman etiketi ekleyen ve bir soketi buna göre daraltan yayımlanmış bir sarmalayıcı için, o sokete bağlanan bir kenar katmandan çıktığında duran derlemeyle birlikte examples/extends-wrapper sayfasına bakın. Bir bileşenin nasıl yapılandırıldığına bağlı olan bir özellik bu mekanizmanın konusu değildir: bir uzmanlaşma temelinin yapıtını sabitler ve sözleşmesini devralır; bu nedenle uzmanlaşma için doğru olan bir özellik, Çıplak taban kuralının onu yerleştirdiği temel için zaten doğrudur. Böyle bir özellik aşağıdaki dinamik dönüştürücüye aittir.
  3. Dinamik dönüştürücü (Wasm yükseltmesi): Bir özellik geliştiricinin yükü tarafından belirleniyorsa (ör. enable_vector: true), kuruluş, opak values’ı dinamik olarak okumak ve ilkeler çalışmadan önce datastore.aggrega.ai/engine: vector etiketini IR grafiğine otomatik olarak enjekte etmek için topoloji oluşturma sırasında yönetişim soketinin label-transform rolünü kullanır. Yapılandırmaya bağlı bir özelliğin katı ilke değerlendirmesine açık hâle geldiği yer burasıdır — onu yükselten, geliştiricinin bildirdiği values’tır ve dönüşüm, herhangi bir ilke bir etiketi okumadan önce çalışır.

Kurumsal istisna: Derleyici kendi görüşü olmayan bir yapıda olduğundan, kendi iç kataloglarını yazan kuruluşlar bu kuralı çiğnemekte özgürdür. Bir kurumsal güvenlik ilkesi tüm iç veritabanlarının son derece hassas olduğunu öngörüyorsa, platform mimarı compliance.aggrega.ai/data-class: restricted etiketini (veya şirketin belirlediği benzer bir etiketi) doğrudan acme/postgres temel bileşenine sabit olarak yazabilir ve yazmalıdır; böylece onun her örneği sınıfı taşır ve kuruluşun eklediği bir ilke onu her birinde okur. Etiketin kendisi hiçbir şeyi zorlamaz: derleyici onu bir dize olarak taşır ve bir derlemeyi durduran, eklenmiş ilkedir. Bir ürünün bir kurum ortamındaki kullanımlarının yalnızca bazıları bu verileri tutuyorsa, sınıfı bunun yerine extends aracılığıyla bir uzmanlaşma taşır — talep asistanı standart kitaplıktaki LangGraph ajanına bir sınıf etiketi eklenmiş hâli olan ve onu okuyan ilkenin yanında yer alan examples/policy-data-class-route örneğine bakın.

1.2 Anlamsal etiketler derleyici işlem hattını nasıl besler

Etiketleri platform mimarının alanında tutmak için geliştiriciler Aggregate içindeki Component örneklerine etiket yazamaz: Aggregate şeması bir bileşen örneğine labels anahtarı vermez. Bir düğümün etiketleri, katalog varlığının etiketleri ile operatörün yapılandırdığı bir label-transform yönetişim ekinin topoloji oluşturma sırasında eklediği etiketlerdir. Bu etiketlerin özel Go kodu gerektirmeden derleme işlem hattını tam olarak nasıl yönlendirdiği aşağıdadır:

1. component.aggrega.ai/type (temel öğe)

  • Kim yazar? Platform mimarı (Alan 2). Katalogdaki her bileşen için zorunludur.
  • Kim kullanır? Statik çözümleyici ve Wasm işleme Plugins.
  • Derleyicideki kullanım durumu: Bu, çekirdek operasyonel bulut ontolojisidir. Statik çözümleyici, soket belirli bir yapay zekâ yeteneği gerektiriyorsa bir geliştiricinin bir ajanı standart bir veritabanına bağlayamayacağını garanti etmek için usesSchema seçici dizelerini doğrudan Go’da değerlendirir. Ayrıca DevOps bu etiketi, durum bilgili temel öğeleri (stateful-server, resource) kalıcı diskleri destekleyen fiziksel küme sınırlarına açıkça yönlendirmek için kullanır; bir yönetişim kararı rolü ise durum bilgili bileşenlerin hiçbir zaman yalnızca geçici sınırlara yerleştirilmemesini zorlayabilir.

2. model.aggrega.ai/capability

  • Kim yazar? Platform mimarı.
  • Kim kullanır? Statik çözümleyici (usesSchema soketlerinin Kubernetes tarzı etiket seçicileri aracılığıyla).
  • Derleyicideki kullanım durumu: Bir mimar gerekli yetenek etiketini adlandıran bir usesSchema seçicisi yazdığında, derleyicinin yerel etiket eşleştirme motoru, seçiciyi karşılamayan kablolamayı yapıtlar üretilmeden önce reddeder. Derleyici bu etiketleri opak dizeler olarak ele alır; “text-generation” ile “embedding” arasındaki anlamsal fark, mimarın seçiciyi yazış biçiminde yatar.

3. component.aggrega.ai/hosting

  • Kim yazar? Platform mimarı.
  • Kim kullanır? İlke motoru (bir yönetişim kararı rolü), Wasm işleme Plugins ve standart kitaplığın bir modeli veya bir ajanı çağıran kendi bileşenleri: her model bağlantısında onaylaması bu etiketi okuyan ajanları, target_agent bağlantısında onaylaması bu etiketi okuyan — tıpkı http üzerinden ulaşılan bir external ajana kimlik bilgisi vermeyi reddeden Kubernetes gerçekleştirmesi gibi — core/ai-tool/agent-invocation, models ve cache_store soketlerine yapılan her bağlantıda onaylaması bu etiketi okuyan yapay zekâ ağ geçidi ve models soketlerine, iki Kong’un backend’ine, APISIX ile Traefik Hub’ın cache_store soketlerine ve Envoy Gateway, Higress ile Traefik Hub’ın cache soketlerine yapılan her bağlantıda onaylamaları bu etiketi okuyan core/gateway/kong, core/gateway/kong-enterprise, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/traefik-hub, core/gateway/agentgateway ve core/gateway/higress — aşağıdaki “Bir çağıranın sunduğu anahtar” bölümüne bakın.
  • Derleyicideki kullanım durumu: Bileşenin temelindeki kaynağı kimin işlettiğini kaydeder ve bir operatörün eklediği bir ilkenin veri sızdırma riskini değerlendirmesine olanak tanır; derleyici değeri bir dize olarak okur ve hiçbir şeye hüküm vermez. Sınıf etiketi internal veri tuttuğunu söyleyen bir ajan managed olarak etiketlenmiş bir modele — Release’in kendi sınırının dışında işletilen bir hizmete — bağlandığında, böyle bir ilke verilerin bu sınırın dışına çıktığını okuyabilir ve bağlantı, ağ geçidinin ilettiği sohbet ve tamamlama metnini maskeleyen core/data-masking taşıyan bir yapay zekâ ağ geçidi üzerinden yönlendirilmedikçe derlemeyi durdurabilir. Bir ajanın model soketi, modelin yerine böyle bir ağ geçidini kabul eder; böylece bu rota ilkenin okuduğu grafiğin bir kenarıdır ve ağ geçidinin models soketinden sunduğu bir model, ağ geçidinden etiketlerini ilkenin okuduğu model bileşenine giden kendi başına bir kenardır — böylece bir ajandan ağ geçidi üzerinden managed bir modele giden yol grafikte uçtan uca yer alır. Ağ geçidinin model eşlemine elle yazılmış bir upstream ise yer almaz: derleyicinin çözümlemediği bir dizedir; bu nedenle grafiği okuyan bir ilke ağ geçidini görür ve arkasında hiçbir şey görmez. examples/policy-data-class-route böyle bir ilkedir: ayarları managed bir modeli public olarak sınıflandırır ve restricted veri tutan bir asistanın rotada maskeleme ağ geçidi olmadan böyle bir modele ulaştığı bir derlemeyi durdurur. Bu, kesişen bir özelliktir: aynı self-hosted | managed | external değerleri, bir modeli tanımladıkları gibi yönetilen bir veritabanını veya kendi işlettiğiniz bir çıkarım sunucusunu da tanımlar; bu nedenle etiket modele özgü ad alanı yerine paylaşılan component.aggrega.ai/ ad alanı altında yer alır.

4. agent.aggrega.ai/autonomy

  • Kim yazar? Platform mimarı.
  • Kim kullanır? İlke motoru (bir yönetişim kararı rolü).
  • Derleyicideki kullanım durumu: Bilişsel döngünün yürütme riskini tanımlar. Bir ajan autonomous olarak etiketlenmişse (yani kullanıcı istemleri olmadan arka plan döngüleri çalıştırıyorsa) ve son derece hassas bir veritabanına bağlanıyorsa, ilke motoru, bir yazar kuruluşun kendi kurallarının gerektirdiği onay veya sınırlama Feature’ını eklemedikçe derlemeyi durdurabilir; böylece gözetimsiz bir döngü bu verilere incelenmeden ulaşamaz.
  • Etiketsiz bir bileşenin bu eksende ne anlama geldiği, çünkü bu yokluk kasıtlıdır. Etiket bilişsel bir döngünün yürütme riskini tanımlar; bu nedenle kendine ait bir döngü tutmayan bir bileşen burada ikisinden düşük olanı değil, hiçbir değer taşımaz. Ajan kategorisindeki pek çok bileşen tam da bu nedenle etiketsizdir: bir ajan platformunun sunucusunun yanında gönderdiği destekleyici parçalar — bir tarayıcı konsolu, bir şema geçişi çalıştırması, bir task worker, bir kod sanal alanı, bir çıkış proxy’si — o kategoridedir çünkü onları aradığınız yer orasıdır, oysa destekledikleri döngü platformun sunucusunda yaşar ve etiket de oradadır. En açık örnek, iki uygulamaya bölünmüş tek bir üründür: bir platformun sunucusu copilot taşır ve yanında gönderilen kod sanal alanı hiçbir şey taşımaz. Ölçüt, parçanın hangi biçimi aldığı değil döngünün nerede yaşadığıdır; bu nedenle sizin sağladığınız ajan kodunu barındıran bir çalışma zamanı da etiketsizdir — oradaki döngü, ürünün öne sürdüğü bir şey değil, içine dağıttığınız şeydir. Dolayısıyla iki değerden birini adlandıran bir seçici, döngü tutan bileşenlerle eşleşir ve başka hiçbir bileşenle eşleşmez; herhangi bir özerklik duruşuyla eşleşmek üzere yazılmış bir seçici ise destekleyici parçaları dağıtımdaki en az özerk şey olarak ele almak yerine atlar.

5. gateway.aggrega.ai/intelligence

  • Kim yazar? Platform mimarı.
  • Kim kullanır? Statik çözümleyici ve kuruluşun yazdığı linter Wasm eklentileri.
  • Derleyicideki kullanım durumu: Bir yönlendiricinin fiziksel olarak hangi özellikleri destekleyebileceğini belirler. Yapay zekâ fallback-chain Feature’ı appliesTo: gateway.aggrega.ai/intelligence=semantic bildirir ve statik çözümleyici bu seçiciyi herhangi bir yapıt işlenmeden önce hedef bileşenin etiketlerine göre değerlendirir. Bir geliştirici onu standart bir l4-mesh ağ geçidine eklerse, derleme Feature’ı ve karşılanamayan seçiciyi adlandıran bir seçici ihlaliyle durur; çünkü mimar bu seçiciyi, standart bir TCP mesh’inin bir isteğin adlandırdığı modeli okumak için LLM JSON yüklerini ayrıştıramayacağını bilerek yazmıştır. Ret, l4-mesh’in varlığına değil semantic’in yokluğuna dayanır; bu nedenle hiçbir zekâ etiketi taşımayan bir yönlendiricide de aynı şekilde geçerlidir. Derleyici, tıpkı yukarıda olduğu gibi etiketi opak bir dize olarak ele alır: semantic’in ne anlama geldiği, mimarın seçiciyi yazış biçiminde yatar. semantic taşıyan bir yönlendiricide ek seçiciyi geçer ve sonrasında olacaklar onun gerçekleştirmesine aittir: standart kitaplığın gerçekleştirmesi zinciri yapay zekâ ağ geçidinin yönlendirme yapılandırmasına yazar.
  • Standart kitaplığın taşıdıkları. Şu bileşenler semantic taşır: gerçekleştirmesi proxy’nin yönlendirme tablosunu — birkaç upstream sağlayıcı üzerinde bir model eşlemi — işleyen core/gateway/litellm; ilettiği her model isteğini — adlandırdığı modeli, karşılığında faturalandırılan token’ları ve ağ geçidinin kendi denetimleri açık olduğunda içeriğini — okuyan, Cloudflare’in barındırılan ağ geçidi core/gateway/cloudflare-ai-gateway; bir model sunan bir API’deki her model isteğini — anlamsal önbelleğinin karşılaştırdığı istemi, bir yanıtın bildirdiği token’ları ve güvenlik denetiminin incelemeye gönderdiği içeriği — okuyan, barındırılan bir hizmet olan Azure API Management’ın yapay zekâ ağ geçidi core/gateway/azure-api-management; yapay zekâ proxy’si bir model sunan bir rotadaki her isteğin gövdesini ve modelin yanıtının bildirdiği token’ları okuyan core/gateway/apisix; Envoy AI Gateway uzantısı, kendisine bağlı modelleri sunan rotadaki her isteğin gövdesini adlandırdığı modeli bulmak için ve her yanıtın bildirdiği token’ları okuyan core/gateway/envoy-gateway; yapay zekâ proxy’si bağlı bir modeli sunan bir rotadaki her isteğin gövdesini — adlandırdığı modeli ve taşıdığı mesajları — ve her yanıtın bildirdiği token’ları okuyan Kong Gateway Enterprise, yani core/gateway/kong-enterprise; Chat Completion ara yazılımı bağlı bir modeli sunan rotadaki her isteğin gövdesini okuyan, onu chat completion şemasına göre denetleyen ve her yanıtın bildirdiği token’ları okuyan Traefik Hub, yani core/gateway/traefik-hub; model sunan yollarındaki her isteğin gövdesini, adlandırdığı modeli bulmak için — ki bir isteğin gönderileceği bağlı modeli bu şekilde seçer — ve her yanıtın bildirdiği token’ları okuyan agentgateway, yani core/gateway/agentgateway; ve yapay zekâ proxy’si bağlı bir modeli sunan bir rotadaki her isteğin gövdesini — adlandırdığı modeli ve akış yapıp yapmadığını — okuyan ve eklentileri her yanıtın bildirdiği token’ları okuyan Higress, yani core/gateway/higress — böylece bu değeri gerektiren yapay zekâ Features her birine göre çözümlenir ve her gerçekleştirme, ağ geçidinin neye uyduğunu söyler veya ağ geçidinin bunun hiçbirine uymadığı yerde derlemeyi durdurur; bir ağ geçidi için gerçekleştirmesi olmayan bir Feature, türünü adlandırarak derlemeyi orada durdurur. Hiçbir bileşen l4-mesh taşımaz ve standart kitaplığın diğer ağ geçidi bileşenleri hiçbir zekâ etiketi taşımaz: trafik yönlendirenler HTTP’yi sonlandırır ve 7. katmanda yönlendirir; bunlardan biri ise hiçbir şey yönlendirmeyen bir denetim düzlemidir, dolayısıyla iki değerden hiçbiri onu tanımlamaz. 4. katman bir TCP mesh’i ise yine başka bir ürün sınıfıdır. Bu durum yukarıdaki reddi tamamen geçerli bırakır, çünkü ret semantic’in yokluğuna dayanır: bu değeri gerektiren bir ek, bunların herhangi birinde durur. Kataloğu gerçekten bir 4. katman mesh’i çalıştıran bir mimar o bileşene l4-mesh koyar; bu da ayrımı her iki yönde seçilebilir kılar.
  • Bu eksen bir ürün katmanını adlandırır; bu, bir bileşenin trafiğe ne yapabileceğinden farklı bir sorudur ve onu ikinci anlamda okumak, davet ettiği hatadır. semantic, yönlendiricinin istek gövdesini ayrıştırdığını söyler; bir isteğin adlandırdığı model üzerinde işlem yapan bir denetimin ihtiyaç duyduğu da budur — dolayısıyla bu iş için doğru eksen budur. Bir yönlendiricinin trafiği kopyalayıp kopyalayamayacağı, çağıranın kimliğini taşıyıp taşıyamayacağı, bir upstream’in sertifikasını doğrulayıp doğrulayamayacağı, bir desen listesiyle eşleşen bir prompt’u reddedip reddedemeyeceği ya da bir dönem boyunca bütçe tutup tutamayacağı hakkında hiçbir şey söylemez ve bunlardan birine ihtiyaç duyan bir Feature’ın katmanı sorgulamak için hiçbir nedeni yoktur: bunları sunan bileşenlerin çoğu hiçbir intelligence değeri taşımayan sıradan katman 7 proxy’leridir ve bir semantic yönlendirici bunlardan birini sunduğunda, bunu katmanın kaydetmediği nedenlerle sunar. Böylece katman her iki yönde de yanlış kümeye ulaşır — sade proxy’leri tamamen dışarıda bırakır ve ulaştığı AI ağ geçidinin gerçekte hangi yeteneklere sahip olduğu hakkında hiçbir şey söylemez. Bu soru aşağıda açıklanan veri yolu eksenine aittir ve ikisi birleştirilebilir — bir Feature, her ikisini de adlandırarak ayrıca yansıtma da yapan bir semantic yönlendirici gerektirebilir.

6. tool.aggrega.ai/impact

  • Kim yazar? Platform mimarı.
  • Kim tüketir? Politika motoru ve Wasm işleme Plugins’i.
  • Derleyici kullanım durumu: Bunu geliştiricinin değiştirilebilir values bloğundan çıkarıp değiştirilemez etiket kimliğine taşıyarak politika motorunun katı, en az ayrıcalıklı yapılandırmaları değerlendirmesini sağlar. Bir işleme eklentisi, read-only bir web arama aracı için standart invoke izinleri oluşturabilir, ancak mutating bir SQL drop aracını çağırmak için katı kriptografik imza yapılandırmaları talep edebilir.

7. compliance.aggrega.ai/data-class

  • Kim yazar? Bir kurumun kendi kataloğunun platform mimarı (ya da yönetişim rolü label-transform aracılığıyla dinamik olarak eklenir).
  • Kim kullanır? İlke motoru (bir yönetişim kararı rolü).
  • Derleyici kullanım durumu: Bir bileşenin tuttuğu verilere, bir politikanın grafik boyunca izleyebileceği bir yönetişim kimliği verir. Derleyici etiketi IR grafiğine bir dize olarak taşır ve hiçbir şeyi sıralamaz: restricted değerinin public değerinden daha hassas olduğunu ya da bu sözcüklerden birinin herhangi bir anlam taşıdığını bilmez. ir-verdict rolüne eklenen bir politika bu anlamı kendi ayarlarında sağlar — hangi sınıfların var olduğunu ve nasıl sıralandıklarını — ve derleyicinin uses kenarları üzerinden numaralandırdığı rotaların bileşenlerindeki etiketi okur; böylece restricted veri tutan bir bileşenin, politikanın sınıf düşürücü saydığı hiçbir Feature eklenmemiş bir rota boyunca başka sınıftan bir bileşene ulaştığı bir derlemeyi durdurabilir; buna örnek, rotanın geçtiği AI ağ geçidindeki core/data-masking’dir. Numaralandırma her başlangıç bileşeni için sınırlıdır ve sınırın ötesinde hiçbir şey listelemez; dolayısıyla politikanın okuduğu bir rota gerçektir, ancak bir rotanın yokluğu hiçbir rotanın var olmadığının kanıtı değildir. examples/policy-data-class-route bu politikadır; CLI’ye derlenmiş Rego ve CEL motorları ile OPA için yazılmıştır ve duran derlemeler ile tamamlanan derleme yan yana gösterilir.
  • Standart kütüphanenin taşıdıkları. Hiçbir core/ Component’i bu etiketi taşımaz. Bir bileşenin verisinin hangi sınıfta olduğu, bir kurumun bileşeni nasıl kullandığına dair bir ifadedir, ürünün her Release’te geçerli bir özelliği değildir; bu yüzden Naked Base kuralı gereği tabanın dışında kalır: bir kurum onu kendi Component’inde taşır — çalışılmış örnekteki hasar asistanı gibi extends yoluyla yapılan bir özelleştirmede ya da yukarıda açıklanan Enterprise Exception kapsamındaki kendi tabanında.

8. hardware.aggrega.ai/accelerator

  • Kim yazar? Platform mimarı. Yerel bir model bileşenini paketlerken, bileşenin çalışmak için temelde bir GPU gerektirdiğini bilir.
  • Kim tüketir? DevOps (Alan 4).
  • Derleyici kullanım durumu: DevOps, GPU etiketli bileşenleri components: {} haritası aracılığıyla Release içindeki fiziksel donanım havuzu sınırlarına açıkça yönlendirir. Geliştirici yalnızca kendi Aggregate’inde bilişsel modeli ister, DevOps da onu pahalı GPU kümesi sınırına yerleştirir ve böylece sorumlulukların ayrılığı tamamen korunur. Bir yönetişim karar rolü ayrıca bu etiketi taşıyan hiçbir bileşenin GPU altyapısı olmayan bir sınıra asla yerleştirilmemesini zorunlu kılabilir.

9. datastore.aggrega.ai/engine

  • Kim yazar? Platform mimarı, datastore kategorisindeki bileşenlerde (statik olarak, flavored bir özelleştirmede ya da geliştiricinin values’u rolü yükselttiğinde label-transform rolü tarafından eklenerek). Katalog genelinde kullanılan değerler şunlardır: relational, document, kv, vector, graph, semantic-memory, search. Her değer, bir ürünün olduğu depolama motorunu adlandırır — search, vektörleri de indeksleyen bir arama ve analiz motorunu adlandırır — dolayısıyla dağıtılabilir bir depoda değil de bir uygulamanın kendi şemasında ve erişim deseninde yaşayan bir özellik bu eksende bir değer değildir.
  • Kim tüketir? Statik analizör (seçici dizeleri aracılığıyla) ve politika motoru.
  • Derleyici kullanım durumu: Seçiciler ürünleri değil depolama anlamını hedefler — bir ajanın bilgi tabanı soketi datastore.aggrega.ai/engine in (vector, semantic-memory, search) seçer ve bir politika motoru SQL yüklerinin bir vektör motoruna yönlendirilmesini reddedebilir. Çift kullanımlı veri depolarında AI ile ilgililik bu etiketten türetilir, asla ayrı bir boolean olarak saklanmaz.
  • Standart kütüphanenin taşıdıkları. core/datastore/qdrant, core/datastore/weaviate, core/datastore/chroma, core/datastore/pgvector ve core/datastore/milvus vector taşır, core/datastore/cognee semantic-memory taşır, core/datastore/opensearch ve core/datastore/elasticsearch ise search taşır; böylece yukarıdaki bilgi tabanı seçicisi bunların her birine karşı çözümlenir. core/datastore/redis, core/datastore/valkey ve core/datastore/memcached kv taşır. Bu etiketlerin her biri bileşenin kendi tabanında bulunur, çünkü ürünün kimliği o motordur. core/datastore/pgvector için bu kimlik, sabitlediği yapıttır: pgvector projesinin uzantıyı içeren kendi PostgreSQL imajını çalıştırır ve her Recipe, bileşenin oluşturduğu veritabanında uzantıyı etkinleştirir — dolayısıyla vektör özelliği bir ayara bağlı değildir ve onu yukarıda “Naked Base, Flavored Edges” altında anlatılan yapılandırılmış durumdan ayıran da budur; orada genel amaçlı bir PostgreSQL bu özelliği ancak bir geliştirici bir uzantıyı açtığında kazanır. relational, document ve graph için standart kütüphanede hiçbir bileşen yoktur; bu nedenle yalnızca bunlar arasındaki değerleri adlandıran bir seçici burada hiçbir şeyle eşleşmez ve böyle bir bileşen taşıyan bir katalogla karşılanır.

10. pipeline.aggrega.ai/mode

  • Kim yazar? Platform mimarı, pipeline kategorisindeki bileşenlerde. Her değer, bir ürünün çok adımlı bir işi nasıl çalıştırdığını adlandırır ve değerler önceden belirlenmiş bir listeyi değil, onları taşıyan bileşenleri izler. Standart kütüphane iki tane taşır: core/ai-pipeline/temporal üzerinde durable; bunun motoru her adımın sonucunu bir olay geçmişi olarak kaydeder ve yeniden oynatır, böylece worker’ı çöken bir iş kaldığı yerden devam eder; ve core/ai-pipeline/argo-workflows üzerinde reconciled; bunun denetleyicisi her adımı, kümenin kendi API’sinde tutulan bir workflow kaynağından bir pod olarak çalıştırır.
  • Kim tüketir? Politika motoru ve Wasm işleme Plugins’i.
  • Derleyici kullanım durumu: Politikaların ve işleyicilerin pipeline motorlarını ürün adına göre değil, bir çalıştırmanın bir arızadan nasıl kurtulduğuna göre — yeniden oynatılan bir olay geçmişi ya da uzlaştırılan bir küme kaynağı — ayırt etmesini sağlar.

11. dataplane.aggrega.ai/* (Veri yolu yetenekleri)

  • Kim yazar? Platform mimarı, trafik yolunda bulunan her bileşende — bir ters proxy, bir giriş ağ geçidi, bir service mesh, bir AI ağ geçidi.
  • Kim tüketir? Statik analizör, bir Feature’ın appliesTo’su ve bir soketin usesSchema seçicisi aracılığıyla.
  • Derleyici kullanım durumu: Bu bileşenin trafiğe ne yapabileceği sorusunu yanıtlar; bir çalışma zamanı denetiminin gerçekte bilmesi gereken budur ve bir ürün katmanı etiketinin söyleyemeyeceği de budur. Canlı istekleri değerlendirme için ikinci bir hizmete kopyalayan core/traffic-shadowing, appliesTo: dataplane.aggrega.ai/request-mirroring bildirir — yalnızca anahtarı — ve statik analizör bunu herhangi bir şey işlenmeden önce hedefin etiketlerine karşı değerlendirir; böylece onu hiç yansıtma yapamayan bir bileşene eklemek, Feature’ı ve karşılanamayan seçiciyi adlandıran bir seçici ihlaliyle durur. Derleyici bu dizelerin her birini, diğerlerine davrandığı gibi, opak kabul eder.
  • Önekin neden bir bileşen türünü değil de trafik yolunu adlandırdığı. Yansıtma, çağıran kimliği ve upstream doğrulaması ağ geçidi özellikleri değildir — istek yolunda duran her şeyin özellikleridir ve bir kataloğa eklenen bir service mesh bunların üçüne de sahiptir. Aileyi, bunları ilk taşıyan bileşen türünün adıyla adlandırmak, sonraki her türü aynı sözcük dağarcığını kendi öneki altında yeniden belirtmeye zorlar; bu da tek bir yeteneği birkaç adla ve hepsini kapsayabilecek hiçbir seçici olmadan bırakır.
  • Doğruluk düzeyinin neden değerde yer aldığı. İki bileşen de istekleri yansıtabilir ve yine de bir Feature’ın önemsediği biçimde farklılaşabilir: biri eşleşen her isteği kopyalar, diğeri bunların ayarlanabilir bir payını kopyalar. Yalnızca bir bileşenin yansıtıp yansıtmadığını söyleyen bir anahtar ikisini de kabul eder ve farkın işlemeden sonra keşfedilmesine bırakır. Doğruluk düzeyini değere koymak, onun Feature’a uyan iki yoldan biriyle istenmesini sağlar. Belirli bir doğruluk düzeyi olmadan hiç çalışamayan bir Feature, o değeri seçicisinde adlandırır. Daha düşük doğruluk düzeyinde de çalışabilen bir Feature yalnızca anahtara göre seçer ve onun gerçekleştirimi, bileşenin karşılayamayacağı ayarı reddeder: akışın tamamını kopyalamak yansıtma yapan her bileşende çalışır, bu yüzden core/traffic-shadowing hepsine eklenir ve full-rate bildiren bir bileşen için gerçekleştirim, 100’ün altındaki bir payı, istenen payı ve bileşenin bildirdiği doğruluk düzeyini adlandıran bir iletiyle reddeder — seçici ihlalinin söylemediği iki şey. Bu nedenle değerler bir taksonomi olarak kurgulanmak yerine piyasadaki ürünlerin uyguladıklarından türetilir: request-mirroring, full-rate ve sampled taşır, çünkü gerçek proxy’ler tam olarak bu şekilde ayrılır; biri bir kopyalama oranı ayarı sunar, diğeri hiç sunmaz.
  • Bir değer bir yeteneği öne sürer, asla yapılandırılmış bir durumu değil. Bir geliştirici için ikisi aynı okunur ve yalnızca biri bileşenin bir özelliğidir. Bir upstream’in sertifikasını doğrulayabilen bir proxy, herhangi bir dağıtım bu denetimi etkinleştirsin ya da etkinleştirmesin upstream-tls: trust-anchor taşır — etiket, bir Feature’ın herhangi bir şey yapılandırılmadan önce seçim yaptığı şeydir; dolayısıyla onu yapılandırmayla yüklemek, kullanıldığı anda okunamaz hâle getirir.
  • Standart kütüphanenin taşıdıkları. core/gateway/nginx, request-mirroring: full-rate, upstream-tls: trust-anchor ve concurrency-cap: total taşır; sonuncusu, ilettiği her istek üzerinde tek bir sınırdır. core/gateway/contour, request-mirroring: sampled, caller-identity: client-certificate ve upstream-tls: trust-anchor taşır. core/gateway/envoy-gateway, core/gateway/contour ile aynı üç değeri, Envoy AI Gateway aracılığıyla sunduğu bir modelin her yanıtının bildirdiği token’ları sayan period-budget: tokens’ı ve sunduğu her modele yönelik süren istekler üzerinde bir sınır olan concurrency-cap: per-target’ı taşır. core/gateway/kong, upstream-tls: trust-anchor ve prompt-guard: pattern-list taşır; AI Prompt Guard’ı bir model isteğinin iletilerini rotalarının tuttuğu listelerle eşleştirir. core/gateway/tyk, core/upstream-key-pinning’in seçtiği upstream-pinning: public-key taşır. core/gateway/litellm, caller-identity: injected-header, content-masking: entity-recognition, period-budget: cost, prompt-guard: pattern-list, upstream-tls: trust-anchor ve model haritasının her girdisine yönelik süren istekler üzerinde bir sınır olan concurrency-cap: per-target taşır. core/gateway/cloudflare-ai-gateway, period-budget: cost taşır. core/gateway/apisix, her modelin yanıtının bildirdiği token’ları hiçbir şeyi fiyatlandırmadan sayan period-budget: tokens ile prompt-guard: pattern-list taşır. core/gateway/kong-enterprise, her modelin yanıtının bildirdiği token’ları sayan period-budget: tokens ile content-masking: entity-recognition taşır. core/gateway/traefik-hub, content-masking: entity-recognition ve prompt-guard: pattern-list taşır; Content Guard ara yazılımı, yapılandırmasının tuttuğu desenlerin eşleşmelerini ya da çağırdığı bir Presidio analizörünün tespit ettiği varlık türlerini maskeler veya bir desenin eşleştiği bir isteği reddeder; ayrıca kota ara yazılımıyla birlikte gelen model başına fiyat listesine göre fiyatlandırılan ve bunun yerine her yanıtın bildirdiği token’ları sayabilen period-budget: cost taşır. core/gateway/agentgateway, content-masking: pattern-list ve prompt-guard: pattern-list taşır; düzenli ifade tabanlı koruması, yapılandırmasının tuttuğu desenlerin eşleşmelerini maskeler veya reddeder ve hiçbir varlık türünü tanımaz; ayrıca API anahtarı başına ABD doları cinsinden, model maliyet kataloğuna göre fiyatlandırılarak ya da token cinsinden tuttuğu bütçeler olan period-budget: cost taşır. core/gateway/higress, content-masking: pattern-list taşır; ai-data-masking eklentisi, yapılandırmasının tuttuğu desenlerin eşleşmelerini bir sohbet isteğinin iletilerinin metninde maskeler ve hiçbir varlık türünü tanımaz; ayrıca her yanıtın bildirdiği prompt ve tamamlama token’larını birlikte, hiçbir şeyi fiyatlandırmadan sayan period-budget: tokens taşır. core/gateway/azure-api-management, her yanıtın bildirdiği prompt ve tamamlama token’larını birlikte sayan, hizmet örneğinin her ağ geçidinde ayrı bir sayım tutan ve hiçbir şeyi fiyatlandırmayan period-budget: tokens taşır. Bir modelin yolunda duran ve bir isteği eğitilmiş bir sınıflandırıcıyla değerlendiren iki koruma olan core/security/nemo-guardrails ve core/security/trustyai-guardrails-gateway, AI ağ geçidinin ve NGINX ağ geçidinin guard soketlerinin seçtiği prompt-guard: classifier taşır. Bunlar arasındaki AI ağ geçitleri — core/gateway/litellm, core/gateway/cloudflare-ai-gateway, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/kong-enterprise, core/gateway/traefik-hub, core/gateway/agentgateway, core/gateway/higress ve core/gateway/azure-api-management — semantic taşır, geri kalanlar ise hiçbir gateway.aggrega.ai/intelligence değeri taşımaz; bu, ayrımın bir istisnası değil, işleyişidir: yansıtmaya ihtiyaç duyan bir Feature, buna sahip üç bileşene ulaşır; bir ürün katmanı seçicisi ise bunlar arasında yalnızca Envoy Gateway’e, yansıtma hakkında hiçbir şey söylemeyen bir nedenle ulaşırdı; bir prompt korumasına, içerik maskelemeye ya da dönemsel bir bütçeye ihtiyaç duyan bir Feature, bir AI ağ geçidine bulunduğu katmana göre değil ne yapabildiğine göre ulaşır; süren istekleri sınırlayan bir Feature ise Envoy Gateway’e ve AI ağ geçidine ulaştığı gibi, hiçbir katman değeri taşımayan NGINX ağ geçidine de ulaşır; bir desen listesine göre bir isteği reddeden bir Feature da APISIX’e ulaştığı gibi, o da hiçbir değer taşımayan açık kaynak Kong’a ulaşır. Bu eksenlerden birinde tanımlayacak hiçbir şeyi olmayan bir bileşen orada en zayıf değeri değil, hiçbir değeri taşımaz; böylece o eksende herhangi bir değeri adlandıran bir seçici doğru bir şekilde ona eklenmez.

12. security.aggrega.ai/text-anonymization

  • Kim yazar? Platform mimarı, hassas metnin maskelenmesinde rol alan bir hizmette. Bu iş iki hizmete bölündüğünde analyzer, bir metindeki hassas bölümleri bulup bildiren hizmete, anonymizer ise kendisine verilen bölümleri yeniden yazan hizmete konur; sanitizer, ikisini tek bir çağrıda yapan, kendisine gönderilen metindeki hassas bölümleri bulup bunları kendisi yeniden yazan ve yeniden yazılmış metinle yanıt veren bir hizmete konur.
  • Kim tüketir? Statik analizör, bir soketin usesSchema seçicisi aracılığıyla.
  • Derleyici kullanım senaryosu: Bir tüketiciye doğru adres bu şekilde verilir. core/gateway/litellm, security.aggrega.ai/text-anonymization=analyzer seçen bir pii_analyzer soketi ve anonymizer değerini seçen bir pii_anonymizer soketi bildirir; bu nedenle iki hizmetten birini diğerinin soketine bağlamak, derlemeyi soketi adlandıran bir seçici ihlaliyle durdurur. core/gateway/kong-enterprise tek bir soket, sanitizer değerini seçen pii_sanitizer bildirir; core/gateway/traefik-hub ise yalnızca analyzer değerini seçen tek bir soket, pii_analyzer bildirir, çünkü chart Recipe’sinin core/data-masking için yazdığı Content Guard, analizörün bulduğunu kendisi değiştirir. Derleyici, seçilen bileşenin yayımladığı adresi yönlendirir ve orada neyin yanıt verdiğine dair hiçbir şeyi denetlemez.
  • Standart kütüphanenin taşıdıkları. core/security/presidio-analyzer analyzer değerini, core/security/presidio-anonymizer ise anonymizer değerini taşır. Her ikisi de, bir core/data-masking eklemesi veya ağ geçidinin kendi values.log_masking değeri varlık türlerini listelediğinde AI ağ geçidinin çağırdığı Presidio HTTP API’sini konuşur; Traefik Hub’ın Content Guard’ı ise o ağ geçidindeki bir core/data-masking eklemesi bunları listelediğinde yalnızca analizörü çağırır. core/security/kong-ai-pii-service sanitizer değerini taşır ve Kong’un AI PII hizmeti API’sini konuşur; Kong Gateway Enterprise’ın AI PII Sanitizer’ı, o ağ geçidinde bir core/data-masking eklemesi bulunduğu sürece, düzenli ifadeleri de dahil olmak üzere maskelediği her metinle bu API’yi çağırır. Sanitizer ona hiçbir kimlik bilgisi sunmaz ve her metin ona maskelenmemiş olarak ulaşır; bu nedenle adresi küme içi bir adrestir ve kümenin dışına açılmak için tasarlanmamıştır.

13. model.aggrega.ai/api

  • Kim yazar? Platform Architect, model kategorisindeki her bileşene ve bir model API’si sunan ağ geçidine yazar. Değer, bileşenin yayımladığı adreste hangi model API’sinin yanıt verdiğini adlandırır: OpenAI API’si olduğunda — satıcının kendisininki ya da bir sunucunun onu uygulaması — openai, Anthropic’in Messages API’si olduğunda anthropic, Google’ın Gemini API’si olduğunda gemini, ürünün kendi API’si olup bunlardan hiçbiri olmadığında ise native; bu sonuncusuna tüketici o ürünün istemcisi üzerinden ulaşır. Her değer ürünün kendi başvuru belgelerinden okunur ve bir bileşen, belirli bir Release ne yapılandırırsa yapılandırsın bu değeri taşır.
  • Kim kullanır? Static Analyzer, bir soketin usesSchema seçicisi aracılığıyla; ayrıca AI ağ geçidinin ve core/gateway/kong, core/gateway/kong-enterprise, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/traefik-hub, core/gateway/agentgateway ve core/gateway/higress bileşenlerinin, models soketlerine yapılan her bağlantıdaki doğrulamaları.
  • Derleyici kullanım senaryosu: Tek bir soketin ya bir modeli ya da modelleri sunan bir ağ geçidini almasını sağlayan budur. Aşağıda adı geçen beş çalışma zamanı dışındaki her ajanın model soketi, core/ai-tool/model-invocation bileşeninin target_model soketi ve core/datastore/cognee bileşeninin iki model soketi component.aggrega.ai/category in (ai-model, gateway), model.aggrega.ai/api seçer: kategori gereksinimi iki kategoriyi kabul eder, anahtar gereksinimi ise bu kategorilerin bileşenlerinden yalnızca etiketi taşıyanları kabul eder; bu nedenle böyle bir soketi hiçbir model API’si sunmayan bir ağ geçidine bağlamak, derlemeyi soketi adlandıran bir seçici ihlaliyle durdurur. Bir seçicinin tüm gereksinimlerinin sağlanması gerekir ve alternatifleri tek bir anahtarın kümesi içinde yer alır; dolayısıyla iki bileşen türünün de yanıt verdiği tek anahtarın ağ geçidinin yanı sıra her model bileşeninde de bulunması gerekir — etiketin yalnızca ağ geçitlerini işaretlemek yerine bir API adlandırmasının nedeni budur. Onu taşıyan bir ağ geçidi, bir modelin yayımladığı endpoint ve model anahtarlarını yayımlar; böylece bir tüketicinin Recipe’si ikisini de aynı şekilde okur. Recipes’i tek bir model API’sinin değişkenlerini sağlayan bir ajan ise bunun yerine o API’nin değerini adlandırır: core/ai-agent/openai-agents-sdk, core/ai-agent/agent-framework ve core/ai-agent/mastra bileşenlerinin model soketleri model.aggrega.ai/api=openai seçer, core/ai-agent/claude-agent-sdk bileşenininki model.aggrega.ai/api=anthropic seçer ve core/ai-agent/google-adk bileşenininki model.aggrega.ai/api=gemini seçer; bu nedenle bunlardan birini başka bir API sunan bir modele veya ağ geçidine bağlamak, derlemeyi soketi adlandıran bir seçici ihlaliyle durdurur. core/ai-agent/google-adk soketi ayrıca kategoriyi ai-model ile daraltarak her ağ geçidini reddeder, çünkü ADK’nın istemcisi hiçbir adres okumaz ve bir ağ geçidinin kimlik bilgisini Google’ın kendi adresine gönderirdi. AI ağ geçidi değere göre seçim yapmak yerine değeri okur: models soketi component.aggrega.ai/category=ai-model seçerek her modeli kabul eder ve ağ geçidi oraya bağlanan bir modeli proxy’sine yalnızca OpenAI API’si üzerinden tanımladığı için, Component’inin doğrulaması hedefi openai dışında herhangi bir değer taşıyan bir bağlantıda derlemeyi durdurur, bağlantıyı adlandırır ve o upstream’in bunun yerine ağ geçidinin elle yazılan model haritasına girilmesini söyler. core/gateway/kong, core/gateway/kong-enterprise, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/traefik-hub, core/gateway/agentgateway ve core/gateway/higress değeri kendi models soketlerinde aynı şekilde okur, çünkü her biri bağlı bir modelin rotasını, agentgateway’de ise model girdisini, yalnızca OpenAI API’si için yazar. Derleyici değeri opak bir dize olarak ele alır ve adreste neyin yanıt verdiğine dair hiçbir şeyi denetlemez.
  • Standart kütüphanenin taşıdıkları. core/gateway/litellm, core/gateway/kong, core/gateway/kong-enterprise, core/gateway/apisix, core/gateway/envoy-gateway, core/gateway/traefik-hub, core/gateway/agentgateway ve core/gateway/higress openai taşır; kendi kendine barındırılan sunucular core/ai-model/vllm, ollama, docker-model-runner, tgi, tei, nvidia-nim ve litellm, yönetilen API’ler core/ai-model/openai, openai-embedding ve nvidia-api ile o API’yi konuşan bir hizmete yönlendirilen aracı core/ai-model/openai-compatible de aynı değeri taşır. core/ai-model/anthropic anthropic, core/ai-model/gemini ise gemini taşır. Diğer her model bileşeni native taşır.

14. tool.aggrega.ai/transport

  • Kim yazar? Platform Architect, bir tüketicinin konuşması gereken bir aktarım üzerinden ulaştığı bir araca yazar. Değer o aktarımı adlandırır.
  • Kim kullanır? Static Analyzer, bir tüketicinin araç soketi aracılığıyla.
  • Derleyici kullanım senaryosu: Bir tüketiciye yalnızca konuşabildiği araçlar bu şekilde verilir. Bir araç soketi component.aggrega.ai/category=ai-tool, tool.aggrega.ai/transport=http seçer: kategori gereksinimi araçları kabul eder ve başka hiçbir şeyi kabul etmez, aktarım gereksinimi ise yalnızca HTTP üzerinden ulaşılan araçları kabul eder; bu nedenle böyle bir soketi bu etiketi taşımayan bir araca bağlamak, derlemeyi soketi adlandıran bir seçici ihlaliyle durdurur. Bir araca nasıl ulaşıldığının yayımlanan bir değer değil bir etiket olması gerekir, çünkü bir seçici etiketleri okur, bir değerin içeriğini asla okumaz. Derleyici değeri opak bir dize olarak ele alır ve adreste neyin yanıt verdiğine dair hiçbir şeyi denetlemez.
  • Standart kütüphanenin taşıdıkları. core/ai-tool/mcp http taşır. Bir Model Context Protocol sunucusunu bir ajana bağlar ve o sunucunun nasıl gerçekleştirileceğini Manifest seçer: helm/mcp ve compose/mcp, protokolü HTTP üzerinden sunan bir imaj çalıştırır; helm/mcp-stdio-bridge ve compose/mcp-stdio-bridge, yalnızca stdio konuşan bir paketi, onu HTTP üzerinden sunan sabitlenmiş bir köprünün arkasında çalıştırır; helm/mcp-remote ve compose/mcp-remote başkasının işlettiği bir sunucuya ulaşır ve hiçbir şey çalıştırmaz. Her gerçekleştirme aynı host, port, endpoint, protocol ve credential_header değerlerini yayımlar; böylece bir tüketicinin bağlantı düzeni gerçekleştirmeyle değişmez. Bir sunucunun kendi kimlik bilgileri ortam değişkenleridir ve aracın server_env yuvasında tutulur: Kubernetes’te köprüye referansla teslim edilir, Docker Compose’da ise teslim edildiği şekliyle hizmetin ortamına yazılır ve orada bir Compose değişken referansı kimlik bilgisini dosyanın dışında tutar; uzak bir sunucunun kimlik bilgisi ise tüketici tarafından araca olan kendi bağlantısında tutulur ve credential_header değerinin adlandırdığı başlık altında sunulur; Release başka bir başlık adlandırmadıkça bu Authorization olur. Uzak bir sunucunun anahtarını kendi adresinden okuduğu durumlarda tüketici adresin tamamını da o bağlantıda, Kubernetes’te bir Secret’a referansla, Docker Compose’da ise bir Compose değişken referansıyla doldurulan bir endpoint yuvasında tutar; böylece anahtar hiçbir işlenmiş dosyaya ulaşmaz, aracın infra.endpoint değeri ise adresi anahtarı taşıyan kısım olmadan tutar; examples/mcp-address-from-secret her ikisini de oluşturur. core/ai-agent/openai-agents-sdk, core/ai-agent/claude-agent-sdk, core/ai-agent/agent-framework, core/ai-agent/google-adk ve core/ai-agent/mastra ile akış platformları core/ai-agent/flowise ve core/ai-agent/n8n, bu biçimde bir araç soketi, tools, bildirir ve bağlı her aracın adresini ve bağlantının kimlik bilgisini referansla, bağlantının takma adına göre adlandırılmış değişkenler altında teslim eder; inject: bloğu yazan bir bağlantı ise aracın yayımladıklarından türetilen değişkenlerin yerine o bloğun belirlediğini alır, credential ve endpoint yuvalarının tuttukları ise takma adın adı altında kalır; size ait bir tüketici de aynı şekilde bir soket bildirir. Üç akış platformunun her biri, Aggregate içinde yazılmış bir akışı dağıtım sırasında her iki hedefte de platforma taşır: Langflow taşınan tanımı her başlangıçta kendi akış dizininden yükler, Flowise’ın chatflow’u Release’in adlandırdığı sahip hesabı olarak oturum açan tek seferlik bir adımla oluşturulur ve n8n’in workflow’u platform başlamadan önce bir init adımıyla içe aktarılır. core/ai-agent/langflow, inject: bloğuna izin vermeyen aynı biçimde bir tools soketi bildirir ve her bağlantıyı bunun yerine o akış üzerinden teslim eder, çünkü Langflow’un MCP Tools bileşeni bir sunucunun adresini yalnızca Langflow’un kendi ayarlarından veya akıştan alır, asla bir değişkenden almaz: Recipes’i aracın adresini, sunucusu bağlantının takma adıyla adlandırılmış MCP Tools düğümüne yazar, bağlantının kimlik bilgisini referansla o düğümün başlığının adlandırdığı bir değişken olarak teslim eder — Authorization altında, Bearer ve kimlik bilgisini tutan bir değişken — ve bağlı araçların ve depoların ana bilgisayarlarının Langflow’un özel adreslere karşı korumasından geçmesine izin verir. Üç platformun tümü ayrıca datastore.aggrega.ai/engine in (vector, semantic-memory, search) seçen bir vector_store soketi bildirir; bu soket bağlı her deponun adresini — yayımladığı endpoint, core/datastore/pgvector için parola taşımayan bir bağlantı URI’si ya da protokolünden, ana bilgisayarından ve portundan oluşturulan bir adres — ve bağlantının kimlik bilgisini referansla aynı şekilde teslim eder; core/datastore/pgvector gibi veritabanını ve kullanıcısını da yayımlayan bir depo, Flowise ve n8n’e bu parçalarla da ulaşır, çünkü iki platformun PostgreSQL vektör düğümlerinden hiçbiri bağlantı dizesi almaz; PGVector bileşeni tek bir dize alan Langflow ise böyle bir depoyu, parolası bağlantının kimlik bilgisi olmak üzere, Kubernetes’te referansla ve Docker Compose’da teslim edildiği şekliyle AGGREGA_VECTOR_STORE_<ALIAS>_CONNECTION_STRING olarak alır. Bir Flowise chatflow’u teslim edilen bir değişkeni, Flowise’ın Variables sayfasında oluşturulan aynı adlı bir Runtime değişkeni üzerinden okur; bir n8n workflow’u ise birini $env üzerinden yalnızca Aggregate platformun allow_env_access_in_nodes değerini ayarladığında okur, çünkü varsayılan olarak Recipes’i n8n’in düğümlerde ortam erişimine yönelik engelini korur.

2. Port soyutlaması (sıfır port uzlaşımı)

Açık kaynaklı Aggrega standart kütüphane kataloğu, fiziksel port bildirimlerinin Components’in bilişsel katmanından çıkarılmasını ve port seçiminin bunun yerine Ops Recipe’si üzerinden yönlendirilmesini önerir. Bu öneriyi izleyen yazarlar dağıtım hedefleri arasında port çakışmalarından kaçınır, Injection Contract’ı atlatan arka kapı API’lerini önler ve ağ topografisini sağlayıcılar arasında esnek tutar. Derleyicinin kendisi portlardan bağımsızdır — çözümlenmiş JSON Schema’nın izin verdiği her değeri iletir. Uzlaşım, fiziksel portları değiştirilemeyen eski sistemler için açık bir kaçış yolu ile işler.

  • Cloud-native varsayılan (dinamik enjeksiyon): Modern iş yükleri için Components fiziksel portları schema: bildirimlerinden tamamen çıkarır (ports veya expose dizileri yoktur). Platform Ops Recipes’i dahili TCP/UDP portunu seçer ve onu, aşağı akıştaki tüketicilerin .context.uses Injection Contract’ı aracılığıyla okuduğu adlandırılmış bir provides anahtarı olarak yayımlar.
  • Eski sistemler için kaçış yolu (açık bildirim): Eski bir bileşenin değiştirilemez, koda sabitlenmiş bir portu olduğunda Platform Architect, Component’in schema: bildirimi içinde açıkça bir port alanı sunar. Bu, Developer’a fiziksel kısıtlamayı bildirmek için doğrulanmış bir yol sağlar. Derleyici değeri işlem hattı boyunca değiştirmeden taşır; Recipe onu {{ .values.port }} aracılığıyla kullanır.
  • Operasyonel portlar (bant dışı): Yalnızca küme altyapısı tarafından kullanılan portlar (ör. Prometheus kazıma, Envoy sidecar metrikleri) Developer’ın bilişsel katmanından gizli kalır. Bunlar Platform Ops tarafından Features aracılığıyla bant dışı enjekte edilir (ör. kazıma portu operatörün infra değeri olan core/prometheus-exporter Feature’ı eklenerek).

3. Alana özgü şemalar (yapılandırma zekâsı)

Geliştiricinin values blokları (Go derleyicisi için opak, ancak Component’in schema: bildirimiyle sıkı biçimde türlendirilmiş) açık AI iş akışlarını destekleyecek şekilde doğrulanır:

  • Ajan bağlantıları (bağımlılık dizileri): Standart kütüphanenin paylaşılan ajan parametre şeması, tools_allowed ve agents_allowed alanlarını, bir ajanın çağırabileceği veya görev devredebileceği katalog Components’ını adlandıran values dizileri olarak taşır — bu, derleyicinin değerlendirmediği belgelenmiş bir uzlaşımdır. Derleyicinin topolojik bir kenar olarak bağladığı bağlantı, ajanın Component’inin usesSchema içinde bildirdiği bir uses soketidir ve derlemenin denetlediği şey o soketin seçicisidir.
  • Derin bilişsel bellek bölümlemesi (CoALA): Bir mimar, tek bir düz bellek kovası yerine, bağlantıları semantik, epizodik ve prosedürel belleği açık topolojik kenarlar olarak ayrı altyapı hedeflerine eşleyen bir cognitive_memory soketi bildirebilir; böylece politika motorları ayrıntılı erişim korumalarını değerlendirebilir ve zorunlu kılabilir (ör. bir ajanın semantik belleği okuyabilmesini ama ele geçirilirse üzerine yazamamasını sağlamak). Standart kütüphane böyle bir soket bildirmez.
  • Çok modlu işlem hatları: Bir Component’in schema: bildirimi, document_chunking, embedding_generation ve storage_routing gibi açık yürütme aşamalarını türlendirilmiş values olarak bildirebilir; böylece bildirimsel bir veri akışı herhangi bir şey işlenmeden önce doğrulanır. Standart kütüphane böyle aşamalar bildirmez.

4. Ağ geçidi zekâsı ve yönlendirme

Standart kütüphanenin AI ağ geçitleri, istekleri LLM API’lerine yönlendirmeye yönelik denetimleri taşır: kümede çalışan core/gateway/litellm ve iki barındırılan hizmet — terraform Recipe’sinin bir Cloudflare hesabında oluşturduğu, Cloudflare’in barındırılan ağ geçidi core/gateway/cloudflare-ai-gateway ve terraform Recipe’si zaten var olan bir API Management örneğine, arka ucu ve politikasıyla birlikte bir model sunan bir API ekleyen, Azure API Management’ın AI ağ geçidi core/gateway/azure-api-management. Her barındırılan ağ geçidinin helm ve compose Recipes’i, zaten yapılandırılmış olduğu yerde ona başvurur. Bazı denetimler ağ geçidinin kendisindeki değerlerdir, bazıları ise ona eklenen Features’tır ve aşağıdaki her Feature, standart kütüphanenin onu hangi ağ geçidinde gerçekleştirdiğini belirtir. Barındırılan bir ağ geçidinde her denetim ağ geçidinin kendi yapılandırmasına yazılır — Cloudflare ağ geçidinin kaynağının bir ayarı, Azure API Management’ta API’nin politikasının bir öğesi — bu nedenle yalnızca terraform Recipe’si bir denetim taşıyabilir ve helm ile compose Recipes’i her eklemede derlemeyi durdurur. Aşağıda “AI ağ geçidi” core/gateway/litellm, “barındırılan ağ geçidi” core/gateway/cloudflare-ai-gateway anlamına gelir ve Azure API Management’ın ağ geçidi tam adıyla anılır.

Aggrega dışında, çalışma zamanında

ajan

ağ geçidine bağlı model soketi

yapay zekâ ağ geçidi

ona eklenmiş denetimlerle

token bütçesi

anlamsal önbellek

istem enjeksiyonu kalkanı

model

ağ geçidinin arkasındaki bir sağlayıcı

Bir ajanın istekleri model soketinin bağlı olduğu ağ geçidinden geçer, bu nedenle ağ geçidine eklenen her denetim ajan ile model arasında durur. Burada çizilen üç denetim core/period-budget, core/semantic-caching ve core/prompt-injection-shield Features’tır ve tek bir ağ geçidinin yapılandırması olarak değil, bulundukları yeri göstermek için yan yana gösterilir: aşağıdaki maddeler her denetimi hangi ağ geçidinin gerçekleştirdiğini ve derlemeyi neyin durdurduğunu söyler.

  • Arkasındaki modeller: AI ağ geçidinin model haritası — sunduğu takma adlar, her biri kendisine yönelik bir isteğin gönderildiği upstream ile — iki parçadan oluşur. Ağ geçidinin models soketine bağlanan, yönetilen ya da kendi kendine barındırılan bir model bileşeni, bağlantının takma adı altında sunulur; girdisi modelin yayımladığı endpoint ve model değerlerinden, yani derleyicinin ağ geçidinin yapılandırmasına aktardığı ve asla çözümlemediği dizelerden yazılır; dolayısıyla model, kendine ait bir kenar üzerinden ulaşılan, grafın bir bileşenidir. Ağ geçidi böyle bir modeli proxy’sine yalnızca OpenAI API’si üzerinden tanımlar; bu nedenle model.aggrega.ai/api değeri openai olmayan bir modele ulaşan bir bağlantı, bağlantıyı adlandırarak derlemeyi durdurur. Diğer parça ağ geçidinin values.models değeridir: proxy’nin kendi sağlayıcı/model gösteriminde elle yazılan girdiler; katalogun modellemediği bir upstream için, kendi API’si OpenAI API’si olmayan bir sağlayıcı için ve tek bir takma adı paylaşan birkaç girdi için kullanılır; bağlı modeller bunu yapamaz, çünkü her biri kendi bağlantısının takma adı altında sunulur. Bağlı bir girdi, aşağıda “Bir çağıranın sunduğu anahtar” bölümünün açıkladığı gibi kendi bağlantısının taşıdığı kimlik bilgisini sunar, asla ağ geçidinin provider_key değerini sunmaz; elle yazılan her girdi o yuvadaki tek kimlik bilgisini sunar. Her iki parçanın da yayımladığı bir takma ad, onu adlandırarak derlemeyi durdurur; hiçbir parçanın model vermediği bir ağ geçidi de öyle.

  • Bir ajanın yolunda: Ağ geçidi, bir model bileşeninin yayımladığı anahtarlar olan bir endpoint ve bir model yayımlar ve model.aggrega.ai/api: openai taşır; bu nedenle bir ajanın model soketi ağ geçidini doğrudan alır ve ona eklenen her denetim o ajan ile arkasındaki sağlayıcılar arasında durur. Yayımladığı model, values.model değerinin adlandırdığı takma addır ve haritanın hiçbir parçası onu yayımlamadığında derleme durur; yalnızca ağ geçidi tek bir takma ad sunduğunda ve bir values.models girdisi onu yayımladığında atlanabilir, bu durumda yayımlanan odur. Haritanın yayımladığı başka bir takma ad isteyen bir çağıran, aynı uç noktadan onu adıyla ister. core/gateway/cloudflare-ai-gateway aynı iki anahtarı yayımlar — Cloudflare hesabından ve ağ geçidinin kimliğinden oluşturulan, ağ geçidinin uç noktalarından birinin adresi ve bir çağıranın istediği, ağ geçidinin denetlemeden ilettiği model — ancak hiçbir model.aggrega.ai/api taşımaz; bu nedenle bir ajanın model soketi onu almaz. core/gateway/azure-api-management de bunları yayımlar — API Management örneğinin ana bilgisayarından ve API’nin yolundan oluşturulan API’sinin adresi ve bir çağıranın istediği, denetlenmeden iletilen model — ve o da hiçbir model.aggrega.ai/api taşımaz: API, OpenAI chat completions isteğine yanıt verir, ancak varsayılan olarak bir çağıran OpenAI’nin bearer token’ı yerine kendi başlığında bir API Management abonelik anahtarı sunar; bu nedenle onu çağırmak için düz bir OpenAI istemcisi yeterli değildir.

  • Modellerin önünde Kong: Açık kaynaklı Kong ağ geçidi core/gateway/kong, kendi models soketine bağlanan modelleri Kong’un AI Proxy’si üzerinden sunar ve aşağıdaki denetimlerden yalnızca istem reddetme kalıplarını, her bağlı modelin her rotasında Kong’un AI Prompt Guard’ı olarak gerçekleştirir. Her bağlı model, modelin yayımladığı endpoint ve model değerlerinden yazılan, /<alias>/v1 altında bir chat rotası ve bir completion rotası alır ve Recipes’i bu rotaları ağ geçidi başlamadan önce PostgreSQL arka ucuna içe aktarır. Modeli rota seçer; bu nedenle bir istek, hangi model adını taşırsa taşısın yolunun adlandırdığı modele gönderilir. Ağ geçidi her bağlantının kendi kimlik bilgisini, yapılandırmasının ağ geçidinin ortamından adıyla okuduğu bir bearer token olarak sunar ve model.aggrega.ai/api değeri openai olmayan bir modele ulaşan bir bağlantı derlemeyi durdurur. values.model değerinin adlandırdığı takma adın rotasını endpoint olarak, o takma adı da model olarak yayımlar ve model.aggrega.ai/api: openai taşır; bu nedenle bir ajanın model soketi onu AI ağ geçidini aldığı gibi alır. O sokete hiçbir şey bağlı değilse ağ geçidi hiçbir model sunmaz ve her iki anahtarı da boş yayımlar; ona bağlı bir ajan da bu durumda hiçbir adres ve model adı okumaz. İçe aktarma rotaları ekler ve günceller, hiçbirini kaldırmaz; bu nedenle bağlantısı kaldırılan bir rota yanıt vermeye devam eder ve bir core/prompt-deny-patterns eklemesinin yazdığı istem koruması, ekleme kaldırıldıktan sonra da, her biri Kong’un Admin API’si üzerinden silinene kadar reddetmeye devam eder. Aynı nedenle ağ geçidi hiçbir çağıran bildirmez ve model rotaları hiçbir çağıranın anahtarını denetlemez: Kong çağıranları yalnızca bir kimlik doğrulama eklentisinin adlandırdığı tüketiciler olarak ayırt eder ve bir tüketici ile anahtarı, bir kez içe aktarıldıktan sonra, çağıran Release’ten kaldırıldıktan sonra da kimlik doğrulayabilir durumda kalır, döndürülen bir anahtar da eskisini çalışır bırakırdı; ayrıca bir key-auth anahtarı referansla tutulamaz, bu nedenle bir çağıranın anahtarı Kong’a yalnızca işlenmiş bir dosyadaki bir değişmez değer olarak ulaşabilirdi.

  • Modellerin önünde Kong Gateway Enterprise: core/gateway/kong-enterprise, aynı veritabanı destekli ağ geçidinin Kong’un ücretli sürümü, kendi models soketine bağlı modelleri core/gateway/kong ağ geçidinin sunduğu rotalar üzerinden sunar; bu rotalar aynı yapılandırmadan yazılır ve ağ geçidi başlamadan önce ağ geçidinin kendi pod’undaki bir adım tarafından PostgreSQL arka ucuna aktarılır; ağ geçidi endpoint ve model değerlerini Kong’un yaptığı gibi yayımlar. Tek gerçekleştirimi, Kong’un resmi Helm chart’ı üzerine kurulu bir chart Recipe’sidir; compose gerçekleştirimi yoktur. Release’in infra.image içinde adını verdiği imajı, sürüm etiketi dahil çalıştırır; çünkü Kong enterprise imajını kendi koşulları altında dağıtır ve bu nedenle katalog hiçbir imajın adını vermez; bu anahtar ayarlanmadığı veya etiketi bir sürüm içermediği sürece derleme durur. Lisans ağ geçidine, zorunlu license yuvasına bağlanan Secret’a başvuru yoluyla ulaşır, asla bir değer olarak değil; hiçbir şey bu yuvayı bağlamadığı sürece derleme durur. Derleyici hiçbir lisansı doğrulamaz ve hiçbir satıcıyla iletişim kurmaz; bu nedenle temiz şekilde derlenen bir Release, lisans hakkında hiçbir şey söylemez: Kong lisansı bir düğüm başlarken okur ve geçerli lisansı olmayan bir düğüm, süresi dolmuş bir lisansla olduğu gibi davranır; varlık yapılandırması salt okunur olur ve proxy trafiği hâlihazırda yürürlükte olan yapılandırmayla sunulur. Kong, AI eklentilerini AI Gateway Enterprise teklifi olarak satar; bu, lisansın içinde hiçbir derlemenin göremediği bir haktır ve Kong, lisansta bu hak bulunmadığında böyle bir eklentiyi reddetmek yerine atlar; bu nedenle core/semantic-caching, core/period-budget, core/data-masking, core/fallback-chain, core/retry-policy veya core/target-selection eklemek, Release infra.ai_gateway_entitled değerini true olarak ayarlayıp lisansın bu hakkı içerdiğini beyan edene kadar derlemeyi durdurur. Aşağıdaki denetimlerden dönem bütçesini ve fallback zincirini, her birini ağ geçidinin içe aktardığı rotalara yazarak gerçekleştirir ve core/data-masking denetimini aşağıda “Veri sızdırma ve yük ele geçirme” bölümünün anlattığı şekilde gerçekleştirir; anlamsal önbellek, yeniden deneme politikası ve hedef seçimi gerçekleştirimleri her eklemede, her biri nedenini belirterek, derlemeyi durdurur; eşzamanlılık sınırı, denetim günlüğü, prompt enjeksiyonu taraması, yanıt doğrulama ve prompt engelleme kalıplarının orada hiçbir gerçekleştirimi yoktur, bu nedenle bunlardan herhangi birinin eklenmesi derlemeyi durdurur. Değişen bir rota kümesi ağ geçidinin kademeli olarak yeniden dağıtılmasına yol açar; içe aktarma rotaları ekler ve günceller ama hiçbirini kaldırmaz; bu nedenle bağlantısı kaldırılan bir rota ve bir AI Feature’ın yazdığı bir eklenti, Feature kaldırıldıktan sonra da, Kong’un Admin API’si aracılığıyla silinene kadar veritabanında kalır; yukarıdaki maddenin belirttiği nedenlerle bu ağ geçidi de hiçbir çağıran bildirmez ve model rotaları hiçbir çağıranın anahtarını denetlemez. Çalışan bir ağ geçidinin bu denetimlerden herhangi birini uyguladığı hiçbir derleme tarafından gözlemlenmez.

  • Modellerin önünde APISIX: core/gateway/apisix, açık kaynaklı Apache APISIX ağ geçidi, Manifest’in chart Recipe’sini bağladığı yerde kendi models soketine bağlı modelleri APISIX’in AI proxy’si üzerinden sunar; bu Recipe APISIX 3.18.0 çalıştırır. Bağlı her model /<alias>/v1 altında bir chat rotası ve bir completion rotası alır — bir dönem bütçesi veya prompt engelleme kalıpları eklendiği sürece yalnızca chat rotası, çünkü APISIX bir completion isteğinde token saymaz ve prompt guard’ı bu isteği okumaz —; bu rotalar, modelin yayımladığı endpoint ve model değerlerinden, ağ geçidiyle birlikte işlenen bir rota dosyasına yazılır; ağ geçidi bu dosyayı başlangıçta ve dosya her değiştiğinde yeniden okur. Rotalarını bu dosyadan okuyan bir ağ geçidi hiçbir etcd okumaz ve hiçbir Admin API çalıştırmaz; bu nedenle bir model bağlıyken bir etcd bağlantısı veya bir admin_key eklemesi derlemeyi durdurur, hiçbir şey bağlı değilken ise ikisi de zorunludur. Modeli rota seçer. Ağ geçidi her bağlantının kendi kimlik bilgisini, rotalarının ağ geçidinin ortamından adıyla okuduğu bir bearer token olarak sunar ve model.aggrega.ai/api değeri openai olmayan bir modele ulaşan bir bağlantı derlemeyi durdurur. values.model alanının adını verdiği takma adın rotasını kendi endpoint değeri, o takma adı da kendi model değeri olarak yayımlar ve model.aggrega.ai/api: openai taşır; bu nedenle bir ajanın model soketi onu AI ağ geçidini kabul ettiği gibi kabul eder; hiçbir şey bağlı değilken iki anahtarı da boş yayımlar. Bağlantısı kaldırılan bir rota bir sonraki işlemede yer almaz. Bir Release, ağ geçidinin çağıranlarını infra.callers içinde, anahtarlarını ise her çağıran adı için bir veri anahtarı tutan bir Secret olan caller_keys yuvası aracılığıyla adlandırabilir: her çağıran bu durumda rota dosyasında, anahtarı o Secret’tan adıyla okunan bir tüketicidir ve her rota, bildirilmiş hiçbir anahtarı Authorization: Bearer <key> olarak — bir OpenAI istemcisinin anahtar sunma biçimi — sunmayan bir isteği HTTP 401 ile reddeder ve anahtarı ilettiği istekten kaldırır. Çağıran yoksa rotalar açıktır. APISIX 3.17.0 ile çalışan workload Recipe’si rotalarını etcd’de tutar, hiçbir rota işlemez ve o sokete bir bağlantıda ve infra.callers alanında derlemeyi durdurur. Aşağıdaki denetimlerden dönem bütçesini, bildirdiği çağıranlar için bir anlamsal önbelleği ve prompt engelleme kalıplarını gerçekleştirir.

  • Modellerin önünde Envoy Gateway: core/gateway/envoy-gateway, açık kaynaklı Envoy Gateway, kendi models soketine bağlı modelleri Envoy AI Gateway üzerinden sunar; ağ geçidi, Envoy AI Gateway’in denetleyicisi olan core/gateway/envoy-ai-gateway-operator bileşenini extension soketi aracılığıyla kendi uzantı sunucusu olarak çağırır. O sokette hiçbir şey yokken bağlanan bir model derlemeyi durdurur; denetleyici bağlıyken Release ağ geçidini envoy-gateway-system içine yerleştirmelidir, aksi hâlde derleme durur. Bağlı her model, ağ geçidine eklenmiş tek bir AI rotasının, bir isteğin taşıdığı model adına göre seçilen bir kuralı olur; arka ucu modelin yayımladığı endpoint ve model değerlerinden yazılır; bu nedenle bağlı her model ağ geçidinin kendi adresinde /v1 altında sunulur. Ağ geçidi her bağlantının kendi kimlik bilgisini bir bearer token olarak sunar; Envoy AI Gateway’in denetleyicisi bu token’ı kimlik bilgisinin adını verdiği Secret’tan okur ve model.aggrega.ai/api değeri openai olmayan bir modele ulaşan bir bağlantı derlemeyi durdurur. Bir model bağlı olduğu sürece ağ geçidindeki her rota, Envoy AI Gateway’in yapılandırdığı bağlantı başına 50Mi istek arabelleğini alır. Her ad alanından çözümlenebilmesi için envoy-gateway-system ile nitelenen adresini kendi endpoint değeri, values.model alanının adını verdiği takma adı da kendi model değeri olarak yayımlar ve model.aggrega.ai/api: openai taşır; bu nedenle bir ajanın model soketi onu AI ağ geçidini kabul ettiği gibi kabul eder; hiçbir şey bağlı değilken iki anahtarı da boş yayımlar. Denetleyicinin webhook’u cert-manager’ın verdiği bir sertifikayı sunar; bu nedenle cert-manager’ın kümede zaten çalışıyor olması gerekir; ancak Release, denetleyicinin infra.webhook_tls_secret alanında operatörün sağladığı bir sertifikayı tutan bir Secret adlandırırsa webhook o sertifikayı sunar. Aşağıdaki denetimlerden dönem bütçesini, yeniden deneme politikasını ve eşzamanlılık sınırını, her birini modellerini sunan rotanın tek trafik politikasına yazarak gerçekleştirir. Anlamsal önbelleği ve yanıt doğrulamayı gerçekleştirmez, çünkü Envoy AI Gateway sonraki bir isteğe yanıt olarak verilecek hiçbir yanıtı saklamaz ve hiçbir yanıtı bir şemaya göre denetlemez; fallback zincirini de gerçekleştirmez: Envoy AI Gateway, bir modelin kuralındaki diğer arka uçlara yeniden deneyerek fallback yapar ve ağ geçidi tek trafik politikasının yeniden deneme sayısını modellerini sunan rotanın her kuralına yazar; bu nedenle bir fallback listesi tam olarak kendi gönderimlerini ancak bağlı her modelin listesi aynı uzunlukta olduğunda alırdı. core/audit-logging denetimini, aşağıda “Denetim günlüğü” bölümünün anlattığı gibi erişim günlüğü olarak gerçekleştirir ve bu günlüğün tutamadıklarını adıyla reddeder: bir isteğin maliyeti, çünkü Envoy AI Gateway’in hesaplayabildiği istek başına maliyetin birimi yoktur ve ağ geçidi fiyat tutmaz; ağ geçidinin doğruladığı bir çağıran, çünkü o yolda hiçbir şey çağıranı doğrulamaz; ve bir saklama süresi, çünkü o günlüğün ne deposu ne de saklama ayarı vardır. examples/envoy-ai-gateway-token-budget, ağ geçidi üzerinden OpenAI’ın yönetilen modeline ulaşan bir ajanla birlikte yolun tamamını kurar.

  • Modellerin önünde agentgateway: core/gateway/agentgateway, açık kaynaklı agentgateway, kendi models soketine bağlı modelleri Recipes’in işlediği tek bir yapılandırma dosyasından sunar. Bağlı her model bu dosyanın bir girdisidir; bağlantının takma adıyla adlandırılır ve modelin yayımladığı endpoint ve model değerlerinden, OpenAI uyumlu bir chat completions sağlayıcısı olarak yazılır; bu nedenle bağlı her model ağ geçidinin kendi adresinde /v1 altında sunulur ve onu bir isteğin taşıdığı model adı seçer: istek modele, modelin yayımladığı model adını isteyerek ulaşır ve hiçbir bağlantının taşımadığı bir ada HTTP 404 ile yanıt verilir. Ağ geçidi her bağlantının kendi kimlik bilgisini bir bearer token olarak sunar; dosya bu token’ı, ağ geçidinin dosyayı okurken ortamından okuduğu bir değişken olarak adlandırır ve orada eksik olan bir değişken ağ geçidinin başlamasını engeller; model.aggrega.ai/api değeri openai olmayan bir modele ulaşan bir bağlantı derlemeyi durdurur. Bu /v1 temel URL’sini kendi endpoint değeri, values.model alanının adını verdiği takma adı da kendi model değeri olarak yayımlar ve model.aggrega.ai/api: openai taşır; bu nedenle bir ajanın model soketi onu AI ağ geçidini kabul ettiği gibi kabul eder; hiçbir şey bağlı değilken iki anahtarı da boş yayımlar. İki Recipes, digest ile sabitlenmiş aynı imajı çalıştırır: agentgateway-chart, projenin kayıt defterinden alınan projenin bağımsız Helm chart’ını işler ve aşağıdaki denetimleri gerçekleştirir; agentgateway ise imajı tek bir Docker Compose hizmeti olarak çalıştırır ve bunların hiçbirini, çağıranları da gerçekleştirmez; bu nedenle orada bir ekleme, türünü belirterek derlemeyi durdurur; derlemenin o kayıt defterine ulaşabildiği Kubernetes’te chart’ı kullanın. Chart’ta bir Release, APISIX’te olduğu gibi ağ geçidinin çağıranlarını infra.callers içinde, anahtarlarını da caller_keys yuvası aracılığıyla adlandırabilir: her çağıran, katı modda denetlenen ve o Secret’tan adıyla okunan, dosyanın bir API anahtarıdır; bu nedenle bildirilmiş hiçbir anahtarı Authorization: Bearer <key> olarak sunmayan bir model isteği HTTP 401 ile reddedilir ve anahtar iletilen istekten kaldırılır; çağıran yoksa model rotaları açıktır. agentgateway, dosyanın bu şekilde adlandırdığı her anahtarı — bağlı bir modelinkini her iki Recipe’de, bir çağıranınkini chart’ta — dosyayı YAML olarak okumadan önce dosyanın metnine yerleştirir; bu nedenle bir anahtar düz bir token olmalıdır — harfler, rakamlar ve -, ., _, ~, +, / ve = — ve başka karakterler farklı bir anahtar olarak yüklenebilir veya ağ geçidini durdurabilir. Ağ geçidi dosyası değiştiğinde onu yeniden okur; bu nedenle Release’ten kaldırılan bir çağıran, bağlanan dosya güncellenir güncellenmez reddedilir. core/audit-logging veya caller kapsamıyla core/period-budget ekli olduğu sürece chart Recipe’si ağ geçidine bir depo, kendine ait bir birimde bir SQLite dosyası verir ve tek bir kopya çalıştırır. Aşağıdaki denetimlerden veri maskelemeyi, prompt engelleme kalıplarını, dönem bütçesini, denetim günlüğünü ve yeniden deneme politikasını, her birini dosyaya yazarak gerçekleştirir ve uygulayamadığı her değeri adıyla reddeder. Veri maskeleme, eklemenin listelediği kalıpların her eşleşmesini <masked> ile değiştirir veya refuse altında isteği ya da yanıtı HTTP 403 ile yanıtlar; bunu bir isteğin sistem ve geliştirici promptlarında, diğer mesajlarında ve araç çağrılarının argümanlarında ve sonuçlarında, ayrıca bütün hâlinde gelen bir yanıtın mesaj metninde yapar; hiçbir varlık türünü tanımaz ve hiçbir şeyi geri yüklemez. agentgateway akış hâlindeki bir yanıtı maskelemez; bu nedenle yanıtlar maskelendiği sürece akış hâlinde yanıt isteyen bir model isteği iletilmeden önce HTTP 403 ile reddedilir; gövdesi ağ geçidinin bu denetim için okuduğu 2 MiB’tan büyük olan her model isteği de, akış hâlinde olsun ya da olmasın, aynı şekilde reddedilir. Bir koruma tarafından yapılan ret, bir engelleme kalıbınınki dahil, “The request was rejected due to inappropriate content” (İstek uygunsuz içerik nedeniyle reddedildi) gövdesiyle HTTP 403’tür. Bütçe, kayıtlar ve yeniden deneme aşağıda “Dönem bütçesi”, “Denetim günlüğü” ve “Dayanıklılık” bölümlerinde anlatılır. Fallback zinciri, hedef seçimi, anlamsal önbellek, yanıt doğrulama ve prompt enjeksiyonu taraması gerçekleştirimleri her eklemede, her biri nedenini belirterek, derlemeyi durdurur; eşzamanlılık sınırı ise ona eklenmez, çünkü ağ geçidi hiçbir dataplane.aggrega.ai/concurrency-cap değeri taşımaz.

  • Modellerin önünde Traefik Hub: core/gateway/traefik-hub, Traefik’in ücretli ağ geçidi, kendi models soketine bağlı modelleri Traefik Hub’ın Chat Completion ara yazılımı üzerinden sunar. Tek gerçekleştirimi, Traefik’in kendi Helm chart’ı üzerine kurulu bir chart Recipe’sidir; compose gerçekleştirimi yoktur. Release’in infra.image içinde adını verdiği imajı, etiket dahil çalıştırır; çünkü Traefik, Traefik Hub’ı kendi koşulları altında dağıtır ve bu nedenle katalog hiçbir imajın adını vermez; bu anahtar ayarlanmadığı veya hiçbir etiket belirtmediği sürece derleme durur. Lisans token’ı ağ geçidine, zorunlu license yuvasına bağlanan Secret’a başvuru yoluyla, token veri anahtarı altında ulaşır, asla bir değer olarak değil; hiçbir şey bu yuvayı bağlamadığı veya bu Secret başka bir veri anahtarı yayımladığı sürece derleme durur. Traefik, ağ geçidinin token’ını doğruladığı api.traefik.io adresine giden HTTPS gerektirir; Traefik Hub v3.21’den itibaren ağ geçidi, bu ana makineye ulaşılamadığı sırada arka planda yeniden deneyerek sunmaya devam eder; bir token varsayılan olarak bir yıl geçerlidir ve süresi dolduğunda ağ geçidi durur. Chart Recipe’si, chart’ın ağ geçidinin hata günlüklerini Traefik’in platformuna aktarmasını ve daha yeni bir sürüm denetimini kapatır. Derleyici hiçbir token’ı doğrulamaz ve hiçbir satıcıyla iletişim kurmaz; bu nedenle temiz şekilde derlenen bir Release, ağ geçidinin başlayıp başlamayacağı hakkında hiçbir şey söylemez. Bağlı her model /<alias>/v1/chat/completions adresinde bir rota alır; bu rota, ExternalName türünde bir Service aracılığıyla modelin yayımladığı endpoint adresine gönderilir ve bir isteğin taşıdığı model adı ne olursa olsun modelin yayımladığı model değerini ister; bu nedenle modeli yol seçer; yalnızca chat completions sunar. Ağ geçidi her bağlantının kendi kimlik bilgisini bir bearer token olarak sunar; Traefik Hub bu token’ı bağlantının Chat Completion ara yazılımının adını verdiği Secret’tan okur; model.aggrega.ai/api değeri openai olmayan veya uç noktası bir ana makine yerine bir adres belirten bir modele ulaşan bir bağlantı derlemeyi durdurur. values.model alanının adını verdiği takma adın rotasını kendi endpoint değeri, o takma adı da kendi model değeri olarak yayımlar ve model.aggrega.ai/api: openai taşır; bu nedenle bir ajanın model soketi onu AI ağ geçidini kabul ettiği gibi kabul eder; hiçbir şey bağlı değilken iki anahtarı da boş yayımlar. Bir Release, ağ geçidinin çağıranlarını infra.callers içinde, anahtarlarının htpasswd özetlerini de caller_keys yuvası aracılığıyla adlandırabilir: bu durumda Traefik Hub’ın API Key ara yazılımı her model rotasının başında yer alır ve bildirilmiş hiçbir anahtarı Authorization: Bearer <key> olarak sunmayan bir isteği reddeder; anahtar iletilen istekten kaldırılır; çağıran yoksa rotalar açıktır. Traefik Hub’ın, var olmayan bir Secret’ı veya veri anahtarını adlandıran bir çağıran girdisiyle ne yaptığı başvuru belgesinde belirtilmemiştir; bu nedenle en kötü durumda rotalar, çağıran olmadığı durumdaki kadar açıktır. Aşağıdaki denetimlerden dönem bütçesini, bildirdiği çağıranlar için anlamsal önbelleği, prompt engelleme kalıplarını ve veri maskelemeyi Traefik Hub’ın AI ağ geçidinin ara yazılımları aracılığıyla; fallback zincirini ve yeniden deneme politikasını ise Traefik’in kendi failover ve yeniden deneme mekanizması aracılığıyla, her birini chart Recipe’sinin işlediği rotalara yazarak gerçekleştirir. AI ağ geçidi, lisansın içinde yer alan ve hiçbir derlemenin göremediği bir haktır; Traefik Hub’ın, lisansı bu hakkı içermeyen geçerli bir token ile ne yaptığı belgelenmemiştir; bu nedenle ilk dördünden herhangi birini eklemek, Release infra.ai_gateway_entitled değerini true olarak ayarlayana kadar derlemeyi durdurur. Prompt enjeksiyonu taraması, denetim günlüğü, hedef seçimi ve yanıt doğrulama gerçekleştirimleri her eklemede, her biri nedenini belirterek, derlemeyi durdurur; eşzamanlılık sınırı ise ona eklenmez, çünkü ağ geçidi hiçbir dataplane.aggrega.ai/concurrency-cap değeri taşımaz. Çalışan bir ağ geçidinin bu denetimlerden herhangi birini uyguladığı hiçbir derleme tarafından gözlemlenmez.

  • Modellerin önünde Higress: Envoy üzerine kurulu ve Kubernetes kaynaklarıyla yapılandırılan açık kaynak Higress ağ geçidi core/gateway/higress, kendi models soketine bağlı modelleri Higress’in AI proxy’si aracılığıyla sunar. Tek gerçekleştirimi, projenin kendi higress-core Helm chart’ı üzerine kurulu bir chart Recipe’sidir; bu chart, Higress’in denetleyicisini keşif hizmetiyle birlikte ve ağ geçidini çalıştırır; compose gerçekleştirimi yoktur, çünkü proje compose dağıtımını esas olarak yerel testler için tasarlar ve bu dağıtım, kendine ait bir depo üzerinden yapılandırılan, birlikte çalışan birkaç hizmeti çalıştırır. Recipe, chart’ı, imajları ve yazdığı her eklenti modülünü sabitler ve infra.source_version içinde yalnızca yapılandırmasının doğrulandığı chart sürümlerini kabul eder; ağ geçidi bu modülleri çalışma zamanında Higress eklenti kayıt deposundan çeker; kümenin bu depoya erişebilmesi gerekir ve derleme bunu denetleyemez. Denetleyici yalnızca Release’in ad alanını, ağ geçidinin ve o ad alanının adını taşıyan bir IngressClass altında izler; bu nedenle aynı ad alanındaki iki Higress ağ geçidi çakışır. Her takma ad /<alias>/v1 altında bir rota alır; bu rota, takma adın modelinin ağ geçidinin kendi kayıt deposundaki bir girdi aracılığıyla yayımladığı endpoint’e gönderilir ve bir isteğin taşıdığı model adı ne olursa olsun modelin yayımladığı model’i ister; dolayısıyla modeli yol seçer; serves değerinde aynı takma adı anan bağlantılar, onun isteklerini eşit paylarla bölüşür. Ağ geçidi her bağlantının kendi kimlik bilgisini bir bearer token olarak sunar; Higress denetleyicisi bunu, AI proxy yapılandırmasının adını verdiği Secret’tan, ağ geçidinin ad alanında okur ve ağ geçidine iletir; böylece anahtar hiçbir oluşturulan dosyada yer almaz; nokta içeren bir Secret adı derlemeyi durdurur, çünkü Higress adı ilk noktasına kadar okur; kimlik bilgisi taşımayan bir bağlantı ise isteğin sunduğu anahtarı aktarır. Higress’in AI proxy’si ayrıca bir istemcinin gönderdiği Authorization başlığını bir X-HI-ORIGINAL-AUTH başlığına kopyalar ve her model rotası, istek modele ulaşmadan önce bu kopyayı kaldırır; böylece bir istemcinin sunduğu anahtar hiçbir zaman bir bağlantının kendi kimlik bilgisinin yanında taşınmaz. https üzerinden ağ geçidi, bir modelin sertifikasının sistemin güven çapalarına zincirlendiğini ve istemcinin gönderdiği ana bilgisayar ne olursa olsun modelin ana bilgisayarını adlandırdığını denetler, aksi hâlde modele hiçbir şey göndermez: Recipe, bağlantılarının tümü https olan her takma adın rotasını Higress’in higress.io/backend-protocol: HTTPS ek açıklamasıyla işaretler; böylece ağ geçidi sunucu adını AI proxy’nin her isteğe yazdığı ana bilgisayardan — modelinkinden, nokta içermediği yerde modelin ad alanıyla nitelendirilmiş olarak — alır ve sertifikayı buna göre denetler. Bu ek açıklama bir takma adın her bağlantısına uygulanır; bu nedenle http ve https bağlantılarını karıştıran bir takma ad, her ikisini de adlandırarak derlemeyi durdurur; bunları iki takma ad altında sunmak sorunu giderir. model.aggrega.ai/api değeri openai olmayan ya da uç noktası bir ana bilgisayar yerine bir adres belirten bir modele ulaşan bağlantı derlemeyi durdurur. Ağ geçidi, values.model değerinin adını verdiği takma adın rotasını kendi endpoint’i, o takma adı da kendi model’i olarak yayımlar ve model.aggrega.ai/api: openai taşır; böylece bir ajanın model soketi onu AI ağ geçidini kabul ettiği gibi kabul eder; hiçbir şey bağlı değilken her iki anahtarı da boş yayımlar. Hiçbir çağıran bildirmez; bu nedenle model rotaları hiçbir çağıranın anahtarını denetlemez ve ağ geçidinin doğruladığı bir çağıran gerektiren bir değer adıyla reddedilir. Aşağıdaki denetimlerden dönem bütçesini, denetim günlüğünü ve yeniden deneme politikasını, her birini model rotalarına yazarak gerçekleştirir; core/data-masking’i ise aşağıda “Veri sızdırma ve yük yakalama” bölümünün anlattığı şekilde gerçekleştirir. Yanıt doğrulama, yedek zinciri, anlamsal önbellek, istem enjeksiyonu taraması ve hedef seçimi gerçekleştirimleri her eklemeyi durdurur ve her biri nedenini belirtir; istem engelleme kalıpları ve eşzamanlılık sınırı ise ona eklenmez, çünkü hiçbir dataplane.aggrega.ai/prompt-guard veya dataplane.aggrega.ai/concurrency-cap değeri taşımaz. Çalışan bir ağ geçidinin bu denetimlerden herhangi birini uyguladığı hiçbir derleme tarafından gözlemlenmez.

  • Bir modelin önünde Azure API Management: Barındırılan bir hizmet olan Azure API Management’ın AI ağ geçidi core/gateway/azure-api-management, zaten var olan bir API Management örneği üzerindeki bir API aracılığıyla tek bir model API’sini sunar. terraform Recipe’si örneği okur ve API’yi, onun chat completions işlemini, iletim yaptığı arka ucu ve API’nin politikasını ekler; bu politika, çağıranın abonelik anahtarını ilettiği içerikten kaldırır ve model API’sine infra.backend_authentication’ın belirttiği şekilde kimlik doğrular: örneğe ait yönetilen kimlikle, Key Vault’ta tutulan bir sağlayıcı anahtarıyla ya da hiçbir şey olmadan. helm ve compose Recipes’leri, Release dışında yapılandırılmış bir API’ye başvurur ve herhangi bir eklemede derlemeyi durdurur. Aşağıdaki denetimlerden terraform Recipe’si anlamsal önbelleği, dönem bütçesini, istem enjeksiyonu taramasını ve yeniden deneme politikasını, her birini API’nin politikasına yazarak gerçekleştirir. Eşzamanlılık sınırını gerçekleştirmez, çünkü Microsoft eşzamanlılık politikasının uyguladığı üst sınırın hiçbir zaman tam doğru olmadığını ve bir bölgede birkaç kapasite birimi çalıştığında daha düşük olduğunu belirtir; yedek zincirini de gerçekleştirmez, çünkü API tek bir arka uca iletir ve Azure’un kendi yedekleme mekanizması, yani bir arka uç havuzunun öncelik grupları, başarısız bir isteği başka bir modele göndermek yerine devre kesicisi tetiklenmiş bir arka uçtan sonraki istekleri uzaklaştırır. core/audit-logging gerçekleştirimi, erişiminin dışında kalanları adlandırarak her eklemeyi durdurur: günlüğün kendisi, ki bunu örnek üzerindeki bir tanılama ayarı açar; require_cost açıkken bir isteğin maliyeti, çünkü Azure’un model isteği günlüğü token sayılarını ve modeli kaydeder, fiyatı kaydetmez; ve retention_days verildiğinde bir saklama süresi, çünkü bir satır, düştüğü Log Analytics çalışma alanı onu ne kadar saklarsa o kadar kalır. Politikaların Microsoft’un belgelediği gibi uygulandığı ve yürürlükte olduğu hiçbir derleme tarafından gözlemlenmez.

  • Bir çağıranın sunduğu anahtar: Çağıranlarının sunduğu anahtarı denetleyen bir sunucu, bu anahtarı kendine ait bir yuvada tutar; bu yuva, anahtar denetleyen her model sunan hedefte api_key adını taşır — core/ai-model/vllm, tei ve tgi, LiteLLM modeli ve AI ağ geçidi; sonuncusunda bu, LiteLLM’in master key dediği anahtardır — ve sunucunun Recipes’lerinin her biri anahtarı sunucunun okuduğu değişken olarak iletir. core/gateway/apisix ve core/gateway/agentgateway, Release’lerinin infra.callers içinde adlandırdığı her çağıran için birer anahtarı caller_keys yuvalarında tutar: her çağıranın anahtarını o çağıranın adı altında içeren tek bir Secret. core/gateway/traefik-hub çağıranlarını aynı şekilde tutar; şu farkla ki Secret’ı her çağıranın anahtarının htpasswd özetini içerir ve anahtar denetimi sunulan bir anahtarı bununla karşılaştırır; dolayısıyla bu, çağıranın anahtarını sunduğu Secret değildir. Bir çağıran, sunduğu anahtarı kendi tarafında, onu sunduğu bağlantı üzerinde, soketinin bildirdiği bir yuvada tutar: standart kütüphanenin ajanları bunu model soketlerinde credential olarak bildirir; AI ağ geçidi models soketinde ve cache_store soketinde bildirir — ikincisinde bu, ağ geçidinin anlamsal önbelleğinin deposuna sunduğu paroladır; core/gateway/kong ve core/gateway/kong-enterprise models soketlerinde; core/gateway/apisix models soketinde ve cache_store soketinde — ikincisinde bu, yine anlamsal önbelleğinin deposuna sunduğu paroladır; core/gateway/agentgateway models soketinde; core/gateway/envoy-gateway models soketinde ve cache soketinde — ikincisinde bu, ağ geçidinin hız sınırlama hizmetinin bir dönem bütçesinin sayımını tutan depoya sunduğu paroladır; core/gateway/higress models soketinde ve cache soketinde — ikincisinde bu, token sınırının bir dönem bütçesinin sayımını tutan depoya sunduğu paroladır; ve core/gateway/traefik-hub models soketinde, cache soketinde — burada bu, kotasının bir dönem bütçesinin sayımını tutan depoya sunduğu paroladır — ve cache_store soketinde — burada bu, anlamsal önbelleğinin deposuna sunduğu paroladır; böylece bir modele ulaşan bir ajan ya da sunduğu bir modele ulaşan bir ağ geçidi, o bağlantının anahtarını orada tutar. AI ağ geçidi, iki Kong, APISIX ve agentgateway, bağlı her modelin anahtarını, yapılandırmalarında o modelin girdisinin ya da rotasının adını verdiği kendine ait bir değişken altında iletir; Envoy Gateway, Secret’ı modelin arka ucunun güvenlik politikasında adlandırır ve Envoy AI Gateway’in denetleyicisi anahtarı oradan okur; Traefik Hub, Secret’ı ve veri anahtarını modelin rotasının Chat Completion middleware’inde adlandırır ve anahtarı oradan okur. component.aggrega.ai/hosting: managed etiketli bir modele ulaşan bir bağlantı ya bir anahtar taşır ya da kendi values içinde modelin hiçbir anahtar almadığını unauthenticated: true ile belirtir; ikisi de yoksa çağıranın doğrulaması bağlantıyı ve hedefini adlandırarak derlemeyi durdurur; başka şekilde etiketlenmiş bir model böyle bir durdurmaya yol açmaz. Bir çağıranın Component’inin bunun yerine kendine ait bir yuvada bildirdiği anahtar, kurduğu her bağlantı için tek bir anahtardır. Uçlardan hiçbiri diğerinin eklemelerini görmez; bu nedenle sunucu bir çağıranın anahtarı hakkında hiçbir şey öğrenmez ve ikisi, Aggregate her ikisini de tek bir parametreden beslediği için eşleşir: her iki ucun gizli bilgileri tek bir kapsamda — tek bir Kubernetes ad alanında, tek bir Compose projesinde — çözdüğü yerde tek bir gizli bilgiye başvururlar, aksi hâlde her biri aynı depo girdisinden gerçekleştirilen kendi gizli bilgisini tutar. vLLM, TEI ve TGI her biri tek bir anahtarı denetler; bu nedenle her çağıran aynı anahtarı sunar ve sunucu çağıranlarını birbirinden ayıramaz; TGI ayrıca anahtarını büyük/küçük harf ayrımı yapmadan eşleştirir; APISIX, agentgateway ve Traefik Hub her biri bildirilen her çağıranın anahtarını denetler ve çağıranlarını bununla ayırt eder; iki Kong, yukarıda “Modellerin önünde Kong” bölümünün belirttiği nedenlerle hiçbir çağıran bildirmez ve hiçbir çağıranın anahtarını denetlemez; LiteLLM modeli ve AI ağ geçidi, muhasebe veritabanları eklenmişken kendi verdikleri anahtarları da kabul eder. Kimlik bilgisi modeli bu yapıyı tek bir Aggregate içinde adım adım işler.

  • Hedefler arasında seçim: core/target-selection, bir ağ geçidinin aynı isteği sunabilen birkaç hedef arasından nasıl seçim yaptığını, latency (en hızlı yanıt verdiği gözlemlenen hedef) veya cost (çağrılması en ucuz hedef) değerli bir strategy ile bildirir. Strateji, uygulamanın ağ geçidinden istediklerinin bir parçasıdır; bu nedenle onu geliştirici Aggregate’e ekler. AI ağ geçidinde hedefler, values.models içinde aynı takma adı yayımlayan girdilerdir — bağlı bir model, başka hiçbir girdinin yayımlayamayacağı bağlantısının takma adı altında sunulur — ve standart kütüphane latency’yi, proxy’nin latency-based-routing’ini ağ geçidinin Recipe’sinin oluşturduğu yönlendirme yapılandırmasına yazarak gerçekleştirir: proxy her isteği, son on yanıtı ortalamada en kısa süren girdiye gönderir; bir yanıt token’larını bildirdiğinde bu süre çıktı token’ı başınadır, akışlı bir istekte ise ilk token’a kadardır; henüz denenmemiş bir girdi en hızlısı sayılır. Ekleme olmadan yapılandırma hiçbir strateji adlandırmaz ve proxy bu girdiler arasından rastgele seçer. cost orada adıyla reddedilir: proxy bir girdiyi, hedefini tam yazıldığı şekliyle, OpenAI ve Anthropic modellerini ağ geçidinin hedeflerinin taşıdığı sağlayıcı öneki olmadan adlandıran bir fiyat tablosunda arayarak fiyatlandırır ve bulamadığı bir girdiye sabit bir yedek fiyat verir; böylece bir takma adı paylaşan girdiler aynı fiyatı alır ve sıralarına göre seçilirdi. core/gateway/kong-enterprise üzerinde her ekleme durur, çünkü ona bağlı her model yalnızca o tek modeli taşıyan kendi rotalarında sunulur ve bu, aralarında seçim yapılacak hiçbir şey bırakmaz. core/gateway/agentgateway üzerinde de her ekleme nedenini belirterek durur: agentgateway bir model adının hedeflerinden ikisini rastgele çeker ve sağlığının yanıt vermek için harcadığı süreye bölümü daha yüksek puan alanı seçer; dolayısıyla en hızlı hedef yalnızca çekildiğinde seçilir ve hiçbir hedefi maliyete göre seçmez. core/gateway/higress üzerinde de her ekleme nedenini belirterek durur: Higress bir hizmetin gecikmesini ölçebilir, ancak yük dengeleyici eklentisi AI proxy’den sonra çalışır — ki AI proxy, isteğin modelini, adresini ve kimlik bilgisini rotanın çözümlediği aday için zaten ayarlamıştır — ve seçimini, bu kataloğun oluşturmadığı bir Envoy filtresi olmadan hiçbir şeyin yönlendirme için kullanmadığı bir istek başlığına yazar; bu nedenle seçim etkili olmaz ve hiçbir hedefi maliyete göre seçmez. core/gateway/traefik-hub üzerinde de her ekleme nedenini belirterek durur: Traefik en düşük yanıt süresine göre yalnızca tek bir Service’in sunucuları arasından seçer, ki bunları tek bir model adı ve tek bir kimlik bilgisi kapsar; Service’ler arasında ise ağırlığa ya da istemci adresinin bir özetine göre dengeler, hiçbir zaman gecikmeye göre dengelemez; stratejilerinin hiçbiri bir hedefi maliyete göre seçmez; ayrıca ağ geçidine bağlı her model yalnızca o tek modeli taşıyan kendi rotasında sunulur ve bu, aralarında seçim yapılacak hiçbir şey bırakmaz. Diğer herhangi bir ağ geçidinde bir ekleme derlemeyi durdurur.

  • Dayanıklılık: core/fallback-chain, modeli başarısız olan bir isteği başka modellere iletir: chains, yedeğe geçen her model takma adı için, biri yanıt verene kadar sırayla denenecek takma adları belirtir; başarısız olan bir yedek de sırası gelince kendi girdisini izler; max_hops ise bir isteğin bu zincir boyunca ne kadar ileri aktarılacağını sınırlar. Standart kitaplık bunu AI gateway üzerinde, ikisini de gateway’in Recipe’sinin oluşturduğu yönlendirme yapılandırmasına yazarak gerçekleştirir ve gateway’in model haritasının yayımlamadığı bir adda derlemeyi durdurur. Bir istek ancak gateway istenen takma addan vazgeçtiğinde yedeğe geçer: bir takma adın birden fazla kez yayımlandığı yerde, başarısız bir çağrı önce gateway’in yeniden deneme sayısıyla sınırlı bir yeniden deneme olarak girdilerinden bir başkasına geçer. core/retry-policy bu sayıyı belirler — reddedilen bir bağlantı, bir hız sınırı veya bir zaman aşımı gibi yeniden gönderildiğinde başarılı olan bir hata için gateway’in bir isteği ilk gönderim dahil kaç kez gönderebileceğini (max_attempts) — ve standart kitaplık bunu AI gateway üzerinde, gateway’in Recipe’sinin oluşturduğu yönlendirme yapılandırmasına yazarak gerçekleştirir. core/gateway/envoy-gateway üzerinde bu, bağlı modellere hizmet eden route’taki traffic policy’nin yeniden denemesi olarak gerçekleştirilir; bu, bir dönem bütçesinin hız sınırını taşıyan policy’nin ta kendisidir, çünkü Envoy Gateway bir route’a tek bir traffic policy bağlar: bir istek, reddedilen bir bağlantı veya stream, bir sıfırlama ya da 429, 503 veya 504 yanıtından sonra max_attempts gönderime kadar yeniden gönderilir ve route’un istek zaman aşımı içinde hiçbir yanıt vermeyen bir modele yeniden gönderilmez, çünkü bu zaman aşımı tüm gönderimleri kapsar. core/gateway/azure-api-management üzerinde bu, API’nin policy’sinin backend bölümünde, iletimin çevresinde Azure’un yeniden denemesi olarak gerçekleştirilir: HTTP 429 veya 5xx durumuyla yanıtlanan bir istek, yeniden gönderilebilmesi için gövdesi tutularak, önceki gönderimden bir saniye sonra, max_attempts gönderime kadar yeniden gönderilir. Reddedilen veya kopan bir bağlantıda ve iletimin zaman aşımı içinde hiçbir yanıt vermeyen bir modelde yeniden gönderim yapılmaz, çünkü Azure böyle bir hatada yeniden denemeyi sonlandırır ve hatayı policy’nin on-error bölümüne devreder. Azure ilk gönderimden sonra 1 ile 50 arasında yeniden dener, dolayısıyla 1 olan bir max_attempts hiçbir yeniden deneme yazmaz ve 51’in üzerindeki bir değer adıyla belirtilerek reddedilir. Yeniden deneme, API’nin devralacağı iletimin yerini alır; bu yüzden bağlı olduğu sürece, instance’ın daha geniş bir kapsamında yapılmış zaman aşımı gibi bir iletim ayarı API’ye uygulanmaz; API, Azure’un varsayılanlarıyla iletir. Barındırılan gateway üzerinde core/retry-policy, gateway’in kaynağına ilkinden sonraki gönderimleri 1 ile 5 arasında belirten yeniden deneme sayısı yazılarak gerçekleştirilir; dolayısıyla 2 ile 6 arasındaki max_attempts dikkate alınır ve diğer her değer reddedilir; core/fallback-chain orada gerçekleştirilmez, çünkü bu gateway modeller arasında yalnızca bir isteğin model yerine adını verdiği bir route içinde yedeğe geçer, dolayısıyla bir model için yapılan istek hiçbir zaman yedeğe geçmez. core/gateway/kong-enterprise üzerinde core/fallback-chain, onun chart Recipe’sinde gerçekleştirilir: chains’in girdi verdiği her takma adın chat ve completion route’ları, Kong’un AI proxy’si yerine Kong’un AI Proxy Advanced’ini taşır; hedefler öncelik sırasıyla takma adın modeli ve yolunun yedeğe geçtiği modellerdir — takma ad, ardından girdisindeki yedekler sırayla; bir yedeğin kendi girdisi ise yalnızca max_hops değerinden az sayıldığı sürece sırası gelince izlenir. Dengeleyici, bir isteği yolun her hedefine sırayla birer kez, biri yanıt verene kadar gönderir; bir bağlantı hatası veya zaman aşımı, geçersiz bir yanıt başlığı ya da 429, 500, 502, 503 veya 504 yanıtından sonra bir sonrakine geçer ve diğer her yanıtı geldiği gibi döndürür. Derleme; models soketinin taşımadığı bir adda, bir takma ada iki kez ulaşan bir yolda, core/retry-policy ile birlikte kullanıldığında — çünkü Kong tüm yol için tek bir yeniden deneme sayısı tutar ve yedeğe geçmeden önce bir modele yeniden gönderemez — ve 3.12’den eski bir gateway imajında durur. core/retry-policy orada gerçekleştirilmez ve gerçekleştirimi her bağlamayı nedenini belirterek durdurur: her bağlı model yalnızca o modeli taşıyan kendi route’larında sunulur, bu yüzden bir yeniden deneme isteği aynı hedefe yeniden göndermek zorundadır ve Kong’un referansı, dengeleyicisinin bunu yapıp yapmadığı konusunda iki türlü okunabilir. core/gateway/agentgateway üzerinde core/retry-policy, chart Recipe’sinde gateway’in kendi yapılandırmasının bir yeniden deneme policy’si olarak, model isteklerinin ulaştığı listener’a bağlı biçimde gerçekleştirilir: bir istek; 429, 500, 502, 503 veya 504 yanıtından, reddedilen veya sıfırlanan bir bağlantıdan, açılması 11 saniyeden uzun süren bir bağlantıdan ya da başarısız bir ad çözümlemesinden sonra hemen ve aynı modele max_attempts gönderime kadar yeniden gönderilir. agentgateway bir isteği policy’sindeki deneme sayısından bir fazla gönderir, bu yüzden policy max_attempts eksi bir olarak yazılır, 1 olan max_attempts hiçbir policy yazmaz ve 256’nın üzerindeki bir değer adıyla belirtilerek reddedilir. Gövdesi 64 KiB’tan büyük olan bir istek bir kez gönderilir ve yapılandırma hiçbir zaman aşımı ayarlamaz; bu yüzden bağlantıyı kabul edip hiçbir yanıt vermeyen bir model, yeniden gönderilmek yerine beklenir. core/fallback-chain orada gerçekleştirilmez ve gerçekleştirimi her bağlamayı nedenini belirterek durdurur: agentgateway, başarısız olan bir modeli sonraki istekler için dışlayarak modeller arasında geçiş yapar, başarısız olan istek ise hatasıyla yanıtlanır; dolayısıyla hiçbir istek bir zincir boyunca yürütülmez. core/gateway/higress üzerinde core/retry-policy, route’un kendi yeniden denemesi olarak, her model route’una Ingress açıklamaları biçiminde yazılarak gerçekleştirilir: bir istek, reddedilen veya sıfırlanan bir bağlantıdan, bir 5xx yanıtından ya da bir 429’dan sonra, POST dahil, max_attempts gönderime kadar yeniden gönderilir; 1 olan max_attempts yeniden denemeyi kapatır ve Higress’in kontrol düzleminin açıklama taşımayan bir route’a verdiği yeniden denemeyi geçersiz kılar; 2147483648’in üzerindeki bir değer adıyla belirtilerek reddedilir. Bağlantıyı kabul edip ardından hiçbir yanıt vermeyen veya yavaş yanıt veren bir modele yeniden gönderilmez, çünkü route deneme başına bir süre sınırı ayarlamaz; stream edilen bir istek ise yalnızca yanıtı başlamadan önce yeniden gönderilir. core/fallback-chain orada da gerçekleştirilmez ve gerçekleştirimi her bağlamayı nedenini belirterek durdurur: Higress başarısız bir isteği en fazla bir kez, başka tek bir hedefe — bir route’un varsayılan backend’ine ya da konsolunun bir AI route’u için yazdığı tek yedek route’a — iletir; dolayısıyla hiçbir istek bir zincir boyunca yürütülmez. core/gateway/traefik-hub üzerinde ikisi de chart Recipe’sinde gerçekleştirilir ve her biri, failover’ı denediği servislerde middleware kabul etmeyen ve yeniden denemesi bir yanıtın durumuna göre bir POST’u yeniden gönderemeyen — tek gönderimlik bir yeniden deneme policy’si hariç — v3.20’den eski bir Traefik Hub imajında derlemeyi durdurur. core/fallback-chain, chains’in girdi verdiği her takma adın route’unu Traefik’in kendi iç içe failover’larından geçirir ve takma adın yolundaki modelleri sırayla dener — takma ad, ardından girdisindeki yedekler sırayla; bir yedeğin kendi girdisi ise yalnızca max_hops değerinden az sayıldığı sürece sırası gelince izlenir — her biri kendi model adı, kimlik bilgisi, kotaları ve yeniden denemesiyle. Bir modelin 429 ya da 500 ile 504 arası yanıtı, o modelin olası yeniden denemesinden sonra, isteği bir sonrakine geçirir; diğer her yanıt geldiği gibi döndürülür, son modelinki ne olursa olsun; 1 MiB’ı aşan bir istek gövdesi ise gönderilmek yerine HTTP 413 ile reddedilir. Derleme, models soketinin taşımadığı bir adda ve bir takma ada iki kez ulaşan bir yolda durur. core/retry-policy, Traefik’in yeniden deneme middleware’idir ve her model route’unda ya da bir yolun denediği her modelde en sonda yer alır: bir istek, modele hiçbir şey taşımamış bir bağlantıdan sonra ve 429 ya da 500 ile 504 arası bir yanıttan sonra, POST dahil, ilki dahil max_attempts gönderime kadar hemen yeniden gönderilir; 1 olan max_attempts hiçbir şey yazmaz. Gateway’in kendisinin oluşturduğu bir yanıttan — anahtar denetiminin bir reddi, bir koruma, maskeleme veya bir kota — sonra asla yeniden gönderilmez; başlamış bir stream yanıtından sonra da gönderilmez.

  • Dönem bütçesi: core/period-budget, bir ağ geçidinden geçen trafiğin bir dönem boyunca ne kadar tüketebileceğini sınırlar: bir limit, kapsadığı period, bir scope — ağ geçidinin sunduğu her şey, her çağıran ya da her model — ve bir unit — ABD doları ya da token cinsinden bir maliyet —; ağ geçidinin dönem boyunca saydığı miktar sınırı aştığında sonraki model istekleri reddedilir. dataplane.aggrega.ai/period-budget bildiren herhangi bir bileşene eklenir. Standart kitaplık bunu, bütçesi ağ geçidinin sunduğu her şeyi kapsayan, ABD doları cinsinden sayılan ve her dönemin başında yeniden başlayan AI ağ geçidinde gerçekleştirir — gece yarısı UTC’den itibaren bir gün sayısı ya da ilk gününden itibaren bir takvim ayı: gerçekleştirme, sınırı ve dönemi ağ geçidinin Recipe’sinin işlediği yapılandırmaya yazar, başka herhangi bir birimi, kapsamı ya da dönemi adıyla reddeder — ağ geçidinin takvim ayı olarak saydığı 30d de bunlar arasındadır — ve ağ geçidinin database_url ve api_key kimlik bilgisi yuvalarının ikisi de eklenmedikçe durur, çünkü muhasebe veritabanı olmadan ağ geçidi hiçbir sayım tutmaz ve yönetici anahtarı olmadan hiçbir çağıranı bütçeye göre denetlemez. Sayım sınırı aştığında ağ geçidi, her çağıranınkilerin yanı sıra yönetici anahtarının model isteklerini de reddeder; model listesi ve anahtar yönetimi bu anahtara yanıt vermeyi sürdürür. Barındırılan ağ geçidinde, ağ geçidinin kaynağı üzerinde bir harcama sınırı kuralı olarak gerçekleştirilir; ağ geçidinin sunduğu her şey için, ABD doları cinsinden ve zamanla ilerleyen bir pencere üzerinden — son period, ağ geçidinin fiyatlandırmasını bildiği modeller için — sayılır: çağıran başına ya da model başına bir bütçe, token’lar ve bir takvim ayı adıyla reddedilir. core/gateway/apisix üzerinde chart Recipe’si üzerinde gerçekleştirilir ve bağlı modellerin rotalarına APISIX’in token hız sınırlaması olarak yazılır: her modelin yanıtının bildirdiği token’lar — total_tokens, prompt_tokens ya da completion_tokens — cinsinden, saate göre değil, önceki pencere kapandıktan sonraki ilk model isteğiyle açılan sabit bir period penceresi üzerinden, ağ geçidinin sunduğu her şey için, bağlı her model için ayrı ayrı ya da Release’inin infra.callers içinde bildirdiği her çağıran için ayrı ayrı sayılır; ağ geçidi onları her birinin sunduğu anahtara göre ayırt eder. Sayım sınıra ulaştığında ağ geçidi, pencere kapanana kadar model isteklerine HTTP 503 ile yanıt verir; bir isteğin token’ları yanıtı tamamlandığında eklenir, bu nedenle sınıra ulaşan istek sunulur ve semantik önbelleğinin sunduğu bir yanıt hiçbir şey saymaz ve sınırın ötesinde de sunulur. APISIX bir completion isteğinde token saymaz, bu nedenle bütçe ekliyken bağlı her model yalnızca kendi chat rotasını alır; ayrıca sayımı ağ geçidi sürecinin belleğinde tutar, bu nedenle chart tek bir replika çalıştırır ve yeniden başlatma yeni bir pencere açar. ABD doları cinsinden bir bütçe, infra.callers hiçbirini bildirmezken çağıran başına bir bütçe, bir takvim ayı ve tek bir ağ geçidinde ikinci bir bütçe adıyla reddedilir; hiçbir rota işlemeyen workload Recipe’sine yapılan bir ekleme de öyle. core/gateway/envoy-gateway üzerinde, ağ geçidine bağlı modelleri sunan AI rotasında Envoy Gateway’in kullanıma dayalı hız sınırı olarak gerçekleştirilir: rota, unit alanının adlandırdığı token sayımını — total_tokens, prompt_tokens ya da completion_tokens — Envoy AI Gateway’in her yanıttan okuduğu bir maliyet olarak bildirir ve bu rotadaki bir traffic policy, yanıt tamamlandığında bunu Envoy Gateway hız sınırının bir birimi başına limit token’a karşı, ağ geçidinin sunduğu her şey için ya da bağlı her model için ayrı ayrı tahsil eder. Her pencere UTC saatine göre sabittir — bir saniye, bir dakika, bir saat, gece yarısından itibaren bir gün, bir perşembeden itibaren bir hafta ya da 1 Ocak 1970’ten itibaren sayılan 30 veya 365 gün — ve 1mo bir takvim ayıdır; bu, Envoy Gateway’in hız sınırı hizmetinin, o kurulumun tuttuğu her aylık hız sınırı için de geçerli olan bir ayarı altında gerçekleşir. Sayım, Envoy Gateway’in kontrol düzleminin sunduğu her ağ geçidi için oluşturup açtığı hız sınırı hizmeti tarafından, ağ geçidinin cache soketine bağlı Redis protokollü depoda tutulur. Sayım sınırı aştığında ağ geçidi, pencere bitene kadar model isteklerine HTTP 429 ile yanıt verir; bir isteğin token’ları yanıtı tamamlandığında eklenir, bu nedenle sınırı aşan istek sunulur. Depoya ya da hız sınırı hizmetine ulaşılamazken veya bir denetim Envoy’un hız sınırı zaman aşımından uzun sürerken model istekleri HTTP 500 ile reddedilir; bu, Envoy Gateway’in kontrol düzleminin, o kurulumun tuttuğu her hız sınırı için de geçerli olan bir ayarı altında gerçekleşir, bu nedenle ona elle uygulanan bir hız sınırı da kapalı biçimde başarısız olur; bir kesintiden hemen önce kabul edilen bir istek yine de sunulur ve sayılmaz, çünkü token’ları yanıttan sonra tahsil edilir; sayımı bellekte tutan bir depo ise yeniden başladığında her pencereyi baştan başlatır. ABD doları cinsinden bir bütçe, çağıran başına bir bütçe — ağ geçidi çağıranları yalnızca çağıranın kendisinin yazdığı bir başlıkla ayırt eder ve bu yolda hiçbir şey onu doğrulamaz —, başka herhangi bir dönem ve tek bir ağ geçidinde ikinci bir bütçe adıyla reddedilir; models ya da cache soketine hiçbir şey bağlı olmayan bir ekleme de öyle. core/gateway/azure-api-management üzerinde, API’nin ilkesine yazılan Azure token sınırı olarak gerçekleştirilir: her yanıtın bildirdiği istem ve tamamlama token’ları birlikte, API’nin sunduğu her şey için ya da anahtarını ağ geçidinin doğruladığı her API Management aboneliği için sayılır — ya UTC saatine göre sabit bir pencere üzerinden bir kota, yani bir saat, bir gün, bir hafta, bir takvim ayı ya da bir takvim yılı (1h, 1d, 7d, 1mo ya da 12mo; Microsoft bir haftanın hangi gün başladığını söylemez), aşıldığında HTTP 403 ile yanıtlanır; ya da bir dakika (1m) üzerinden bir hız, HTTP 429 ile yanıtlanır ve klasik katmanlarda kayan bir pencere üzerinden, v2 katmanlarında ise bir token bucket olarak sayılır. Sayım, her yanıtın bildirdiği kullanımdır, bu nedenle eşzamanlı istekler sınırı aşabilir ve instance’taki her ağ geçidi kendi sayımını tutar. ABD doları cinsinden ya da yalnızca istem veya tamamlama token’ları cinsinden bir bütçe, model başına bir bütçe — bir isteğin adlandırdığı modeli çağıran yazar ve birkaç ad tek bir modele ulaşabilir —, abonelik anahtarı gerektirmeyen bir API’de abonelik başına bir bütçe, başka herhangi bir dönem ve tam sayı olmayan bir sınır adıyla reddedilir. Consumption katmanı hiçbir token sınırı çalıştırmaz. core/gateway/kong-enterprise üzerinde chart Recipe’si üzerinde gerçekleştirilir ve ağ geçidinin içe aktardığı rotalara Kong’un AI Rate Limiting Advanced’i olarak yazılır: her modelin yanıtının bildirdiği token’lar — total_tokens, prompt_tokens ya da completion_tokens — cinsinden, saniye, dakika, saat ya da gün sayısı olan sabit period pencerelerinde, ağ geçidinin sunduğu her şey için ya da bağlı her model için ayrı ayrı sayılır; her istek, zamanının düştüğü tek pencerede sayılır ve model kapsamındaki bir istek, ona hangi model yanıt vermiş olursa olsun adlandırdığı takma ada karşı sayılır. Sayım sınıra ulaştığında, sonraki model isteği pencere bitene kadar HTTP 429 ile yanıtlanır, bu nedenle sınırı aşan istek sunulur; Kong ayrıca bir isteği, taşıdığı istem token’larına ilişkin kendi tahminine dayanarak erkenden reddedebilir. Sayım, ağ geçidinin PostgreSQL arka ucunda tutulur, her replika tarafından paylaşılır ve yeniden başlatmadan sonra korunur. ABD doları cinsinden bir bütçe — Kong maliyeti yalnızca yapılandırmasının her modele verdiği bir fiyattan sayar ve katalog hiçbirini sağlamaz —, çağıran başına bir bütçe — Kong çağıranları yalnızca bir kimlik doğrulama eklentisinin adlandırdığı tüketiciler olarak ayırt eder ve ağ geçidi, yukarıdaki “Modellerin önünde Kong” bölümünün verdiği nedenlerle hiçbir çağıran bildirmez —, bir takvim ayı, tek bir ağ geçidinde ikinci bir bütçe ve 3.15’ten eski bir ağ geçidi imajı adıyla reddedilir; models soketine hiçbir şey bağlı olmayan bir ekleme de öyle. core/gateway/agentgateway üzerinde chart Recipe’si üzerinde gerçekleştirilir, ağ geçidinin yapılandırmasına yazılır ve her yanıtın bildirdiği toplam token’lar cinsinden sayılır: caller kapsamında, Release’inin infra.callers içinde bildirdiği her çağıranın API anahtarı üzerinde bir bütçe olarak, Unix epoch’una hizalanmış ve bir günün gece yarısı UTC’de başladığı sabit period pencereleri üzerinden, Recipe’nin işlediği bir birim üzerindeki SQLite deposunda, tek replikayla tutulur; gateway ya da model kapsamında, ağ geçidinin sunduğu her şey için ya da bir isteğin istediği her model adı için bir token bucket olarak, ağ geçidinin yapılandırmasını okuduğu andan itibaren her period süresinde sınıra kadar doldurulur ve belleğinde tutulur, bu nedenle bir yeniden başlatma ya da değişen bir yapılandırma onu yeniden doldurur. Sayılan miktar sınıra ulaştığında, model istekleri pencere bitene ya da kova dolana kadar HTTP 429 ile yanıtlanır; sınıra ulaşan istek sunulur. ABD doları cinsinden bir bütçe — ağ geçidinin model maliyet kataloğu ona bağlı modellerin hiçbirini fiyatlandırmaz, bu nedenle bütçe hiçbir şey saymazdı —, yalnızca istem veya tamamlama token’ları cinsinden bir bütçe, infra.callers hiçbirini bildirmezken çağıran başına bir bütçe, bir takvim ayı, tam sayı olmayan bir sınır ve tek bir ağ geçidinde ikinci bir bütçe adıyla reddedilir; models soketine hiçbir şey bağlı olmayan bir ekleme de öyle; compose Recipe’sinde bunun bir gerçekleştirmesi yoktur. core/gateway/traefik-hub üzerinde chart Recipe’si üzerinde, bağlı her modelin rotasında Traefik Hub’ın kota middleware’i olarak gerçekleştirilir ve sayımını ağ geçidinin cache soketine bağlı Redis protokollü depoda tutar: her yanıtın bildirdiği token’ları — total_tokens, prompt_tokens ya da completion_tokens — ya da usd altında bunların ABD doları cinsinden maliyetini sayar; maliyet, middleware ile birlikte gelen bir model listesinden fiyatlandırılır ve fiyatını bilmediği bir model HTTP 422 ile reddedilir; sayım, bir anda sayılan miktarın bir dönem sonra yeniden serbest kaldığı, zamanla kayan bir pencere üzerinden, bağlı her model için ayrı ayrı ya da tek bir model bağlıyken ağ geçidinin sunduğu her şey için yapılır. Sayım sınıra ulaştığında model istekleri HTTP 429 ile reddedilir; bir isteğin sayımı yanıtı tamamlandığında eklenir, bu nedenle sınırı aşan istek ve onunla yan yana sunulan her istek sunulur; semantik önbelleğin sunduğu bir yanıt ise hiçbir şey saymaz. Traefik’in başvuru belgesi, depoya ulaşılamazken kotanın istekleri saymadan sunduğunu söyler. Çağıran başına bir bütçe — kota istekleri istemcinin adresine, bir istek başlığına ya da isteğin ana bilgisayarına göre ayırt eder ve bunların hiçbiri ağ geçidinin anahtar denetiminin doğruladığı çağıran değildir —, birkaç model bağlıyken tüm ağ geçidi için bir bütçe, çünkü Traefik’in başvuru belgesi tek bir kotayı adlandıran rotaların onun sayımını paylaşıp paylaşmadığını söylemez, bir takvim ayı ve saat ya da gün ya da tam saatler oluşturan dakika veya saniye dışındaki herhangi bir dönem adıyla reddedilir; tam sayı olmayan bir token sınırı ve models ya da cache soketine hiçbir şey bağlı olmayan bir ekleme de öyle. core/gateway/higress üzerinde chart Recipe’si üzerinde, bağlı her modelin rotasında Higress’in token sınırı eklentisi olarak gerçekleştirilir ve sayımını ağ geçidinin cache soketine bağlı Redis protokollü depoda tutar: her yanıtın bildirdiği istem ve tamamlama token’larını yanıt tamamlandığında birlikte toplar; bunu, içindeki ilk yanıt sayıldığında açılan sabit bir period penceresi — bir saniye, bir dakika, bir saat ya da bir gün — üzerinden, ağ geçidinin sunduğu her şey için ya da her takma ad için ayrı ayrı yapar. Sayım sınırı aştığı sürece model istekleri pencere bitene kadar HTTP 429 ile yanıtlanır, bu nedenle sınırı aşan istek sunulur. Hiçbir kullanım bildirmeyen bir yanıt hiçbir şey saymaz, bu nedenle Recipe, akışlı bir isteğin modelinden kullanımını bildirmesini ister ve HTTP 403 ile şunları reddeder: bu bildirimi kapatan akışlı bir istek, içerik türü ne application/json içeren ne de multipart/form-data ile başlayan ve AI proxy’sinin bildirimi istemeden ilettiği bir istek ve gövdesini ağ geçidinin eklentilerinin okumadığı bir istek — sıkıştırılmış bir gövde, octet-stream ya da grpc içeren bir içerik türü, bir upgrade; ağ geçidinin doğrulamasının çözemeyeceği bir gövdeyi kasıtlı olarak gönderen bir istemci bu retlerin ötesine geçer ve böyle akışlı bir istek sayılmadan kalır. Hiçbir maskeleme eklenmemişken, gövdesi ağ geçidinin 32 KiB’lik arabelleğini aşan bir istek, deponun ne zaman yanıt verdiğine bağlı olarak HTTP 413 ile reddedilebilir. Depoya ulaşılamazken model istekleri sunulur ve sayılmaz: eklentinin o durumda onları reddeden bir ayarı yoktur. ABD doları cinsinden ya da yalnızca istem veya tamamlama token’ları cinsinden bir bütçe, çağıran başına bir bütçe — ağ geçidi hiçbir çağıran bildirmez, bu nedenle hiçbirini doğrulamaz —, başka herhangi bir dönem, tam sayı olmayan bir sınır ve tek bir ağ geçidinde ikinci bir bütçe adıyla reddedilir; models ya da cache soketine hiçbir şey bağlı olmayan bir ekleme de öyle.

  • Eşzamanlılık: core/concurrency-limit, bir ağ geçidinin aynı anda kaç istek taşıdığını sınırlar (max_in_flight); bu, bir çağıran patlamasının arkasındaki modelde bir kuyruğa dönüşmesini önler. scope, bir sınırın neyi saydığını belirtir: varsayılan olan gateway, ağ geçidinin ilettiği her isteği birlikte sayar; model, ağ geçidinin istek gönderdiği her hedefe kendi sayımını verir; hedef, ağ geçidinin yönlendirdiği her upstream girdisidir, bu nedenle bir model adının birkaç girdisi olduğunda her biri ayrı sayılır. Sınır ve kapsamı, operatörün karar verdiği bir kapasite boyutlandırmasıdır ve eklemenin infra alanında ayarlanır, bu nedenle operatör onu Release’te ekler. Sınır, çalışan proxy başına sayılır, bu nedenle birkaç replika çalıştığında her biri o kadarını kabul eder. dataplane.aggrega.ai/concurrency-cap bildiren herhangi bir bileşene eklenir ve bir gerçekleştirme, ağ geçidinin saymadığı kapsamı adıyla reddeder. core/gateway/nginx üzerinde gateway kapsamı, NGINX’in limit_conn yönergesi olarak, her istek için aynı olan tek bir sözcüğe anahtarlanarak gerçekleştirilir; böylece NGINX işlemekte olduğu her isteği, worker süreçlerinin paylaştığı bellekte tutulan tek bir toplam olarak sayar ve sınırı aşan bir isteğe HTTP 503 ile yanıt verir; model kapsamı reddedilir, çünkü NGINX her upstream hedefi için bir sayım tutmaz; limit_conn yönergesinin kabul ettiği en yüksek değer olan 65535’in üzerindeki bir max_in_flight da öyle. core/gateway/envoy-gateway üzerinde model kapsamı, bağlı modelleri sunan rotadaki traffic policy’nin devre kesicisi olarak gerçekleştirilir; bu policy aynı zamanda bir dönem bütçesinin hız sınırını ve yeniden deneme ilkesinin yeniden denemesini de taşır: Envoy Gateway bunu o rotanın her kuralının arka ucuna uygular ve bağlı her modelin kendi kuralı vardır, bu nedenle bağlı her modele aynı anda en fazla max_in_flight istek gönderilir ve sınırı aşan bir istek HTTP 503 ile yanıtlanır ve yeniden gönderilmez; yeniden deneme ilkesinin tekrarladığı bir gönderim, ilki gibi sınıra karşı sayılır. Envoy’un worker iş parçacıkları sayımı denetler ve ardından ona ekler, bu nedenle birlikte gelen istekler onu kısa süreliğine sınırın üzerine çıkarabilir. gateway kapsamı reddedilir, çünkü Envoy Gateway her arka uç için bir sınır tutar ve bunların toplamı için hiçbir sınır tutmaz; models soketine hiçbir şey bağlı olmayan bir ekleme de öyle. AI ağ geçidinde model kapsamı, elle yazılmış olsun bağlanmış olsun model haritasının her girdisinin max_parallel_requests değeri olarak gerçekleştirilir: her girdiye aynı anda en fazla max_in_flight istek yolda olur ve girdisini dolu bulan bir istek HTTP 429 ile yanıtlanır — takma adının tek girdisi olduğunda ağ geçidinin yeniden denemelerinden sonra, birkaç girdisi olduğunda ise, diğerlerinden birinde yer olsa bile hemen, çünkü proxy saymadan önce girdiyi seçer —, meğer ki core/fallback-chain takma adı için yedekler listelesin; bu durumda istek onlara iletilir. Proxy her sayımı bellekte tutar; burada varsayılan olarak bir kayıt oluşturulduktan on dakika sonra geçerliliğini yitirir ve ardından yeni bir sayım sıfırdan başlar, bu nedenle ekleme bu ömrü de bir yüzyıla ayarlar ve proxy çalıştığı sürece her sayımı korur. Bu ömür nedeniyle ağ geçidi, sınır ekliyken priority taşıyan bir isteği, Release alanı kabul etse bile reddeder, çünkü proxy bu tür her istek için, kaydı geçerliliğini yitirene kadar bir kuyruk girdisi tutar; ve derleme, 100’den fazla girdili bir model haritasında durur, çünkü bu sayının ötesinde, sayımların tutulduğu, 200 kayıt alan ve her dolduğunda birini atan depo bir sayımı atabilir. gateway kapsamı orada reddedilir, çünkü proxy’nin tek toplamını yalnızca bir ortam değişkeninin açtığı ve bir isteği ilk saniyesi boyunca sayan bir istek sınırlayıcı okur. Barındırılan ağ geçidi de bunu gerçekleştirmez: terraform Recipe’sinin ağ geçidinin kaynağına yazdığı istek sınırı, yoldaki istekler üzerinde bir sınır değil, bir hızdır, yani bir aralık üzerindeki istek sayısıdır.

  • Denetim kaydı: core/audit-logging, bir ağ geçidinin sunduğu her model isteği için yanıt veren modeli ve yanıtın bildirdiği token’ları belirten bir kayıt tutmasını sağlar ve her gerçekleştirme kaydın nereye düştüğünü belirtir. gateway.aggrega.ai/intelligence: semantic taşıyan herhangi bir bileşene eklenir ve üç değeri operatöre aittir, kendi infra alanında ayarlanır; bu nedenle onu Release’te ekleyen operatördür. Varsayılan olarak açık olan require_cost, kaydın her isteğin maliyetini de gerçekleştirmenin belirttiği bir para biriminde söylemesini sağlar. Varsayılan olarak açık olan require_verified_caller, kaydın ağ geçidinin doğruladığı çağıranı, ağ geçidinin verdiği ya da denetlediği bir anahtar üzerinden belirtmesini sağlar. Varsayılan olarak ayarlanmamış olan retention_days, ağ geçidinin bir kaydı o kadar gün eski olduğunda silmesini sağlar; bu değer olmadan ağ geçidinin kendisi hiçbir kaydı silmez ve bir kayıt, düştüğü yer onu tuttuğu sürece kalır. Bir değeri karşılayamayan bir ağ geçidi, değeri belirterek eklemeyi derleme sırasında reddeder; bu nedenle require_cost ve require_verified_caller değerlerini varsayılanlarında bırakan bir ekleme maliyeti ve doğrulanmış çağıranı alır ya da bir durma ile karşılaşır. require_verified_caller kapatıldığında, çağıranı isteğin kendisinin iddia ettiği kişi olan ya da hiç çağıranı olmayan bir kayıt kabul edilir: istek gönderen herkes o durumda isteği başka bir çağıranın adına kaydettirebilir, bu yüzden böyle bir kayıt isteği kimin gönderdiğini göstermez. AI ağ geçidinde kayıt, ağ geçidinin muhasebe veritabanındaki bir satırdır ve her değer karşılanır: satır, isteğin ABD doları cinsinden maliyetini ağ geçidinin model başına tuttuğu tablodan fiyatlandırarak söyler — tablonun fiyatlandırmadığı bir model maliyetsiz olarak kaydedilir — ve ağ geçidinin doğruladığı anahtarı, anahtarın ait olduğu kullanıcı ve ekiple birlikte belirtir; bir satırın belirttiği son kullanıcı ise isteğin yazdığı, denetlenmemiş değerdir. Muhasebe veritabanı olmadan ağ geçidi hiçbir satır yazmaz ve bir yönetici anahtarı olmadan hiçbir çağıranı denetlemez ve anahtar sunmayan ve son kullanıcı belirtmeyen bir istek için satır yazmaz; bu nedenle ağ geçidinin database_url ve api_key kimlik bilgisi yuvalarının ikisi de eklenmedikçe derleme durur; ağ geçidinin values.log_masking alanı neyin maskeleneceğini listelediği sürece yalnızca yanıtlanan istekleri kaydeder. core/gateway/envoy-gateway üzerinde kayıt, ekleme mevcut olduğu sürece Recipe’sinin yazdığı ağ geçidi erişim günlüğünün bir satırıdır: veri düzleminin standart çıktısında istek başına bir JSON satırı; Envoy Gateway’in varsayılan olarak yazdığı alanları, isteğin belirttiği modeli, yanıt veren modeli ve yanıtın bildirdiği prompt, tamamlama ve toplam token’ları taşır; modelleri sunan rota da Envoy AI Gateway’in bunları kaydetmesi için bu sayımları bildirir. Modelin yanıtlamadığı bir istek, yanıt veren model ve token taşımaz ve erişim günlüğü kendisi hiçbir şey tutmaz; bu yüzden bir satırın ne kadar kalacağı o çıktıyı toplayan şeye bağlıdır. Hiçbir alan ağ geçidinin doğruladığı bir çağıranı belirtmez: istemcinin adresi ve gönderdiği başlıklar geldikleri gibi yazılır. Ağ geçidi fiyat tutmaz, Recipe’sinin oluşturduğu rotadaki hiçbir şey çağıranı doğrulamaz ve erişim günlüğü silebileceği bir kayıt tutmaz; bu nedenle gerçekleştirmesi, require_cost ve require_verified_caller değerlerini kapatan ve retention_days vermeyen bir eklemeyi derler, aksi halde karşılayamadığı her değeri, hepsi tek bir hatada olmak üzere belirterek durur; models soketine hiçbir şey bağlı olmadığında da durur. core/gateway/agentgateway üzerinde kayıt, ekleme mevcut olduğu sürece chart Recipe’sinin tek replika ile oluşturduğu bir birim üzerindeki SQLite deposuna ağ geçidinin yazdığı bir satırdır; anahtar, bütçe ve yetkilendirme denetimlerinden geçen her model isteği için, bir guard’ın reddi de dahil olmak üzere: ağ geçidinin model sunucusundan istediği model — çağıranın gönderdiği takma ad değil, bağlı modelin yayımladığı ad — ve yanıt veren model, yanıtın bildirdiği girdi, çıktı ve toplam token’lar, durumu ve zamanlaması ve Release’inin infra.callers içinde bildirdiği her çağıran için, ağ geçidinin doğruladığı API anahtarından alınan o çağıranın adı. Anahtarı nedeniyle, bir yetkilendirme kuralıyla ya da bir çağıranın bütçesi nedeniyle reddedilen bir istek satır bırakmaz. Hiçbir prompt ya da yanıt metni tutulmaz ve satırlar, ağ geçidinin pod’u içinde dinleyen yönetim arayüzü üzerinden okunur. require_verified_caller, çağıranlar bildirildiği sürece karşılanır; require_cost adıyla reddedilir, çünkü ağ geçidinin model maliyet kataloğu ona bağlı modellerin hiçbirini fiyatlandırmaz; bildirilmiş çağıran olmadan require_verified_caller ve retention_days da reddedilir, çünkü ağ geçidi hiçbir kaydı silmez; compose Recipe’sinin bunun bir gerçekleştirmesi yoktur. core/gateway/higress üzerinde kayıt, ekleme mevcut olduğu sürece Higress’in istatistik eklentisinin doldurduğu, ağ geçidi erişim günlüğü satırının ai_log alanıdır: yanıt veren model ve yanıtın bildirdiği girdi, çıktı ve toplam token’lar, ağ geçidinin standart çıktısında, prompt ya da yanıt metni olmadan. Ağ geçidi çağıran bildirmez, hiçbir şeyi fiyatlandırmaz ve silebileceği bir kayıt tutmaz; bu nedenle gerçekleştirmesi, require_cost ve require_verified_caller değerlerini kapatan ve retention_days vermeyen bir eklemeyi derler, aksi halde karşılayamadığı her değeri, hepsi tek bir hatada olmak üzere belirterek durur; models soketine hiçbir şey bağlı olmadığında da durur. core/gateway/traefik-hub üzerinde her ekleme nedenini belirterek durur: Traefik Hub bir model isteğinin kaydını yalnızca AI ara katmanlarının bir izleme arka ucuna aktardığı bir OpenTelemetry span’i olarak tutar — modeli ve ayrıntılı düzeyinde token’ları ve bunların ABD doları cinsinden maliyetini belirterek — ve gerçekleştirmesi hiçbir izleme arka ucunu bağlamaz, bu yüzden kayıt hiçbir yere düşmezdi; span bir çağıranı da belirtmez, bu nedenle ağ geçidinin anahtar denetiminin doğruladığı çağıranı belirtemez. core/gateway/azure-api-management üzerinde, yukarıdaki ağ geçidi maddesinin söylediği gibi her ekleme durur ve standart kütüphanedeki başka hiçbir ağ geçidi bunu gerçekleştirmez; bu nedenle başka herhangi bir ağ geçidindeki ekleme türü belirterek durur.

  • Anlamsal önbellekleme: core/semantic-caching, bir prompt’u modeli yeniden çağırmak yerine anlamca yeterince yakın önceki bir prompt için saklanan yanıtla yanıtlayan bir önbellek bildirir. embedding_model, her prompt’u bir vektöre dönüştüren modeli ağ geçidinin yayımladığı biçimiyle belirtir; iki prompt en az similarity_threshold kadar benzer olduğunda saklanan bir yanıt sunulur ve bu yanıt ttl_seconds boyunca kullanılabilir kalır. scope, bir önbelleği kimin paylaşacağına karar verir: varsayılan olan end_user, ağ geçidinin tanımladığı her son kullanıcıyı ayrı tutar; key ise aynı anahtarı sunan her çağırana tek bir önbellekten hizmet verir, bu yüzden o anahtarın arkasındaki bir son kullanıcıya başka biri için üretilmiş bir yanıt sunulabilir. core/data-masking bununla bir çakışma bildirir, bu yüzden ikisini birden taşıyan bir bileşende derleme durur. Standart kütüphane bunu AI ağ geçidinde gerçekleştirir; ağ geçidi yanıtları cache_store soketine bağlı bir core/datastore/redis içinde tutar, depo bir parola gerektirdiğinde depoya o bağlantıdaki kimlik bilgisinin tuttuğu parolayı sunar, depo her yanıtı ttl_seconds geçtikten sonra kaldırır ve ağ geçidi chat, responses ve messages isteklerini önbelleğe alır, completions ya da embeddings isteklerini almaz. Gerçekleştirme, ağ geçidinin api_key yuvası eklenmedikçe derlemeyi durdurur, çünkü yönetici anahtarı olmadan ağ geçidi hiçbir çağıranı denetlemez; ağ geçidinin model eşlemesinin yayımlamadığı bir embedding_model üzerinde ve cache_store’a hiçbir şey bağlı olmadığında da durdurur. Saklanan bir yanıt yalnızca saklandığı ölçütlerle eşleşen bir isteğe sunulur: isteğin sunduğu ve ağ geçidinin doğruladığı anahtar, o anahtarın ekibi ve kuruluşuyla birlikte; end_user altında isteğin belirttiği son kullanıcı; ve isteğin diğer parametreleriyle birlikte istediği model. Ağ geçidi anahtarı, ekibi, kuruluşu ve son kullanıcıyı isteğin kendisine yazar ve bir chat isteğinde çağıranın bunlar için gönderdiği her değerin üzerine yazar; bir responses ya da messages isteğinde, isteğin kendi meta verilerinden ekip, kuruluş ya da son kullanıcı alanını kaldırır ve orada anahtarı belirten bir alanı reddeder; böylece hiçbir istek yalnızca adını vererek başka bir anahtarın yanıtlarına erişemez. Bir isteğin kendi meta verileri yine de onu sunduğu anahtarın yanıtları arasında hareket ettirebilir: bir responses isteğinde model_group, yanıtının saklandığı ölçütlerde istediği modelin yerine geçer; bir responses ya da messages isteğinde caching_groups, aynı model takma adı grubunu belirten isteklerin bu takma adlar arasında yanıt paylaşmasını sağlar; bir responses ya da chat isteğinde ise redis_namespace, bir ad alanı belirten istekleri hiçbirini belirtmeyenlerden ayrı tutar. Ağ geçidi bir son kullanıcıyı isteğin kendisinin belirttiği bir başlıktan ya da gövde alanından okur ve hiçbirini doğrulamaz: end_user altında başka bir son kullanıcıyı belirten bir çağırana o son kullanıcının yanıtları sunulur ve hiçbir son kullanıcı belirtmeyen istekler, sundukları anahtar altında bu türdeki diğer tüm isteklerle tek bir önbelleği paylaşır. Barındırılan ağ geçidi bunu gerçekleştirmez: onun önbelleği yalnızca öncekiyle aynı olan bir isteği yanıtlar. core/gateway/azure-api-management üzerinde, API’nin ilkesine yazılan Azure anlamsal önbellek arama ve saklama işlemleri olarak gerçekleştirilir: embedding_model, API Management örneğinin bir embeddings modeli için zaten sahip olduğu ve örneğin yönetilen kimliğiyle eriştiği bir arka ucu belirtir; örnek ayrıca dış önbelleği olarak yapılandırılmış RediSearch’lü bir Redis önbelleğine ihtiyaç duyar ve derleme bunların hiçbirini göremez; bu nedenle operatör ağ geçidinin infra.cache_serves_vector_search değerini ayarlayarak önbelleğin RediSearch sunduğunu onaylayana kadar derleme durur; depo bir yanıtı ttl_seconds boyunca tutar; similarity_threshold ise Azure’un puan eşiği olarak, bir eksi eşik şeklinde yazılır ve bu puan bir kosinüs uzaklığı olarak okunur, çünkü Microsoft puanın aralığını ve yönünü — daha düşük değer daha yakın prompt’lar gerektirir — verir ama ölçüsünü vermez. Bir yanıt API başına ve anahtarını ağ geçidinin doğruladığı API Management aboneliği başına ayrı saklanır ve sunulur; bu nedenle gerçekleştirme key’i korur, abonelik anahtarı gerektirmeyen bir API’de onu reddeder ve end_user’ı reddeder: Recipe’sinin oluşturduğu API hiçbir son kullanıcının token’ını doğrulamaz, bu yüzden ağ geçidinin ayrı tutacağı doğrulanmış bir son kullanıcısı yoktur. core/gateway/contour ve core/gateway/nginx de anlamsal önbellek sunmadıkları için bunu gerçekleştirmez. core/gateway/agentgateway üzerinde gerçekleştirmesi her eklemeyi nedenini belirterek durdurur: agentgateway yanıtların önbelleğini tutmaz ve prompt önbelleklemesi yalnızca prompt’ları kendisi önbelleğe alan bir sağlayıcının bunu nerede yapabileceğini işaretler. core/gateway/kong-enterprise üzerinde gerçekleştirmesi her eklemeyi istenen kapsamı belirterek durdurur: Kong’un AI Semantic Cache’inde bir çağıranın saklanan yanıtlarını diğerininkinden ayrı tutan bir ayar yoktur ve ağ geçidi çağıranları yalnızca bir kimlik doğrulama eklentisinin belirttiği consumer’lar olarak ayırt eder ve yukarıdaki “Modellerin önünde Kong” bölümünün verdiği nedenlerle hiçbir çağıran bildirmez; bu yüzden end_user altında da key altında da her istek tek bir önbelleği paylaşırdı. core/gateway/higress üzerinde gerçekleştirmesi her eklemeyi istenen kapsamı belirterek durdurur: Higress’in anlamsal önbelleği her yanıtı tek bir anahtar önekinin ardından gelen prompt metni altında saklar ve bu anahtardaki hiçbir şey bir çağıranı ya da son kullanıcıyı belirtmez; ağ geçidi de hiçbir çağıran bildirmez, bu yüzden her istek tek bir önbelleği paylaşırdı. core/gateway/apisix üzerinde chart Recipe’sinde, Release’inin infra.callers içinde bildirdiği çağıranlar için, her bağlı modelin chat rotasına APISIX 3.18.0’ın anlamsal önbelleği olarak yazılarak gerçekleştirilir: bir yanıt, çağıranın sunduğu ve ağ geçidinin doğruladığı anahtar altında, rota başına ve çağıran başına saklanır; böylece hiçbir çağırana başkası için saklanmış bir yanıt sunulmaz; gerçekleştirme key’i korur ve end_user’ı adıyla reddeder, çünkü ağ geçidi tek bir anahtarın arkasındaki son kullanıcıları ayırt edemez. embedding_model, ağ geçidinin models soketindeki bir bağlantıyı belirtir; önbellek embedding’leri bu bağlantının uç noktası, modeli ve kimlik bilgisiyle hesaplar. Önbellek bir isteğin son kullanıcı mesajının embedding’ini hesaplar ve mesajı en az similarity_threshold kadar benzer olan ve önceki mesajları — bir sistem prompt’u, önceki turlar — aynı olan saklanmış bir yanıtı sunar. Yanıtlar ttl_seconds boyunca ağ geçidinin cache_store soketine bağlı bir core/datastore/redis içinde durur; önbellek bu depoya o bağlantıdaki kimlik bilgisinin tuttuğu parolayı sunar ve anlama göre sunulan bir yanıt o istek altında ttl_seconds kadar daha yeniden saklanır. Tamamlama istekleri önbelleğe alınmaz ve bir depo ya da embedding hatası bir ıskalamadır: istek yine de yanıtlanır. Gerçekleştirme, hiçbir çağıran bildirilmediğinde, cache_store’a ya da models soketine hiçbir şey bağlı olmadığında ve oradaki hiçbir bağlantının taşımadığı bir embedding_model üzerinde durur. APISIX saklanan bir yanıtı ağ geçidine göre değil rota ve çağırana göre anahtarlar; bu yüzden tek bir depoya bağlı iki APISIX ağ geçidi ya da ağ geçitlerini tek bir dış depoya yönlendiren bir Aggregate’in iki Releases’i, aynı takma ad ve model üzerindeki aynı adlı bir çağırana önbellekteki bir yanıtı sunabilir. APISIX 3.17.0’daki workload Recipe’sinde hiç anlamsal önbellek yoktur. core/gateway/traefik-hub üzerinde chart Recipe’sinde, Release’inin infra.callers içinde bildirdiği çağıranlar için, her bağlı modelin rotasında Traefik Hub’ın anlamsal önbelleği olarak gerçekleştirilir: bir yanıt, ağ geçidinin anahtar denetiminin doğruladığı çağıran altında, her biri kendi anahtarıyla, bağlı model başına ve çağıran başına saklanır; böylece hiçbir çağırana başkası için saklanmış bir yanıt sunulmaz; gerçekleştirme key’i korur ve end_user’ı adıyla reddeder, çünkü ağ geçidi tek bir anahtarın arkasındaki son kullanıcıları ayırt edemez. embedding_model, ağ geçidinin models soketindeki bir bağlantıyı belirtir; önbellek bir isteğin metninin embedding’ini bu bağlantının uç noktası, modeli ve kimlik bilgisiyle hesaplar. similarity_threshold, önbelleğin uzaklık sınırı olarak, bir eksi eşik şeklinde yazılır ve bir kosinüs uzaklığı olarak okunur, çünkü Traefik’in başvuru belgesi sınırın yönünü verir ama ölçüsünü vermez. Bir yanıt ttl_seconds boyunca ağ geçidinin cache_store soketine bağlı bir core/datastore/redis içinde tutulur ve embedding’i hesaplanamayacak kadar büyük bir istek önbelleksiz yanıtlanır. Gerçekleştirme, hiçbir çağıran bildirilmediğinde, cache_store’a ya da models soketine hiçbir şey bağlı olmadığında, oradaki hiçbir bağlantının taşımadığı bir embedding_model üzerinde ve etiketi 3.19 içinde v3.19.11’den ya da v3.20.6’dan itibaren bir sürümü belirtmeyen bir Traefik Hub imajında durur, çünkü daha önceki bir sürüm bir rotanın tüm çağıranları arasında tek bir önbellek paylaşır.

  • Prompt injection taraması: core/prompt-injection-shield, bir gateway’in ilettiği model isteklerinin, model çağrılmadan önce, modele verilen talimatları geçersiz kılma girişimine karşı standard veya strict değerinde bir sensitivity ile denetlendiğini bildirir — strict bu tür girişimlerin daha fazlasını, onlarla birlikte de daha fazla meşru isteği reddeder. Denetim, olasılıksal bir sınıflandırıcının kararıdır: bazı saldırıları — aralarında yeniden ifade edilmiş, kodlanmış veya farklı yazılmış olanlar da bulunur — kaçırır, bazı meşru istekleri reddeder ve atlatılabildiği bilinmektedir; dolayısıyla diğerlerinin yanında bir denetimdir ve modelin yanıtını, araç çağrısı argümanlarını veya görselleri değerlendirmez. Herhangi bir gateway’e eklenir ve bir gerçekleştirim ya gateway’in isteklerini guard soketine bağlı bir koruyucudan geçirir — bu, gateway’den yapılandırıldığı bir adrese iletmesi dışında hiçbir şey gerektirmez — ya da gateway’in kendisinin çalıştırdığı bir denetimi açar. Koruyucu ile, koruyucu her isteği denetler ve kabul ettiğini modele iletir; Feature’ı bu sokette hiçbir şey olmadan eklemek, bunu belirterek build’i durdurur. Standart kütüphane bunu AI gateway’inde ve NGINX gateway’inde, her ikisinde de koruyucu olarak core/security/nemo-guardrails ile gerçekleştirir: OpenAI chat-completions API’sini konuşan, rail’i bir isteğin son kullanıcı mesajını kendisine bağlı core/security/trustyai-huggingface-detector sınıflandırıcısına gönderen ve bu sınıflandırıcının puanı koruyucunun eşiğine ulaştığında isteği reddeden bir hizmettir. Reddedilen bir isteği koruyucunun kendisi sıradan bir completion ile yanıtlar ve isteğin hiçbir kısmı modele ulaşmaz; koruyucuya veya dedektörüne ulaşılamadığında istek de reddedilir. Bu ikisinin her biri, koruyucu tam olarak bu değilse ve duyarlılığın belirttiği eşikle çalışmıyorsa build’i durdurur — standard için 0.5 ve strict için 0.001; bunlar dedektörün varsayılan sınıflandırıcısı için ölçülmüş iki değerdir ve koruyucuyu görüp arkasındaki dedektörü görmeyen gateway, bu sınıflandırıcının modelini denetleyemez. AI gateway’inde model eşlemesinin her takma adı koruyucuya gönderilir ve her hedef openai/<model> olarak yazılır; dolayısıyla eşleme elle yazılandır: gateway’in models soketine bağlı bir model, koruyucuyu atlayarak kendi bağlantısının kimlik bilgisiyle kendi endpoint’ine gönderilirdi; bu yüzden gerçekleştirim, bu soket bir bağlantı içerdiği sürece onu belirterek build’i durdurur. AI gateway’i, koruyucunun denetlediği tek tür olan chat completion dışındaki her isteği reddeder; NGINX gateway’inde tek location upstream yerine koruyucuya iletir ve koruyucu başka hiçbir model rotasını yanıtlamaz. core/gateway/azure-api-management üzerinde, infra.content_safety_backend_id’nin belirttiği, örneğin Azure AI Content Safety backend’i aracılığıyla API’nin policy’sinde açılan Azure’un kendi prompt shield’ı olarak gerçekleştirilir ve bu anahtar ayarlanmadığı sürece build durur: Azure AI Content Safety, model çağrılmadan önce, semantik önbellek aramasından da önce her isteği bir kullanıcı saldırısına karşı denetler ve gateway, saldırı tespit ettiği bir isteği, hizmetin kabul ettiğinden uzun bir isteği yanıtladığı gibi HTTP 403 ile yanıtlar. Shield açık ya da kapalıdır; bu nedenle standard korunur ve strict adıyla reddedilir; shield, Microsoft’un kendi duyarlılığında çalışır ve bu duyarlılık standard’ın koruyucularda belirttiği eşiğe göre ölçülmemiştir. Örnek bu backend’e, hizmet üzerinde Cognitive Services User rolüne ihtiyaç duyan yönetilen kimliğiyle ulaşır; build bunların hiçbirini görmez. Standart kütüphanede bu üçü dışında hiçbir gateway bunu gerçekleştirmez ve başka birine eklemek, türü belirterek build’i durdurur: çoğu, bir gerçekleştirimin bir koruyucudan geçirebileceği hiçbir rota oluşturmaz — rotalarını kendi depolarında tutarlar, arkalarındaki hizmetlerden alırlar ya da standart kütüphanenin bu türden hiçbir denetim açmadığı barındırılan bir hizmettirler — ve chart Recipe’si kendisine bağlı modellerin rotalarını oluşturan core/gateway/apisix ile Recipe’si kendisine bağlı modellerin AI rotasını oluşturan core/gateway/envoy-gateway’in bunun bir gerçekleştirimi yoktur. Recipes’i kendisine bağlı her model için bir giriş oluşturan core/gateway/agentgateway üzerinde gerçekleştirim, nedenini belirterek her eklemeyi durdurur: agentgateway bir isteği böyle bir girişime karşı yalnızca çağırdığı bir hizmet aracılığıyla değerlendirir — operatörün çalıştırdığı bir webhook ya da Azure AI Content Safety, Google Model Armor veya AWS Bedrock Guardrails — ve gerçekleştirim bunların hiçbirini bağlamaz. core/gateway/higress üzerinde de gerçekleştirim, nedenini belirterek her eklemeyi durdurur: Higress böyle bir girişimi yalnızca çağırdığı bir hizmet aracılığıyla değerlendirir — Alibaba Cloud’un içerik güvenliği hizmeti ya da kaynak kodunda bulunan ancak 2.2.5 plugin sürümünde yayımlanmayan bir plugin aracılığıyla operatörün çalıştırdığı bir Qwen3Guard model hizmeti — ve her biri bu çağrı başarısız olduğunda isteği geçirir; gerçekleştirim bunların hiçbirini bağlamaz. core/gateway/traefik-hub üzerinde de gerçekleştirim, nedenini belirterek her eklemeyi durdurur: Traefik Hub böyle bir girişimi yalnızca çağırdığı bir hizmet aracılığıyla değerlendirir — bir koruyucu hizmeti veya bir modeli, gerçekleştirimin yazması gereken bir istek ve koşullarla çağıran ve bir prompt saldırısı dedektörüyle çalışması ölçülmemiş olan LLM Guard ve Parallel LLM Guard middleware’leri; bu yüzden orada hiçbir duyarlılık bir denetime karşılık gelmez; ya da gerçekleştirimin bağlamadığı barındırılan hizmetleri çağıran Azure Prompt Shield, Amazon Bedrock Guardrails ve GCP Model Armor middleware’leri. Koruyucu yalnızca son kullanıcı mesajını okur; bu nedenle bir sistem mesajı, önceki bir tur veya bir araç sonucu modele okunmadan ulaşır ve yalnızca gateway’den geçen trafik taranır: modelin adresini doğrudan çağıran bir iş yükü onu atlar.

  • Yanıt doğrulama ve değerlendirmeler: core/response-validation, bir modelin yanıtının çağırana ulaşmadan önce bir JSON Schema’ya göre denetlenmesini bildirir: schema şemanın kendisini taşır ve ona uymayan bir yanıt iletilmek yerine reddedilir — ya da invert açıkken, ona uyan bir yanıt. Şema eklemeye aittir, her istek için aynıdır ve çağıranın kendi isteğiyle gönderdiği bir şema değildir; bu yüzden geliştirici onu Aggregate’te ekler ve şemayı onun values’ına yazar. Standart kütüphanedeki hiçbir gerçekleştirim bunu uygulamaz: core/gateway/agentgateway üzerinde gerçekleştirimi nedenini belirterek her eklemeyi durdurur — agentgateway’in yanıt koruyucuları desen eşleştirir veya bir content safety ya da webhook hizmetini çağırır ve hiçbiri şema kabul etmez — ve core/gateway/higress üzerindeki gerçekleştirimi de aynısını yapar; Higress’in yanıt denetimi, geçen bir yanıtı OpenAI rotasının döndürdüğü chat completion yerine yanıtın mesajında bulduğu çıplak JSON ile yanıtlar, X-HIGRESS-AI-JSON-RESP: true istek başlığını gönderen her istemci tarafından atlanır ve altı düzeyden daha derin iç içe geçmiş bir şemayı denetlemeden bırakır; core/gateway/traefik-hub üzerindeki gerçekleştirimi de aynısını yapar, çünkü Traefik Hub başvuru belgelerindeki hiçbir middleware bir yanıtı bir şemaya göre denetlemez — Chat Completion middleware’i istekleri chat completion şemasına göre, API yönetimi istek gövdelerini bir OpenAPI belgesine göre denetler ve LLM Guard’ı bir yanıtı, gerçekleştirimin bağlamadığı harici bir hizmete gönderir; başka herhangi bir gateway’de bir ekleme, türü belirterek build’i durdurur. core/traffic-shadowing, canlı istekleri ikinci bir hizmete kopyalar ve o hizmetin yanıtlarını atar; böylece aday bir model veya hizmet, hiçbir çağıran çıktısını görmeden gerçek trafik altında değerlendirilebilir. dataplane.aggrega.ai/request-mirroring bildiren herhangi bir bileşene eklenir; AI gateway’i bunu bildirmez; standart kütüphane bunu, akışın bir payı yerine tamamını kopyalayan NGINX gateway’inde gerçekleştirir ve daha küçük bir payda adını belirterek durur.

5. Eşzamansız yürütme ve HITL altyapısı

Aggrega, insanla etkileşimli framework’leri (AutoGen ve LangGraph gibi) worker düğümleri olarak ele alır. İnsan girdisini durum kaybetmeden bekleyen “uyuyan” ajanları desteklemek için platform mimarları, bu ajanların Components’ı üzerinde usesSchema soketleri bildirebilir; bu soketler, datastore kategorisindeki bileşenlerin bu ajanlara açıkça bağlanmasını sıkı biçimde zorunlu kılar ve bileşenler datastore motor etiketiyle seçilir — ajanın benzerliğe göre veri getirdiği bir depo için datastore.aggrega.ai/engine in (vector, semantic-memory, search), çalışma durumunun kontrol noktalarını yazdığı bir depo için datastore.aggrega.ai/engine=kv. Soket bir ürün adına değil motor etiketine bağlanır; böylece bir yazar hangi deponun geleceğini seçer ve bildirim yine geçerli kalır. Ayrıca insandan ajana geri bildirim döngüleri için (ör. Slack entegrasyonları), açıkça bildirilmiş bir gateway bileşeni eklenmedikçe mimariyi reddedecek bir yönetişim karar rolü yapılandırılabilir; böylece geri çağırma webhook’ları bildirilmiş bir giriş sınırından girer.

Kendi başına bir ürün olarak sunulmak yerine bir uygulamanın etrafında yazıldığı bir framework veya SDK üzerine kurulan ajanlar, standart kütüphanede tek bir biçim alır. Release, kataloğun sabitlemediği uygulama imajını belirtir. Bir model soketi, framework’ün bağlı modelden okuduklarını — framework’ün okuduğu yerde adresini ve model adını, ve bağlantının kimlik bilgisini, referansla — o framework’ün okuduğu değişkenlere taşır. Framework kendi sunucusunu tanımlamadığında bileşen bir worker’dır ve hiçbir port açmaz: core/ai-agent/crewai ve core/ai-agent/langgraph bu biçimi alır; model soketi yalnızca model.aggrega.ai/api: openai taşıyan bir model veya gateway kabul eden core/ai-agent/openai-agents-sdk, soketi yalnızca model.aggrega.ai/api: anthropic taşıyan birini kabul eden core/ai-agent/claude-agent-sdk ve kendisi hiçbir şey sunmayan, Microsoft Agent Framework üzerine kurulu bir uygulama için olan, soketi yalnızca model.aggrega.ai/api: openai taşıyan birini kabul eden ve Agent Framework’ün Python OpenAI istemcilerinin okuduğu değişkenleri sağlayan core/ai-agent/agent-framework de öyle; bu üçü, Release onu ayarlayana kadar infra.image’ı belirterek build’i durdurur. OpenAI Agents SDK varsayılan olarak her çalıştırmanın bir izini OpenAI’ye yükler; bu nedenle core/ai-agent/openai-agents-sdk, Aggregate upload_traces_to_openai değerini true olarak ayarlamadıkça bu yüklemeyi kapatır. Framework HTTP’yi kendisi sunduğunda bileşen, framework’ün kendi portunda bir server’dır ve bir çağıranın ulaştığı adresi host, port, endpoint ve protocol olarak yayımlar; o da Release onu ayarlayana kadar infra.image’ı belirterek build’i durdurur: core/ai-agent/google-adk, ADK’nın REST API’sini 8000 numaralı portta sunar ve ADK’nın Gemini istemcisinin Gemini API’ye gönderdiği anahtarı sağlar; model soketi yalnızca core/ai-model/gemini gibi model.aggrega.ai/api: gemini taşıyan bir modeli kabul eder, adresini ADK istemcisinin okumayacağı bir gateway’i asla kabul etmez; core/ai-agent/mastra, Mastra’nın oluşturduğu sunucuyu 4111 numaralı portta sunar, /health rotası yanıt verdiğinde Kubernetes üzerinde hazır olur, model.aggrega.ai/api: openai taşıyan bir model veya gateway kabul eder ve Aggregate agent_id değerinde uygulamanın ajanlarından birini belirttiğinde, core/ai-tool/agent-invocation’ın ona görev devredebilmesi için o ajanın Agent2Agent kartının adresini yayımlar. Her iki sunucunun rotaları da uygulama onları kimlik doğrulamasından geçirmedikçe her çağırana yanıt verir; bu yüzden ikisinden birine bir core/public-ingress veya core/http-route eklemesi, Release infra.routes_authenticated değerini true olarak ayarlayıp uygulamanın rotalarının aldığı her isteği doğruladığını onaylayana kadar build’i durdurur. SDK ve sunucu çalışma zamanları ile core/ai-agent/agent-framework, ayrıca isteğe bağlı bir tools soketi bildirir; bu soket, bağlı her aracın adresini ve bağlantının kimlik bilgisini referansla, bağlantının takma adına göre adlandırılmış değişkenler altında sağlar. Uygulama Release’in kendi kodu olduğundan, bu ajanların o kodun okuması için sağladığı değişkenler varsayılanlardır: her soketleri bir inject: bloğunu kabul eder; Aggregate bu blok aracılığıyla uygulamanın bunların yerine okuduğu değişkenleri veya dosyaları belirtir; framework’ün kendi başına okuduğu bir değişken ve bağlantı üzerindeki bir eklemenin sağladıkları ise yerinde kalır. Aynı durum ajanın kendi değerleri için de geçerlidir: her bileşen kendisi üzerinde env ve file girdilerinden oluşan bir inject: bloğunu kabul eder ve şablonu kendi değerlerinden birini okuyup bileşenden başka hiçbir şeyi — başka bir değeri, infra’sını, meta verilerini ya da kimliğini — okumayan bir girdi, bir Recipe’nin o değeri sağladığı varsayılan adın yerini alır; örneğin bir CrewAI ajanının role değeri için CREWAI_ROLE. Bir CrewAI projesinin ajan bildirimlerinin, bir LangGraph uygulamasının langgraph.json dosyasının, bir Google ADK uygulamasının ajan yapılandırmalarının veya bir Agent Framework bildirimsel ajanının içe aktarımı, bu ajanların taslaklarını — core/ai-agent/crewai, core/ai-agent/langgraph, core/ai-agent/google-adk ve core/ai-agent/agent-framework — yapılandırmanın belirttiği veri deposuna ve ajanın model soketinin kabul ettiği yerde yapılandırmanın belirttiği modele bağlı olarak, programın çalıştığı imajı belirtmeyi operatöre bırakan taslak bir Release’in yanında oluşturur ve İçe aktarıcı Plugins bölümünün anlattığı gibi programı asla okumadan yalnızca yapılandırmayı okur.

6. Topolojik güvenlik doğrulaması ve çalışma zamanında uygulama

AI iş yükleri yeni saldırı vektörleri (prompt injection ve otonom veri sızdırma gibi) getirdiğinden, onları güvence altına almak statik mimari yönetişimi etkin çalışma zamanı uygulamasıyla birleştirmeyi gerektirir. Önceden derleyen (Ahead-of-Time, AOT) bir derleyici olarak Aggrega canlı ağ trafiğini yakalamaz veya AI prompt’larını değerlendirmez. Bunun yerine karmaşık güvenlik gereksinimlerini iki parçalı bir mimari el sıkışmayla çözer: statik mimari derleme (derleme zamanında) ve yürütmeye devir (dağıtım zamanında).

A. Derleme zamanı: policy doğrulama ve yapıt üretimi

Derleyici, tüm düğümleri, kenarları ve eklenmiş Features’ı içeren düz bir ara gösterim (IR) grafiği oluşturur. Herhangi bir fiziksel altyapı üretilmeden önce, kuruluşun güvenlik duruşu, bu statik JSON grafiğinin bir yönetişim karar rolünde sektör standardı policy motorlarına göre değerlendirilmesiyle uygulanır.

Soket genel JSON verilerini değerlendirdiğinden tek bir policy diline bağlı değildir. Kuruluşlar mimari kurallarını kendi ekosistemlerine en uygun standardı kullanarak derleyip uygulayabilir:

  • Open Policy Agent (OPA/Rego): Karmaşık, çok adımlı grafik ilişkilerini değerlendirmek ve dağıtık topolojiler genelinde en az ayrıcalıklı erişimi hesaplamak için yaygın olarak kullanılan bir dil. CLI’ye derlenmiş Rego motoru .rego dosyalarını olduğu gibi çalıştırır; OPA’nın yerleşik işlevlerinin tamamına ihtiyaç duyan bir politika, OPA’nın kendi araç zinciriyle derlenir ve bir bağdaştırıcı konuğun arkasında çalışır.
  • Common Expression Language (CEL): CLI’ye derlenmiş CEL motoru, bir Kubernetes validating-admission politikasının yazıldığı gibi, bir belge üzerinde tek ifadeler olarak yazılmış kuralları çalıştırır.
  • Kyverno: Statik JSON/YAML manifestlerini değerlendirir; ekiplerin Rego öğrenmek yerine politikaları yerel YAML ile yazmasına olanak tanır. Derleyiciyle birlikte hiçbir Kyverno konuğu gelmez; derleyici politikaları yalnızca WebAssembly konukları olarak çalıştırır ve Kyverno CLI’yi asla çağırmaz, bu nedenle Kyverno kuralları motoru saran bir konuğun arkasında çalışır.
  • Özel Rust/TypeScript doğrulaması: Güvenlik ekipleri kuruma özgü policy’leri standart dillerde yazıp doğrulama kapısı işlevi görmeleri için Wasm’a derleyebilir.

Policy motoru grafiği doğruladıktan sonra derleyici, bu soyut güvenlik gereksinimlerini fiziksel yapılandırmaya dönüştürür. Bir geliştirici bir güvenlik Feature’ı eklediğinde — örneğin AI gateway’inde core/data-masking — derleyici, gerçekleştiriminin belirttiği pipeline adımını, yalıtılmış bir WebAssembly (Wasm) plugin’ini çalıştırır ve bu adım, denetimin ihtiyaç duyduğu ayarı gateway’in kendi Recipe’sinin zaten oluşturduğu yapılandırmaya yazar. Bir gerçekleştirim bunun yerine yazmayı, eklemeyi okuyup ayarı kendisi yazan gateway’in kendi Recipe’sine bırakabilir — core/gateway/kong-enterprise üzerindeki core/data-masking’in yaptığı gibi — ve başka türde bir denetim için bir gerçekleştirim kendine ait bir kaynak üretebilir; her iki durumda da çıktı, geliştiricinin eklediklerinden yazılmış statik bir yapıttır.

B. Dağıtım zamanı ve çalışma zamanı: yürütmeye devir ve uygulama

Aggrega’nın sorumluluğu, girdiyi işlemeyi bitirip yapılandırılmış statik yapıtları çıktı dizinine yazdığı anda sona erer. Saf bir derleyicidir: yapılandırmayı yazar ve ardından kontrol tamamen onu çağıran sisteme geri döner.

Bu yapılandırmaların nasıl yürütüleceği son derece esnektir ve tamamen kuruluşa bağlıdır:

  • Yapıt devri (dağıtım zamanı): Harici dağıtım denetleyicileri, yapıtları hayata geçirmek için devralır. Bu, dosyaları bir Kubernetes kümesine senkronize eden katı bir GitOps denetleyicisi (ArgoCD veya Flux gibi) olabilir, ancak aynı kolaylıkla terraform apply çalıştıran standart bir CI/CD pipeline’ı ya da Docker Compose’a karşı yerel bir kabuk betiği çalıştıran bir geliştirici de olabilir.
  • Çalışma zamanında uygulama: Yapılandırmalar hedef ortama uygulandığında fiziksel altyapı devralır. Aggrega’nın yapılandırdığı özel araçlar (bir guardrail sidecar’ı, etkin bir service mesh veya yerel bulut güvenlik duvarları gibi) başlar ve etkin işlerine koyulur: payload’ları fiziksel olarak yakalamak, JWT’leri doğrulamak veya kötü amaçlı prompt injection’ları düşürmek.

7. Aggrega AI güvenlik sorunlarını nasıl ele alır

Mimari doğrulamayı çalışma zamanı yürütmesinden ayırarak platform ekipleri, aşağıdaki AI güvenlik açıklarına yönelik yapılandırma çözümlerini açıkça modellemek, doğrulamak ve üretmek için Aggrega’yı kullanabilir.

A. Veri sızdırma ve payload yakalama

  • Sorun: Otonom bir ajan, kısıtlı kurumsal verileri yetkisiz bir harici API’ye sızdırmaya çalışabilir.
  • Aggrega çözümü:
    1. Derleme zamanı (doğrulama ve üretim): Platform ekibi, bir yönetişim karar rolünde değerlendirilen ve şunu belirten bir policy (ör. Rego) yazar: “Bir AI gateway’inden geçen her yol core/data-masking taşımalıdır.” Eksikse derleyici durur. Mevcutsa, Manifest’in bağladığı gerçekleştirim maskelemeyi gateway’in zaten oluşturduğu yapılandırmaya yazar: core/gateway/litellm üzerinde, eklemenin listelediği düzenli ifadelerle eşleşen ve listelediği varlık türleri için metni gateway’in pii_analyzer ve pii_anonymizer soketlerine bağlı bir Presidio analyzer’ına ve anonymizer’ına gönderen guardrail girdileri; core/gateway/kong-enterprise üzerinde, gateway’in chart Recipe’si tarafından yazılan, her bağlı modelin chat ve completion rotalarındaki Kong’un AI PII Sanitizer’ı; bu, maskelediği metni eklemenin listelediği düzenli ifadeler ve varlık türleriyle birlikte gateway’in pii_sanitizer soketine bağlı Kong AI PII hizmetine gönderir; core/gateway/agentgateway üzerinde, chart Recipe’si tarafından yapılandırmasına yazılan, gateway’in kendi düzenli ifade koruyucuları; bunlar eklemenin listelediği desenlerin her eşleşmesini <masked> ile değiştirir ya da refuse altında isteği veya yanıtı HTTP 403 ile yanıtlar ve hiçbir varlık türünü tanımaz; bu koruyucular akışlı bir yanıtı maskelemez, bu yüzden yanıtlar maskelenirken aynı Recipe, böyle bir yanıt isteyen bir isteği ve akışlı olsun olmasın gövdesi gateway’in bu kural için okuduğu 2 MiB’tan büyük olan her isteği, iletilmeden önce HTTP 403 ile reddeden bir kural yazar; core/gateway/traefik-hub üzerinde, chart Recipe’si tarafından yazılan, her bağlı modelin rotasındaki Traefik Hub AI gateway’inin bir Content Guard’ı; bu, eklemenin listelediği desenlerin eşleşmelerini düzenli ifade motoruyla ya da listelediği varlık türlerininkileri gateway’in pii_analyzer soketine bağlı Presidio analyzer’ı aracılığıyla maskeler, ekleme başına bir motor; core/gateway/higress üzerinde, chart Recipe’si tarafından yazılan, her bağlı modelin rotasındaki Higress’in ai-data-masking plugin’i; bu, bir chat isteğinin mesajlarında eklemenin listelediği desenlerin her eşleşmesini köşeli parantez içinde desenin adıyla değiştirir ve hiçbir varlık türünü tanımaz. Bir policy daha dar soruyu da sorabilir — maskelemenin kısıtlı veriler ile sağlayıcı arasında olup olmadığını — rotanın eklemelerini bir bütün olarak okumak yerine rota boyunca her bileşenin eklemelerini okuyarak; examples/policy-data-class-route bunu yapar.
    2. Çalışma zamanı (fiziksel uygulama): Orkestratör üretilen yapıtları dağıttıktan sonra gateway, maskelediği istek metnindeki her eşleşmeyi iletmeden önce bir yer tutucuyla değiştirir, böylece model sağlayıcısı yer tutucuyu alır; action: refuse ile ek, eşleşme içeren bir isteğin hiçbir kısmını iletmez ve bunun yerine isteğe bir hatayla yanıt verir. Erişilemeyen ya da hata veren bir tanıyıcı isteği başarısız kılar, böylece isteğin metni iletilmez. Maskelemenin neye ulaşmadığına, varsayılanları korumanın kendisi olan iki değer karar verir. AI gateway’de, ek yanıtları da maskelerken gateway yanıtın metnini ve bir modelin ya da sağlayıcısının onun yanına eklediği kısımları — bir reddi, alıntıları ve ek açıklamaları, bir web aramasının sorgusunu ve sonuçlarını, sağlayıcının kendine ait adlar taşıyan alanları — maskeler ya da refuse altında eşleşme içeren bir yanıtın hiçbir kısmını göndermez; desenle maskelediği akışlı bir yanıt çağırana sonunda, bütün hâlinde ulaşır. Varsayılan olarak, maskelemesinin bir istekte ulaşmadığı şeyi — görüntü üretimi gibi bir rotayı, safety_identifier gibi bir alanı, konuşmadaki bir görüntüyü ya da dosyayı, sağlayıcının kendisinin çalıştırdığı bir aracı — AI gateway, herhangi bir kısmını iletmeden önce HTTP 400 ile reddeder; bu tür metnin sağlayıcıya maskelenmeden ulaşmasını kabul eden bir operatör, Release’teki ekte allow_unmasked_text değerini ayarlar, gerçekleştirme o durumda tam olarak neyin geçtiğini listeler ve metin olmayan içerik allow_non_text_content tarafından yönetilmeye devam eder. Varsayılan olarak, maskelenmiş bir yanıtın taşıdığı ve maskelemesinin okuyamadığı şey — konuşma sesi ve dökümü, bir görüntü, modelin seçtiği token’ların olasılıkları — alıkonur ve başarısız bir çağrı, sağlayıcının döndürdüğü mesaj yerine sabit bir mesajla çağırana ulaşır; allow_unmasked_reply_parts bunların çağırana maskelenmeden ulaşmasına izin verir. Bir yanıtın kendi metni bu değerle hiçbir zaman geçirilmez, ancak geçirdiği kısımlar yanıtın sözcüklerini taşıyabilir: sesli bir yanıtın dökümü, token olasılıklarının arkasındaki token’lar, yanıtı alıntılayan bir sağlayıcı hata mesajı. core/gateway/kong-enterprise üzerinde her eşleşme numaralı bir yer tutucuyla değiştirilir, bu nedenle redact altında desen listeleyen bir ek placeholder_shows_name: false ayarlar; refuse yalnızca isteklere ulaşır, Kong 3.12’den itibaren, ki bu sürüm eşleşme içeren bir isteğe HTTP 400 ile yanıt verir; ve yanıtlar 3.12’den itibaren maskelenir, bu durumda akışlı yanıt isteyen bir istek iletilmeden önce reddedilir ve allow_streamed_replies reddedilir. Kong’un sanitizer’ı kullanıcının turlarının metnini, bir completion’ın prompt’unu ve bir yanıtın mesaj metnini okur ve Kong’un başvuru belgeleri, sanitizer’ın okumadığı şey nedeniyle bir isteği reddeden ya da bir yanıtın geri kalanını alıkoyan hiçbir ayar belirtmez, bu nedenle o gateway’de her koruma, varsayılanını koruduğu sürece derleme zamanında adıyla reddedilir ve bir ek, Release onları gevşettiğinde derlenir — isteklerin maskelendiği yerde allow_unmasked_text ve allow_non_text_content, yanıtların maskelendiği yerde allow_unmasked_reply_parts ve mask_reasoning: false — ve data-masking-kong-enterprise her birinin o durumda neyi geçirdiğini listeler. Orada metni OpenAI API’sinin döndürdüğü tek dize olarak gelmeyen bir yanıt okunmadan geçer ve kendi metni çağırana maskelenmeden ulaşır; buna karşı koruma, derlemenin o gateway’e bağlı her model üzerinde yaptığı denetimdir; bu denetim model.aggrega.ai/api değeri openai olmayan bir modelde durur. core/gateway/traefik-hub üzerinde her eşleşme, eşleşme uzunluğunda bir * dizisiyle değiştirilir, bu nedenle redact altında desen listeleyen bir ek placeholder_shows_name: false ayarlar; refuse isteğin ya da yanıtın yerine HTTP 403 ile yanıt verir; ve maskelenen bir yanıt bütün hâlinde tutulur ve sonunda gönderilir, akışlı olanlar dahil, bu nedenle yanıtlarda varlık türlerini maskeleyen bir ek allow_streamed_replies ayarlar. Traefik’in başvuru belgeleri, Content Guard’ın bir sohbet isteğinin ya da yanıtının hangi alanlarını okuduğunu söylemez ve okumadığı şey nedeniyle bir isteği reddeden ya da bir yanıtın bir kısmını alıkoyan hiçbir ayar belirtmez, bu nedenle o gateway’de her koruma, varsayılanını koruduğu sürece derleme zamanında adıyla reddedilir ve bir ek, Release onları gevşettiğinde derlenir — isteklerin maskelendiği yerde allow_unmasked_text ve allow_non_text_content, yanıtların maskelendiği yerde allow_unmasked_reply_parts ve mask_reasoning: false — ve data-masking-traefik-hub her birinin o durumda neyi geçirdiğini listeler. Hem desenleri hem varlık türlerini listeleyen bir ek ve aynı gateway üzerindeki ikinci bir maskeleme eki reddedilir, çünkü Traefik’in başvuru belgeleri bir rota üzerindeki ikinci bir Content Guard’ın ilkinin maskelediği metni mi yoksa isteği çağıranın gönderdiği hâliyle mi okuduğunu söylemez. core/gateway/higress üzerinde Higress’in ai-data-masking eklentisi, ekin listelediği desenlerin her eşleşmesini, bir sohbet isteğinin her mesajının içeriğinde ve akıl yürütmesinde, köşeli parantez içindeki desen adıyla değiştirir; yalnızca istekleri maskeler, bu nedenle scope response ve both reddedilir ve hiçbir varlık türünü tanımaz. Eklenti bir isteğin başka hiçbir şeyini okumaz, bu nedenle korumalar varsayılanlarını koruduğu sürece gateway’in chart Recipe’si ayrıca Higress’in istek doğrulama eklentisini, herhangi bir şey iletilmeden önce, maskelemenin okumadığı şeyi taşıyan bir isteği HTTP 403 ile reddedecek şekilde yazar — JSON olarak gönderilmemiş ya da bir chat completion olmayan bir gövde, içeriği bir liste ya da null olan bir mesaj, bir araç çağrısı ya da araç turu, bir mesajın adı, bir chat completion’ın metin dışı parametreleri ile geliştiricinin kendi araçları, yanıt biçimi ve durdurma dizileri dışındaki herhangi bir parametre — ve ek neyi gevşetirse gevşetsin, gövdesini Higress eklentilerinin atladığı bir isteği — sıkıştırılmış bir gövde, octet-stream ya da grpc içeren bir içerik türü, bir upgrade — ve Unicode değiştirme karakteri U+FFFD’yi içeren bir gövdeyi de reddeder; bu karakter, o doğrulamanın geçerli UTF-8 olmayan bir baytı okuma biçimidir, zira maskeleme eklentisi geçerli UTF-8 olmayan bir gövdeyi maskelemeden iletir. Gövdesi gateway’in 32 KiB’lik arabelleğini aşan bir istek HTTP 413 ile reddedilir. Doğrulama yalnızca JSON kod çözücüsünün kabul ettiği bir gövdeyi okur, bu nedenle kod çözücünün reddettiği geçerli JSON’u kasıtlı olarak gönderen bir istemci — örneğin bir double’ın tutabileceğinin ötesinde bir sayı — gövdesine yönelik her reddi atlatır: maskeleme eklentisi bu durumda yalnızca her mesajın düz içeriğini ve akıl yürütmesini maskeler, bu nedenle gövdenin başka herhangi bir yerindeki listelenmiş bir değer — bir araç çağrısının argümanları, bir ad, başka herhangi bir alan — maskelenmeden iletilir, JSON kaçış dizileriyle yazılmış içerik de öyle; böyle bir gövde ayrıca geçerli UTF-8 değilse tamamı maskelenmeden iletilir. Bir gövdeyi, doğrulamanın kabul ettiği tools gibi bir alanın içinde, kasıtlı olarak 127 düzeyden daha derin iç içe yerleştiren bir istemci, doğrulamanın çözdüğü ve kabul ettiği geçerli JSON gönderir, ancak maskeleme eklentisinin JSON okuyucusu o derinlikte durur, bu nedenle o gövdede JSON kaçış dizileriyle yazılmış içerik de maskelenmeden iletilir. Maskeleme tek başına yeterli değildir: hiçbir desenin eşleşmediği ve hiçbir tanıyıcının algılamadığı metin değişmeden geçer; AI gateway’de araç çağrısı argümanları ve araç sonuçları değer değer maskelenir, ancak anahtarlarının adları maskelenmez; geliştiricinin kendi araç tanımları, yanıt biçimleri ve durdurma dizileri gönderildiği gibi geçer; gateway ve tanıyıcı hizmetler özgün metni görür; gateway’in bir çağrı hakkında kaydettiği şey — kendi günlüğünde ya da bir günlük kaydı entegrasyonuna verdiği şeyde — bu metni hâlâ içerebilir; ve gateway’den geçmeyen trafiğe dokunulmaz.

B. MCP zehirlenmesine karşı savunma (güven ve yalıtım)

  • Sorun: Bir ajan, zehirlenmiş bir Model Context Protocol (MCP) aracı yoluyla ele geçirilirse yıkıcı eylemleri (bir veritabanını silmek ya da bir para transferini onaylamak gibi) özerk olarak yürütebilir.
  • Aggrega çözümü:
    1. Derleme zamanı (doğrulama ve üretim): Geliştirici, Aggregate.yaml dosyasında hassas araca bir onay kapısı Feature’ı ekler. Standart kitaplık böyle bir Feature sunmaz, bu nedenle bu ek, onu işleyen FeatureRecipe ile birlikte kuruluşun kendi kataloğunda yazılır. Derleyici grafiği doğrular ve eki bir L7 proxy’si ya da webhook gateway’i için yapılandırmaya dönüştürür.
    2. Çalışma zamanı (fiziksel uygulama): Ele geçirilmiş ajan aracı çağırmaya çalıştığında, dağıtılmış proxy isteği duraklatır ve bir insan operatörden kriptografik olarak imzalanmış bir onay alınana kadar yürütmeyi fiziksel olarak engeller.

C. “Confused Deputy” sorununu çözmek (bağlam yayılımı)

  • Sorun: Çok ajanlı zincirlerde herkese açık bir ajan ele geçirilebilir ve dahili, yüksek ayrıcalıklı bir ajana hassas verileri getirmesini emredebilir. Standart güvenlik duvarları yalnızca “Ajan A, Ajan B ile konuşuyor” bilgisini görür ve trafiğe izin verir, özgün kötü niyetli kullanıcının bağlamını tamamen kaybeder.
  • Aggrega çözümü: Kuruluşlar iki belirli deseni bir arada kullanabilir:
    1. Çağıran kimliğinin iki atlamada yayılımı: Özgün çağıranın kimliği iki farklı atlamadan sağ çıkmalıdır ve her biri farklı bir yerde korunur. Gateway atlamasında geliştirici, dataplane.aggrega.ai/caller-identity üzerinden seçim yapan core/context-propagation’ı, bir isteğin içeri girdiği gateway’e ekler. Derleme zamanında ek, o gateway’in kendi yapılandırmasında gerçekleştirilir — Envoy Gateway’de, her istemcinin sertifikasını Release’in adlandırdığı bir yetkiliye karşı doğrulayan ve sertifikanın ayrıntılarını ileten bir client traffic policy olarak; LiteLLM AI gateway’inde, ekin destinations içinde listelediği model takma adlarına yapılan isteklerde, bir çağıranın sağladığı her kimlik başlığını kaldıran ve gateway’in doğruladığı sanal anahtarın kullanıcısını ve ekibini, anahtar bir kuruluş adlandırıyorsa onun kuruluşunu da ekleyen bir istek kancası olarak. Çalışma zamanında gateway’in arkasındaki hizmet, yalnızca gateway’in çağırdığını değil, kimin çağırdığını alır. İş yükü atlamasında bir ajanın doğrudan diğerine yaptığı istek o gateway’den hiç geçmez, bu nedenle alıcı ajanın kendi ingress’inde denetlenir; orada bir service mesh, özgün kullanıcının niyetini kanıtlayan imzalı bir token’dan yoksun her isteği reddeder (ör. bir Istio JWT AuthorizationPolicy’si). Standart kitaplık gateway atlaması için Feature’ı sunar, iş yükü atlaması için hiçbir Feature sunmaz, bu nedenle core/context-propagation eklemek bir gateway’den geçen trafiği korur ve ajandan ajana çağrıları kuruluşun kendisinin sağladığı mesh yapılandırmasına bırakır. Başka bir tarafın çalıştırdığı ve core/ai-tool/agent-invocation’ın A2A üzerinden core/ai-agent/a2a-remote olarak ulaştığı bir ajan, Release’in tamamen dışındadır: o taraf her çağrıyı ajanın Agent Card’ının bildirdiği güvenlik şemasına göre denetler ve araç, bağlantısında tutulan ve bir Secret’tan referansla okunan kimlik bilgisini, ajanın yayımladığı istek başlığı altında sunar. Card OAuth 2.0 client credentials ya da OpenID Connect gerektirdiğinde bağlantı bunun yerine ya da buna ek olarak, operatörün üzerine yazdığı client id ile birlikte bir client secret tutar ve ajan, token ya da discovery adresini ve card’ının bildirdiği kapsamları yayımlar; aracın kendi konteyneri token’ı bunlarla edinir, yeniler ve her çağrıda sunar; katalog yalnızca bu girdileri teslim eder ve hiçbir derleme konteynerin bunlarla ne yaptığını denetleyemez. Card karşılıklı TLS gerektirdiğinde bağlantı bir istemci sertifikası ve, ajanın sunucu sertifikasını imajın henüz güvenmediği bir yetkili imzalıyorsa, o yetkiliyi de tutar; her biri aracın konteynerine bağlantının adlandırdığı bir Secret’tan dosyalar olarak bağlanır ve konteyner sertifikayı TLS el sıkışmasında kendisi sunar. Böylece araç, card’ı bir başlıkta ya da çerezde bir API anahtarı, Bearer ya da Basic gibi değeri sabit olan ve Secret’ın başlık değerinin tamamını tuttuğu bir HTTP kimlik doğrulama şeması, client-credentials grant’iyle OAuth 2.0 ya da OpenID Connect veya karşılıklı TLS bildiren bir ajana ulaşır. Card’ı sorgu dizesinde bir anahtar, Digest gibi ajandan gelen bir challenge’a yanıt veren bir HTTP şeması ya da client credentials dışında bir OAuth 2.0 akışı gerektiren bir ajana ulaşmaz. Başka bir tarafın düz HTTP üzerinden çalıştırdığı bir ajana da kimlik bilgisi sunmaz: o ajanın adresi http olduğunda bağlantıdaki bir kimlik bilgisi ya da client secret derlemeyi durdurur ve bağlantıyı adlandırır, çünkü kimlik bilgisi ya da secret ile edinilen token ona şifrelenmeden gider. Release’in içinde çalışan bir ajan her ikisiyle de http üzerinden erişilebilir kalır ve kimlik bilgisi bu durumda küme ağını şifrelenmeden geçer.
    2. Ajanlar arası yük denetimi: Bir ajanın doğrudan diğerine gönderdiği istek AI gateway’den hiç geçmez, bu nedenle alıcı ajanın kendi ingress’inde, o ajanın yanında çalışan bir guardrail motoru (ör. NeMo Guardrails) tarafından denetlenir. Derleme zamanında, alıcı ajana eklenen bir Feature’ı gerçekleştiren FeatureRecipe motorun yapılandırmasını işler. Çalışma zamanında motor her isteği kuruluşun yazdığı kurallara göre değerlendirir ve bu kuralların reddettiği isteği reddeder; ele geçirilmiş bir isteği meşru olandan ne kadar iyi ayırt ettiği motora ve kurallara bağlıdır, çünkü Aggrega yapılandırma derler ve bir prompt’u asla değerlendirmez. Standart kitaplık böyle bir motoru yerleştiren hiçbir Feature sunmaz, bu nedenle bu desen kuruluşun kendi kataloğunda yazılır. Bir gateway’in kendi desen koruması dataplane.aggrega.ai/prompt-guard: pattern-list daha dardır ve core/prompt-deny-patterns onu etkinleştirir — AI gateway’de bir isteğin her mesajı okunur ve büyük/küçük harf yok sayılır, core/gateway/apisix ve core/gateway/kong üzerinde her rolün her mesajı tek bir metin olarak okunur, büyük/küçük harf dikkate alınır ve bir isteğin ayrıca eşleşmesi gereken bir desen listesine de uyulur, core/gateway/agentgateway üzerinde her mesaj, araç çağrısı argümanı ve araç sonucu ayrı ayrı okunur, büyük/küçük harf dikkate alınır, ve core/gateway/traefik-hub üzerinde istek, okunan alanlarını Traefik’in başvuru belgelerinin listelemediği bir chat completion olarak okunur, büyük/küçük harf dikkate alınır: metni ekin listelediği ifadelerden biriyle harfiyen eşleşen bir model isteğini reddeder — bir yeniden ifade, başka bir dil ya da bir kodlama ondan geçer — ve bunu yalnızca gateway’den geçen trafikte yapar, bu nedenle ajanlar arasında doğrudan gönderilen bir istek onunla asla karşılaşmaz. core/prompt-injection-shield aynı atlamadaki sınıflandırıcı tabanlı karşılığıdır, bir gateway’in ilettiği her model isteğini o gateway’in guard soketine bağlı bir NeMo Guardrails koruyucusundan ya da Azure API Management üzerinde Azure AI Content Safety’nin prompt shield’ından geçirir ve o da yalnızca gateway’den geçen trafiği kapsar.

D. Topolojik risk analizi

  • Sorun: Birbirine bağlı onlarca model, vektör ve araç içeren karmaşık AI mimarileri, bir insanın geçişli güvenlik açıkları açısından elle denetleyemeyeceği kadar büyüktür (ör. “Ajan A, Veritabanı D’ye erişimi olan Ajan C ile konuşan Araç B ile konuşabilir mi?”).
  • Aggrega çözümü: Bu denetim önceden çalışır. Aggrega amaçlanan topolojinin eksiksiz bir IR grafiğini bellekte oluşturduğundan, bir yönetişim karar rolü tüm mimari genelinde gelişmiş yol bulma kuralları çalıştırabilir. İlke, herkese açık bir düğümden başlayıp son derece hassas bir veritabanında biten ve boyunca hiçbir yerde kuruluşun gerektirdiği denetimlerden hiçbirinin eklenmediği sürekli, geçişli bir kenar zinciri algılarsa derlemeyi hemen durdurur. Güvensiz mimari, tek bir satır altyapı kodu bile üretilmeden engellenir.

8. Gözlemlenebilirlik & uyumluluk

Katı düzenleyici gereklilikleri (ör. AB Yapay Zekâ Yasası) karşılamak için Platform Mimarları Aggrega’nın özellik sistemini kullanabilir ve yapay zekâ gözlemlenebilirliğini uygulama koduna dayanmak yerine yapısal bir altyapı gerekliliği olarak zorunlu kılabilir:

  • Denetim günlüğü: Kuruluşun yazdığı Wasm eklentileri, gateway sidecar’larını ham, sansürlenmemiş istemleri ve yanıtları standart uygulama günlüklerini atlayarak güvenli bir WORM (Write Once, Read Many — bir kez yaz, çok kez oku) depolama bucket’ına eşzamansız olarak akıtacak şekilde yapılandırabilir.
  • LLM izleme: Proxy özellikleri, veri düzlemini yapay zekâya özgü OpenTelemetry span başlıklarını çıkarıp iletecek şekilde yapılandırabilir; böylece karmaşık ajan akıl yürütme döngüleri harici araçlarda görselleştirilebilir.

9. Feature uyumluluğu & topolojik güvenlik

Çekirdek derleyici fiziksel altyapı mekaniklerinden bağımsız olduğu için, uyumsuz yapılandırmaların üretilmesini önlemek amacıyla tamamen katalogdaki açık bildirimlere dayanır.

  • conflictsWith: Bir Feature’ın katalog varlığında interoperability altında bildirilen, yanında eklenemeyeceği Features’ın listesi. Derleyici bu listeyi, her kapsam katkısını yaptıktan sonra her bileşenin sonunda taşıdığı Features ile karşılaştırır — bileşenin kendi eklemeleri, onu içeren bir alt sistem veya sınır üzerinde yazılanlar, Release bileşen girdisindekiler ve ek açıklama güdümlü genişletmenin ürettikleri — ve bir bileşen ikisini birden taşıdığında herhangi bir fiziksel yapıt oluşturmadan önce durur (yani bir yazar, doğrudan veya bir kapsam aracılığıyla, bir Feature’ın yazarının açıkça uyumsuz olarak bildirdiği iki Features ekler). Tek bir bildirim yeterlidir ve Features, sürümleri ne olursa olsun adlarına göre eşleştirilir. Derleyici adlara hiçbir anlam yüklemez: uyumsuzluk yazarın bildirimidir ve denetim bir ad karşılaştırmasıdır. Feature atomikliği ve saflığı ise bir toplumsal sözleşme olarak kalır — hiçbir şey bir Feature’ın tek bir iş yaptığını denetlemez.

10. Dinamik topoloji eşleme (bağımlılık çözümleme)

Sabit kodlanmış kurallar olmadan IR grafiğini oluşturmak için derleyici onu üç açık bildirimden okur:

  • uses kenarları: Geliştiriciler bileşenleri her örneğin uses bloğunda, hedef bileşeni bir sokette adlandırarak bağlar ve grafiğin her kenarı böyle bir bloktan gelir. Tesadüfen başka bir bileşenin adını içeren bir values girdisi hiçbir kenar çizmez: derleyici bir değere hiçbir anlam yüklemez.
  • Kenar hedefleri: Her uses hedefi derlemenin içerdiği bir bileşeni adlandırmalıdır; var olmayan bir hedef, bağlandığı soketi belirterek derlemeyi durdurur.
  • Düğümler arası tür güvenliği: usesSchema seçici dizeleri, statik analiz sırasında Go derleyicisinin etiket eşleştirme motoru tarafından yerel olarak değerlendirilen açık, bant dışı talimatlar işlevi görür. Geliştiricilerin standart bileşenleri, yapay zekâya özgü belirli bir yetenek veya uyumluluk etiketi gerektiren bildirilmiş bir sokete yanlışlıkla bağlayamamasını garanti eder. Garanti, yapısı gereği bildirilmiş soketlerle sınırlıdır: bir seçici bir usesSchema girdisinde yaşar, dolayısıyla geçici (ad-hoc) bir soketin değerlendirilecek seçicisi yoktur. Her kenar, soketinin katalogda bildirilip bildirilmediğini kaydeder; böylece garantinin eksiksiz olmasına ihtiyaç duyan bir operatör bunu bir yönetişim kararı olarak zorunlu kılabilir.

11. Ajan tabanlı sistemlerin otomatik tasarımı (ADAS)

Gelişmiş yapay zekâ sistemleri, anında yeni ajanlar icat edip dağıtmak için kod yazan Meta-Ajanlar içerir. Aggrega önceden derlenen (ahead-of-time, AOT) statik bir mimari gerektirdiği için, çalışma zamanındaki altyapı evrimini iki açık sınır aracılığıyla çözer:

  • Önceden hazırlanmış korumalı alan sınırı: Çalışma zamanında icat edilen geçici araçlar için Mimar bir özellik tanımlar (ör. dynamic-execution-environment). Eklendiğinde Wasm render eklentisi, sıkı biçimde kısıtlanmış bir işlem havuzu (bir WebAssembly çalışma zamanı gibi) hazırlamak için yapılandırmayı üretir. Meta-Ajan bu korumalı alana yeni kod enjekte eder, ancak etki alanı üretilen statik ağ ilkeleriyle sınırlanır.
  • “Geliştirici” rolündeki Meta-Ajan (GitOps döngüsü): Meta-Ajan gerçekten yeni fiziksel altyapıya ihtiyaç duyarsa bir Geliştirici gibi davranır. Yeni bir Aggregate.yaml yazar ve Git’e commit eder. Bu, standart CI/CD işlem hattını tetikler. Bir yönetişim kararı rolü, yapay zekânın talep ettiği topolojiyi statik olarak analiz eder ve yapay zekâ bir güvenlik açığı halüsinasyonu ürettiyse derlemeyi güvenli biçimde durdurur.

12. Model serileştirme & tedarik zinciri güvenliği

Açık kaynaklı bir modeli dağıtmak, çoğu zaman kötü amaçlı kod yükleri içerebilen opak .pkl veya .gguf dosyalarını indirmek anlamına gelir. Kuruluşlar, model tedarik zinciri güvenliğini hedef platformun bir yapılandırma sorunu olarak ele alabilir. Katalogda bir model_provenance özelliği tanımlayarak bir kuruluşun Wasm render eklentisi yapılandırmayı değerlendirip çalışma zamanı yapıtlarına (Kubernetes Kyverno ilkeleri gibi) çevirebilir; böylece hedef küme, orkestratörün imzasız veya doğrulanmamış model ağırlıklarını çekmesini engelleyecek şekilde yapılandırılır.