İçeriğe geç
AggregaAggrega
Dil seçin: Türkçe
Bu sayfa makine çevirisiyle çevrilmiştir. İngilizce orijinalini okuyun.

Yalnızca kendi ağ geçidinin çağırabildiği bir model sunucusu

Bir kümede çalışan model sunucusu, adresine ulaşan herkese yanıt verir. Ağ politikası olmayan bir pod ağında, ki bu Kubernetes’in varsayılanıdır, bu kümedeki her iş yükü demektir: modelin önüne yerleştirilen ağ geçidi, trafiğin gelmesi amaçlanan yoldur, gelebileceği tek yol değil.

Aggregate hangi bileşenin hangisini çağırdığını zaten söyler: ağ geçidinin upstream bağlantısı model sunucusunu adlandırır. Operatörün Release içinde model sunucusuna eklediği core/caller-allowlist, bu bildirilmiş bağlantıyı küme ağının kuralına dönüştürür. Bu çalışma alanı düzeneği Kubernetes manifest’lerine derler: edge ad alanında bir NGINX ağ geçidi, models ad alanında bir Ollama model sunucusu ve eklentinin model sunucusunun yanına yazdığı ağ politikası.

Bu çalışma alanı kendine ait hiçbir katalog varlığı yazmaz. Buradaki üç varlık dosyası — bir Aggregate, bir Manifest ve bir Release — herhangi birinin yazdığı şeylerin tamamıdır.

Kim ne yazar

dosyayazarburada ne söylediği
aggregate.yamlgeliştiriciağ geçidi, model sunucusu ve ağ geçidinin ona olan upstream bağlantısı
release.yamloperatöriki ad alanı ve model sunucusunun girdisinde infra ile birlikte allowlist eklentisi
manifest.yamloperatörKubernetes üzerinde her bileşeni ve Feature’ı hangi Recipe’nin gerçekleştirdiği

Aggregate ağ politikasıyla ilgili hiçbir şey taşımaz. Geliştirici, ağ geçidinin kurduğu bağlantıyı bildirir; kümenin diğer her bağlantıyı reddedip reddetmeyeceği, operatörün bu ortam için verdiği ve Release’te components.model.features altında yaptığı bir karardır. Feature’ın aldığı her girdi, operatörün sütunu olan infra’dır. Geliştiricinin bilmesi gereken sonuçtur: bir Release bu Feature’ı bir bileşene nerede eklerse, Aggregate’in o bileşene bir uses kenarı olarak bildirmediği bir çağrı, ağ eklentisinin ağ politikasını uyguladığı yerde küme tarafından reddedilir.

Ne oluşturur

örnekkatalog Component’inamespaceburada ne olduğu
gatewaycore/gateway/nginxedgeistemcilerin çağırdığı ağ geçidi; çağrıları model sunucusuna iletir
modelcore/ai-model/ollamamodelsllama3.1 sunan model sunucusu

Bir uses kenarı: ağ geçidinin model sunucusuna giden upstream soketi. Release’te bir Feature eki: model sunucusunda allowlist, core/caller-allowlist. Release, kümenin ağ politikasını uyguladığını teyit eder ve Aggregate dışında bir kaynağı, bir izleme ajanını adlandırır.

Örneği oluşturun

Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.

Örneği, adını taşıyan yeni bir klasöre yazın:

Terminal window
aggrega scaffold --example model-server-caller-allowlist

Ardından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:

Terminal window
cd model-server-caller-allowlist

Derleme

Terminal window
aggrega build --release release.yaml --auto-pull

Bir release, derlenmeden önce bir kilit dosyasına ihtiyaç duyar ve kilit dosyaları dağıtılmak yerine üretildiğinden yeni bir klonda hiç kilit dosyası bulunmaz. Önce bir tane çözümleyin ya da derlemenin onu doldurmasına izin verin:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Bu çalışma alanı, katalog varlıklarını .aggrega-config.yaml dosyasının adlandırdığı varsayılan kayıt defterinden çözümler; bir chart deposundan hiçbir şey getirilmez.

Derleme, <workspace> bu örneğin klasörünü temsil edecek şekilde şunu yazdırır:

warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it
[… omitted: the resolution's summary and a total build time, which differ per run]
Build completed: 6 files written to <workspace>/dist

Uyarı, politikayla ilgilidir. Hedef, bir Feature’ın kendi manifest’lerini bir namespace’e yerleştirmez; bu nedenle eklemenin şablonu, model sunucusunun StatefulSet’inin yayıldığı namespace’i politikaya yazar: aşağıdaki namespace: "models".

Bir yapay zekâ asistanıyla

Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.

Yalnızca Aggrega araçlarını kullanın ve kendiniz klasör oluşturmayın. Çalışma alanı klasöründe henüz `model-server-caller-allowlist` klasörü yoksa `scaffold` aracını `example` değeri `model-server-caller-allowlist` olacak şekilde ve `dir` olmadan bir kez çağırın: araç örneği yeni bir `model-server-caller-allowlist` klasörüne yazar. Ardından `build` aracını `workspace_root` değeri `model-server-caller-allowlist`, `release` değeri `release.yaml`, `auto_pull` değeri true ve `write` değeri true olacak şekilde çağırın. Derlemenin hangi dosyaları yazdığını bana söyleyin; dosyalar `model-server-caller-allowlist/dist/` altındadır.

Oluşturulan ağaç

dist/
├── edge/helm/
│ ├── gateway-default-service.yaml
│ └── gateway-deployment.yaml
└── models/helm/
├── model--allowlist--networkpolicy.yaml
├── model-default-service.yaml
├── model-headless-service.yaml
└── model-statefulset.yaml

Ek, tek bir dosya ekler: politika. Diğer her dosya, aynı Release’in ek olmadan oluşturduğuyla bayt bayt aynıdır.

Model sunucusuna neler erişebilir

dist/models/helm/model--allowlist--networkpolicy.yaml, spec alanından itibaren:

spec:
podSelector:
matchLabels:
"app": "model"
policyTypes:
- Ingress
ingress:
- from:
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "models"
podSelector:
matchLabels:
"app": "model"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "edge"
podSelector:
matchLabels:
"app": "gateway"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "monitoring"
podSelector:
matchLabels:
"app.kubernetes.io/name": "prometheus"
ports:
- port: 11434
protocol: "TCP"

Politika, model sunucusunun StatefulSet’inin içine yayımlandığı ad alanı olan models içinde bulunur, model sunucusunun pod’larını seçer ve bunlara model sunucusunun kapsayıcısının bildirdiği tek bağlantı noktası üzerinden üç kaynaktan gelen bağlantılara izin verir:

  • Model sunucusunun kendi pod’ları, models içinde; böylece tek bir sunucunun kopyaları birbirine erişebilir.
  • Ağ geçidinin pod’ları, edge ad alanında. Ad alanı seçicisi ile pod seçicisi tek bir girdide yer alır; bu nedenle bir pod’un ikisiyle de eşleşmesi gerekir. Başka bir ad alanında aynı etiketleri taşıyan bir iş yükü — örneğin aynı Aggregate’in başka bir yerde yeniden yayımlanmış hâli — ağ geçidi değildir ve kabul edilmez.
  • Release’in adını verdiği izleme aracısı: monitoring ad alanında app.kubernetes.io/name: prometheus etiketini taşıyan pod’lar.

Her bileşenin pod’ları, kendi denetleyicisinin yazdığı seçiciyle seçilir — model sunucusunun StatefulSet’i için app: model, ağ geçidinin Deployment’ı için app: gateway — ve her ad alanı, iş yükünün içine yayımlandığı ad alanıdır; her ikisi de elle yeniden yazılmak yerine oluşturma işlemlerinin ürettiğinden okunur. İki seçici de sürüm taşımaz; bu nedenle yeni bir derleme dağıtıldığında önceki derlemenin pod’ları, yerlerine yenileri gelene kadar seçilmeye ve kabul edilmeye devam eder.

Ona neler erişemez

  • Diğer tüm iş yükleri; models içinde, edge içinde ya da başka herhangi bir ad alanında — monitoring içindeki başka bir ajan da dahil.
  • Bir ingress denetleyicisi ya da küme dışındaki herhangi bir istemci. Release adını vermedikçe Aggregate dışındaki hiçbir şey kabul edilmez ve bu Release yalnızca izleme ajanının adını verir. İstemciler model sunucusuna, Aggregate’in bildirdiği bağlantı olan ağ geçidi üzerinden erişir.
  • 11434 dışındaki herhangi bir bağlantı noktası.

Politika, bir bağlantının ne taşıdığını değil, kimin bağlanabileceğini kısıtlar: ağ geçidinin iletttiği bir istek, modele ağ geçidinin gönderdiği haliyle ulaşır.

Derlemenin bilemeyeceği şeyler

Kuralın uygulanıp uygulanmadığı. Bir ağ politikası, kümenin ağ eklentisi tarafından ve yalnızca o eklentinin ağ politikasını gerçeklediği yerde uygulanır; eklentisi bunu gerçeklemeyen bir küme politikayı kabul eder ve hiçbir şey uygulamaz. Derleme politikayı yazar ve kümeyi göremez; Release’in bağlantıda control_plane_present: true taşımasının nedeni budur: bu, hedef kümenin politikayı uyguladığına dair operatörün beyanıdır ve bu beyan yapılana kadar derleme durur.

Üç sınır daha bu Feature’dan değil, ağ politikasının işleyişinden kaynaklanır:

  • Politikalar toplanır. Kümedeki başka bir politika aynı pod’ları seçtiğinde, bunlardan herhangi birinin kabul ettiği bir bağlantı kabul edilir.
  • Ağ geçidi bu bağlantıyla kısıtlanmaz. Bağlantı model sunucusunu korur; ağ geçidine kimin ulaşabileceğini kısıtlamak için Feature’ı Release’teki ağ geçidi girdisine de bağlayın ve orada ağ geçidinin hizmet verdiği istemcileri belirtin.
  • Giden trafiğe dokunulmaz. Model sunucusu ağırlıkları çektiği kayıt deposuna yine ulaşır ve adları önceden olduğu gibi çözümler.

Derlemeyi durduran durumlar

Bunların her biri, derlemenin yazdırdığı ve neyin değiştirileceğini belirten bir cümledir:

  • Ön koşul onaylanmamış. Release’ten control_plane_present: true satırını kaldırın:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]
    error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release
  • İş yükü hiçbir namespace’e yayımlanmayan bir çağıran. edge sınırından aggrega.ai/namespace ek açıklamasını kaldırın; ağ geçidinin Deployment’ı namespace olmadan yayımlanır:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]
    error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one
  • Model sunucusunun iş yükü hiçbir namespace’e yayımlanmamış, aynı nedenle: bir ilke yalnızca kendi namespace’indeki pod’ları seçer.

  • İkisinden birinin, hiçbir denetleyici seçicisi yazmayan ve derlemenin pod’larına damgaladığı kimlik etiketlerinin hiçbirini taşımayan bir iş yükü — örneğin kümenin ürettiği seçiciye dayanan bir chart Job’ı. Onu taşıdığı tüm etiketlerle seçmek, bir sürüm etiketi ilk değiştiğinde pod’larıyla eşleşmeyi bırakırdı; bu nedenle derleme bunun yerine durur.

  • Render’ı hiçbir pod yayımlamayan bir çağıran ya da model sunucusu — pod’ları denetleyicisi sonradan oluşturan özel bir kaynakla gerçekleştirilen ya da küme dışındaki bir adresten erişilen bir bileşen. Böyle bir bileşen bir ilkede adlandırılamaz; bu nedenle derleme, onu reddedecek ya da hiçbir şey seçmeyecek bir ilke yazmak yerine durur.

  • admitted_sources içinde hem bir adres aralığını hem de pod’ları adlandıran ya da hiçbirini adlandırmayan bir kaynak.

Derleyicinin yorumlamadığı yerler

Derleyici, her render’ın bildirdiği seçicileri, etiketleri ve ad alanlarını politikaya dize olarak aktarır. Kümeyle iletişim kurmaz, orada hangi ağ eklentisinin çalıştığını bilmez ve bir ad alanında hangi iş yüklerinin zaten çalıştığını bilmez. Yukarıdaki her durdurma, kataloğun kendi varlıkları tarafından, Feature’ın gerçekleştirilmesinde bildirilir ve hiçbiri kümeye ilişkin herhangi bir bilgiye dayanmaz.

Uyarlama

  • Bir ingress denetleyicisine izin verme. admitted_sources listesine, denetleyicinin namespace’ini ve pod’larının etiketlerini içeren bir girdi ekleyin — ikisi tek bir girdide olsun ki yalnızca o namespace’teki o pod’lara izin verilsin.
  • Bir adres aralığına izin verme. cidr içeren bir girdi ekleyin, örneğin 10.20.0.0/16.
  • İkinci bir çağıran. Aggregate’te bu çağırandan model sunucusuna bir uses kenarı ekleyin ve onu Release’in bildirdiği bir namespace’e yerleştirin; bir sonraki derleme, eke hiçbir değişiklik yapılmadan ona izin verir.
  • Compose. Feature orada gerçeklenmez: bir Compose yığını bir gruptaki her servisi tek bir ağa koyar ve bir servisin yapılandırması başka bir servisi o ağdan çıkaramaz; bu nedenle bu Feature’ı Compose üzerinde bağlayan bir Release, bir gerçekleme bulunmadığı için durur.