Yalnızca kendi ağ geçidinin çağırabildiği bir model sunucusu
Bir kümede çalışan model sunucusu, adresine ulaşan herkese yanıt verir. Ağ politikası olmayan bir pod ağında, ki bu Kubernetes’in varsayılanıdır, bu kümedeki her iş yükü demektir: modelin önüne yerleştirilen ağ geçidi, trafiğin gelmesi amaçlanan yoldur, gelebileceği tek yol değil.
Aggregate hangi bileşenin hangisini çağırdığını zaten söyler: ağ geçidinin
upstream bağlantısı model sunucusunu adlandırır. Operatörün Release içinde model
sunucusuna eklediği core/caller-allowlist, bu bildirilmiş bağlantıyı küme ağının
kuralına dönüştürür. Bu çalışma alanı düzeneği Kubernetes manifest’lerine derler:
edge ad alanında bir NGINX ağ geçidi, models ad alanında bir Ollama model
sunucusu ve eklentinin model sunucusunun yanına yazdığı ağ politikası.
Bu çalışma alanı kendine ait hiçbir katalog varlığı yazmaz. Buradaki üç varlık dosyası — bir Aggregate, bir Manifest ve bir Release — herhangi birinin yazdığı şeylerin tamamıdır.
Kim ne yazar
| dosya | yazar | burada ne söylediği |
|---|---|---|
aggregate.yaml | geliştirici | ağ geçidi, model sunucusu ve ağ geçidinin ona olan upstream bağlantısı |
release.yaml | operatör | iki ad alanı ve model sunucusunun girdisinde infra ile birlikte allowlist eklentisi |
manifest.yaml | operatör | Kubernetes üzerinde her bileşeni ve Feature’ı hangi Recipe’nin gerçekleştirdiği |
Aggregate ağ politikasıyla ilgili hiçbir şey taşımaz. Geliştirici, ağ geçidinin kurduğu
bağlantıyı bildirir; kümenin diğer her bağlantıyı reddedip reddetmeyeceği,
operatörün bu ortam için verdiği ve Release’te components.model.features
altında yaptığı bir karardır. Feature’ın aldığı her girdi, operatörün sütunu olan
infra’dır. Geliştiricinin bilmesi gereken sonuçtur: bir Release bu Feature’ı bir
bileşene nerede eklerse, Aggregate’in o bileşene bir uses kenarı olarak bildirmediği
bir çağrı, ağ eklentisinin ağ politikasını uyguladığı yerde küme tarafından reddedilir.
Ne oluşturur
| örnek | katalog Component’i | namespace | burada ne olduğu |
|---|---|---|---|
gateway | core/gateway/nginx | edge | istemcilerin çağırdığı ağ geçidi; çağrıları model sunucusuna iletir |
model | core/ai-model/ollama | models | llama3.1 sunan model sunucusu |
Bir uses kenarı: ağ geçidinin model sunucusuna giden upstream soketi. Release’te bir Feature eki: model sunucusunda allowlist, core/caller-allowlist. Release, kümenin ağ politikasını uyguladığını teyit eder ve Aggregate dışında bir kaynağı, bir izleme ajanını adlandırır.
Örneği oluşturun
Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.
Örneği, adını taşıyan yeni bir klasöre yazın:
aggrega scaffold --example model-server-caller-allowlistArdından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:
cd model-server-caller-allowlistDerleme
aggrega build --release release.yaml --auto-pullBir release, derlenmeden önce bir kilit dosyasına ihtiyaç duyar ve kilit dosyaları dağıtılmak yerine üretildiğinden yeni bir klonda hiç kilit dosyası bulunmaz. Önce bir tane çözümleyin ya da derlemenin onu doldurmasına izin verin:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildBu çalışma alanı, katalog varlıklarını .aggrega-config.yaml dosyasının adlandırdığı varsayılan kayıt defterinden çözümler; bir chart deposundan hiçbir şey getirilmez.
Derleme, <workspace> bu örneğin klasörünü temsil edecek şekilde şunu yazdırır:
warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it[… omitted: the resolution's summary and a total build time, which differ per run]Build completed: 6 files written to <workspace>/distUyarı, politikayla ilgilidir. Hedef, bir Feature’ın kendi manifest’lerini bir namespace’e yerleştirmez; bu nedenle eklemenin şablonu, model sunucusunun StatefulSet’inin yayıldığı namespace’i politikaya yazar: aşağıdaki namespace: "models".
Bir yapay zekâ asistanıyla
Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.
Yalnızca Aggrega araçlarını kullanın ve kendiniz klasör oluşturmayın. Çalışma alanı klasöründe henüz `model-server-caller-allowlist` klasörü yoksa `scaffold` aracını `example` değeri `model-server-caller-allowlist` olacak şekilde ve `dir` olmadan bir kez çağırın: araç örneği yeni bir `model-server-caller-allowlist` klasörüne yazar. Ardından `build` aracını `workspace_root` değeri `model-server-caller-allowlist`, `release` değeri `release.yaml`, `auto_pull` değeri true ve `write` değeri true olacak şekilde çağırın. Derlemenin hangi dosyaları yazdığını bana söyleyin; dosyalar `model-server-caller-allowlist/dist/` altındadır.Oluşturulan ağaç
dist/├── edge/helm/│ ├── gateway-default-service.yaml│ └── gateway-deployment.yaml└── models/helm/ ├── model--allowlist--networkpolicy.yaml ├── model-default-service.yaml ├── model-headless-service.yaml └── model-statefulset.yamlEk, tek bir dosya ekler: politika. Diğer her dosya, aynı Release’in ek olmadan oluşturduğuyla bayt bayt aynıdır.
Model sunucusuna neler erişebilir
dist/models/helm/model--allowlist--networkpolicy.yaml, spec alanından itibaren:
spec: podSelector: matchLabels: "app": "model" policyTypes: - Ingress ingress: - from: - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "models" podSelector: matchLabels: "app": "model" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "edge" podSelector: matchLabels: "app": "gateway" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "monitoring" podSelector: matchLabels: "app.kubernetes.io/name": "prometheus" ports: - port: 11434 protocol: "TCP"Politika, model sunucusunun StatefulSet’inin içine yayımlandığı ad alanı olan models içinde bulunur, model sunucusunun pod’larını seçer ve bunlara
model sunucusunun kapsayıcısının bildirdiği tek bağlantı noktası üzerinden üç kaynaktan gelen bağlantılara izin verir:
- Model sunucusunun kendi pod’ları,
modelsiçinde; böylece tek bir sunucunun kopyaları birbirine erişebilir. - Ağ geçidinin pod’ları,
edgead alanında. Ad alanı seçicisi ile pod seçicisi tek bir girdide yer alır; bu nedenle bir pod’un ikisiyle de eşleşmesi gerekir. Başka bir ad alanında aynı etiketleri taşıyan bir iş yükü — örneğin aynı Aggregate’in başka bir yerde yeniden yayımlanmış hâli — ağ geçidi değildir ve kabul edilmez. - Release’in adını verdiği izleme aracısı:
monitoringad alanındaapp.kubernetes.io/name: prometheusetiketini taşıyan pod’lar.
Her bileşenin pod’ları, kendi denetleyicisinin yazdığı seçiciyle seçilir —
model sunucusunun StatefulSet’i için app: model, ağ geçidinin Deployment’ı için
app: gateway — ve her ad alanı, iş yükünün içine yayımlandığı ad alanıdır;
her ikisi de elle yeniden yazılmak yerine oluşturma işlemlerinin ürettiğinden okunur.
İki seçici de sürüm taşımaz; bu nedenle yeni bir derleme dağıtıldığında önceki derlemenin
pod’ları, yerlerine yenileri gelene kadar seçilmeye ve kabul edilmeye devam eder.
Ona neler erişemez
- Diğer tüm iş yükleri;
modelsiçinde,edgeiçinde ya da başka herhangi bir ad alanında —monitoringiçindeki başka bir ajan da dahil. - Bir ingress denetleyicisi ya da küme dışındaki herhangi bir istemci. Release adını vermedikçe Aggregate dışındaki hiçbir şey kabul edilmez ve bu Release yalnızca izleme ajanının adını verir. İstemciler model sunucusuna, Aggregate’in bildirdiği bağlantı olan ağ geçidi üzerinden erişir.
- 11434 dışındaki herhangi bir bağlantı noktası.
Politika, bir bağlantının ne taşıdığını değil, kimin bağlanabileceğini kısıtlar: ağ geçidinin iletttiği bir istek, modele ağ geçidinin gönderdiği haliyle ulaşır.
Derlemenin bilemeyeceği şeyler
Kuralın uygulanıp uygulanmadığı. Bir ağ politikası, kümenin ağ eklentisi tarafından ve yalnızca o eklentinin ağ politikasını gerçeklediği yerde uygulanır; eklentisi bunu gerçeklemeyen bir küme politikayı kabul eder ve hiçbir şey uygulamaz. Derleme politikayı yazar ve kümeyi göremez; Release’in bağlantıda control_plane_present: true taşımasının nedeni budur: bu, hedef kümenin politikayı uyguladığına dair operatörün beyanıdır ve bu beyan yapılana kadar derleme durur.
Üç sınır daha bu Feature’dan değil, ağ politikasının işleyişinden kaynaklanır:
- Politikalar toplanır. Kümedeki başka bir politika aynı pod’ları seçtiğinde, bunlardan herhangi birinin kabul ettiği bir bağlantı kabul edilir.
- Ağ geçidi bu bağlantıyla kısıtlanmaz. Bağlantı model sunucusunu korur; ağ geçidine kimin ulaşabileceğini kısıtlamak için Feature’ı Release’teki ağ geçidi girdisine de bağlayın ve orada ağ geçidinin hizmet verdiği istemcileri belirtin.
- Giden trafiğe dokunulmaz. Model sunucusu ağırlıkları çektiği kayıt deposuna yine ulaşır ve adları önceden olduğu gibi çözümler.
Derlemeyi durduran durumlar
Bunların her biri, derlemenin yazdırdığı ve neyin değiştirileceğini belirten bir cümledir:
-
Ön koşul onaylanmamış. Release’ten
control_plane_present: truesatırını kaldırın:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release -
İş yükü hiçbir namespace’e yayımlanmayan bir çağıran.
edgesınırındanaggrega.ai/namespaceek açıklamasını kaldırın; ağ geçidinin Deployment’ı namespace olmadan yayımlanır:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one -
Model sunucusunun iş yükü hiçbir namespace’e yayımlanmamış, aynı nedenle: bir ilke yalnızca kendi namespace’indeki pod’ları seçer.
-
İkisinden birinin, hiçbir denetleyici seçicisi yazmayan ve derlemenin pod’larına damgaladığı kimlik etiketlerinin hiçbirini taşımayan bir iş yükü — örneğin kümenin ürettiği seçiciye dayanan bir chart Job’ı. Onu taşıdığı tüm etiketlerle seçmek, bir sürüm etiketi ilk değiştiğinde pod’larıyla eşleşmeyi bırakırdı; bu nedenle derleme bunun yerine durur.
-
Render’ı hiçbir pod yayımlamayan bir çağıran ya da model sunucusu — pod’ları denetleyicisi sonradan oluşturan özel bir kaynakla gerçekleştirilen ya da küme dışındaki bir adresten erişilen bir bileşen. Böyle bir bileşen bir ilkede adlandırılamaz; bu nedenle derleme, onu reddedecek ya da hiçbir şey seçmeyecek bir ilke yazmak yerine durur.
-
admitted_sourcesiçinde hem bir adres aralığını hem de pod’ları adlandıran ya da hiçbirini adlandırmayan bir kaynak.
Derleyicinin yorumlamadığı yerler
Derleyici, her render’ın bildirdiği seçicileri, etiketleri ve ad alanlarını politikaya dize olarak aktarır. Kümeyle iletişim kurmaz, orada hangi ağ eklentisinin çalıştığını bilmez ve bir ad alanında hangi iş yüklerinin zaten çalıştığını bilmez. Yukarıdaki her durdurma, kataloğun kendi varlıkları tarafından, Feature’ın gerçekleştirilmesinde bildirilir ve hiçbiri kümeye ilişkin herhangi bir bilgiye dayanmaz.
Uyarlama
- Bir ingress denetleyicisine izin verme.
admitted_sourceslistesine, denetleyicinin namespace’ini ve pod’larının etiketlerini içeren bir girdi ekleyin — ikisi tek bir girdide olsun ki yalnızca o namespace’teki o pod’lara izin verilsin. - Bir adres aralığına izin verme.
cidriçeren bir girdi ekleyin, örneğin10.20.0.0/16. - İkinci bir çağıran. Aggregate’te bu çağırandan model sunucusuna bir
useskenarı ekleyin ve onu Release’in bildirdiği bir namespace’e yerleştirin; bir sonraki derleme, eke hiçbir değişiklik yapılmadan ona izin verir. - Compose. Feature orada gerçeklenmez: bir Compose yığını bir gruptaki her servisi tek bir ağa koyar ve bir servisin yapılandırması başka bir servisi o ağdan çıkaramaz; bu nedenle bu Feature’ı Compose üzerinde bağlayan bir Release, bir gerçekleme bulunmadığı için durur.