Ein Modellserver, den nur sein Gateway aufrufen darf
Ein Modellserver, der in einem Cluster läuft, antwortet jedem, der seine Adresse erreicht. In einem Pod-Netzwerk ohne Netzwerkrichtlinie, was der Standard von Kubernetes ist, ist das jede Arbeitslast im Cluster: Das vor das Modell gesetzte Gateway ist der Weg, auf dem der Datenverkehr ankommen soll, nicht der einzige Weg, auf dem er ankommen kann.
Das Aggregate sagt bereits, welche Komponenten welche aufrufen: Die Verbindung upstream des Gateways nennt den Modellserver. core/caller-allowlist, das der Operator im Release an den Modellserver anbindet, macht aus dieser deklarierten Verbindung die Regel des Cluster-Netzwerks. Dieser Workspace kompiliert die Anordnung zu Kubernetes-Manifesten: ein NGINX-Gateway im Namespace edge, ein Ollama-Modellserver im Namespace models und die Netzwerkrichtlinie, die die Anbindung neben den Modellserver schreibt.
Dieser Workspace schreibt keine eigene Katalogentität. Die drei Entitätsdateien hier — ein Aggregate, ein Manifest und ein Release — sind alles, was irgendjemand schreibt.
Wer was schreibt
| Datei | Autor | was sie hier sagt |
|---|---|---|
aggregate.yaml | der Entwickler | das Gateway, der Modellserver und die Verbindung upstream des Gateways zu ihm |
release.yaml | der Operator | die beiden Namespaces und am Eintrag des Modellservers die Anbindung allowlist mit ihrer infra |
manifest.yaml | der Operator | welches Recipe jede Komponente und das Feature auf Kubernetes realisiert |
Das Aggregate enthält nichts über Netzwerkrichtlinien. Der Entwickler deklariert die Verbindung, die das Gateway herstellt; ob der Cluster jede andere zurückweist, ist die Entscheidung des Operators für diese Umgebung, getroffen im Release unter components.model.features. Jede Eingabe, die das Feature annimmt, ist infra, die Säule des Operators. Was der Entwickler wissen sollte, ist die Konsequenz: Wo immer ein Release dieses Feature an eine Komponente anbindet, wird ein Aufruf, den das Aggregate nicht als Kante uses zu dieser Komponente deklariert, vom Cluster zurückgewiesen, wo sein Netzwerk-Plugin Netzwerkrichtlinien durchsetzt.
Was es baut
| Instanz | Katalog-Component | Namespace | was es hier ist |
|---|---|---|---|
gateway | core/gateway/nginx | edge | das Gateway, das Clients aufrufen; es leitet an den Modellserver weiter |
model | core/ai-model/ollama | models | der Modellserver, der llama3.1 ausliefert |
Eine Kante uses: der Socket upstream des Gateways zum Modellserver. Eine Feature-Anbindung, im Release: allowlist, core/caller-allowlist, am Modellserver. Das Release bestätigt, dass der Cluster Netzwerkrichtlinien durchsetzt, und nennt eine Quelle außerhalb des Aggregate, einen Monitoring-Agenten.
Das Beispiel generieren
Sie können dieses Beispiel mit den folgenden Befehlen bauen oder es von Ihrem KI-Assistenten für Sie bauen lassen.
Schreiben Sie das Beispiel in einen neuen Ordner, der nach ihm benannt ist:
aggrega scaffold --example model-server-caller-allowlistDanach gibt er die als Nächstes auszuführenden Befehle aus. Der erste wechselt in den neuen Ordner:
cd model-server-caller-allowlistBuild
aggrega build --release release.yaml --auto-pullEin Release braucht ein Lockfile, bevor es baut, und Lockfiles werden erzeugt statt mitgeliefert, daher hat ein frischer Klon keines. Lösen Sie zuerst eines auf, oder lassen Sie den Build es füllen:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildDieser Workspace löst die Katalogentitäten aus der Standard-Registry auf, die .aggrega-config.yaml nennt; nichts wird aus einem Chart-Repository abgerufen.
Der Build gibt aus, wobei <workspace> für den Ordner dieses Beispiels steht:
warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it[… omitted: the resolution's summary and a total build time, which differ per run]Build completed: 6 files written to <workspace>/distDie Warnung betrifft die Richtlinie. Das Ziel platziert die eigenen Manifeste eines Features nicht in einem Namespace, daher schreibt die Vorlage der Anbindung den Namespace, in den das StatefulSet des Modellservers ausgegeben wird, in die Richtlinie — namespace: "models" unten.
Mit einem KI-Assistenten
Ein KI-Assistent, der mit den Tools von Aggrega eingerichtet ist, kann dasselbe tun: Fügen Sie ihm diesen Prompt ein.
Verwenden Sie ausschließlich die Aggrega-Tools und legen Sie selbst keinen Ordner an. Wenn der Workspace-Ordner noch keinen Ordner `model-server-caller-allowlist` enthält, rufen Sie das Tool `scaffold` einmal mit `example` auf `model-server-caller-allowlist` gesetzt und ohne `dir` auf: Es schreibt das Beispiel in einen neuen Ordner `model-server-caller-allowlist`. Rufen Sie anschließend das Tool `build` mit `workspace_root` auf `model-server-caller-allowlist`, `release` auf `release.yaml`, `auto_pull` auf true und `write` auf true gesetzt auf. Nennen Sie mir, welche Dateien der Build geschrieben hat; sie liegen unter `model-server-caller-allowlist/dist/`.Der gerenderte Baum
dist/├── edge/helm/│ ├── gateway-default-service.yaml│ └── gateway-deployment.yaml└── models/helm/ ├── model--allowlist--networkpolicy.yaml ├── model-default-service.yaml ├── model-headless-service.yaml └── model-statefulset.yamlDie Anbindung fügt eine Datei hinzu, die Richtlinie. Jede andere Datei ist Byte für Byte das, was dasselbe Release ohne sie rendert.
Was den Modellserver erreichen kann
dist/models/helm/model--allowlist--networkpolicy.yaml, ab seinem spec:
spec: podSelector: matchLabels: "app": "model" policyTypes: - Ingress ingress: - from: - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "models" podSelector: matchLabels: "app": "model" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "edge" podSelector: matchLabels: "app": "gateway" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "monitoring" podSelector: matchLabels: "app.kubernetes.io/name": "prometheus" ports: - port: 11434 protocol: "TCP"Die Richtlinie liegt in models, dem Namespace, in den das StatefulSet des Modellservers ausgegeben wird, wählt die Pods des Modellservers aus und lässt Verbindungen zu ihnen aus drei Quellen zu, auf dem einen Port, den der Container des Modellservers deklariert:
- Die eigenen Pods des Modellservers, in
models, damit Replikate eines Servers einander erreichen können. - Die Pods des Gateways, im Namespace
edge. Der Namespace-Selektor und der Pod-Selektor stehen in einem Eintrag, daher muss ein Pod beiden entsprechen. Eine Arbeitslast in einem anderen Namespace mit denselben Labels — etwa dasselbe Aggregate, anderswo erneut bereitgestellt — ist nicht das Gateway und wird nicht zugelassen. - Der Monitoring-Agent, den das Release nennt: Pods mit dem Label
app.kubernetes.io/name: prometheusim Namespacemonitoring.
Die Pods jeder Komponente werden durch den Selektor ausgewählt, den ihr eigener Controller schreibt — app: model für das StatefulSet des Modellservers, app: gateway für das Deployment des Gateways —, und jeder Namespace ist derjenige, in den ihre Arbeitslast ausgegeben wird, beides aus dem gelesen, was die Renderings ausgegeben haben, statt von Hand wiederholt. Keiner der beiden Selektoren trägt eine Version, daher sind beim Ausrollen eines neuen Builds die Pods des vorherigen weiterhin ausgewählt und weiterhin zugelassen, bis sie ersetzt werden.
Was ihn nicht erreichen kann
- Jede andere Arbeitslast, in
models, inedgeoder in jedem anderen Namespace — einschließlich eines anderen Agenten inmonitoring. - Ein Ingress-Controller oder ein beliebiger Client außerhalb des Clusters. Nichts außerhalb des Aggregate wird zugelassen, es sei denn, das Release nennt es, und dieses Release nennt nur den Monitoring-Agenten. Clients erreichen den Modellserver über das Gateway, das ist die Verbindung, die das Aggregate deklariert.
- Jeder Port außer 11434.
Die Richtlinie beschränkt, wer sich verbinden darf, nicht, was eine Verbindung überträgt: Eine Anfrage, die das Gateway weiterleitet, erreicht das Modell so, wie das Gateway sie gesendet hat.
Was der Build nicht wissen kann
Ob die Regel durchgesetzt wird. Eine Netzwerkrichtlinie wird vom Netzwerk-Plugin des Clusters durchgesetzt, und nur dort, wo dieses Plugin Netzwerkrichtlinien implementiert; ein Cluster, dessen Plugin das nicht tut, akzeptiert die Richtlinie und setzt nichts durch. Der Build schreibt die Richtlinie und kann den Cluster nicht sehen, weshalb das Release control_plane_present: true an der Anbindung trägt: Es ist die Erklärung des Operators, dass der Ziel-Cluster sie durchsetzt, und der Build bricht ab, bis sie abgegeben ist.
Drei weitere Einschränkungen ergeben sich aus der Funktionsweise von Netzwerkrichtlinien und nicht aus diesem Feature:
- Richtlinien addieren sich. Wo eine andere Richtlinie im Cluster dieselben Pods auswählt, wird eine Verbindung zugelassen, die eine von beiden zulässt.
- Das Gateway wird durch diese Anbindung nicht beschränkt. Sie schützt den Modellserver; binden Sie das Feature im Release auch an den Eintrag des Gateways an, um zu beschränken, wer das Gateway erreicht, und nennen Sie dort die Clients, die es bedient.
- Ausgehender Datenverkehr bleibt unberührt. Der Modellserver erreicht weiterhin die Registry, aus der er Gewichte bezieht, und löst Namen wie zuvor auf.
Was den Build abbricht
Jeder dieser Fälle ist ein Satz, den der Build ausgibt und der nennt, was zu ändern ist:
-
Die Voraussetzung ist nicht bestätigt. Entfernen Sie
control_plane_present: trueaus dem Release:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release -
Ein Aufrufer, dessen Arbeitslast in keinen Namespace ausgegeben wird. Entfernen Sie die Annotation
aggrega.ai/namespaceaus der Boundaryedge, und das Deployment des Gateways wird ohne Namespace ausgegeben:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one -
Die Arbeitslast des Modellservers, in keinen Namespace ausgegeben, aus demselben Grund: Eine Richtlinie wählt Pods nur in ihrem eigenen Namespace aus.
-
Eine Arbeitslast eines der beiden, die keinen Controller-Selektor schreibt und keines der Identitätslabels trägt, die der Build auf ihre Pods stempelt — etwa ein Job eines Charts, der sich auf den Selektor verlässt, den der Cluster erzeugt. Sie über jedes Label auszuwählen, das sie trägt, würde beim ersten Ändern eines Versionslabels nicht mehr zu ihren Pods passen, daher bricht der Build stattdessen ab.
-
Ein Aufrufer oder der Modellserver, dessen Rendering keine Pods ausgibt — einer, der durch eine benutzerdefinierte Ressource realisiert wird, deren Controller die Pods später erstellt, oder der unter einer Adresse außerhalb des Clusters erreicht wird. Eine solche Komponente kann in einer Richtlinie nicht benannt werden, daher bricht der Build ab, statt eine Richtlinie zu schreiben, die sie zurückweisen oder nichts auswählen würde.
-
Eine Quelle in
admitted_sources, die sowohl einen Adressbereich als auch Pods nennt oder keines von beiden.
Wo der Compiler nicht interpretiert
Der Compiler leitet die Selektoren, Labels und Namespaces, die jedes Rendering gemeldet hat, als Strings in die Richtlinie. Er kontaktiert den Cluster nicht, weiß nicht, welches Netzwerk-Plugin dort läuft, und weiß nicht, welche Arbeitslasten bereits in einem Namespace laufen. Jeder der obigen Abbrüche wird von den eigenen Entitäten des Katalogs deklariert, in der Realisierung des Features, und keiner von ihnen beruht auf irgendeinem Wissen über den Cluster.
Anpassen
- Einen Ingress-Controller zulassen. Fügen Sie
admitted_sourceseinen Eintrag mit seinem Namespace und den Labels seiner Pods hinzu — beides in einem Eintrag, sodass nur diese Pods in diesem Namespace zugelassen werden. - Einen Adressbereich zulassen. Fügen Sie einen Eintrag mit
cidrhinzu, etwa10.20.0.0/16. - Ein zweiter Aufrufer. Fügen Sie im Aggregate eine Kante
usesvon ihm zum Modellserver hinzu und platzieren Sie ihn in einem Namespace, den das Release deklariert; der nächste Build lässt ihn zu, ohne dass die Anbindung geändert wird. - Compose. Das Feature ist dort nicht realisiert: Ein Compose-Stack legt jeden Dienst einer Gruppe in ein einziges Netzwerk, und die Konfiguration eines Dienstes kann einen anderen Dienst nicht daraus entfernen, daher bricht ein Release, das dieses Feature auf Compose bindet, mangels einer Realisierung ab.