Un serveur de modèles que seule sa passerelle peut appeler
Un serveur de modèles qui s’exécute dans un cluster répond à quiconque atteint son adresse. Sur un réseau de pods sans politique réseau, ce qui est le comportement par défaut de Kubernetes, cela représente chaque charge de travail du cluster : la passerelle placée devant le modèle est la voie par laquelle le trafic est censé arriver, pas la seule voie par laquelle il peut arriver.
L’Aggregate dit déjà quels composants appellent lesquels : la connexion upstream de la passerelle nomme le serveur de modèles. core/caller-allowlist, que l’opérateur rattache au serveur de modèles dans la Release, transforme cette connexion déclarée en règle du réseau du cluster. Cet espace de travail compile cet agencement en manifestes Kubernetes : une passerelle NGINX dans le namespace edge, un serveur de modèles Ollama dans le namespace models, et la politique réseau que le rattachement écrit à côté du serveur de modèles.
Ce workspace ne rédige aucune entité de catalogue qui lui soit propre. Les trois fichiers d’entité présents ici — un Aggregate, un Manifest et une Release — sont tout ce que quiconque écrit.
Qui écrit quoi
| fichier | auteur | ce qu’il dit ici |
|---|---|---|
aggregate.yaml | le développeur | la passerelle, le serveur de modèles, et la connexion upstream de la passerelle vers celui-ci |
release.yaml | l’opérateur | les deux namespaces, et sur l’entrée du serveur de modèles le rattachement allowlist avec son infra |
manifest.yaml | l’opérateur | quelle Recipe réalise chaque composant et la Feature sur Kubernetes |
L’Aggregate ne contient rien sur la politique réseau. Le développeur déclare la connexion qu’établit la passerelle ; que le cluster refuse toute autre connexion est la décision de l’opérateur pour cet environnement, prise dans la Release sous components.model.features. Chaque entrée que prend la Feature est infra, le pilier de l’opérateur. Ce que le développeur doit savoir, c’est la conséquence : partout où une Release rattache cette Feature à un composant, un appel que l’Aggregate ne déclare pas comme arête uses vers ce composant est refusé par le cluster, là où son plugin réseau applique la politique réseau.
Ce qu’il construit
| instance | Component du catalogue | namespace | ce qu’il est ici |
|---|---|---|---|
gateway | core/gateway/nginx | edge | la passerelle qu’appellent les clients ; elle transfère au serveur de modèles |
model | core/ai-model/ollama | models | le serveur de modèles, qui sert llama3.1 |
Une arête uses : le socket upstream de la passerelle vers le serveur de modèles. Un rattachement de Feature, dans la Release : allowlist, core/caller-allowlist, sur le serveur de modèles. La Release affirme que le cluster applique la politique réseau et nomme une source extérieure à l’Aggregate, un agent de surveillance.
Générer l’exemple
Vous pouvez construire cet exemple avec les commandes ci-dessous, ou le faire construire pour vous par votre assistant IA.
Écrivez l’exemple dans un nouveau dossier qui porte son nom :
aggrega scaffold --example model-server-caller-allowlistElle affiche ensuite les prochaines commandes à exécuter. La première vous place dans le nouveau dossier :
cd model-server-caller-allowlistBuild
aggrega build --release release.yaml --auto-pullUne release a besoin d’un lockfile avant son build, et les lockfiles sont générés plutôt que livrés, de sorte qu’un clone neuf n’en contient aucun. Résolvez-en un d’abord, ou laissez le build le remplir :
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildCet espace de travail résout les entités de catalogue depuis le registre par défaut que nomme .aggrega-config.yaml ; rien n’est récupéré depuis un dépôt de charts.
Le build affiche, <workspace> désignant le dossier de cet exemple :
warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it[… omitted: the resolution's summary and a total build time, which differ per run]Build completed: 6 files written to <workspace>/distL’avertissement porte sur la politique. La cible ne place pas les manifestes propres à une Feature dans un namespace, si bien que le modèle du rattachement écrit dans la politique le namespace dans lequel est émis le StatefulSet du serveur de modèles — namespace: "models" ci-dessous.
Avec un assistant IA
Un assistant IA configuré avec les outils d’Aggrega peut faire de même : collez-lui ce prompt.
Utilisez uniquement les outils Aggrega et ne créez vous-même aucun dossier. Si le dossier de l’espace de travail ne contient pas encore de dossier `model-server-caller-allowlist`, appelez une fois l’outil `scaffold` avec `example` défini sur `model-server-caller-allowlist` et sans `dir` : il écrit l’exemple dans un nouveau dossier `model-server-caller-allowlist`. Appelez ensuite l’outil `build` avec `workspace_root` défini sur `model-server-caller-allowlist`, `release` défini sur `release.yaml`, `auto_pull` défini sur true et `write` défini sur true. Indiquez-moi quels fichiers le build a écrits ; ils se trouvent sous `model-server-caller-allowlist/dist/`.L’arborescence rendue
dist/├── edge/helm/│ ├── gateway-default-service.yaml│ └── gateway-deployment.yaml└── models/helm/ ├── model--allowlist--networkpolicy.yaml ├── model-default-service.yaml ├── model-headless-service.yaml └── model-statefulset.yamlLe rattachement ajoute un fichier, la politique. Chaque autre fichier est, octet pour octet, ce que la même Release rend sans lui.
Ce qui peut atteindre le serveur de modèles
dist/models/helm/model--allowlist--networkpolicy.yaml, à partir de son spec :
spec: podSelector: matchLabels: "app": "model" policyTypes: - Ingress ingress: - from: - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "models" podSelector: matchLabels: "app": "model" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "edge" podSelector: matchLabels: "app": "gateway" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "monitoring" podSelector: matchLabels: "app.kubernetes.io/name": "prometheus" ports: - port: 11434 protocol: "TCP"La politique se trouve dans models, le namespace dans lequel est émis le StatefulSet du serveur de modèles, sélectionne les pods du serveur de modèles, et y admet des connexions depuis trois sources, sur l’unique port que déclare le conteneur du serveur de modèles :
- Les propres pods du serveur de modèles, dans
models, afin que les répliques d’un même serveur puissent s’atteindre mutuellement. - Les pods de la passerelle, dans le namespace
edge. Le sélecteur de namespace et le sélecteur de pods se trouvent dans une seule entrée, si bien qu’un pod doit correspondre aux deux. Une charge de travail d’un autre namespace portant les mêmes labels — le même Aggregate déployé à nouveau ailleurs, par exemple — n’est pas la passerelle et n’est pas admise. - L’agent de surveillance que nomme la Release : les pods étiquetés
app.kubernetes.io/name: prometheusdans le namespacemonitoring.
Les pods de chaque composant sont sélectionnés par le sélecteur qu’écrit son propre contrôleur — app: model pour le StatefulSet du serveur de modèles, app: gateway pour le Deployment de la passerelle — et chaque namespace est celui dans lequel sa charge de travail est émise, les deux étant lus dans ce que les rendus ont émis plutôt que recopiés à la main. Aucun des deux sélecteurs ne porte de version, si bien que lorsqu’un nouveau build est déployé, les pods du précédent sont encore sélectionnés et encore admis jusqu’à leur remplacement.
Ce qui ne peut pas l’atteindre
- Toute autre charge de travail, dans
models, dansedgeou dans n’importe quel autre namespace — y compris un autre agent dansmonitoring. - Un contrôleur d’ingress, ou tout client extérieur au cluster. Rien d’extérieur à l’Aggregate n’est admis à moins que la Release ne le nomme, et cette Release ne nomme que l’agent de surveillance. Les clients atteignent le serveur de modèles via la passerelle, qui est la connexion que déclare l’Aggregate.
- Tout port autre que 11434.
La politique restreint qui peut se connecter, non ce que transporte une connexion : une requête que transfère la passerelle atteint le modèle telle que la passerelle l’a envoyée.
Ce que le build ne peut pas savoir
Si la règle est appliquée. Une politique réseau est appliquée par le plugin réseau du cluster, et seulement là où ce plugin implémente la politique réseau ; un cluster dont le plugin ne le fait pas accepte la politique et n’applique rien. Le build écrit la politique et ne peut pas voir le cluster, c’est pourquoi la Release porte control_plane_present: true sur le rattachement : c’est la déclaration de l’opérateur que le cluster cible l’applique, et le build s’arrête tant qu’elle n’est pas faite.
Trois autres limites découlent du fonctionnement de la politique réseau plutôt que de cette Feature :
- Les politiques s’additionnent. Là où une autre politique du cluster sélectionne les mêmes pods, une connexion que l’une ou l’autre admet est admise.
- La passerelle n’est pas restreinte par ce rattachement. Il protège le serveur de modèles ; rattachez aussi la Feature à l’entrée de la passerelle dans la Release pour restreindre qui atteint la passerelle, et nommez-y les clients qu’elle sert.
- Le trafic sortant n’est pas touché. Le serveur de modèles atteint toujours le registre depuis lequel il récupère les poids, et résout les noms comme avant.
Ce qui arrête le build
Chacun de ces cas est une phrase qu’affiche le build, nommant ce qu’il faut changer :
-
Le prérequis n’est pas affirmé. Retirez
control_plane_present: truede la Release :[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release -
Un appelant dont la charge de travail n’est émise dans aucun namespace. Retirez l’annotation
aggrega.ai/namespacede la frontièreedge, et le Deployment de la passerelle est émis sans namespace :[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one -
La charge de travail du serveur de modèles n’étant émise dans aucun namespace, pour la même raison : une politique ne sélectionne les pods que dans son propre namespace.
-
Une charge de travail de l’un ou de l’autre qui n’écrit aucun sélecteur de contrôleur et ne porte aucun des labels d’identité que le build appose sur ses pods — un Job de chart s’appuyant sur le sélecteur que génère le cluster, par exemple. La sélectionner par chaque label qu’elle porte cesserait de correspondre à ses pods la première fois qu’un label de version changerait, si bien que le build s’arrête plutôt.
-
Un appelant, ou le serveur de modèles, dont le rendu n’émet aucun pod — l’un réalisé par une ressource personnalisée dont le contrôleur crée les pods plus tard, ou atteint à une adresse extérieure au cluster. Un tel composant ne peut pas être nommé dans une politique, si bien que le build s’arrête plutôt que d’écrire une politique qui le refuserait ou ne sélectionnerait rien.
-
Une source dans
admitted_sourcesqui nomme à la fois une plage d’adresses et des pods, ou ni l’un ni l’autre.
Là où le compilateur n’interprète pas
Le compilateur achemine dans la politique, sous forme de chaînes, les sélecteurs, labels et namespaces que chaque rendu a signalés. Il ne contacte pas le cluster, ne sait pas quel plugin réseau y tourne, et ne sait pas quelles charges de travail tournent déjà dans un namespace. Chaque arrêt ci-dessus est déclaré par les propres entités du catalogue, dans la réalisation de la Feature, et aucun d’eux ne repose sur une quelconque connaissance du cluster.
L’adapter
- Admettre un contrôleur d’ingress. Ajoutez une entrée à
admitted_sourcesavec son namespace et les labels de ses pods — les deux dans une seule entrée, si bien que seuls ces pods dans ce namespace sont admis. - Admettre une plage d’adresses. Ajoutez une entrée avec
cidr, par exemple10.20.0.0/16. - Un second appelant. Ajoutez une arête
usesde celui-ci vers le serveur de modèles dans l’Aggregate et placez-le dans un namespace que déclare la Release ; le build suivant l’admet sans aucune modification du rattachement. - Compose. La Feature n’y est pas réalisée : une stack Compose place chaque service d’un groupe sur un seul réseau, et la configuration d’un service ne peut pas en retirer un autre service, si bien qu’une Release qui lie cette Feature sur Compose s’arrête faute de réalisation.