Um servidor de modelos que só o seu gateway pode chamar
Um servidor de modelos executado num cluster responde a quem alcançar o seu endereço. Numa rede de pods sem nenhuma política de rede, que é a predefinição do Kubernetes, isso é cada carga de trabalho do cluster: o gateway colocado à frente do modelo é o caminho pelo qual o tráfego deve chegar, não o único caminho pelo qual pode chegar.
O Aggregate já diz que componentes chamam quais: a ligação upstream do gateway nomeia o servidor de modelos. core/caller-allowlist, que o operador anexa ao servidor de modelos na Release, transforma essa ligação declarada na regra da rede do cluster. Este espaço de trabalho compila esta disposição em manifestos do Kubernetes: um gateway NGINX no namespace edge, um servidor de modelos Ollama no namespace models, e a política de rede que o anexo escreve ao lado do servidor de modelos.
Este workspace não cria nenhuma entidade de catálogo própria. Os três ficheiros de entidade aqui presentes — um Aggregate, um Manifest e uma Release — são tudo o que alguém escreve.
Quem escreve o quê
| ficheiro | autor | o que diz aqui |
|---|---|---|
aggregate.yaml | o programador | o gateway, o servidor de modelos e a ligação upstream do gateway até ele |
release.yaml | o operador | os dois namespaces e, na entrada do servidor de modelos, o anexo allowlist com a sua infra |
manifest.yaml | o operador | que Recipe realiza cada componente e a Feature no Kubernetes |
O Aggregate não traz nada sobre política de rede. O programador declara a ligação que o gateway estabelece; se o cluster recusa todas as outras é uma decisão do operador para este ambiente, tomada na Release em components.model.features. Cada entrada que a Feature recebe é infra, o pilar do operador. O que o programador deve saber é a consequência: sempre que uma Release anexe esta Feature a um componente, uma chamada que o Aggregate não declare como aresta uses para esse componente é recusada pelo cluster, onde o seu plugin de rede impõe a política de rede.
O que constrói
| instância | Component do catálogo | namespace | o que é aqui |
|---|---|---|---|
gateway | core/gateway/nginx | edge | o gateway que os clientes chamam; encaminha para o servidor de modelos |
model | core/ai-model/ollama | models | o servidor de modelos, a servir llama3.1 |
Uma aresta uses: o socket upstream do gateway para o servidor de modelos. Um anexo de Feature, na Release: allowlist, core/caller-allowlist, no servidor de modelos. A Release afirma que o cluster impõe a política de rede e nomeia uma origem fora do Aggregate, um agente de monitorização.
Gerar o exemplo
É possível compilar este exemplo com os comandos abaixo, ou pedir ao assistente de IA que o compile.
Escreva o exemplo numa nova pasta com o nome dele:
aggrega scaffold --example model-server-caller-allowlistDepois, imprime os próximos comandos a executar. O primeiro entra na nova pasta:
cd model-server-caller-allowlistCompilação
aggrega build --release release.yaml --auto-pullUma release precisa de um lockfile antes de ser compilada, e os lockfiles são gerados em vez de distribuídos, pelo que um clone novo não tem nenhum. Resolva-se um primeiro, ou deixe-se que a compilação o preencha:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildEste espaço de trabalho resolve as entidades de catálogo a partir do registo predefinido que .aggrega-config.yaml nomeia; nada é obtido de um repositório de charts.
A compilação imprime, com <workspace> a representar a pasta deste exemplo:
warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it[… omitted: the resolution's summary and a total build time, which differ per run]Build completed: 6 files written to <workspace>/distO aviso diz respeito à política. O destino não coloca os manifestos próprios de uma Feature num namespace, pelo que o modelo do anexo escreve na política o namespace em que o StatefulSet do servidor de modelos é emitido — namespace: "models" abaixo.
Com um assistente de IA
Um assistente de IA configurado com as ferramentas do Aggrega pode fazer o mesmo: cole-lhe este prompt.
Utilize apenas as ferramentas do Aggrega e não crie nenhuma pasta por conta própria. Se a pasta da área de trabalho ainda não contiver uma pasta `model-server-caller-allowlist`, chame uma vez a ferramenta `scaffold` com `example` definido como `model-server-caller-allowlist` e sem `dir`: esta escreve o exemplo numa nova pasta `model-server-caller-allowlist`. Em seguida, chame a ferramenta `build` com `workspace_root` definido como `model-server-caller-allowlist`, `release` definido como `release.yaml`, `auto_pull` definido como true e `write` definido como true. Indique quais os ficheiros que a compilação escreveu; encontram-se em `model-server-caller-allowlist/dist/`.A árvore renderizada
dist/├── edge/helm/│ ├── gateway-default-service.yaml│ └── gateway-deployment.yaml└── models/helm/ ├── model--allowlist--networkpolicy.yaml ├── model-default-service.yaml ├── model-headless-service.yaml └── model-statefulset.yamlO anexo acrescenta um ficheiro, a política. Todos os outros ficheiros são, byte a byte, o que a mesma Release renderiza sem ele.
O que pode alcançar o servidor de modelos
dist/models/helm/model--allowlist--networkpolicy.yaml, a partir do seu spec:
spec: podSelector: matchLabels: "app": "model" policyTypes: - Ingress ingress: - from: - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "models" podSelector: matchLabels: "app": "model" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "edge" podSelector: matchLabels: "app": "gateway" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "monitoring" podSelector: matchLabels: "app.kubernetes.io/name": "prometheus" ports: - port: 11434 protocol: "TCP"A política está em models, o namespace em que o StatefulSet do servidor de modelos é emitido, seleciona os pods do servidor de modelos e admite ligações a eles a partir de três origens, na única porta que o contentor do servidor de modelos declara:
- Os próprios pods do servidor de modelos, em
models, para que as réplicas de um mesmo servidor se possam alcançar umas às outras. - Os pods do gateway, no namespace
edge. O seletor de namespace e o seletor de pods estão numa única entrada, pelo que um pod tem de corresponder a ambos. Uma carga de trabalho noutro namespace com as mesmas etiquetas — o mesmo Aggregate implementado de novo noutro lugar, por exemplo — não é o gateway e não é admitida. - O agente de monitorização que a Release nomeia: pods etiquetados
app.kubernetes.io/name: prometheusno namespacemonitoring.
Os pods de cada componente são selecionados pelo seletor que o seu próprio controlador escreve — app: model para o StatefulSet do servidor de modelos, app: gateway para o Deployment do gateway — e cada namespace é aquele em que a sua carga de trabalho é emitida, ambos lidos a partir do que as renderizações emitiram em vez de repetidos à mão. Nenhum dos seletores traz uma versão, pelo que, quando uma nova compilação é implementada, os pods da anterior continuam selecionados e continuam admitidos até serem substituídos.
O que não o pode alcançar
- Qualquer outra carga de trabalho, em
models, emedgeou em qualquer outro namespace — incluindo outro agente emmonitoring. - Um controlador de ingress, ou qualquer cliente fora do cluster. Nada fora do Aggregate é admitido a menos que a Release o nomeie, e esta Release nomeia apenas o agente de monitorização. Os clientes alcançam o servidor de modelos através do gateway, que é a ligação que o Aggregate declara.
- Qualquer porta que não seja a 11434.
A política restringe quem se pode ligar, não o que uma ligação transporta: um pedido que o gateway encaminha chega ao modelo tal como o gateway o enviou.
O que a compilação não pode saber
Se a regra é imposta. Uma política de rede é imposta pelo plugin de rede do cluster, e apenas onde esse plugin implementa política de rede; um cluster cujo plugin não a implementa aceita a política e não impõe nada. A compilação escreve a política e não consegue ver o cluster, e é por isso que a Release traz control_plane_present: true no anexo: é a declaração do operador de que o cluster de destino a impõe, e a compilação é interrompida até que seja feita.
Outros três limites decorrem do funcionamento da política de rede e não desta Feature:
- As políticas somam-se. Onde outra política no cluster seleciona os mesmos pods, uma ligação que qualquer uma delas admita é admitida.
- O gateway não é restringido por este anexo. Este protege o servidor de modelos; anexe-se a Feature também à entrada do gateway na Release para restringir quem alcança o gateway, e nomeiem-se aí os clientes que serve.
- O tráfego de saída não é afetado. O servidor de modelos continua a alcançar o registo de onde obtém os pesos, e resolve nomes como antes.
O que interrompe a compilação
Cada um destes casos é uma frase que a compilação imprime, a nomear o que alterar:
-
O pré-requisito não está afirmado. Retire-se
control_plane_present: trueda Release:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release -
Um chamador cuja carga de trabalho não é emitida em nenhum namespace. Retire-se a anotação
aggrega.ai/namespaceda fronteiraedge, e o Deployment do gateway é emitido sem nenhum:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one -
A carga de trabalho do servidor de modelos não emitida em nenhum namespace, pela mesma razão: uma política seleciona pods apenas no seu próprio namespace.
-
Uma carga de trabalho de qualquer um dos dois que não escreve nenhum seletor de controlador e não traz nenhuma das etiquetas de identidade que a compilação aplica aos seus pods — um Job de um chart que depende do seletor que o cluster gera, por exemplo. Selecioná-la por todas as etiquetas que traz deixaria de corresponder aos seus pods na primeira vez que uma etiqueta de versão mudasse, pelo que a compilação é interrompida em vez disso.
-
Um chamador, ou o servidor de modelos, cuja renderização não emite nenhum pod — um realizado por um recurso personalizado cujo controlador cria os pods mais tarde, ou alcançado num endereço fora do cluster. Tal componente não pode ser nomeado numa política, pelo que a compilação é interrompida em vez de escrever uma política que o recusaria ou não selecionaria nada.
-
Uma origem em
admitted_sourcesque nomeia tanto um intervalo de endereços como pods, ou nenhum dos dois.
Onde o compilador não interpreta
O compilador canaliza para a política, como strings, os seletores, etiquetas e namespaces que cada renderização reportou. Não contacta o cluster, não sabe que plugin de rede lá corre e não sabe que cargas de trabalho já correm num namespace. Cada interrupção acima é declarada pelas próprias entidades do catálogo, na realização da Feature, e nenhuma delas assenta em qualquer conhecimento do cluster.
Adaptá-lo
- Admitir um controlador de ingress. Acrescente-se uma entrada a
admitted_sourcescom o seu namespace e as etiquetas dos seus pods — ambos numa única entrada, para que apenas esses pods nesse namespace sejam admitidos. - Admitir um intervalo de endereços. Acrescente-se uma entrada com
cidr, como10.20.0.0/16. - Um segundo chamador. Acrescente-se uma aresta
usesdele para o servidor de modelos no Aggregate e coloque-se num namespace que a Release declare; a compilação seguinte admite-o sem nenhuma alteração ao anexo. - Compose. A Feature não é realizada aí: uma stack do Compose coloca todos os serviços de um grupo numa única rede, e a configuração de um serviço não pode retirar outro serviço dela, pelo que uma Release que associe esta Feature no Compose é interrompida por falta de uma realização.