Pular para o conteúdo
AggregaAggrega
Selecionar língua: Português (Portugal)
Esta página foi traduzida automaticamente. Ler o original em inglês.

Um servidor de modelos que só o seu gateway pode chamar

Um servidor de modelos executado num cluster responde a quem alcançar o seu endereço. Numa rede de pods sem nenhuma política de rede, que é a predefinição do Kubernetes, isso é cada carga de trabalho do cluster: o gateway colocado à frente do modelo é o caminho pelo qual o tráfego deve chegar, não o único caminho pelo qual pode chegar.

O Aggregate já diz que componentes chamam quais: a ligação upstream do gateway nomeia o servidor de modelos. core/caller-allowlist, que o operador anexa ao servidor de modelos na Release, transforma essa ligação declarada na regra da rede do cluster. Este espaço de trabalho compila esta disposição em manifestos do Kubernetes: um gateway NGINX no namespace edge, um servidor de modelos Ollama no namespace models, e a política de rede que o anexo escreve ao lado do servidor de modelos.

Este workspace não cria nenhuma entidade de catálogo própria. Os três ficheiros de entidade aqui presentes — um Aggregate, um Manifest e uma Release — são tudo o que alguém escreve.

Quem escreve o quê

ficheiroautoro que diz aqui
aggregate.yamlo programadoro gateway, o servidor de modelos e a ligação upstream do gateway até ele
release.yamlo operadoros dois namespaces e, na entrada do servidor de modelos, o anexo allowlist com a sua infra
manifest.yamlo operadorque Recipe realiza cada componente e a Feature no Kubernetes

O Aggregate não traz nada sobre política de rede. O programador declara a ligação que o gateway estabelece; se o cluster recusa todas as outras é uma decisão do operador para este ambiente, tomada na Release em components.model.features. Cada entrada que a Feature recebe é infra, o pilar do operador. O que o programador deve saber é a consequência: sempre que uma Release anexe esta Feature a um componente, uma chamada que o Aggregate não declare como aresta uses para esse componente é recusada pelo cluster, onde o seu plugin de rede impõe a política de rede.

O que constrói

instânciaComponent do catálogonamespaceo que é aqui
gatewaycore/gateway/nginxedgeo gateway que os clientes chamam; encaminha para o servidor de modelos
modelcore/ai-model/ollamamodelso servidor de modelos, a servir llama3.1

Uma aresta uses: o socket upstream do gateway para o servidor de modelos. Um anexo de Feature, na Release: allowlist, core/caller-allowlist, no servidor de modelos. A Release afirma que o cluster impõe a política de rede e nomeia uma origem fora do Aggregate, um agente de monitorização.

Gerar o exemplo

É possível compilar este exemplo com os comandos abaixo, ou pedir ao assistente de IA que o compile.

Escreva o exemplo numa nova pasta com o nome dele:

Terminal window
aggrega scaffold --example model-server-caller-allowlist

Depois, imprime os próximos comandos a executar. O primeiro entra na nova pasta:

Terminal window
cd model-server-caller-allowlist

Compilação

Terminal window
aggrega build --release release.yaml --auto-pull

Uma release precisa de um lockfile antes de ser compilada, e os lockfiles são gerados em vez de distribuídos, pelo que um clone novo não tem nenhum. Resolva-se um primeiro, ou deixe-se que a compilação o preencha:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Este espaço de trabalho resolve as entidades de catálogo a partir do registo predefinido que .aggrega-config.yaml nomeia; nada é obtido de um repositório de charts.

A compilação imprime, com <workspace> a representar a pasta deste exemplo:

warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it
[… omitted: the resolution's summary and a total build time, which differ per run]
Build completed: 6 files written to <workspace>/dist

O aviso diz respeito à política. O destino não coloca os manifestos próprios de uma Feature num namespace, pelo que o modelo do anexo escreve na política o namespace em que o StatefulSet do servidor de modelos é emitido — namespace: "models" abaixo.

Com um assistente de IA

Um assistente de IA configurado com as ferramentas do Aggrega pode fazer o mesmo: cole-lhe este prompt.

Utilize apenas as ferramentas do Aggrega e não crie nenhuma pasta por conta própria. Se a pasta da área de trabalho ainda não contiver uma pasta `model-server-caller-allowlist`, chame uma vez a ferramenta `scaffold` com `example` definido como `model-server-caller-allowlist` e sem `dir`: esta escreve o exemplo numa nova pasta `model-server-caller-allowlist`. Em seguida, chame a ferramenta `build` com `workspace_root` definido como `model-server-caller-allowlist`, `release` definido como `release.yaml`, `auto_pull` definido como true e `write` definido como true. Indique quais os ficheiros que a compilação escreveu; encontram-se em `model-server-caller-allowlist/dist/`.

A árvore renderizada

dist/
├── edge/helm/
│ ├── gateway-default-service.yaml
│ └── gateway-deployment.yaml
└── models/helm/
├── model--allowlist--networkpolicy.yaml
├── model-default-service.yaml
├── model-headless-service.yaml
└── model-statefulset.yaml

O anexo acrescenta um ficheiro, a política. Todos os outros ficheiros são, byte a byte, o que a mesma Release renderiza sem ele.

O que pode alcançar o servidor de modelos

dist/models/helm/model--allowlist--networkpolicy.yaml, a partir do seu spec:

spec:
podSelector:
matchLabels:
"app": "model"
policyTypes:
- Ingress
ingress:
- from:
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "models"
podSelector:
matchLabels:
"app": "model"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "edge"
podSelector:
matchLabels:
"app": "gateway"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "monitoring"
podSelector:
matchLabels:
"app.kubernetes.io/name": "prometheus"
ports:
- port: 11434
protocol: "TCP"

A política está em models, o namespace em que o StatefulSet do servidor de modelos é emitido, seleciona os pods do servidor de modelos e admite ligações a eles a partir de três origens, na única porta que o contentor do servidor de modelos declara:

  • Os próprios pods do servidor de modelos, em models, para que as réplicas de um mesmo servidor se possam alcançar umas às outras.
  • Os pods do gateway, no namespace edge. O seletor de namespace e o seletor de pods estão numa única entrada, pelo que um pod tem de corresponder a ambos. Uma carga de trabalho noutro namespace com as mesmas etiquetas — o mesmo Aggregate implementado de novo noutro lugar, por exemplo — não é o gateway e não é admitida.
  • O agente de monitorização que a Release nomeia: pods etiquetados app.kubernetes.io/name: prometheus no namespace monitoring.

Os pods de cada componente são selecionados pelo seletor que o seu próprio controlador escreve — app: model para o StatefulSet do servidor de modelos, app: gateway para o Deployment do gateway — e cada namespace é aquele em que a sua carga de trabalho é emitida, ambos lidos a partir do que as renderizações emitiram em vez de repetidos à mão. Nenhum dos seletores traz uma versão, pelo que, quando uma nova compilação é implementada, os pods da anterior continuam selecionados e continuam admitidos até serem substituídos.

O que não o pode alcançar

  • Qualquer outra carga de trabalho, em models, em edge ou em qualquer outro namespace — incluindo outro agente em monitoring.
  • Um controlador de ingress, ou qualquer cliente fora do cluster. Nada fora do Aggregate é admitido a menos que a Release o nomeie, e esta Release nomeia apenas o agente de monitorização. Os clientes alcançam o servidor de modelos através do gateway, que é a ligação que o Aggregate declara.
  • Qualquer porta que não seja a 11434.

A política restringe quem se pode ligar, não o que uma ligação transporta: um pedido que o gateway encaminha chega ao modelo tal como o gateway o enviou.

O que a compilação não pode saber

Se a regra é imposta. Uma política de rede é imposta pelo plugin de rede do cluster, e apenas onde esse plugin implementa política de rede; um cluster cujo plugin não a implementa aceita a política e não impõe nada. A compilação escreve a política e não consegue ver o cluster, e é por isso que a Release traz control_plane_present: true no anexo: é a declaração do operador de que o cluster de destino a impõe, e a compilação é interrompida até que seja feita.

Outros três limites decorrem do funcionamento da política de rede e não desta Feature:

  • As políticas somam-se. Onde outra política no cluster seleciona os mesmos pods, uma ligação que qualquer uma delas admita é admitida.
  • O gateway não é restringido por este anexo. Este protege o servidor de modelos; anexe-se a Feature também à entrada do gateway na Release para restringir quem alcança o gateway, e nomeiem-se aí os clientes que serve.
  • O tráfego de saída não é afetado. O servidor de modelos continua a alcançar o registo de onde obtém os pesos, e resolve nomes como antes.

O que interrompe a compilação

Cada um destes casos é uma frase que a compilação imprime, a nomear o que alterar:

  • O pré-requisito não está afirmado. Retire-se control_plane_present: true da Release:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]
    error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release
  • Um chamador cuja carga de trabalho não é emitida em nenhum namespace. Retire-se a anotação aggrega.ai/namespace da fronteira edge, e o Deployment do gateway é emitido sem nenhum:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]
    error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one
  • A carga de trabalho do servidor de modelos não emitida em nenhum namespace, pela mesma razão: uma política seleciona pods apenas no seu próprio namespace.

  • Uma carga de trabalho de qualquer um dos dois que não escreve nenhum seletor de controlador e não traz nenhuma das etiquetas de identidade que a compilação aplica aos seus pods — um Job de um chart que depende do seletor que o cluster gera, por exemplo. Selecioná-la por todas as etiquetas que traz deixaria de corresponder aos seus pods na primeira vez que uma etiqueta de versão mudasse, pelo que a compilação é interrompida em vez disso.

  • Um chamador, ou o servidor de modelos, cuja renderização não emite nenhum pod — um realizado por um recurso personalizado cujo controlador cria os pods mais tarde, ou alcançado num endereço fora do cluster. Tal componente não pode ser nomeado numa política, pelo que a compilação é interrompida em vez de escrever uma política que o recusaria ou não selecionaria nada.

  • Uma origem em admitted_sources que nomeia tanto um intervalo de endereços como pods, ou nenhum dos dois.

Onde o compilador não interpreta

O compilador canaliza para a política, como strings, os seletores, etiquetas e namespaces que cada renderização reportou. Não contacta o cluster, não sabe que plugin de rede lá corre e não sabe que cargas de trabalho já correm num namespace. Cada interrupção acima é declarada pelas próprias entidades do catálogo, na realização da Feature, e nenhuma delas assenta em qualquer conhecimento do cluster.

Adaptá-lo

  • Admitir um controlador de ingress. Acrescente-se uma entrada a admitted_sources com o seu namespace e as etiquetas dos seus pods — ambos numa única entrada, para que apenas esses pods nesse namespace sejam admitidos.
  • Admitir um intervalo de endereços. Acrescente-se uma entrada com cidr, como 10.20.0.0/16.
  • Um segundo chamador. Acrescente-se uma aresta uses dele para o servidor de modelos no Aggregate e coloque-se num namespace que a Release declare; a compilação seguinte admite-o sem nenhuma alteração ao anexo.
  • Compose. A Feature não é realizada aí: uma stack do Compose coloca todos os serviços de um grupo numa única rede, e a configuração de um serviço não pode retirar outro serviço dela, pelo que uma Release que associe esta Feature no Compose é interrompida por falta de uma realização.