Przejdź do głównej zawartości
AggregaAggrega
Wybierz język: Polski
Ta strona została przetłumaczona maszynowo. Przeczytaj oryginał w języku angielskim.

Serwer modelu, który może wywoływać tylko jego brama

Serwer modelu działający w klastrze odpowiada każdemu, kto dotrze do jego adresu. W sieci podów bez polityki sieciowej, co jest domyślnym stanem w Kubernetes, oznacza to każde obciążenie w klastrze: brama umieszczona przed modelem jest drogą, którą ruch ma docierać, a nie jedyną, którą może dotrzeć.

Encja Aggregate już określa, które komponenty wywołują które: połączenie upstream bramy wskazuje serwer modelu. core/caller-allowlist, które operator dołącza do serwera modelu w encji Release, zamienia to zadeklarowane połączenie w regułę sieci klastra. Ten obszar roboczy kompiluje ten układ do manifestów Kubernetes: brama NGINX w przestrzeni nazw edge, serwer modelu Ollama w przestrzeni nazw models oraz polityka sieciowa, którą dołączenie zapisuje obok serwera modelu.

Ten obszar roboczy nie definiuje żadnej własnej encji katalogu. Trzy pliki encji w nim — encja Aggregate, encja Manifest i encja Release — to całość tego, co ktokolwiek pisze.

Kto co pisze

plikautorco tutaj określa
aggregate.yamlprogramistabramę, serwer modelu oraz połączenie upstream bramy z nim
release.yamloperatordwie przestrzenie nazw, a we wpisie serwera modelu dołączenie allowlist wraz z jego infra
manifest.yamloperatorktóra encja Recipe realizuje każdy komponent oraz encję Feature w Kubernetes

Encja Aggregate nie zawiera niczego na temat polityki sieciowej. Programista deklaruje połączenie, które nawiązuje brama; to, czy klaster odrzuca każde inne, jest decyzją operatora dla tego środowiska, podejmowaną w encji Release w components.model.features. Każde wejście, które przyjmuje encja Feature, to infra, filar operatora. Programista powinien znać konsekwencję: wszędzie tam, gdzie encja Release dołącza tę encję Feature do komponentu, wywołanie, którego encja Aggregate nie deklaruje jako krawędzi uses do tego komponentu, jest odrzucane przez klaster, o ile jego wtyczka sieciowa egzekwuje politykę sieciową.

Co powstaje

instancjaencja Component z kataloguprzestrzeń nazwczym jest tutaj
gatewaycore/gateway/nginxedgebrama wywoływana przez klientów; przekazuje żądania do serwera modelu
modelcore/ai-model/ollamamodelsserwer modelu udostępniający llama3.1

Jedna krawędź uses: gniazdo upstream bramy prowadzące do serwera modelu. Jedno podłączenie encji Feature, w encji Release: allowlist, core/caller-allowlist, na serwerze modelu. Encja Release potwierdza, że klaster egzekwuje politykę sieciową, i wskazuje jedno źródło spoza encji Aggregate: agenta monitorującego.

Generowanie przykładu

Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.

Należy zapisać przykład w nowym folderze nazwanym tak jak on:

Terminal window
aggrega scaffold --example model-server-caller-allowlist

Następnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:

Terminal window
cd model-server-caller-allowlist

Kompilacja

Terminal window
aggrega build --release release.yaml --auto-pull

Wydanie wymaga pliku blokady (lockfile), zanim zostanie zbudowane, a pliki blokady są generowane, a nie dostarczane, więc świeży klon nie ma żadnego. Należy najpierw go rozwiązać albo pozwolić, by budowanie go uzupełniło:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Ten obszar roboczy rozwiązuje encje katalogu z domyślnego rejestru wskazanego w .aggrega-config.yaml; nic nie jest pobierane z repozytorium chartów.

Budowanie wypisuje (<workspace> oznacza folder tego przykładu):

warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it
[… omitted: the resolution's summary and a total build time, which differ per run]
Build completed: 6 files written to <workspace>/dist

Ostrzeżenie dotyczy polityki. Cel nie umieszcza własnych manifestów encji Feature w przestrzeni nazw, więc szablon dołączenia wpisuje do polityki przestrzeń nazw, w której emitowany jest StatefulSet serwera modelu — namespace: "models" poniżej.

Z asystentem AI

Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.

Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `model-server-caller-allowlist`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `model-server-caller-allowlist` i bez `dir`: zapisuje ono przykład w nowym folderze `model-server-caller-allowlist`. Następnie wywołaj narzędzie `build` z `workspace_root` ustawionym na `model-server-caller-allowlist`, `release` ustawionym na `release.yaml`, `auto_pull` ustawionym na true i `write` ustawionym na true. Podaj, które pliki zapisała kompilacja; znajdują się w `model-server-caller-allowlist/dist/`.

Wyrenderowane drzewo

dist/
├── edge/helm/
│ ├── gateway-default-service.yaml
│ └── gateway-deployment.yaml
└── models/helm/
├── model--allowlist--networkpolicy.yaml
├── model-default-service.yaml
├── model-headless-service.yaml
└── model-statefulset.yaml

Załącznik dodaje jeden plik — politykę. Każdy inny plik jest bajt w bajt tym samym, co ta sama encja Release renderuje bez niego.

Co może połączyć się z serwerem modelu

dist/models/helm/model--allowlist--networkpolicy.yaml, od jego spec:

spec:
podSelector:
matchLabels:
"app": "model"
policyTypes:
- Ingress
ingress:
- from:
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "models"
podSelector:
matchLabels:
"app": "model"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "edge"
podSelector:
matchLabels:
"app": "gateway"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "monitoring"
podSelector:
matchLabels:
"app.kubernetes.io/name": "prometheus"
ports:
- port: 11434
protocol: "TCP"

Polityka znajduje się w models, przestrzeni nazw, do której emitowany jest StatefulSet serwera modelu, wybiera pody serwera modelu i dopuszcza do nich połączenia z trzech źródeł, na jedynym porcie deklarowanym przez kontener serwera modelu:

  • Własne pody serwera modelu, w models, aby repliki jednego serwera mogły łączyć się ze sobą.
  • Pody bramy, w przestrzeni nazw edge. Selektor przestrzeni nazw i selektor podów znajdują się w jednym wpisie, więc pod musi pasować do obu. Obciążenie w innej przestrzeni nazw z tymi samymi etykietami — na przykład ta sama encja Aggregate wydana ponownie gdzie indziej — nie jest bramą i nie zostaje dopuszczone.
  • Agent monitorujący wskazany przez encję Release: pody z etykietą app.kubernetes.io/name: prometheus w przestrzeni nazw monitoring.

Pody każdego komponentu są wybierane selektorem, który zapisuje jego własny kontroler — app: model dla StatefulSet serwera modelu, app: gateway dla Deployment bramy — a każda przestrzeń nazw to ta, do której emitowane jest jego obciążenie; obie wartości są odczytywane z tego, co wyemitowały renderowania, a nie powtarzane ręcznie. Żaden selektor nie zawiera wersji, więc gdy wdrażany jest nowy build, pody poprzedniego są nadal wybierane i dopuszczane, dopóki nie zostaną zastąpione.

Co nie może się z nim połączyć

  • Żaden inny workload, w models, w edge ani w żadnej innej przestrzeni nazw — łącznie z innym agentem w monitoring.
  • Kontroler ingress ani żaden klient spoza klastra. Nic spoza encji Aggregate nie jest dopuszczane, chyba że wskazuje to encja Release, a ta encja Release wskazuje tylko agenta monitorującego. Klienci łączą się z serwerem modelu przez bramę, co jest połączeniem deklarowanym przez encję Aggregate.
  • Żaden port inny niż 11434.

Polityka ogranicza to, kto może nawiązać połączenie, a nie to, co połączenie przenosi: żądanie przekazane przez bramę dociera do modelu w takiej postaci, w jakiej brama je wysłała.

Czego kompilacja nie może wiedzieć

Czy reguła jest egzekwowana. Politykę sieciową egzekwuje wtyczka sieciowa klastra, i to tylko tam, gdzie ta wtyczka implementuje polityki sieciowe; klaster, którego wtyczka tego nie robi, przyjmuje politykę i niczego nie egzekwuje. Kompilacja zapisuje politykę i nie widzi klastra, dlatego encja Release zawiera control_plane_present: true w dołączeniu: jest to oświadczenie operatora, że docelowy klaster ją egzekwuje, a kompilacja zatrzymuje się, dopóki nie zostanie ono złożone.

Trzy kolejne ograniczenia wynikają ze sposobu działania polityk sieciowych, a nie z tej encji Feature:

  • Polityki się sumują. Jeśli inna polityka w klastrze wybiera te same pody, połączenie dopuszczone przez którąkolwiek z nich jest dopuszczone.
  • To dołączenie nie ogranicza bramy. Chroni ono serwer modelu; aby ograniczyć, kto może połączyć się z bramą, należy dołączyć encję Feature również do wpisu bramy w encji Release i wskazać tam klientów, których brama obsługuje.
  • Ruch wychodzący pozostaje nienaruszony. Serwer modelu nadal łączy się z rejestrem, z którego pobiera wagi, i rozwiązuje nazwy tak jak wcześniej.

Co zatrzymuje kompilację

Każda z tych sytuacji to zdanie, które wypisuje kompilacja, wskazując, co należy zmienić:

  • Warunek wstępny nie jest potwierdzony. Należy usunąć control_plane_present: true z encji Release:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]
    error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release
  • Wywołujący, którego workload nie trafia do żadnej przestrzeni nazw. Należy usunąć adnotację aggrega.ai/namespace z granicy edge, a obiekt Deployment bramy zostanie wygenerowany bez przestrzeni nazw:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]
    error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one
  • Workload serwera modelu wygenerowany bez przestrzeni nazw, z tego samego powodu: polityka wybiera pody wyłącznie we własnej przestrzeni nazw.

  • Workload któregokolwiek z nich, który nie zapisuje selektora kontrolera i nie ma żadnej z etykiet tożsamości, które kompilacja nadaje jego podom — na przykład Job z chartu polegający na selektorze generowanym przez klaster. Wybieranie go po wszystkich etykietach, które ma, przestałoby pasować do jego podów przy pierwszej zmianie etykiety wersji, dlatego kompilacja zamiast tego się zatrzymuje.

  • Wywołujący lub serwer modelu, którego renderowanie nie generuje żadnych podów — realizowany przez zasób niestandardowy, którego kontroler tworzy pody później, albo osiągany pod adresem poza klastrem. Takiego komponentu nie można wskazać w polityce, dlatego kompilacja się zatrzymuje, zamiast zapisać politykę, która by go odrzucała lub nie wybierała niczego.

  • Źródło w admitted_sources, które wskazuje jednocześnie zakres adresów i pody albo nie wskazuje żadnego z nich.

Gdzie kompilator nie interpretuje

Kompilator przekazuje do polityki jako ciągi znaków selektory, etykiety i przestrzenie nazw zgłoszone przez każde renderowanie. Nie łączy się z klastrem, nie wie, jaka wtyczka sieciowa w nim działa, ani nie wie, jakie obciążenia już działają w danej przestrzeni nazw. Każde z powyższych zatrzymań jest deklarowane przez własne encje katalogu, w realizacji encji Feature, i żadne z nich nie opiera się na jakiejkolwiek wiedzy o klastrze.

Dostosowywanie przykładu

  • Dopuszczenie kontrolera ingress. Należy dodać do admitted_sources wpis z jego przestrzenią nazw i etykietami jego podów — oba w jednym wpisie, tak aby dopuszczone były tylko te pody w tej przestrzeni nazw.
  • Dopuszczenie zakresu adresów. Należy dodać wpis z cidr, na przykład 10.20.0.0/16.
  • Drugi wywołujący. Należy dodać krawędź uses od niego do serwera modelu w encji Aggregate i umieścić go w przestrzeni nazw zadeklarowanej przez encję Release; następna kompilacja dopuści go bez żadnej zmiany w załączniku.
  • Compose. Encja Feature nie jest tam zrealizowana: stos Compose umieszcza każdą usługę grupy w jednej sieci, a konfiguracja jednej usługi nie może przenieść innej usługi poza tę sieć, więc encja Release wiążąca tę encję Feature w Compose zatrzymuje kompilację z powodu braku realizacji.