Serwer modelu, który może wywoływać tylko jego brama
Serwer modelu działający w klastrze odpowiada każdemu, kto dotrze do jego adresu. W sieci podów bez polityki sieciowej, co jest domyślnym stanem w Kubernetes, oznacza to każde obciążenie w klastrze: brama umieszczona przed modelem jest drogą, którą ruch ma docierać, a nie jedyną, którą może dotrzeć.
Encja Aggregate już określa, które komponenty wywołują które: połączenie
upstream bramy wskazuje serwer modelu. core/caller-allowlist, które
operator dołącza do serwera modelu w encji Release, zamienia to zadeklarowane
połączenie w regułę sieci klastra. Ten obszar roboczy kompiluje ten
układ do manifestów Kubernetes: brama NGINX w przestrzeni nazw edge,
serwer modelu Ollama w przestrzeni nazw models oraz polityka sieciowa, którą
dołączenie zapisuje obok serwera modelu.
Ten obszar roboczy nie definiuje żadnej własnej encji katalogu. Trzy pliki encji w nim — encja Aggregate, encja Manifest i encja Release — to całość tego, co ktokolwiek pisze.
Kto co pisze
| plik | autor | co tutaj określa |
|---|---|---|
aggregate.yaml | programista | bramę, serwer modelu oraz połączenie upstream bramy z nim |
release.yaml | operator | dwie przestrzenie nazw, a we wpisie serwera modelu dołączenie allowlist wraz z jego infra |
manifest.yaml | operator | która encja Recipe realizuje każdy komponent oraz encję Feature w Kubernetes |
Encja Aggregate nie zawiera niczego na temat polityki sieciowej. Programista deklaruje
połączenie, które nawiązuje brama; to, czy klaster odrzuca każde inne,
jest decyzją operatora dla tego środowiska, podejmowaną w encji Release w
components.model.features. Każde wejście, które przyjmuje encja Feature, to infra, filar
operatora. Programista powinien znać konsekwencję: wszędzie tam, gdzie
encja Release dołącza tę encję Feature do komponentu, wywołanie, którego encja Aggregate nie
deklaruje jako krawędzi uses do tego komponentu, jest odrzucane przez klaster, o ile jego
wtyczka sieciowa egzekwuje politykę sieciową.
Co powstaje
| instancja | encja Component z katalogu | przestrzeń nazw | czym jest tutaj |
|---|---|---|---|
gateway | core/gateway/nginx | edge | brama wywoływana przez klientów; przekazuje żądania do serwera modelu |
model | core/ai-model/ollama | models | serwer modelu udostępniający llama3.1 |
Jedna krawędź uses: gniazdo upstream bramy prowadzące do serwera modelu. Jedno
podłączenie encji Feature, w encji Release: allowlist, core/caller-allowlist, na
serwerze modelu. Encja Release potwierdza, że klaster egzekwuje politykę sieciową, i
wskazuje jedno źródło spoza encji Aggregate: agenta monitorującego.
Generowanie przykładu
Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.
Należy zapisać przykład w nowym folderze nazwanym tak jak on:
aggrega scaffold --example model-server-caller-allowlistNastępnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:
cd model-server-caller-allowlistKompilacja
aggrega build --release release.yaml --auto-pullWydanie wymaga pliku blokady (lockfile), zanim zostanie zbudowane, a pliki blokady są generowane, a nie dostarczane, więc świeży klon nie ma żadnego. Należy najpierw go rozwiązać albo pozwolić, by budowanie go uzupełniło:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildTen obszar roboczy rozwiązuje encje katalogu z domyślnego rejestru wskazanego w .aggrega-config.yaml; nic nie jest pobierane z repozytorium chartów.
Budowanie wypisuje (<workspace> oznacza folder tego przykładu):
warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it[… omitted: the resolution's summary and a total build time, which differ per run]Build completed: 6 files written to <workspace>/distOstrzeżenie dotyczy polityki. Cel nie umieszcza własnych manifestów encji Feature
w przestrzeni nazw, więc szablon dołączenia wpisuje do polityki
przestrzeń nazw, w której emitowany jest StatefulSet serwera modelu —
namespace: "models" poniżej.
Z asystentem AI
Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.
Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `model-server-caller-allowlist`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `model-server-caller-allowlist` i bez `dir`: zapisuje ono przykład w nowym folderze `model-server-caller-allowlist`. Następnie wywołaj narzędzie `build` z `workspace_root` ustawionym na `model-server-caller-allowlist`, `release` ustawionym na `release.yaml`, `auto_pull` ustawionym na true i `write` ustawionym na true. Podaj, które pliki zapisała kompilacja; znajdują się w `model-server-caller-allowlist/dist/`.Wyrenderowane drzewo
dist/├── edge/helm/│ ├── gateway-default-service.yaml│ └── gateway-deployment.yaml└── models/helm/ ├── model--allowlist--networkpolicy.yaml ├── model-default-service.yaml ├── model-headless-service.yaml └── model-statefulset.yamlZałącznik dodaje jeden plik — politykę. Każdy inny plik jest bajt w bajt tym samym, co ta sama encja Release renderuje bez niego.
Co może połączyć się z serwerem modelu
dist/models/helm/model--allowlist--networkpolicy.yaml, od jego spec:
spec: podSelector: matchLabels: "app": "model" policyTypes: - Ingress ingress: - from: - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "models" podSelector: matchLabels: "app": "model" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "edge" podSelector: matchLabels: "app": "gateway" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "monitoring" podSelector: matchLabels: "app.kubernetes.io/name": "prometheus" ports: - port: 11434 protocol: "TCP"Polityka znajduje się w models, przestrzeni nazw, do której emitowany jest StatefulSet serwera modelu,
wybiera pody serwera modelu i dopuszcza do nich połączenia
z trzech źródeł, na jedynym porcie deklarowanym przez kontener serwera modelu:
- Własne pody serwera modelu, w
models, aby repliki jednego serwera mogły łączyć się ze sobą. - Pody bramy, w przestrzeni nazw
edge. Selektor przestrzeni nazw i selektor podów znajdują się w jednym wpisie, więc pod musi pasować do obu. Obciążenie w innej przestrzeni nazw z tymi samymi etykietami — na przykład ta sama encja Aggregate wydana ponownie gdzie indziej — nie jest bramą i nie zostaje dopuszczone. - Agent monitorujący wskazany przez encję Release: pody z etykietą
app.kubernetes.io/name: prometheusw przestrzeni nazwmonitoring.
Pody każdego komponentu są wybierane selektorem, który zapisuje jego własny kontroler —
app: model dla StatefulSet serwera modelu, app: gateway dla
Deployment bramy — a każda przestrzeń nazw to ta, do której emitowane jest jego obciążenie;
obie wartości są odczytywane z tego, co wyemitowały renderowania, a nie powtarzane ręcznie.
Żaden selektor nie zawiera wersji, więc gdy wdrażany jest nowy build, pody
poprzedniego są nadal wybierane i dopuszczane, dopóki nie zostaną zastąpione.
Co nie może się z nim połączyć
- Żaden inny workload, w
models, wedgeani w żadnej innej przestrzeni nazw — łącznie z innym agentem wmonitoring. - Kontroler ingress ani żaden klient spoza klastra. Nic spoza encji Aggregate nie jest dopuszczane, chyba że wskazuje to encja Release, a ta encja Release wskazuje tylko agenta monitorującego. Klienci łączą się z serwerem modelu przez bramę, co jest połączeniem deklarowanym przez encję Aggregate.
- Żaden port inny niż 11434.
Polityka ogranicza to, kto może nawiązać połączenie, a nie to, co połączenie przenosi: żądanie przekazane przez bramę dociera do modelu w takiej postaci, w jakiej brama je wysłała.
Czego kompilacja nie może wiedzieć
Czy reguła jest egzekwowana. Politykę sieciową egzekwuje wtyczka sieciowa klastra, i to tylko tam, gdzie ta wtyczka implementuje polityki sieciowe; klaster, którego wtyczka tego nie robi, przyjmuje politykę i niczego nie egzekwuje. Kompilacja zapisuje politykę i nie widzi klastra, dlatego encja Release zawiera
control_plane_present: true w dołączeniu: jest to oświadczenie operatora, że docelowy klaster ją egzekwuje, a kompilacja zatrzymuje się, dopóki nie zostanie ono złożone.
Trzy kolejne ograniczenia wynikają ze sposobu działania polityk sieciowych, a nie z tej encji Feature:
- Polityki się sumują. Jeśli inna polityka w klastrze wybiera te same pody, połączenie dopuszczone przez którąkolwiek z nich jest dopuszczone.
- To dołączenie nie ogranicza bramy. Chroni ono serwer modelu; aby ograniczyć, kto może połączyć się z bramą, należy dołączyć encję Feature również do wpisu bramy w encji Release i wskazać tam klientów, których brama obsługuje.
- Ruch wychodzący pozostaje nienaruszony. Serwer modelu nadal łączy się z rejestrem, z którego pobiera wagi, i rozwiązuje nazwy tak jak wcześniej.
Co zatrzymuje kompilację
Każda z tych sytuacji to zdanie, które wypisuje kompilacja, wskazując, co należy zmienić:
-
Warunek wstępny nie jest potwierdzony. Należy usunąć
control_plane_present: truez encji Release:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release -
Wywołujący, którego workload nie trafia do żadnej przestrzeni nazw. Należy usunąć adnotację
aggrega.ai/namespacez granicyedge, a obiekt Deployment bramy zostanie wygenerowany bez przestrzeni nazw:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one -
Workload serwera modelu wygenerowany bez przestrzeni nazw, z tego samego powodu: polityka wybiera pody wyłącznie we własnej przestrzeni nazw.
-
Workload któregokolwiek z nich, który nie zapisuje selektora kontrolera i nie ma żadnej z etykiet tożsamości, które kompilacja nadaje jego podom — na przykład Job z chartu polegający na selektorze generowanym przez klaster. Wybieranie go po wszystkich etykietach, które ma, przestałoby pasować do jego podów przy pierwszej zmianie etykiety wersji, dlatego kompilacja zamiast tego się zatrzymuje.
-
Wywołujący lub serwer modelu, którego renderowanie nie generuje żadnych podów — realizowany przez zasób niestandardowy, którego kontroler tworzy pody później, albo osiągany pod adresem poza klastrem. Takiego komponentu nie można wskazać w polityce, dlatego kompilacja się zatrzymuje, zamiast zapisać politykę, która by go odrzucała lub nie wybierała niczego.
-
Źródło w
admitted_sources, które wskazuje jednocześnie zakres adresów i pody albo nie wskazuje żadnego z nich.
Gdzie kompilator nie interpretuje
Kompilator przekazuje do polityki jako ciągi znaków selektory, etykiety i przestrzenie nazw zgłoszone przez każde renderowanie. Nie łączy się z klastrem, nie wie, jaka wtyczka sieciowa w nim działa, ani nie wie, jakie obciążenia już działają w danej przestrzeni nazw. Każde z powyższych zatrzymań jest deklarowane przez własne encje katalogu, w realizacji encji Feature, i żadne z nich nie opiera się na jakiejkolwiek wiedzy o klastrze.
Dostosowywanie przykładu
- Dopuszczenie kontrolera ingress. Należy dodać do
admitted_sourceswpis z jego przestrzenią nazw i etykietami jego podów — oba w jednym wpisie, tak aby dopuszczone były tylko te pody w tej przestrzeni nazw. - Dopuszczenie zakresu adresów. Należy dodać wpis z
cidr, na przykład10.20.0.0/16. - Drugi wywołujący. Należy dodać krawędź
usesod niego do serwera modelu w encji Aggregate i umieścić go w przestrzeni nazw zadeklarowanej przez encję Release; następna kompilacja dopuści go bez żadnej zmiany w załączniku. - Compose. Encja Feature nie jest tam zrealizowana: stos Compose umieszcza każdą usługę grupy w jednej sieci, a konfiguracja jednej usługi nie może przenieść innej usługi poza tę sieć, więc encja Release wiążąca tę encję Feature w Compose zatrzymuje kompilację z powodu braku realizacji.