Lewati ke konten
AggregaAggrega
Pilih Bahasa: Bahasa Indonesia
Halaman ini diterjemahkan oleh mesin. Baca versi asli dalam bahasa Inggris.

Server model yang hanya dapat dipanggil oleh gateway-nya

Server model yang berjalan di dalam klaster menjawab siapa pun yang menjangkau alamatnya. Pada jaringan pod tanpa network policy, yang merupakan bawaan Kubernetes, itu berarti setiap workload di klaster: gateway yang ditempatkan di depan model adalah jalur yang dimaksudkan untuk lalu lintas, bukan satu-satunya jalur yang mungkin.

Aggregate sudah menyatakan komponen mana yang memanggil komponen mana: koneksi upstream milik gateway menyebut server model. core/caller-allowlist, yang dipasang operator pada server model di dalam Release, mengubah koneksi yang dideklarasikan itu menjadi aturan jaringan klaster. Workspace ini mengompilasi susunan tersebut menjadi manifest Kubernetes: gateway NGINX di namespace edge, server model Ollama di namespace models, dan network policy yang ditulis oleh lampiran tersebut di samping server model.

Workspace ini tidak menulis entitas katalog sendiri. Tiga berkas entitas di sini — sebuah Aggregate, sebuah Manifest, dan sebuah Release — adalah seluruh hal yang ditulis siapa pun.

Siapa menulis apa

berkaspenulisapa yang dinyatakannya di sini
aggregate.yamlpengembanggateway, server model, dan koneksi upstream milik gateway ke server model tersebut
release.yamloperatorkedua namespace, dan pada entri server model, lampiran allowlist beserta infra-nya
manifest.yamloperatorRecipe mana yang merealisasikan setiap komponen dan Feature di Kubernetes

Aggregate tidak memuat apa pun tentang kebijakan jaringan. Pengembang mendeklarasikan koneksi yang dibuat gateway; apakah kluster menolak setiap koneksi lainnya adalah keputusan operator untuk lingkungan ini, yang dibuat di Release di bawah components.model.features. Setiap input yang diterima Feature adalah infra, pilar milik operator. Yang perlu diketahui pengembang adalah konsekuensinya: di mana pun sebuah Release melampirkan Feature ini ke sebuah komponen, panggilan yang tidak dideklarasikan Aggregate sebagai edge uses ke komponen tersebut ditolak oleh kluster, di tempat plugin jaringannya memberlakukan kebijakan jaringan.

Apa yang dibangunnya

instansComponent katalognamespaceperannya di sini
gatewaycore/gateway/nginxedgegateway yang dipanggil klien; gateway ini meneruskan ke model server
modelcore/ai-model/ollamamodelsmodel server, yang melayani llama3.1

Satu edge uses: soket upstream milik gateway ke model server. Satu lampiran Feature, di dalam Release: allowlist, core/caller-allowlist, pada model server. Release tersebut menegaskan bahwa kluster menerapkan kebijakan jaringan dan menyebutkan satu sumber di luar Aggregate, yaitu sebuah agen pemantauan.

Membuat contoh

Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.

Tulis contoh ke folder baru yang dinamai sesuai contoh itu:

Terminal window
aggrega scaffold --example model-server-caller-allowlist

Kemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:

Terminal window
cd model-server-caller-allowlist

Build

Terminal window
aggrega build --release release.yaml --auto-pull

Sebuah release memerlukan lockfile sebelum di-build, dan lockfile dihasilkan alih-alih disertakan, sehingga clone baru tidak memilikinya. Resolusikan satu terlebih dahulu, atau biarkan build mengisinya:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Workspace ini me-resolve entitas katalog dari registry default yang disebut .aggrega-config.yaml; tidak ada yang diambil dari repositori chart.

Build mencetak keluaran berikut, dengan <workspace> mewakili folder contoh ini:

warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it
[… omitted: the resolution's summary and a total build time, which differ per run]
Build completed: 6 files written to <workspace>/dist

Peringatan tersebut menyangkut policy. Target tidak menempatkan manifest milik Feature itu sendiri dalam sebuah namespace, sehingga templat attachment menuliskan ke dalam policy namespace tempat StatefulSet model server diemisikan — namespace: "models" di bawah.

Dengan asisten AI

Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.

Gunakan hanya alat Aggrega, dan jangan membuat folder sendiri. Jika folder ruang kerja belum berisi folder `model-server-caller-allowlist`, panggil alat `scaffold` sekali dengan `example` diatur ke `model-server-caller-allowlist` dan tanpa `dir`: alat ini menulis contoh ke folder `model-server-caller-allowlist` yang baru. Kemudian panggil alat `build` dengan `workspace_root` diatur ke `model-server-caller-allowlist`, `release` diatur ke `release.yaml`, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file mana yang ditulis oleh build; file tersebut berada di bawah `model-server-caller-allowlist/dist/`.

Pohon hasil render

dist/
├── edge/helm/
│ ├── gateway-default-service.yaml
│ └── gateway-deployment.yaml
└── models/helm/
├── model--allowlist--networkpolicy.yaml
├── model-default-service.yaml
├── model-headless-service.yaml
└── model-statefulset.yaml

Lampiran ini menambahkan satu file, yaitu kebijakan tersebut. Setiap file lainnya identik byte demi byte dengan apa yang dirender oleh Release yang sama tanpa lampiran ini.

Apa yang dapat menjangkau server model

dist/models/helm/model--allowlist--networkpolicy.yaml, mulai dari spec-nya:

spec:
podSelector:
matchLabels:
"app": "model"
policyTypes:
- Ingress
ingress:
- from:
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "models"
podSelector:
matchLabels:
"app": "model"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "edge"
podSelector:
matchLabels:
"app": "gateway"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "monitoring"
podSelector:
matchLabels:
"app.kubernetes.io/name": "prometheus"
ports:
- port: 11434
protocol: "TCP"

Kebijakan ini berada di models, namespace tempat StatefulSet server model diemisikan, memilih pod server model, dan menerima koneksi ke pod tersebut dari tiga sumber, pada satu-satunya port yang dideklarasikan oleh kontainer server model:

  • Pod milik server model itu sendiri, di models, sehingga replika dari satu server dapat saling menjangkau.
  • Pod gateway, di namespace edge. Selektor namespace dan selektor pod berada dalam satu entri, sehingga sebuah pod harus cocok dengan keduanya. Sebuah workload di namespace lain yang membawa label yang sama — misalnya Aggregate yang sama yang dirilis ulang di tempat lain — bukanlah gateway dan tidak diterima.
  • Agen pemantauan yang disebutkan oleh Release: pod berlabel app.kubernetes.io/name: prometheus di namespace monitoring.

Pod setiap komponen dipilih oleh selektor yang ditulis oleh controller-nya sendiri — app: model untuk StatefulSet server model, app: gateway untuk Deployment gateway — dan setiap namespace adalah namespace tempat workload-nya diemisikan, keduanya dibaca dari apa yang diemisikan oleh proses render, bukan ditulis ulang secara manual. Tidak ada selektor yang membawa versi, sehingga ketika build baru diluncurkan, pod dari build sebelumnya tetap dipilih dan tetap diterima hingga digantikan.

Apa yang tidak dapat menjangkaunya

  • Workload lain mana pun, di models, di edge atau di namespace lain mana pun — termasuk agen lain di monitoring.
  • Ingress controller, atau klien mana pun di luar klaster. Tidak ada apa pun di luar Aggregate yang diizinkan kecuali Release menyebutkannya, dan Release ini hanya menyebutkan agen pemantauan. Klien menjangkau server model melalui gateway, yang merupakan koneksi yang dideklarasikan oleh Aggregate.
  • Port mana pun selain 11434.

Kebijakan ini membatasi siapa yang boleh terhubung, bukan apa yang dibawa oleh suatu koneksi: permintaan yang diteruskan gateway sampai ke model persis seperti yang dikirim gateway.

Apa yang tidak dapat diketahui oleh build

Apakah aturan tersebut ditegakkan. Network policy ditegakkan oleh plugin jaringan kluster, dan hanya jika plugin tersebut mengimplementasikan network policy; kluster yang plugin-nya tidak mengimplementasikannya akan menerima policy tersebut tetapi tidak menegakkan apa pun. Build menulis policy dan tidak dapat melihat kluster, itulah sebabnya Release memuat control_plane_present: true pada attachment: itu adalah pernyataan operator bahwa kluster target menegakkannya, dan build berhenti sampai pernyataan itu dibuat.

Tiga batasan lain berasal dari cara kerja network policy, bukan dari Feature ini:

  • Policy bersifat akumulatif. Jika policy lain di kluster memilih pod yang sama, koneksi yang diizinkan oleh salah satunya akan diizinkan.
  • Gateway tidak dibatasi oleh attachment ini. Attachment ini melindungi model server; lampirkan juga Feature tersebut pada entri gateway di Release untuk membatasi siapa yang dapat menjangkau gateway, dan sebutkan di sana klien yang dilayaninya.
  • Lalu lintas keluar tidak tersentuh. Model server tetap menjangkau registry tempat ia mengambil weights, dan me-resolve nama seperti sebelumnya.

Yang menghentikan build

Masing-masing berikut adalah kalimat yang dicetak oleh build, yang menyebutkan apa yang perlu diubah:

  • Prasyarat tidak ditegaskan. Hapus control_plane_present: true dari Release:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]
    error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release
  • Pemanggil yang workload-nya tidak dikeluarkan ke namespace mana pun. Hapus anotasi aggrega.ai/namespace dari batas edge, maka Deployment milik gateway dikeluarkan tanpa namespace:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]
    error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one
  • Workload server model yang tidak dikeluarkan ke namespace mana pun, dengan alasan yang sama: sebuah kebijakan hanya memilih pod di namespace-nya sendiri.

  • Workload dari salah satunya yang tidak menuliskan selektor controller dan tidak membawa satu pun label identitas yang dibubuhkan build pada pod-nya — misalnya Job dari sebuah chart yang mengandalkan selektor yang dibuat oleh klaster. Memilihnya berdasarkan setiap label yang dibawanya akan berhenti mencocokkan pod-nya begitu label versi berubah untuk pertama kali, sehingga build berhenti sebagai gantinya.

  • Pemanggil, atau server model, yang render-nya tidak mengeluarkan pod — yang diwujudkan oleh custom resource yang controller-nya membuat pod belakangan, atau dijangkau di alamat di luar klaster. Komponen seperti itu tidak dapat disebut dalam kebijakan, sehingga build berhenti alih-alih menulis kebijakan yang akan menolaknya atau tidak memilih apa pun.

  • Sumber di admitted_sources yang menyebut rentang alamat sekaligus pod, atau tidak menyebut keduanya.

Bagian yang tidak ditafsirkan oleh kompiler

Kompiler menyalurkan selector, label, dan namespace yang dilaporkan oleh setiap render ke dalam policy sebagai string. Kompiler tidak menghubungi klaster, tidak mengetahui plugin jaringan mana yang berjalan di sana, dan tidak mengetahui workload mana yang sudah berjalan di suatu namespace. Setiap penghentian di atas dideklarasikan oleh entitas katalog itu sendiri, dalam realisasi Feature, dan tidak satu pun bergantung pada pengetahuan apa pun tentang klaster.

Menyesuaikannya

  • Mengizinkan ingress controller. Tambahkan entri ke admitted_sources dengan namespace-nya dan label pod-nya — keduanya dalam satu entri, sehingga hanya pod tersebut di namespace itu yang diizinkan.
  • Mengizinkan rentang alamat. Tambahkan entri dengan cidr, misalnya 10.20.0.0/16.
  • Pemanggil kedua. Tambahkan edge uses darinya ke model server di dalam Aggregate dan tempatkan di namespace yang dideklarasikan oleh Release; build berikutnya mengizinkannya tanpa perubahan apa pun pada attachment.
  • Compose. Feature ini tidak direalisasikan di sana: stack Compose menempatkan setiap layanan dalam satu grup pada satu jaringan, dan konfigurasi satu layanan tidak dapat memindahkan layanan lain darinya, sehingga Release yang mengikat Feature ini pada Compose terhenti karena tidak adanya realisasi.