Przejdź do głównej zawartości
AggregaAggrega
Wybierz język: Polski
Ta strona została przetłumaczona maszynowo. Przeczytaj oryginał w języku angielskim.

Cykle życia Day-2

Cykle życia Day-2 i wykonywanie w czasie

Kompilator z wyprzedzeniem (Ahead-of-Time, AOT), agnostyczny wobec możliwości, z natury tworzy lukę między deklaratywną intencją (Day-1) a rzeczywistością operacyjną (Day-2). Chmura nie jest w pełni deterministyczna, wdrożenie wymaga sekwencjonowania w czasie, a deweloperzy potrzebują imperatywnych wyzwalaczy do zadań konserwacyjnych.

Aggrega strukturalnie wypełnia te luki za pomocą konkretnych polyfilli architektonicznych i natywnego dla GitOps routingu, dzięki czemu generowane konfiguracje spełniają te potrzeby operacyjne bez naruszania czystości głównego kompilatora.

1. Model wykonania DAG (sekwencjonowanie w czasie)

Problem: wdrażanie infrastruktury to skierowany graf acykliczny (DAG) czasu. Zadanie task migracji bazy danych musi zakończyć się zanim uruchomi się webowy server. Kompilatory AOT generują jednak płaskie foldery statycznego YAML lub Terraform. Jeśli przekaże się te płaskie foldery kontrolerowi GitOps (takiemu jak ArgoCD), zastosuje on wszystko jednocześnie, przez co serwer webowy wpadnie w pętlę awarii, czekając na bazę danych.

Rozwiązanie: syncWave dla każdej granicy w encji Release Encja Aggregate dewelopera pozostaje nietknięta. Ponieważ sekwencjonowanie jest fizyczną rzeczywistością operacyjną, zarządza się nim wyłącznie w Domenie 4 (encji Release). Każda granica w encji Release ma opcjonalne pole syncWave: <integer>, które pozwala operatorowi platformy jawnie rozłożyć kolejność wdrażania na poziomie granicy.

apiVersion: aggrega.ai/v1beta1
kind: Release
metadata:
name: sequenced-release
version: 1.0.0
environment: production
spec:
aggregate: my-app
manifest: prod-manifest
boundaries:
infra:
syncWave: 0
components:
core-vpc: {}
postgres-db: {}
migrations:
syncWave: 1
components:
db-migration-task: {}
apps:
syncWave: 2
components:
web-server: {}
support-agent: {}

Semantyka wartości fali:

  • Fala jest liczbą całkowitą ze znakiem; wartość domyślna to 0. Wartości ujemne są wykonywane przed wszystkim innym (CRD, przestrzenie nazw, RBAC); większe wartości są wykonywane po mniejszych. Operatorzy ustawiają wartości odpowiednio do swojej topologii wdrożenia.
  • Każda instancja komponentu zawarta bezpośrednio w granicy dziedziczy wartość fali granicy do swojego węzła IR. Na warstwie tworzenia nie ma nadpisania dla pojedynczego komponentu — wewnętrzna dla dostawcy kolejność poszczególnych zasobów w obrębie jednej granicy jest sprawą dostawcy.
  • Zagnieżdżone granice nie dziedziczą niejawnie. Zagnieżdżona granica, która nie deklaruje syncWave, przyjmuje wartość domyślną 0 niezależnie od deklaracji granicy zewnętrznej. Operatorzy, którzy chcą, by „całe outer było falą 1, łącznie z jego podgranicą inner”, deklarują syncWave: 1 w obu.

Efekt kompilatora: Kompilator propaguje wartość wave każdego boundary do wyrenderowanych manifestów w tym boundary. Providers emitują natywne prymitywy sekwencjonowania:

  • Dla Kubernetes (ArgoCD/Flux): dostawca helm emituje argocd.argoproj.io/sync-wave: "<N>" jako wpis metadata.annotations w każdym renderowanym manifeście, a zasób, który chart oznacza jako hook Helm, otrzymuje dodatkowo helm.sh/hook-weight: "<N>" dla natywnej kolejności hooków Helm. Dostawca helm-chart emituje adnotację tylko w plikach szablonów, które Recipe dodaje do chartu przez artifacts:; własne szablony chartu kopiuje bez zmian, więc nie niosą one wave.
  • Dla Compose: dostawca compose wyraża kolejność jako depends_on między usługami pliku, do którego renderowana jest granica, uzależnioną od stanu zdrowia celu, gdy cel deklaruje healthcheck, a od jego uruchomienia, gdy go nie deklaruje. depends_on wskazuje usługę w obrębie jednego pliku, więc kolejności między dwoma plikami compose nie da się wyrazić; operatorzy ustalają kolejność odrębnych projektów compose na warstwie wywołania docker compose up.
  • Dla CloudFormation: dostawca cloudformation wyraża kolejność jako DependsOn między zasobami szablonu stosu, do którego składana jest grupa dyspozycji; każdy zasób wskazuje zasoby bezpośrednio poprzedzającej zapełnionej fali, a cel łączy w łańcuch pozostałe. Atrybut określa zarówno kolejność tworzenia, jak i odwrotną kolejność usuwania; nie wyraża żadnego warunku gotowości, ponieważ szablon nie zna pojęcia zasobu zdatnego do użytku. DependsOn wskazuje zasób w obrębie jednego szablonu, więc kolejności między dwoma stosami nie da się wyrazić; operatorzy ustalają kolejność odrębnych stosów na warstwie wdrożenia.
  • Dla Terraform: dostawca terraform wyraża kolejność jako depends_on między blokami module konfiguracji głównej, do której składana jest granica: każdy moduł wskazuje moduły bezpośrednio poprzedzającej wypełnionej fali, a resztę łańcuchuje Terraform. Porządkuje on akcje wykonywane przez Terraform i nie wyraża żadnego warunku gotowości, ponieważ konfiguracja nie zna pojęcia zasobu gotowego do obsługi. depends_on wskazuje moduł w obrębie jednej konfiguracji, więc kolejności między dwiema konfiguracjami głównymi nie da się wyrazić; ich sekwencjonowanie należy do operatora.

Wewnętrzny klucz Aggrega aggrega.ai/sync-wave: "<N>" jest dostarczany obok adnotacji ArgoCD na potrzeby obserwowalności i pochodzenia — jako adnotacja w wyjściu helm i w plikach szablonów, które Recipe dodaje do chartu helm-chart, jako etykieta usługi w compose, jako wiersz komentarza o pochodzeniu w każdym module terraform oraz pod Metadata."aggrega.ai/provenance" każdego zasobu cloudformation — natomiast kontrolery GitOps konsumują adnotację ArgoCD.

Jednostka tworzenia fal a jednostka wdrażalna

Granica jest jednostką tworzenia fal. Jednostką wdrażalną jest ścieżka złożenia — wynik na dysku wytworzony przez kompilator, względem którego orkiestruje potok CI/CD. Domyślnie jedna granica odpowiada jednej ścieżce złożenia: komponenty każdej granicy są emitowane pod boundaries/<boundary-name>/<provider>/, a helm install / docker compose up jest uruchamiane względem tej ścieżki.

Operatorzy mogą zwinąć to odwzorowanie 1:1. Granice mogą deklarować pola szablonu ścieżki directory: (i subDirectory:), które — gdy są współdzielone przez granice — kierują komponenty tych granic do jednego złożonego wyniku pod współdzieloną ścieżką. Dwie granice deklarujące directory: "deploy/cluster" wytwarzają jeden złożony wynik zawierający komponenty z obu — jednostką wdrażalną staje się ścieżka złożenia, a nie tożsamość granicy.

Manifesty z mieszanymi falami w jednym złożonym wyniku są normalne i obsługiwane. Gdy granica A deklaruje syncWave: 1, a granica B deklaruje syncWave: 2, i obie współdzielą directory: "deploy/cluster", wynikowa jednostka wdrażalna zawiera komponenty obu granic; każdy manifest niesie adnotację fali swojej granicy źródłowej. Narzędzia czasu wykonania odczytują adnotacje poszczególnych zasobów i ustalają kolejność w obrębie złożonej jednostki wdrożenia — kontekst synchronizacji ArgoCD dla każdej Application przetwarza manifesty fali 1, czeka, aż będą Healthy, a następnie przetwarza falę 2; kolejność hooków Helm odczytuje helm.sh/hook-weight dla każdego zasobu hooka. To standardowy wzorzec ArgoCD: emisja na poziomie zasobu to dokładnie te dane wejściowe, których oczekują konsumenci z innych narzędzi.

Sekwencjonowanie między Applications (gdy operator uruchamia wiele Applications ArgoCD względem odrębnych złożonych wyników) to konfiguracja CI na poziomie operatora — Aggrega wytwarza artefakty; operator spina wokół nich swoje Applications ArgoCD za pomocą app-of-apps lub Progressive Sync. Wzorzec adnotacji na poziomie zasobu w Aggrega to standardowy kształt danych wejściowych, którego oczekuje każdy konsument z innych narzędzi.

2. Polyfill dynamicznego adresowania

Problem: chmura nie jest deterministyczna w momencie tworzenia. Zasoby takie jak instancje AWS RDS czy kubełki S3 generują losowe skróty w adresach URL dopiero po fizycznym przydzieleniu. Ponieważ kompilator AOT generuje konfigurację, zanim chmura cokolwiek przydzieli, kompilator fizycznie nie może wstrzyknąć literalnego adresu URL bazy danych do zmiennej środowiskowej kontenera.

Rozwiązanie: deterministyczne wskaźniki przez Features poświadczeń Aggrega rozwiązuje to, wykorzystując istniejące Features poświadczeń i przesuwając definicję „deterministyczności” z literalnego adresu IP na deterministyczny wskaźnik. Wygenerowana konfiguracja nie przekazuje adresu URL; przekazuje ścieżkę do Cloud Vault, w którym adres URL będzie istniał.

  • Przykład 1: generowanie wyjścia (Terraform RDS) Encja Recipe Ops dla bazy danych tworzy instancję AWS RDS. Co kluczowe, encja Recipe jest napisana tak, by natywnie zapisywała nowo wygenerowany dynamiczny adres URL w AWS Systems Manager (SSM) Parameter Store pod deterministycznie nazwaną ścieżką (np. /aggrega/prod/db-url).
  • Przykład 2: wstrzyknięcie wejścia (aplikacja Kubernetes) Deweloper dołącza do workera Feature poświadczeń core/referenced-secret w slocie deklarowanym przez jego Component, z origin ustawionym na ciąg deterministycznego wskaźnika ("/aggrega/prod/db-url"). Na celu Kubernetes encja Manifest wiąże to dołączenie z helm/k8s-external-secret, który renderuje Kubernetes ExternalSecret proszący operatora magazynu sekretów klastra o pobranie tego wpisu do obiektu Secret, i publikuje nazwę obiektu Secret oraz klucz danych; Recipe workera odczytuje je przez attachments: swojego kontenera i renderuje zmienną środowiskową Poda zmapowaną na valueFrom: secretKeyRef (zob. Jak poświadczenie dociera do kontenera). Kompilator przekazuje ciąg wskaźnika i nigdy nie odczytuje adresu URL.

W czasie wykonania Terraform przydziela bazę danych i zapisuje adres URL w sejfie. Kontener uruchamia się, odczytuje obiekt Secret uzgodniony z sejfu i łączy się. Kompilator AOT wygenerował relacje za pomocą stabilnych ciągów wskaźników, nigdy nie potrzebując literalnego adresu IP.

3. Akcje imperatywne (wykonywalne przekazanie)

Problem: stan deklaratywny doskonale sprawdza się przy przydzielaniu zasobów w Day-1, ale deweloperzy muszą wykonywać akcje imperatywne: „Zrób teraz kopię zapasową bazy danych.” Ściśle deklaratywny potok GitOps nie ma natywnego mechanizmu ponownego wyzwolenia statycznego skryptu.

Rozwiązanie: uśpione zadania i własne polecenie platformy docelowej Aggrega rozwiązuje ten problem, zachowując ścisłą czystość AOT. Generuje konfigurację zadania, które jest wdrażane bez uruchamiania, a każde wykonanie jest uruchamiane na platformie docelowej jej własnym poleceniem.

  1. Intencja dewelopera: deweloper deklaruje skrypt jako task w encji Aggregate i dołącza encję Feature z żądaniem uruchamiania na żądanie (np. core/manual-trigger). Uruchamianie na żądanie jest częścią tego, czym jest zadanie, więc dołącza ją deweloper; encję Feature, której wszystkie wejścia są operacyjne, dołącza natomiast zespół operacyjny, w encji Release.
  2. Uśpiony kształt: Własna encja Recipe zadania na każdej platformie docelowej odczytuje dołączenie i renderuje zadanie w kształcie, który wdraża się bez uruchamiania wykonania. W Kubernetes zadanie jest obiektem CronJob wstrzymanym przez suspend: true, z harmonogramem wskazującym datę, która nigdy nie nadejdzie, zamiast obiektu Job, który uruchomiłby się zaraz po wdrożeniu. W Docker Compose usługa zadania, której Compose nie uruchamia ponownie po jej zakończeniu, ma profil manual, więc docker compose up pozostawia ją zatrzymaną. W Amazon ECS, przez Terraform lub CloudFormation, definicja zadania jest wdrażana sama, bez harmonogramu, który by ją uruchamiał. Encja FeatureRecipe, którą Manifest wiąże dla tego dołączenia, nie dodaje własnego pliku na żadnej platformie docelowej: zmiana dotyczy własnego wyniku zadania.
  3. Przekazanie: Kompilator nie łączy się z żadnym klastrem i nie wywołuje żadnego API chmury, a build nie uruchamia żadnego wykonania i nie zapisuje żadnego skryptu. Każde wykonanie uruchamia operator własnym poleceniem platformy docelowej: kubectl create job <run-name> --from=cronjob/<cronjob> w Kubernetes, docker compose run --rm <service> w Docker Compose i aws ecs run-task w Amazon ECS, podając klaster, definicję zadania i konfigurację sieci, które encja Release ustawia w infra.overrides zadania. Generowanie konfiguracji i wykonanie w czasie działania pozostają rozdzielone.

(Uwaga: W Kubernetes i Amazon ECS zadanie, które ma harmonogram, wykonuje się według niego niezależnie od tego, czy dołączenie istnieje, a to samo polecenie uruchamia dodatkowe wykonanie między zaplanowanymi; w Docker Compose, który nie ma harmonogramu, encja Recipe zadania odrzuca harmonogram. Przykład task-run-on-demand buduje jedną encję Aggregate dla Kubernetes, Docker Compose, Terraform i CloudFormation i dla każdej z tych platform pokazuje wyrenderowany wynik oraz polecenie uruchamiające wykonanie.)

4. Analiza wstępna: hook workspace’u (RBAC i limity platformy)

Problem: niektóre zmiany przydzielają kosztowną lub krytyczną dla produkcji infrastrukturę — na przykład duży klaster GPU — i nie mogą trafić do potoku GitOps bez przeglądu. Którzy współtwórcy mogą promować które zmiany do których środowisk, to decyzja polityki organizacyjnej; kompilator nie może jej zakodować na sztywno.

Rozwiązanie: czysty kompilator AOT nie może odpytać Active Directory ani pobrać poświadczeń chmurowych, aby ustalić, kto uruchamia kompilację. Aby zapobiec nieautoryzowanemu generowaniu, zanim CI/CD w ogóle się uruchomi, architektura opiera się na jawnym wstrzykiwaniu kontekstu.

Gdy aggrega build jest wywoływane przez runner CI/CD, potok zapisuje kontekst wykonania w pliku konfiguracyjnym przekazywanym przez --config, jako with.settings dołączenia zarządczego, które go ocenia (np. approval: standard). Plik wymienia swoje dołączenia pod governance_append, więc dodają się one do wtyczek zarządczych dołączanych przez własną konfigurację obszaru roboczego, zamiast być przez nie zastępowane. Polityka w roli ir-verdict odczytuje te ustawienia jako input.settings. Otrzymuje ona złożony graf, a nie encję Release, więc środowisko encji Release dociera do niej jako etykieta: polityka w roli label-transform odczytuje input.compilation_context.environment i oznacza nim każdy węzeł. Werdykt porównuje jedno z drugim i zatrzymuje kompilację, gdy się nie zgadzają — tutaj jest to kompilacja produkcyjna, której ustawienia nie zawierają approval: platform-approved:

# ci-governance.yaml — written by the CI/CD runner, passed as `aggrega build --config ci-governance.yaml`
plugins:
governance_append:
- uri: governance/rego:<version>
role: label-transform
with:
sources:
- policies/environment.rego
- uri: governance/rego:<version>
role: ir-verdict
with:
sources:
- policies/approval.rego
settings:
approval: standard
# policies/environment.rego — evaluated by the governance label-transform role, during topology construction
package acme.context
import rego.v1
labels contains {"node": id, "key": "acme.com/environment", "value": input.compilation_context.environment} if {
some id, _ in input.graph.nodes
}
# policies/approval.rego — evaluated by the governance ir-verdict role over the assembled graph
package acme.approval
import rego.v1
approved if input.settings.approval == "platform-approved"
deny contains msg if {
not approved
some node in input.graph.spec.nodes
node.labels["acme.com/environment"] == "production"
msg := "a production build needs the approval platform-approved in the pipeline's governance settings."
}

Uruchomienie, którego ustawienia w ogóle nie zawierają zatwierdzenia, również jest odrzucane, ponieważ reguła sprawdza, czy to zatwierdzenie jest obecne, a nie czy obecne jest inne. Izoluje to RBAC od natywnej logiki kompilatora, dzięki czemu kompilator działa wyłącznie jako deterministyczny ewaluator dostarczonych danych.

5. FinOps shift-left (szacowanie kosztów przez polityki)

Problem: przypadkowe błędy konfiguracji (np. żądanie workers: 500) mogą obejść zabezpieczenia finansowe i wywołać duże przekroczenia kosztów chmury.

Rozwiązanie (firmowe polityki Wasm): ponieważ graf IR zawiera pełną topologię, a encja Release zawiera fizyczne mapowanie (.infra), firmy mogą przed generowaniem ocenić dokładny koszt tego, co wdraża encja Release, bez potrzeby zakodowanej na sztywno funkcji kompilatora. Firmy po prostu tworzą niestandardową wtyczkę WebAssembly FinOps i dołączają ją do gniazda zarządzania w roli werdyktu. Ta niestandardowa wtyczka może odczytać ładunki .infra, obliczyć szacowany koszt miesięczny i zatrzymać kompilację, jeśli obliczony koszt przekracza wewnętrznie zdefiniowane limity budżetowe firmy.

6. Cykl życia importu „brownfield”

Problem: firmy mają już uruchomioną większość swojej infrastruktury. Choć Aggrega jest zaprojektowana tak, by łączyć kompilację z niezarządzaną infrastrukturą przez referencyjne obciążenie (sieć pass-through; zob. referencyjne obciążenia), przeniesienie istniejącej bazy danych Oracle do wygenerowanego przez Aggrega stanu Terraform zwykle powoduje, że orkiestratory próbują odtworzyć bazę danych, niszcząc istniejące dane.

Rozwiązanie (planowane): Do zarządzania cyklem życia importu planowany jest Feature core/resource-adoption.

Gdy deweloper modeluje istniejącą bazę danych w swojej encji Aggregate i dołącza funkcję resource-adoption w potoku wykonywanym sekwencyjnie, wtyczka renderująca Wasm jest zaprojektowana tak, by oceniać bazowy ładunek Ops encji Recipe. Zamiast emitować standardowe konfiguracje tworzenia, wtyczka jest zaprojektowana tak, by wypisywać jawną składnię adopcji platformy docelowej (np. zwracając JSONPatch z blokami Terraform import {} lub politykami zarządzania Crossplane ObserveOnly). Pozwala to firmom bezpiecznie generować konfiguracje, które wchłaniają starszą architekturę do płaszczyzny sterowania GitOps bez przestojów.

7. Dobre praktyki Ops i deterministyczne nazewnictwo

Podczas gdy główny kompilator opiera się na stabilnych, wewnętrznych identyfikatorach węzłów (np. support-db) w płaskim grafie IR, fizyczni dostawcy chmury (tacy jak AWS, Azure i GCP) często wymagają globalnie unikatowych ciągów dla fizycznej infrastruktury (np. nazw kubełków S3, nazw ról IAM czy domen API Gateway).

Jeśli inżynier Platform Ops zakoduje na sztywno fizyczną nazwę w swoim bazowym szablonie (np. bucket_name: "enterprise-data-bucket"), wygenerowane artefakty za pierwszym razem zastosują się bez problemu. Jeśli jednak deweloper wdroży drugie środowisko (np. staging i prod), dostawca chmury w czasie działania odrzuci zasoby drugiego środowiska z powodu kolizji nazw.

Reguła deterministycznego wyjścia (bezpieczeństwo GitOps): ponieważ kontrolery GitOps (ArgoCD, Flux) wykrywają różnice na poziomie bajtów w renderowanych artefaktach, kompilator gwarantuje, że identyczne wejścia dają bajtowo identyczne wyjścia. Mapy przepływające przez kontekst szablonu (.context.inject.env, .values, .infra i reszta widoku czasu wykonania) opierają się na strukturach uporządkowanych map, które zachowują kolejność wstawiania autora w całej warstwie danych, a granica szablonu jest jedynym wyjątkiem: {{ range }} po tych mapach iteruje w alfabetycznej kolejności kluczy, tak jak szablony Go, a nie w kolejności autora. Inżynierowie Ops mogą polegać na tym, że ta kolejność iteracji jest deterministyczna między uruchomieniami dla tego samego wejścia; tam, gdzie kolejność ma znaczenie, zapisuje się ją jako listę, a nie odtwarza z mapy. Funkcja Sprig keys zwraca jednak kolejność iteracji map Go (która z założenia języka nie jest deterministyczna); szablony, które składają deterministyczną sekwencję kluczy z wyniku keys, muszą przepuścić go przez sortAlpha (np. {{ keys .values | sortAlpha }}), aby odzyskać determinizm.

Złota reguła dla encji Recipes Ops (wzorzec Helm): inżynierowie Platform Ops nigdy nie mogą kodować na sztywno fizycznych nazw zasobów chmurowych. Zamiast tego muszą budować deterministycznie unikatowe nazwy, łącząc kontekst wdrożenia Aggrega w fazie ewaluacji szablonu. To reguła wielokrotnego użytku i ochrony przed kolizjami, a nie reguła determinizmu — nazwy zakodowane na sztywno dają stabilne wyjście, ale nieuchronnie kolidują, gdy ta sama encja Recipe renderuje wiele instancji komponentu lub gdy ta sama encja Aggregate jest wdrażana w wielu encjach Releases.

Kompilator udostępnia dokładnie dwie zmienne gwarantujące globalną unikatowość:

  1. {{ .metadata.release_name }}: nazwa encji Release sterującej wdrożeniem (np. prod-billing).
  2. {{ .context.instance_id }}: konkretny identyfikator encji Component z encji Aggregate dewelopera (np. receipt-storage).

Łącząc je (np. {{ .metadata.release_name }}-{{ .context.instance_id }}), zespół Ops gwarantuje, że konfiguracje generowane przez wtyczki Wasm używają unikatowych nazw zasobów dla każdego środowiska i każdego komponentu, bez konieczności zarządzania przez dewelopera fizycznymi konwencjami nazewnictwa.