Halaman ini diterjemahkan oleh mesin. Baca versi asli dalam bahasa Inggris.

Recipe

docker-model-runner

Docker Model Runner as a self-hosted inference server on Kubernetes, synthesized as a StatefulSet running the runner's own image. It serves the OCI model reference the Aggregate names, the same reference the Docker Compose realization hands the host's runner, so one Aggregate asks both targets for the same model. A pull step running the same image puts the model into a per-replica model cache before the server starts. The server applies the context size and runtime flags each time it starts, and serves the OpenAI-compatible API under /engines/v1 behind a ClusterIP Service. The compiler never fetches the model. This realization is synthesized because the project's own Helm chart fails the maintained and complete tests: it lags the runner's releases, and it exposes no setting for the context size, runtime flags, compute resources or listen port. It is also published to no chart repository. provides.host is the bare in-cluster name of the Service, with no namespace, so a consumer in another namespace qualifies it itself. infra.endpoint, the host runner's address on Docker Compose, is refused here.

Asal-usul

ResmiDitandatangani oleh identitas penandatangan yang diakui katalog ini sebagai penerbit resmi.
Digest konten
sha256:9f5fe4734eef47c6afe621aaf1b546c1aad7467ba403f8a1e856284457867cbd
Dipublikasikan
2026-11-10T10:23:16Z
Identitas penandatangan
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

Tanda tangan

  • Resmiapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:1cb0a71537ad3d5999068177f4b7e55d20c62a76eef82d0c38e43487f1efc05d

Referensi pada versi ini

oci://hub.aggrega.ai/recipe/helm/docker-model-runner:1.0.0
Target
—
Mengimplementasikan
core/ai-model/docker-model-runner:1.0.0

Menyediakan

Templat pointer deterministik yang dihubungkan resep ini untuk konsumen.

NamaTemplat
host{{ .context.rendered_name }}-default
port{{ .locals.port }}
endpointhttp://{{ .context.rendered_name }}-default:{{ .locals.port }}/engines/v1
model{{ .values.model }}
protocolhttp

Workload

Workload · form: stateful · replicas: {{ · containers: main

Nilai lokal

NamaTemplat
port{{ optional .infra "port" 12434 }}
gpu_count{{ optional (optional .infra "gpu" dict) "count" 0 }}
runtime_class{{ optional (optional .infra "gpu" dict) "runtime_class" "" }}
imagedocker/model-runner:{{ optional .infra "engine_version" "v1.2.8" }}{{ if ne .locals.gpu_count "0" }}-cuda{{ end }}
replicas{{ optional .infra "replicas" 1 }}
cpu{{ optional (optional .infra "compute" dict) "cpu" "1" }}
memory{{ optional (optional .infra "compute" dict) "memory" "4Gi" }}
cache_size{{ optional (optional .infra "model_cache" dict) "size" "20Gi" }}
cache_class{{ optional (optional .infra "model_cache" dict) "class" "" }}

Pemetaan values

Tidak ada pemetaan values yang dideklarasikan.

Relasi

Sisi bertipe ke dan dari entitas lain yang dipublikasikan. Referensi tanpa target yang dipublikasikan ditampilkan sebagai sisi yang terputus, bukan sebagai tautan.

Menggunakan

  • mengimplementasikanmengimplementasikankontrak kompatibel

    core/ai-model/docker-model-runner:1.0.0

    Semua keluaran wajib terpenuhi dan setiap keluaran yang disediakan disebutkan dalam kontrak.

Digunakan oleh

Tidak ada apa pun di katalog yang bergantung pada entitas ini.

Referensi konsep Recipe →

Katalog Aggrega — indeks terbuka berisi komponen, fitur, resep, dan plugin yang merendernya.

Dibangun dengan sistem desain Aggrega yang digunakan bersama.

Privasi