Recipe
docker-model-runner
Docker Model Runner as a self-hosted inference server on Kubernetes, synthesized as a StatefulSet running the runner's own image. It serves the OCI model reference the Aggregate names, the same reference the Docker Compose realization hands the host's runner, so one Aggregate asks both targets for the same model. A pull step running the same image puts the model into a per-replica model cache before the server starts. The server applies the context size and runtime flags each time it starts, and serves the OpenAI-compatible API under /engines/v1 behind a ClusterIP Service. The compiler never fetches the model. This realization is synthesized because the project's own Helm chart fails the maintained and complete tests: it lags the runner's releases, and it exposes no setting for the context size, runtime flags, compute resources or listen port. It is also published to no chart repository. provides.host is the bare in-cluster name of the Service, with no namespace, so a consumer in another namespace qualifies it itself. infra.endpoint, the host runner's address on Docker Compose, is refused here.
来歴
- コンテンツダイジェスト
- sha256:9f5fe4734eef47c6afe621aaf1b546c1aad7467ba403f8a1e856284457867cbd
- 公開日
- 2026-11-10T10:23:16Z
- 署名 ID
- https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
署名
- 公式application/vnd.dev.sigstore.bundle.v0.3+json
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main
sha256:1cb0a71537ad3d5999068177f4b7e55d20c62a76eef82d0c38e43487f1efc05d
このバージョンの参照
oci://hub.aggrega.ai/recipe/helm/docker-model-runner:1.0.0- ターゲット
- —
- 実装対象
- core/ai-model/docker-model-runner:1.0.0
提供
このレシピが利用側のために配線する決定論的なポインターテンプレートです。
| 名前 | テンプレート |
|---|---|
| host | {{ .context.rendered_name }}-default |
| port | {{ .locals.port }} |
| endpoint | http://{{ .context.rendered_name }}-default:{{ .locals.port }}/engines/v1 |
| model | {{ .values.model }} |
| protocol | http |
Workload
Workload · form: stateful · replicas: {{ · containers: main
ローカル変数
| 名前 | テンプレート |
|---|---|
| port | {{ optional .infra "port" 12434 }} |
| gpu_count | {{ optional (optional .infra "gpu" dict) "count" 0 }} |
| runtime_class | {{ optional (optional .infra "gpu" dict) "runtime_class" "" }} |
| image | docker/model-runner:{{ optional .infra "engine_version" "v1.2.8" }}{{ if ne .locals.gpu_count "0" }}-cuda{{ end }} |
| replicas | {{ optional .infra "replicas" 1 }} |
| cpu | {{ optional (optional .infra "compute" dict) "cpu" "1" }} |
| memory | {{ optional (optional .infra "compute" dict) "memory" "4Gi" }} |
| cache_size | {{ optional (optional .infra "model_cache" dict) "size" "20Gi" }} |
| cache_class | {{ optional (optional .infra "model_cache" dict) "class" "" }} |
値のマッピング
値のマッピングは宣言されていません。
関係
他の公開エンティティとの間の型付きエッジです。公開されたターゲットがない参照は、リンクではなく切れたエッジとして表示されます。
使用先
- 実装実装コントラクト互換
core/ai-model/docker-model-runner:1.0.0
必須の出力はすべて満たされており、提供されるすべての出力がコントラクトに記載されています。
使用元
カタログ内にこのエンティティに依存しているものはありません。