Trang này được dịch bằng máy. Đọc bản gốc tiếng Anh.

FeatureRecipe

semantic-caching-litellm

Realizes core/semantic-caching on the AI gateway core/gateway/litellm; a Release binds it in its Manifest. It writes the gateway's own cache setting into the configuration the gateway's Recipe renders, and emits no file. The gateway keeps its replies in the core/datastore/redis wired to its cache_store socket, reached over TLS while it publishes redis-tls, turns each prompt into a vector with embedding_model, an alias of its model map, and serves a stored reply whose prompt is at least similarity_threshold alike; the store removes a reply ttl_seconds after it was stored. Chat requests, streamed or not, and responses and messages requests are cached; completions, embeddings and every other kind of request are not. Replies are kept apart by the key each request presents, which the gateway verifies and a request cannot name for itself. Under scope end_user it also keeps apart the end users requests name, in an x-litellm-end-user-id or x-litellm-customer-id header or in the body's user, metadata.user_id, litellm_metadata.user or safety_identifier field. The gateway verifies none of them, so a caller naming another end user is served that end user's replies, and a request naming none shares one cache with every other request naming none under the same key. Under scope key the end user is left out, though the body's user field, a request parameter, still keeps apart requests naming different ones. The build halts unless the gateway's api_key slot is attached and its cache_store socket wired, on an embedding_model the map does not publish, on a second such attachment on one gateway, and when the attachment is carried by any component other than core/gateway/litellm.

Nguồn gốc

Chính thứcĐược ký bởi một danh tính ký mà danh mục này công nhận là nhà phát hành chính thức.
Digest nội dung
sha256:97de262b47f5ab2c8619e2f4a3ea9cd7fc0f6a63c34bc34ae90b82de0c7b2d85
Đã xuất bản
2026-11-10T10:16:27Z
Danh tính ký
https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

Chữ ký

  • Chính thứcapplication/vnd.dev.sigstore.bundle.v0.3+json

    https://token.actions.githubusercontent.com/https://github.com/aggrega-ai/aggrega-hub/.github/workflows/catalog-publish-sign.yml@refs/heads/main

    sha256:415c43e0b733d9244922a09de2fc93c990f3fd833df0ce3bdf18c88be4f6b2fb

Tham chiếu ở phiên bản này

oci://hub.aggrega.ai/featurerecipe/helm/semantic-caching-litellm:1.0.0
Đích
—
Triển khai
core/semantic-caching:1.0.0

Cung cấp

Các mẫu con trỏ xác định mà công thức này nối cho bên tiêu thụ.

Chưa khai báo mẫu provides nào.

Workload

Chưa khai báo mẫu khối lượng công việc nào.

Giá trị cục bộ

Chưa khai báo giá trị cục bộ nào.

Ánh xạ values

Chưa khai báo ánh xạ values nào.

Quan hệ

Các cạnh có kiểu đi tới và đi từ các thực thể đã xuất bản khác. Một tham chiếu không có đích đã xuất bản được hiển thị là một cạnh bị đứt thay vì một liên kết.

Sử dụng

Được sử dụng bởi

Không có gì trong danh mục phụ thuộc vào thực thể này.

Tài liệu tham khảo khái niệm FeatureRecipe →

Danh mục Aggrega — chỉ mục mở gồm các thành phần, tính năng, công thức và các plugin kết xuất chúng.

Được xây dựng bằng hệ thống thiết kế dùng chung của Aggrega.

Quyền riêng tư