Một AI gateway sàng lọc từng yêu cầu để phát hiện nỗ lực ghi đè mô hình
Người dùng của một trợ lý hỗ trợ có thể gõ bất cứ điều gì, và một phần những gì họ gõ tìm cách khiến mô hình bỏ qua các chỉ dẫn đã được giao cho nó. Gateway đứng trước mô hình có thể đưa mọi yêu cầu qua một guard trước: một dịch vụ hỏi một bộ phân loại đã được huấn luyện xem yêu cầu có phải là một nỗ lực như vậy không, từ chối nếu đúng, và chuyển tiếp phần còn lại tới mô hình. Workspace này biên dịch cách bố trí đó thành các manifest Kubernetes: gateway, guard, và detector mà bộ phân loại của guard chạy trong đó.
Feature yêu cầu điều này là core/prompt-injection-shield. Những gì nó làm
hẹp hơn những gì tên gọi của nó có thể gợi ý, và trang này dành cho những gì nó
không làm nhiều thời gian không kém những gì nó làm: phán quyết là của một bộ phân loại xác suất,
nó bỏ sót một số cuộc tấn công và từ chối một số yêu cầu hợp lệ, nó được biết là
có thể bị né tránh, và nó không đánh giá câu trả lời của mô hình, đối số của lời gọi công cụ, hay
hình ảnh. Nó là một biện pháp kiểm soát bên cạnh các biện pháp khác.
Workspace này không tự định nghĩa entity catalog nào. Ba tệp entity ở đây — một Aggregate, một Manifest và một Release — là toàn bộ những gì cần viết.
Những gì ví dụ này xây dựng
| instance | Component trong catalog | vai trò ở đây |
|---|---|---|
router | core/gateway/litellm | AI gateway: một alias, assistant, được khai báo trong bảng ánh xạ model của nó và trỏ tới một model nằm sau guard |
guard | core/security/nemo-guardrails | Máy chủ NVIDIA NeMo Guardrails nằm trên đường đi tới model, kiểm tra từng yêu cầu chat và chuyển tiếp những gì nó chấp nhận tới model |
detector | core/security/trustyai-huggingface-detector | dịch vụ phân loại mà guard truy vấn, chạy bộ phân loại prompt injection mặc định của nó |
Hai cạnh uses: socket guard của gateway nối tới guard, và socket
detector của guard nối tới detector. Hai lần gắn Feature: shield, tấm
khiên, trên gateway, ở mức sensitivity: standard; và upstream_key, thông tin
xác thực mà guard xuất trình cho API của model, trên guard.
Tạo ví dụ
Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.
Ghi ví dụ vào một thư mục mới đặt theo tên của nó:
aggrega scaffold --example ai-gateway-prompt-injection-shieldSau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:
cd ai-gateway-prompt-injection-shieldBuild
aggrega build --release release.yaml --auto-pullMột release cần có lockfile trước khi build, và lockfile được tạo ra chứ không được phân phối kèm, nên một bản clone mới sẽ không có. Hãy resolve một lockfile trước, hoặc để quá trình build tự điền vào:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildWorkspace này phân giải các thực thể của catalog từ registry mặc định mà .aggrega-config.yaml chỉ định. Phần hiện thực hóa của shield chạy một plugin không đi kèm trong compiler lẫn catalog, đó là bước cấu hình gateway pipeline-step/litellm-gateway-config, mà quá trình phân giải tải về từ registry do default_registry chỉ định, hub.aggrega.ai.
Bản build in ra như sau, với <workspace> đại diện cho thư mục của ví dụ này:
[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 10 files written to <workspace>/distRelease chỉ định image của guard và của detector, vì catalog không chỉ định
image nào trong hai. infra.image của mỗi Component là một thiết lập bắt buộc,
không có giá trị mặc định; chú thích bên cạnh nó trong Component giải thích lý do,
và nêu tên bản build mà hành vi của nó đã được kiểm chứng trên đó. Hai giá trị trong
release.yaml là giá trị giữ chỗ cho một bản sao của bản build mà bạn chạy, được
nhân bản vào một registry do bạn kiểm soát. Bản build truyền đi bất kỳ chuỗi nào có ở đó;
hãy thay cả hai trước khi triển khai.
Với trợ lý AI
Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.
Chỉ dùng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục workspace chưa có thư mục `ai-gateway-prompt-injection-shield`, hãy gọi công cụ `scaffold` một lần với `example` đặt thành `ai-gateway-prompt-injection-shield` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `ai-gateway-prompt-injection-shield` mới. Sau đó gọi công cụ `build` với `workspace_root` đặt thành `ai-gateway-prompt-injection-shield`, `release` đặt thành `release.yaml`, `auto_pull` đặt thành true và `write` đặt thành true. Hãy cho tôi biết bản build đã ghi những tệp nào; chúng nằm trong `ai-gateway-prompt-injection-shield/dist/`.Cây thư mục được kết xuất
dist/helm/├── detector-default-service.yaml├── detector-deployment.yaml├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml├── guard-default-service.yaml├── guard-deployment.yaml├── guard/│ └── nemo-guardrails-config.configmap.yaml├── router-default-service.yaml├── router-deployment.yaml└── router/ ├── litellm-gateway-config/ │ └── configmap.yaml └── request-guard/ └── request-guard.yamlLớp bảo vệ không mang theo tệp nào của riêng nó. Những gì nó làm được ghi vào cấu hình của gateway.
Tuyến định tuyến, theo cách gateway đọc nó
Phần thân cấu hình của gateway, khóa config.yaml của
dist/helm/router/litellm-gateway-config/configmap.yaml:
model_list: - model_name: assistant litellm_params: model: openai/gpt-4o-mini api_base: "http://guard-default:8000/v1" api_key: "the-guard-holds-the-upstream-credential"litellm_settings: callbacks: - /etc/litellm-request-guard/request_field_filter.filtercallback_settings: request_field_filter.router-shield: policies: - reason: "sends every model request through a prompt-injection guard, which checks chat completions only" served_request_types: - acompletionCó ba điều đáng đọc ra từ đó.
Mọi bí danh đều được gửi tới guard. api_base là endpoint mà guard
công bố, đọc từ cạnh guard, nên một yêu cầu cho assistant đi tới
guard qua OpenAI API, yêu cầu gpt-4o-mini; guard chuyển tiếp những gì nó
chấp nhận tới API mô hình mà release.yaml nêu trong upstream_endpoint của nó. Gỡ bỏ
lớp chắn thì mục này được ghi mà không có api_base, đúng như trước đây. Đó
là lý do bí danh được khai báo trong values.models của gateway thay vì được phục vụ
từ một mô hình nối vào socket models của nó: mục của một mô hình được nối được ghi với
endpoint riêng của mô hình đó và khóa riêng của kết nối của nó, nên các yêu cầu của nó sẽ
đi tới mô hình mà bỏ qua guard, và lớp chắn từ chối một kết nối như vậy, như
dưới đây.
Gateway không giữ thông tin xác thực nào cho mô hình. Mục này ghi một từ cố định
thay cho khóa, vì gateway kết nối tới guard chứ không tới
nhà cung cấp, và guard xuất trình thông tin xác thực riêng của nó, thông tin được gắn vào slot
upstream_key của nó. Header Authorization riêng của bên gọi không bao giờ tới được
mô hình.
Chỉ chat completions được phục vụ. Guard kiểm tra chat completions và không phục vụ tuyến completions, embeddings, responses hay messages nào, nên chính sách cho bộ kiểm tra yêu cầu của gateway từ chối mọi loại yêu cầu khác bằng HTTP 400, kèm lý do, trước khi bất cứ thứ gì được chuyển tiếp:
This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.Lớp bảo vệ làm gì
Cấu hình của lớp bảo vệ, khóa config.yaml của
dist/helm/guard/nemo-guardrails-config.configmap.yaml, từ phần rails trở đi:
rails: config: hf_classifier: prompt_injection: engine: fms model: "protectai/deberta-v3-base-prompt-injection-v2" base_url: "http://detector-default:8000" threshold: 0.5 blocked_labels: ["INJECTION"] input: flows: - hf classifier check input $classifier=prompt_injectionVới mỗi yêu cầu chat, dạng thường hay dạng stream, lớp bảo vệ gửi tin nhắn người dùng
mới nhất đến bộ phát hiện, bộ này chấm điểm tin nhắn bằng bộ phân loại mà nó đã nạp, và
từ chối yêu cầu khi bộ phát hiện báo INJECTION ở mức 0.5 trở lên. Một
yêu cầu bị từ chối được chính lớp bảo vệ trả lời, bằng một completion thông thường
có nội dung là I’m sorry, I can’t respond to that. — được stream khi
yêu cầu đòi stream — và không phần nào của yêu cầu đến được mô hình. Một
yêu cầu được chấp nhận sẽ đến mô hình đúng như bên gọi đã gửi, bao gồm cả tin nhắn hệ thống và
các lượt trước đó.
Bên gọi không thể tắt việc kiểm tra từ trong yêu cầu. Cấu hình của lớp bảo vệ
chứa một flow, rails.co, chạy việc kiểm tra bất kể phần thân yêu cầu
đòi gì, và lớp bảo vệ chỉ chạy cấu hình này, từ chối mọi yêu cầu
nêu tên một cấu hình khác. Trên gateway này, trường guardrails thuộc về chính gateway và
không được chuyển tiếp, còn một trường mà gateway không được cấu hình để chuyển tiếp, chẳng hạn
extra_body, sẽ bị từ chối.
Những gì nó không làm
- Nó bỏ sót một số cuộc tấn công và từ chối một số yêu cầu hợp lệ. Phán quyết là điểm số của một bộ phân loại so với một ngưỡng. Một nỗ lực được diễn đạt lại, viết bằng ngôn ngữ khác, được mã hóa hoặc viết lại chính tả có thể có điểm thấp và được phục vụ; một yêu cầu thông thường có thể có điểm cao và bị từ chối.
- Nó chỉ đọc tin nhắn mới nhất của người dùng. Một nỗ lực đặt trong tin nhắn hệ thống, một lượt trước đó hoặc một kết quả công cụ sẽ đến mô hình mà không được đọc.
- Nó không đánh giá câu trả lời của mô hình, các đối số gọi công cụ hay hình ảnh.
- Nó chỉ bao quát lưu lượng đi qua gateway. Một workload gọi trực tiếp địa chỉ của mô hình sẽ đi vòng qua nó. Guard và detector không xác thực bên gọi nào, vì vậy các Service của chúng là địa chỉ dành cho các thành phần gọi đến chúng, không phải để công bố ra ngoài.
Độ nhạy
standard và strict được thực thi dưới dạng ngưỡng của guard: 0.5 và 0.001.
Hai con số này được đo cho bộ phân loại mặc định của detector, vốn cho
điểm số nằm sát 0 hoặc sát 1. Ở mức 0.5, guard từ chối các nỗ lực trực tiếp
nhằm ghi đè chỉ dẫn của mô hình. Ở mức 0.001, nó còn từ chối cả một nỗ lực như vậy
được viết lại bằng leetspeak, mà bộ phân loại chấm điểm khoảng 0.008, và kèm theo đó
là một số yêu cầu thông thường mà bộ phân loại chấm điểm thấp nhưng không sát 0.
Ngưỡng là giá trị riêng của guard, nên việc chuyển sang strict gồm hai chỉnh sửa thực hiện
cùng lúc: sensitivity: strict trên phần gắn kết, và threshold: 0.001 trong
values của guard. Quá trình hiện thực hóa kiểm tra rằng hai giá trị này khớp nhau. Nó thấy guard
chứ không thấy detector phía sau, nên không thể biết detector đã nạp
mô hình nào; một detector chạy mô hình khác sẽ cho điểm khác, và các ngưỡng của nó
phải được đo lại.
Điều gì làm dừng quá trình build
Mỗi trường hợp dưới đây là một câu mà quá trình build in ra, nêu rõ điều cần thay đổi:
-
Độ nhạy và ngưỡng của guard không khớp nhau. Đặt
sensitivity: strictvà để guard ở giá trị mặc định:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0010] instance routernode "router": pipeline step failed[… omitted: the step, the template position and the template's own source]error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001 -
Không có guard nào được nối. Xóa khối
usescủa gateway, vốn chỉ chứa cạnhguard, và quá trình build dừng lại trước khi bất cứ thứ gì được render, nêu tên socket:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router" -
Một mô hình được nối vào socket
modelscủa gateway. Mục của nó sẽ được gửi tới endpoint riêng của mô hình đó bằng khóa riêng của kết nối, vượt qua guard. Nối mộtcore/ai-model/openaivào socket dưới tênfast, với một thông tin xác thực trên kết nối, bên cạnh alias có kiểu — đặtvalues.model: assistant, vì khi đó gateway phục vụ hai alias và công bố một, và nêu tênfasttrong Release cùng Recipe của nó trong Manifest — và quá trình build dừng lại trước khi bất cứ thứ gì được render, nêu tên kết nối:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment -
Một thông tin xác thực trên slot
provider_keycủa gateway. Nó sẽ được trình cho guard và không cho mô hình nào; thay vào đó, quá trình build nêu tên slotupstream_keycủa guard. -
Một guard khác. Socket chấp nhận bất kỳ component nào có prompt guard là của một bộ phân loại đã huấn luyện, và quá trình hiện thực hóa dừng lại với bất kỳ guard nào ngoài
core/security/nemo-guardrails, guard mà hai mức độ nhạy của nó được đo trên đó — kể cả khi có một guard thứ hai cũng được nối vào socket. -
Một target không được viết dưới dạng
openai/<model>, mà gateway sẽ gửi tới guard qua một API khác. -
core/semantic-cachingtrên cùng gateway. Bộ đệm nhúng mỗi prompt thông qua một alias của bản đồ, alias này sẽ được gửi tới guard, vốn không trả lời yêu cầu embeddings nào; bộ đệm sẽ không lưu được gì. -
Một shield thứ hai trên gateway.
Khi không thể kết nối tới guard hoặc bộ phát hiện
Yêu cầu bị từ chối và không có gì đến được mô hình. Khi bộ phát hiện ngừng hoạt động, guard trả lời một yêu cầu thông thường bằng một completion báo lỗi nội bộ, và trả lời một yêu cầu dạng stream bằng một stream không chứa văn bản nào. Khi guard ngừng hoạt động, gateway trả lời bằng một lỗi. Không có gì trong cấu hình này gửi một yêu cầu đi vòng qua guard khi guard gặp sự cố.
Nơi trình biên dịch không diễn giải
Trình biên dịch chuyển tên Service và cổng của guard vào cấu hình của gateway, và ngưỡng cùng địa chỉ của detector vào cấu hình của guard, dưới dạng chuỗi. Nó không đánh giá prompt, không biết bộ phân loại sẽ chấm điểm ra sao, và không liên lạc với guard, detector hay mô hình. Mỗi điểm dừng nêu trên đều do chính các thực thể của catalog khai báo, dưới dạng một assertion trong phần hiện thực hóa của shield hoặc một kiểm tra trong bước pipeline của nó, và không điểm dừng nào dựa trên bất kỳ sự hiểu biết nào về lưu lượng.
Điều chỉnh ví dụ
- Nghiêm ngặt hơn. Đặt đồng thời
sensitivity: stricttrên phần đính kèm vàthreshold: 0.001trên guard. - Một mô hình do bạn tự chạy. Trỏ
upstream_endpointcủa guard tới endpoint của máy chủ mô hình —core/ai-model/vllmcông bố một endpoint như vậy — và viết đích của alias làopenai/<the name that server serves>. - Thay bằng một gateway NGINX.
core/gateway/nginxkhai báo cùng socketguard, vàprompt-injection-shield-nginx, trên helm và trên compose, trỏ location duy nhất của nó tới guard thay cho upstream của nó. Đặtupstream_endpointcủa guard thành mô hình mà socketupstreamcủa gateway chỉ định. Mọi yêu cầu trên location đó đều đi tới guard, vốn phục vụ chat completions và trả lời 404 cho các route mô hình khác.