Bỏ qua để đến nội dung
AggregaAggrega
Chọn ngôn ngữ: Tiếng Việt
Trang này được dịch bằng máy. Đọc bản gốc tiếng Anh.

Một AI gateway sàng lọc từng yêu cầu để phát hiện nỗ lực ghi đè mô hình

Người dùng của một trợ lý hỗ trợ có thể gõ bất cứ điều gì, và một phần những gì họ gõ tìm cách khiến mô hình bỏ qua các chỉ dẫn đã được giao cho nó. Gateway đứng trước mô hình có thể đưa mọi yêu cầu qua một guard trước: một dịch vụ hỏi một bộ phân loại đã được huấn luyện xem yêu cầu có phải là một nỗ lực như vậy không, từ chối nếu đúng, và chuyển tiếp phần còn lại tới mô hình. Workspace này biên dịch cách bố trí đó thành các manifest Kubernetes: gateway, guard, và detector mà bộ phân loại của guard chạy trong đó.

Feature yêu cầu điều này là core/prompt-injection-shield. Những gì nó làm hẹp hơn những gì tên gọi của nó có thể gợi ý, và trang này dành cho những gì nó không làm nhiều thời gian không kém những gì nó làm: phán quyết là của một bộ phân loại xác suất, nó bỏ sót một số cuộc tấn công và từ chối một số yêu cầu hợp lệ, nó được biết là có thể bị né tránh, và nó không đánh giá câu trả lời của mô hình, đối số của lời gọi công cụ, hay hình ảnh. Nó là một biện pháp kiểm soát bên cạnh các biện pháp khác.

Workspace này không tự định nghĩa entity catalog nào. Ba tệp entity ở đây — một Aggregate, một Manifest và một Release — là toàn bộ những gì cần viết.

Những gì ví dụ này xây dựng

instanceComponent trong catalogvai trò ở đây
routercore/gateway/litellmAI gateway: một alias, assistant, được khai báo trong bảng ánh xạ model của nó và trỏ tới một model nằm sau guard
guardcore/security/nemo-guardrailsMáy chủ NVIDIA NeMo Guardrails nằm trên đường đi tới model, kiểm tra từng yêu cầu chat và chuyển tiếp những gì nó chấp nhận tới model
detectorcore/security/trustyai-huggingface-detectordịch vụ phân loại mà guard truy vấn, chạy bộ phân loại prompt injection mặc định của nó

Hai cạnh uses: socket guard của gateway nối tới guard, và socket detector của guard nối tới detector. Hai lần gắn Feature: shield, tấm khiên, trên gateway, ở mức sensitivity: standard; và upstream_key, thông tin xác thực mà guard xuất trình cho API của model, trên guard.

Tạo ví dụ

Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.

Ghi ví dụ vào một thư mục mới đặt theo tên của nó:

Terminal window
aggrega scaffold --example ai-gateway-prompt-injection-shield

Sau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:

Terminal window
cd ai-gateway-prompt-injection-shield

Build

Terminal window
aggrega build --release release.yaml --auto-pull

Một release cần có lockfile trước khi build, và lockfile được tạo ra chứ không được phân phối kèm, nên một bản clone mới sẽ không có. Hãy resolve một lockfile trước, hoặc để quá trình build tự điền vào:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Workspace này phân giải các thực thể của catalog từ registry mặc định mà .aggrega-config.yaml chỉ định. Phần hiện thực hóa của shield chạy một plugin không đi kèm trong compiler lẫn catalog, đó là bước cấu hình gateway pipeline-step/litellm-gateway-config, mà quá trình phân giải tải về từ registry do default_registry chỉ định, hub.aggrega.ai.

Bản build in ra như sau, với <workspace> đại diện cho thư mục của ví dụ này:

[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]
Build completed: 10 files written to <workspace>/dist

Release chỉ định image của guard và của detector, vì catalog không chỉ định image nào trong hai. infra.image của mỗi Component là một thiết lập bắt buộc, không có giá trị mặc định; chú thích bên cạnh nó trong Component giải thích lý do, và nêu tên bản build mà hành vi của nó đã được kiểm chứng trên đó. Hai giá trị trong release.yaml là giá trị giữ chỗ cho một bản sao của bản build mà bạn chạy, được nhân bản vào một registry do bạn kiểm soát. Bản build truyền đi bất kỳ chuỗi nào có ở đó; hãy thay cả hai trước khi triển khai.

Với trợ lý AI

Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.

Chỉ dùng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục workspace chưa có thư mục `ai-gateway-prompt-injection-shield`, hãy gọi công cụ `scaffold` một lần với `example` đặt thành `ai-gateway-prompt-injection-shield` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `ai-gateway-prompt-injection-shield` mới. Sau đó gọi công cụ `build` với `workspace_root` đặt thành `ai-gateway-prompt-injection-shield`, `release` đặt thành `release.yaml`, `auto_pull` đặt thành true và `write` đặt thành true. Hãy cho tôi biết bản build đã ghi những tệp nào; chúng nằm trong `ai-gateway-prompt-injection-shield/dist/`.

Cây thư mục được kết xuất

dist/helm/
├── detector-default-service.yaml
├── detector-deployment.yaml
├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml
├── guard-default-service.yaml
├── guard-deployment.yaml
├── guard/
│ └── nemo-guardrails-config.configmap.yaml
├── router-default-service.yaml
├── router-deployment.yaml
└── router/
├── litellm-gateway-config/
│ └── configmap.yaml
└── request-guard/
└── request-guard.yaml

Lớp bảo vệ không mang theo tệp nào của riêng nó. Những gì nó làm được ghi vào cấu hình của gateway.

Tuyến định tuyến, theo cách gateway đọc nó

Phần thân cấu hình của gateway, khóa config.yaml của dist/helm/router/litellm-gateway-config/configmap.yaml:

model_list:
- model_name: assistant
litellm_params:
model: openai/gpt-4o-mini
api_base: "http://guard-default:8000/v1"
api_key: "the-guard-holds-the-upstream-credential"
litellm_settings:
callbacks:
- /etc/litellm-request-guard/request_field_filter.filter
callback_settings:
request_field_filter.router-shield:
policies:
-
reason: "sends every model request through a prompt-injection guard, which checks chat completions only"
served_request_types:
- acompletion

Có ba điều đáng đọc ra từ đó.

Mọi bí danh đều được gửi tới guard. api_base là endpoint mà guard công bố, đọc từ cạnh guard, nên một yêu cầu cho assistant đi tới guard qua OpenAI API, yêu cầu gpt-4o-mini; guard chuyển tiếp những gì nó chấp nhận tới API mô hình mà release.yaml nêu trong upstream_endpoint của nó. Gỡ bỏ lớp chắn thì mục này được ghi mà không có api_base, đúng như trước đây. Đó là lý do bí danh được khai báo trong values.models của gateway thay vì được phục vụ từ một mô hình nối vào socket models của nó: mục của một mô hình được nối được ghi với endpoint riêng của mô hình đó và khóa riêng của kết nối của nó, nên các yêu cầu của nó sẽ đi tới mô hình mà bỏ qua guard, và lớp chắn từ chối một kết nối như vậy, như dưới đây.

Gateway không giữ thông tin xác thực nào cho mô hình. Mục này ghi một từ cố định thay cho khóa, vì gateway kết nối tới guard chứ không tới nhà cung cấp, và guard xuất trình thông tin xác thực riêng của nó, thông tin được gắn vào slot upstream_key của nó. Header Authorization riêng của bên gọi không bao giờ tới được mô hình.

Chỉ chat completions được phục vụ. Guard kiểm tra chat completions và không phục vụ tuyến completions, embeddings, responses hay messages nào, nên chính sách cho bộ kiểm tra yêu cầu của gateway từ chối mọi loại yêu cầu khác bằng HTTP 400, kèm lý do, trước khi bất cứ thứ gì được chuyển tiếp:

This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.

Lớp bảo vệ làm gì

Cấu hình của lớp bảo vệ, khóa config.yaml của dist/helm/guard/nemo-guardrails-config.configmap.yaml, từ phần rails trở đi:

rails:
config:
hf_classifier:
prompt_injection:
engine: fms
model: "protectai/deberta-v3-base-prompt-injection-v2"
base_url: "http://detector-default:8000"
threshold: 0.5
blocked_labels: ["INJECTION"]
input:
flows:
- hf classifier check input $classifier=prompt_injection

Với mỗi yêu cầu chat, dạng thường hay dạng stream, lớp bảo vệ gửi tin nhắn người dùng mới nhất đến bộ phát hiện, bộ này chấm điểm tin nhắn bằng bộ phân loại mà nó đã nạp, và từ chối yêu cầu khi bộ phát hiện báo INJECTION ở mức 0.5 trở lên. Một yêu cầu bị từ chối được chính lớp bảo vệ trả lời, bằng một completion thông thường có nội dung là I’m sorry, I can’t respond to that. — được stream khi yêu cầu đòi stream — và không phần nào của yêu cầu đến được mô hình. Một yêu cầu được chấp nhận sẽ đến mô hình đúng như bên gọi đã gửi, bao gồm cả tin nhắn hệ thống và các lượt trước đó.

Bên gọi không thể tắt việc kiểm tra từ trong yêu cầu. Cấu hình của lớp bảo vệ chứa một flow, rails.co, chạy việc kiểm tra bất kể phần thân yêu cầu đòi gì, và lớp bảo vệ chỉ chạy cấu hình này, từ chối mọi yêu cầu nêu tên một cấu hình khác. Trên gateway này, trường guardrails thuộc về chính gateway và không được chuyển tiếp, còn một trường mà gateway không được cấu hình để chuyển tiếp, chẳng hạn extra_body, sẽ bị từ chối.

Những gì nó không làm

  • Nó bỏ sót một số cuộc tấn công và từ chối một số yêu cầu hợp lệ. Phán quyết là điểm số của một bộ phân loại so với một ngưỡng. Một nỗ lực được diễn đạt lại, viết bằng ngôn ngữ khác, được mã hóa hoặc viết lại chính tả có thể có điểm thấp và được phục vụ; một yêu cầu thông thường có thể có điểm cao và bị từ chối.
  • Nó chỉ đọc tin nhắn mới nhất của người dùng. Một nỗ lực đặt trong tin nhắn hệ thống, một lượt trước đó hoặc một kết quả công cụ sẽ đến mô hình mà không được đọc.
  • Nó không đánh giá câu trả lời của mô hình, các đối số gọi công cụ hay hình ảnh.
  • Nó chỉ bao quát lưu lượng đi qua gateway. Một workload gọi trực tiếp địa chỉ của mô hình sẽ đi vòng qua nó. Guard và detector không xác thực bên gọi nào, vì vậy các Service của chúng là địa chỉ dành cho các thành phần gọi đến chúng, không phải để công bố ra ngoài.

Độ nhạy

standard và strict được thực thi dưới dạng ngưỡng của guard: 0.5 và 0.001. Hai con số này được đo cho bộ phân loại mặc định của detector, vốn cho điểm số nằm sát 0 hoặc sát 1. Ở mức 0.5, guard từ chối các nỗ lực trực tiếp nhằm ghi đè chỉ dẫn của mô hình. Ở mức 0.001, nó còn từ chối cả một nỗ lực như vậy được viết lại bằng leetspeak, mà bộ phân loại chấm điểm khoảng 0.008, và kèm theo đó là một số yêu cầu thông thường mà bộ phân loại chấm điểm thấp nhưng không sát 0.

Ngưỡng là giá trị riêng của guard, nên việc chuyển sang strict gồm hai chỉnh sửa thực hiện cùng lúc: sensitivity: strict trên phần gắn kết, và threshold: 0.001 trong values của guard. Quá trình hiện thực hóa kiểm tra rằng hai giá trị này khớp nhau. Nó thấy guard chứ không thấy detector phía sau, nên không thể biết detector đã nạp mô hình nào; một detector chạy mô hình khác sẽ cho điểm khác, và các ngưỡng của nó phải được đo lại.

Điều gì làm dừng quá trình build

Mỗi trường hợp dưới đây là một câu mà quá trình build in ra, nêu rõ điều cần thay đổi:

  • Độ nhạy và ngưỡng của guard không khớp nhau. Đặt sensitivity: strict và để guard ở giá trị mặc định:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0010] instance router
    node "router": pipeline step failed
    [… omitted: the step, the template position and the template's own source]
    error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001
  • Không có guard nào được nối. Xóa khối uses của gateway, vốn chỉ chứa cạnh guard, và quá trình build dừng lại trước khi bất cứ thứ gì được render, nêu tên socket:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router"
  • Một mô hình được nối vào socket models của gateway. Mục của nó sẽ được gửi tới endpoint riêng của mô hình đó bằng khóa riêng của kết nối, vượt qua guard. Nối một core/ai-model/openai vào socket dưới tên fast, với một thông tin xác thực trên kết nối, bên cạnh alias có kiểu — đặt values.model: assistant, vì khi đó gateway phục vụ hai alias và công bố một, và nêu tên fast trong Release cùng Recipe của nó trong Manifest — và quá trình build dừng lại trước khi bất cứ thứ gì được render, nêu tên kết nối:

    [… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment
  • Một thông tin xác thực trên slot provider_key của gateway. Nó sẽ được trình cho guard và không cho mô hình nào; thay vào đó, quá trình build nêu tên slot upstream_key của guard.

  • Một guard khác. Socket chấp nhận bất kỳ component nào có prompt guard là của một bộ phân loại đã huấn luyện, và quá trình hiện thực hóa dừng lại với bất kỳ guard nào ngoài core/security/nemo-guardrails, guard mà hai mức độ nhạy của nó được đo trên đó — kể cả khi có một guard thứ hai cũng được nối vào socket.

  • Một target không được viết dưới dạng openai/<model>, mà gateway sẽ gửi tới guard qua một API khác.

  • core/semantic-caching trên cùng gateway. Bộ đệm nhúng mỗi prompt thông qua một alias của bản đồ, alias này sẽ được gửi tới guard, vốn không trả lời yêu cầu embeddings nào; bộ đệm sẽ không lưu được gì.

  • Một shield thứ hai trên gateway.

Khi không thể kết nối tới guard hoặc bộ phát hiện

Yêu cầu bị từ chối và không có gì đến được mô hình. Khi bộ phát hiện ngừng hoạt động, guard trả lời một yêu cầu thông thường bằng một completion báo lỗi nội bộ, và trả lời một yêu cầu dạng stream bằng một stream không chứa văn bản nào. Khi guard ngừng hoạt động, gateway trả lời bằng một lỗi. Không có gì trong cấu hình này gửi một yêu cầu đi vòng qua guard khi guard gặp sự cố.

Nơi trình biên dịch không diễn giải

Trình biên dịch chuyển tên Service và cổng của guard vào cấu hình của gateway, và ngưỡng cùng địa chỉ của detector vào cấu hình của guard, dưới dạng chuỗi. Nó không đánh giá prompt, không biết bộ phân loại sẽ chấm điểm ra sao, và không liên lạc với guard, detector hay mô hình. Mỗi điểm dừng nêu trên đều do chính các thực thể của catalog khai báo, dưới dạng một assertion trong phần hiện thực hóa của shield hoặc một kiểm tra trong bước pipeline của nó, và không điểm dừng nào dựa trên bất kỳ sự hiểu biết nào về lưu lượng.

Điều chỉnh ví dụ

  • Nghiêm ngặt hơn. Đặt đồng thời sensitivity: strict trên phần đính kèm và threshold: 0.001 trên guard.
  • Một mô hình do bạn tự chạy. Trỏ upstream_endpoint của guard tới endpoint của máy chủ mô hình — core/ai-model/vllm công bố một endpoint như vậy — và viết đích của alias là openai/<the name that server serves>.
  • Thay bằng một gateway NGINX. core/gateway/nginx khai báo cùng socket guard, và prompt-injection-shield-nginx, trên helm và trên compose, trỏ location duy nhất của nó tới guard thay cho upstream của nó. Đặt upstream_endpoint của guard thành mô hình mà socket upstream của gateway chỉ định. Mọi yêu cầu trên location đó đều đi tới guard, vốn phục vụ chat completions và trả lời 404 cho các route mô hình khác.