各リクエストをモデルの上書きの試みについて検査する AI ゲートウェイ
サポートアシスタントのユーザーは何でも入力でき、その中にはモデルに与えられた指示を 無視させようとするものもあります。モデルの前に置かれたゲートウェイは、すべての リクエストをまずガードに通すことができます。ガードとは、リクエストがそのような試みで あるかを学習済みの分類器に問い合わせ、そうであれば拒否し、それ以外をモデルに転送する サービスです。このワークスペースは、その構成を Kubernetes マニフェストにコンパイルします。 対象はゲートウェイ、ガード、そしてガードの分類器が動作する検出器です。
これを要求する Feature は core/prompt-injection-shield です。その働きは名前から
想像されるよりも限定的であり、このページでは、それが行うことと同じだけ、行わないことにも
紙幅を割きます。判定は確率的な分類器によるものであり、一部の攻撃を見逃し、一部の正当な
リクエストを拒否します。回避可能であることも知られており、モデルの応答、ツール呼び出しの
引数、画像のいずれも判定しません。これは他の対策と並ぶ一つの制御にすぎません。
このワークスペースは独自のカタログエンティティを一切作成しません。 ここにある 3 つのエンティティファイル — Aggregate、Manifest、Release — が、 誰かが書くもののすべてです。
構築されるもの
| インスタンス | カタログの Component | ここでの役割 |
|---|---|---|
router | core/gateway/litellm | AI ゲートウェイ: モデルマップに 1 つのエイリアス assistant が登録され、ガードの背後にあるモデルを指します |
guard | core/security/nemo-guardrails | モデルへの経路上にある NVIDIA NeMo Guardrails のサーバー。各チャットリクエストを検査し、許可したものをモデルに転送します |
detector | core/security/trustyai-huggingface-detector | ガードが問い合わせる分類器サービス。デフォルトのプロンプトインジェクション分類器を実行します |
uses エッジは 2 つです: ゲートウェイの guard ソケットからガードへ、そしてガードの
detector ソケットからディテクターへ。Feature のアタッチメントは 2 つです: シールドである shield をゲートウェイに sensitivity: standard で、そしてガードがモデル API に提示する認証情報である upstream_key をガードに付けます。
サンプルを生成する
このサンプルは以下のコマンドでビルドできます。または、AI アシスタントにビルドを任せることもできます。
例の名前を付けた新しいフォルダーに例を書き出します。
aggrega scaffold --example ai-gateway-prompt-injection-shieldその後、次に実行するコマンドを表示します。最初のコマンドは新しいフォルダーに移動します。
cd ai-gateway-prompt-injection-shieldビルド
aggrega build --release release.yaml --auto-pullrelease はビルドの前に lockfile を必要とします。lockfile は同梱されるのではなく生成されるため、クローンした直後には存在しません。先に解決するか、ビルドに作成させてください:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildこのワークスペースは、.aggrega-config.yaml が指定するデフォルトレジストリからカタログのエンティティを解決します。shield の実現では、コンパイラにもカタログにも同梱されていないプラグインを 1 つ実行します。これはゲートウェイ設定ステップ pipeline-step/litellm-gateway-config で、解決時に default_registry が指定するレジストリ hub.aggrega.ai から取得されます。
ビルドは次のように出力します。<workspace> はこの例のフォルダを表します。
[… omitted: a line reporting on the gateway configuration step's plugin, a warning that the upstream_key credential's declared-sensitive origin reaches the target with no per-key sensitivity marking, because the realization maps it through a valuesMapping, the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 10 files written to <workspace>/distカタログはガードと検出器のどちらのイメージも指定しないため、Release がそれらを指定します。 各 Component の infra.image はデフォルトのない必須の設定です。Component 内でその横にあるコメントが理由を説明し、その動作が検証されたビルドを示しています。release.yaml の 2 つの値は、実行するビルドのコピーを、管理下のレジストリにミラーしたもののためのプレースホルダです。ビルドはそこにある文字列をそのまま渡します。デプロイの前に両方を置き換えてください。
AI アシスタントを使う
Aggrega のツールでセットアップした AI アシスタントでも同じことができます。次のプロンプトを貼り付けてください。
Aggrega のツールだけを使い、フォルダーを自分で作成しないでください。ワークスペースフォルダーにまだ `ai-gateway-prompt-injection-shield` フォルダーがない場合は、`example` を `ai-gateway-prompt-injection-shield` に設定し、`dir` を指定せずに `scaffold` ツールを 1 回呼び出してください。これにより、サンプルが新しい `ai-gateway-prompt-injection-shield` フォルダーに書き出されます。次に、`workspace_root` を `ai-gateway-prompt-injection-shield`、`release` を `release.yaml`、`auto_pull` を true、`write` を true に設定して `build` ツールを呼び出してください。ビルドが書き出したファイルを教えてください。ファイルは `ai-gateway-prompt-injection-shield/dist/` の下にあります。レンダリングされたツリー
dist/helm/├── detector-default-service.yaml├── detector-deployment.yaml├── guard--upstream-zukey--guard-secret-guard-upstream-key.yaml├── guard-default-service.yaml├── guard-deployment.yaml├── guard/│ └── nemo-guardrails-config.configmap.yaml├── router-default-service.yaml├── router-deployment.yaml└── router/ ├── litellm-gateway-config/ │ └── configmap.yaml └── request-guard/ └── request-guard.yamlshield は独自のファイルを持ち込みません。shield が行うことは、 ゲートウェイの設定に書き込まれます。
ゲートウェイから見たルート
ゲートウェイの設定本体である、
dist/helm/router/litellm-gateway-config/configmap.yaml の config.yaml キーです:
model_list: - model_name: assistant litellm_params: model: openai/gpt-4o-mini api_base: "http://guard-default:8000/v1" api_key: "the-guard-holds-the-upstream-credential"litellm_settings: callbacks: - /etc/litellm-request-guard/request_field_filter.filtercallback_settings: request_field_filter.router-shield: policies: - reason: "sends every model request through a prompt-injection guard, which checks chat completions only" served_request_types: - acompletionここから読み取れることが 3 つあります。
すべてのエイリアスはガード宛てです。 api_base はガードが公開するエンドポイントで、
guard エッジから読み取られます。そのため assistant へのリクエストは OpenAI API 経由でガードに送られ、
gpt-4o-mini を要求します。ガードは通過を認めたものを、release.yaml が upstream_endpoint で指定するモデル API に転送します。
シールドを取り除くと、エントリは以前とまったく同じく api_base なしで書き出されます。
これが、エイリアスを models ソケットに接続したモデルから提供するのではなく、ゲートウェイの values.models に直接記述する理由です。接続されたモデルのエントリはそのモデル自身のエンドポイントと接続自身のキーで書き出されるため、そのリクエストはガードを経由せずにモデルへ送られてしまいます。後述するとおり、シールドはそのような接続を拒否します。
ゲートウェイはモデルの認証情報を保持しません。 エントリにはキーの代わりに固定の文字列を記述します。
ゲートウェイが接続する先はプロバイダーではなくガードであり、ガードは自身の認証情報、つまり
upstream_key スロットに割り当てられたものを提示するためです。呼び出し元自身の Authorization ヘッダーがモデルに届くことはありません。
提供されるのはチャット補完のみです。 ガードはチャット補完を検査し、 completions、embeddings、responses、messages のルートは提供しません。そのためポリシーにより、ゲートウェイのリクエストガードが、何かが転送される前に、それ以外の種類のリクエストをすべて理由を添えて HTTP 400 で拒否します:
This gateway sends every model request through a prompt-injection guard, which checks chat completions only, and it does not serve embeddings requests while it does, so the request was not forwarded. It serves chat completions requests.ガードが行うこと
ガードの設定(
dist/helm/guard/nemo-guardrails-config.configmap.yaml の config.yaml キー)の rails 以降の部分です:
rails: config: hf_classifier: prompt_injection: engine: fms model: "protectai/deberta-v3-base-prompt-injection-v2" base_url: "http://detector-default:8000" threshold: 0.5 blocked_labels: ["INJECTION"] input: flows: - hf classifier check input $classifier=prompt_injectionガードは、通常のものかストリーミングかを問わず各チャットリクエストについて、最新のユーザー
メッセージを検出器に送ります。検出器は読み込んだ分類器でそれをスコア付けし、検出器が 0.5 以上で INJECTION を報告した場合、ガードはリクエストを拒否します。
拒否されたリクエストにはガード自身が応答し、メッセージが I’m sorry, I can’t respond to that. である通常の completion を返します(リクエストがストリームを求めた場合はストリーミングで返します)。その内容はモデルには一切届きません。
許可されたリクエストは、システムメッセージや
それ以前のターンも含め、呼び出し元が送ったとおりにモデルに届きます。
呼び出し元がリクエストからチェックを無効にすることはできません。ガードの
設定には、リクエスト本文が何を求めてもチェックを実行するフロー rails.co が含まれており、ガードはこの単一の設定を実行し、
別の設定を指定するリクエストを拒否します。このゲートウェイでは、guardrails フィールドはゲートウェイ自身のものであり
転送されません。また、extra_body のように、ゲートウェイが転送するよう設定されていないフィールドは拒否されます。
行わないこと
- 一部の攻撃を見逃し、一部の正当なリクエストを拒否します。 判定は、しきい値に対する分類器のスコアです。言い換えた試み、別の言語で書かれた試み、エンコードされた試み、綴りを変えた試みはスコアが低くなって処理されることがあり、 通常のリクエストがスコアが高くなって拒否されることもあります。
- 最新のユーザーメッセージのみを読みます。 システムメッセージ、以前のターン、ツールの結果に置かれた試みは、 読まれないままモデルに届きます。
- モデルの応答、ツール呼び出しの引数、画像は判定しません。
- ゲートウェイを通過するトラフィックのみを対象とします。 モデルのアドレスを直接呼び出すワークロードは、 ゲートウェイを迂回します。ガードと検出器はどの呼び出し元も認証しないため、それらの Service は、 それらを呼び出すコンポーネントのためのアドレスであり、公開するためのものではありません。
感度
standard と strict は、ガードのしきい値としてそれぞれ 0.5 と 0.001 で実行されます。
この 2 つの数値は、スコアが 0 付近か 1 付近に集まる検出器のデフォルト分類器に対して測定されたものです。0.5 では、ガードはモデルの指示を上書きしようとする平易な試みを拒否します。0.001 では、そうした試みを leetspeak で綴り直したもの(分類器のスコアは 0.008 付近)も拒否し、それに伴って、分類器のスコアが低いもののゼロ付近ではない通常のリクエストの一部も拒否します。
しきい値はガード自身の値であるため、strict への変更は 2 つの編集を同時に行うことになります。アタッチメントの sensitivity: strict と、ガードの values 内の threshold: 0.001 です。realization は両者が一致していることを検査します。realization が見るのはガードであり、その背後の検出器ではないため、検出器がどのモデルを読み込んだかは判別できません。別のモデルを実行する検出器はスコアが異なり、そのしきい値は改めて測定されます。
ビルドを停止させるもの
以下はいずれもビルドが出力する文で、変更すべき箇所を示します。
-
sensitivity とガードのしきい値が一致しない。
sensitivity: strictを設定し、ガードをデフォルトのままにした場合:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0010] instance routernode "router": pipeline step failed[… omitted: the step, the template position and the template's own source]error calling fail: core/prompt-injection-shield attachment "shield" on "router" asks for sensitivity strict, which this realization runs as the guard's threshold 0.001, but the guard "guard" runs at 0.5; set values.threshold of "guard" to 0.001 -
ガードが接続されていない。
guardエッジだけを持つゲートウェイのusesブロックを削除すると、何もレンダリングされないうちにビルドが停止し、ソケットを示します:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "guard_is_wired": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" needs a guard to send the gateway's model requests through, but nothing is wired to its guard socket; wire a core/security/nemo-guardrails to the guard socket of "router" -
ゲートウェイの
modelsソケットにモデルが接続されている。 そのエントリはガードを経由せず、そのモデル自身のエンドポイントに、その接続自身のキーで送信されます。型付きエイリアスと並べてcore/ai-model/openaiをfastとしてソケットに接続し、接続にクレデンシャルを設定すると(ゲートウェイは 2 つのエイリアスを提供して 1 つを公開するためvalues.model: assistantを設定し、Release でfastを、Manifest でその Recipe を指定します)、何もレンダリングされないうちにビルドが停止し、その接続を示します:[… omitted: a line reporting on the gateway configuration step's plugin, what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "prompt-injection-shield-litellm" instance "router" assertion "no_wired_models": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/prompt-injection-shield attachment "shield" on "router" sends every model request through the guard, which forwards it to its own upstream with its own credential, but the models socket of "router" holds fast, each sent to its own model's endpoint with its own connection's credential, past the guard; remove those connections and reach that model through the guard's upstream, or remove the shield attachment -
ゲートウェイの
provider_keyスロットにクレデンシャルがある。 それはガードに提示され、 どのモデルにも提示されません。ビルドは代わりにガードのupstream_keyスロットを示します。 -
別のガード。 ソケットは、プロンプトガードが学習済み分類器によるものであれば任意の component を 受け入れますが、realization は、2 つの sensitivity の測定対象である
core/security/nemo-guardrails以外のものでは停止します。ソケットに 2 つ目のガードが接続された場合も同様です。 -
openai/<model>の形式で書かれていないターゲット。ゲートウェイはこれを 別の API でガードに送信してしまいます。 -
同じゲートウェイ上の
core/semantic-caching。 キャッシュは各プロンプトをマップのエイリアスを通じて 埋め込みますが、それはガードに送信され、ガードは埋め込みリクエストに応答しません。キャッシュは何もキャッシュしません。 -
ゲートウェイ上の 2 つ目のシールド。
ガードまたは検出器に到達できない場合
リクエストは拒否され、モデルには何も届きません。検出器が停止している場合、ガードは通常のリクエストには内部エラーを報告する補完で応答し、 ストリーミングのリクエストにはテキストを含まないストリームで応答します。ガードが停止している場合、 ゲートウェイはエラーで応答します。この設定には、ガードが失敗したときにリクエストをガードを迂回して送るものは何もありません。
コンパイラが解釈しない箇所
コンパイラは、ガードの Service 名とポートをゲートウェイの設定へ、しきい値と検出器のアドレスをガードの設定へ、文字列として渡します。プロンプトを評価することはなく、分類器がどのようなスコアを付けるかを知ることもなく、ガード、検出器、モデルのいずれにも接続しません。上記の各停止は、シールドの実現におけるアサーション、またはそのパイプラインステップにおけるチェックとして、カタログ自身のエンティティによって宣言されており、いずれもトラフィックの理解に基づくものではありません。
応用する
- より厳格にする。 アタッチメントに
sensitivity: strictを、ガードにthreshold: 0.001を、併せて設定します。 - 自分で運用するモデルを使う。 ガードの
upstream_endpointをモデルサーバーのエンドポイントに向け(core/ai-model/vllmがこれを公開します)、 エイリアスのターゲットをopenai/<the name that server serves>と記述します。 - 代わりに NGINX ゲートウェイを使う。
core/gateway/nginxは同じguardソケットを宣言しており、prompt-injection-shield-nginxは helm でも compose でも、その 唯一の location を upstream の代わりにガードに向けます。ガードのupstream_endpointには、ゲートウェイのupstreamソケットが指すモデルを設定します。その location 上のすべての リクエストはガードに送られ、ガードはチャット補完を処理し、それ以外のモデルルートには 404 を返します。