Kişisel verileri günlüklerinin dışında tutan bir yapay zekâ ağ geçidi
Bir destek asistanı müşterilerin adları ve e-posta adresleriyle çalışmak zorundadır; bu nedenle çağırdığı modelin bunları görmesi gerekir. Bu modelin önündeki ağ geçidi denetim ve hata ayıklama için günlük tutar ve bu günlükler bunları saklamamalıdır. Bu çalışma alanı böyle bir ağ geçidini Kubernetes manifest’lerine derler.
Bunu yapan, ağ geçidinin kendisine ait bir değerdir: core/gateway/litellm üzerindeki
values.log_masking. Bu değer, ağ geçidinin günlüklerine verdiği her çağrı kopyasını maskeler
ve başka hiçbir şeyi maskelemez: model isteği tam olarak çağıranın gönderdiği gibi alır,
çağıran da yanıtı tam olarak modelin yazdığı gibi alır. Metni modelin kendisinden gizleyen
core/data-masking Feature’ından farkı budur. İkisi birbirinin alternatifidir ve aşağıda
aralarında seçim yapmayı anlatan bölüm, ikisi tek bir ağ geçidinde birlikte ayarlandığında ne olduğunu gösterir.
Bu çalışma alanı kendine ait hiçbir katalog varlığı yazmaz. Buradaki üç varlık dosyası — bir Aggregate, bir Manifest ve bir Release — herhangi birinin yazdığı şeylerin tamamıdır.
Ne oluşturur
| örnek | katalog Component’i | burada ne olduğu |
|---|---|---|
router | core/gateway/litellm | yapay zekâ ağ geçidi: models soketine bağlanan modelden sunulan, yayımlanmış tek bir takma ad, assistant |
gpt | core/ai-model/openai | bu takma adın arkasındaki model, OpenAI’ın kendi API’si; bir başvuru olarak erişilir: küme içinde onun için hiçbir şey çalışmaz |
analyzer | core/security/presidio-analyzer | bir metindeki hassas bölümleri bulur |
anonymizer | core/security/presidio-anonymizer | kendisine verilen bölümleri değiştirir |
Üç uses kenarı: ağ geçidinin models soketinden modele giden ve credential olarak ağ geçidinin modele sunduğu anahtarı taşıyan kenar, ve ağ geçidinin pii_analyzer ve
pii_anonymizer soketlerinden iki tanıyıcı hizmete giden kenarlar. Aggregate bu kimlik bilgisini bir secret adı vermeden bağlar; Release ise onu bağlantının infra alanında adlandırır: ad alanında zaten bulunan, Manifest’in gerçekleştirmesinin başvurduğu ama oluşturmadığı bir Secret. Ağ geçidinin values.log_masking değeri neyin maskeleneceğini listeler: patterns altında şirketin destek talebi numaraları için bir düzenli ifade, entities altında ise PERSON ve EMAIL_ADDRESS varlık türleri.
Varsayılan bir liste yoktur; ikisini de listelemeyen bir ağ geçidi günlüklerinde hiçbir şeyi maskelemez ve bu değer olmadan nasıl oluşturuluyorsa tam olarak öyle oluşturulur.
Örneği oluşturun
Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.
Örneği, adını taşıyan yeni bir klasöre yazın:
aggrega scaffold --example ai-gateway-log-maskingArdından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:
cd ai-gateway-log-maskingDerleme
aggrega build --release release.yaml --auto-pullBir release, derlenmeden önce bir kilit dosyasına ihtiyaç duyar ve kilit dosyaları dağıtılmak yerine üretildiğinden yeni bir klonda hiç kilit dosyası bulunmaz. Önce bir tane çözümleyin ya da derlemenin onu doldurmasına izin verin:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildBu çalışma alanı, katalog varlıklarını .aggrega-config.yaml dosyasının adlandırdığı varsayılan kayıt defterinden çözümler. Log maskelemeyi ağ geçidinin kendi Recipe’i yazar, bu nedenle derleme, derleyicinin kendi içinde taşıdıkları dışında hiçbir plugin çalıştırmaz.
Derleme, <workspace> bu örneğin klasörünü temsil edecek şekilde şunu yazdırır:
[… omitted: the resolution's summary, a notice that core/referenced-secret declares origin in both of its pillars, and a total build time, which differs per run]Build completed: 9 files written to <workspace>/distBir yapay zekâ asistanıyla
Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.
Yalnızca Aggrega araçlarını kullanın ve kendiniz hiçbir klasör oluşturmayın. Çalışma alanı klasöründe henüz `ai-gateway-log-masking` klasörü yoksa `scaffold` aracını `example` değeri `ai-gateway-log-masking` olarak ayarlanmış ve `dir` olmadan bir kez çağırın: örneği yeni bir `ai-gateway-log-masking` klasörüne yazar. Ardından `build` aracını `workspace_root` değeri `ai-gateway-log-masking`, `release` değeri `release.yaml`, `auto_pull` değeri true ve `write` değeri true olarak ayarlanmış şekilde çağırın. Derlemenin hangi dosyaları yazdığını bana söyleyin; dosyalar `ai-gateway-log-masking/dist/` altındadır.Oluşturulan ağaç
dist/helm/├── analyzer-default-service.yaml├── analyzer-deployment.yaml├── anonymizer-default-service.yaml├── anonymizer-deployment.yaml├── gpt-service.yaml├── router-default-service.yaml├── router-deployment.yaml└── router/ ├── litellm-gateway-config/ │ └── configmap.yaml └── request-guard/ └── request-guard.yamlDeğer kendine ait bir dosya getirmez. Ağ geçidinin Recipe’i onu ağ geçidinin yapılandırmasına yazar ve bu yapılandırmanın yüklediği bir modülü ağ geçidinin ConfigMap’ine ekler. Model tek bir dosya oluşturur: gpt-service.yaml, küme içi bir adı OpenAI’ın API ana makinesi api.openai.com üzerine eşleyen bir Service; anahtarı ise hiçbir dosya oluşturmaz, çünkü onu tutan Secret zaten mevcuttur.
Ağ geçidinin yapılandırma gövdesinin başlangıcı olan yönlendirme tablosunda, modelin yayımladıklarından (uç noktası, OpenAI’ın API temel URL’si ve model adı) yazılmış ve ağ geçidinin Recipe’inin bağlantının anahtarını altında teslim ettiği değişkeni adlandıran tek bir girdi vardır:
model_list: - model_name: "assistant" litellm_params: model: "openai/gpt-4o" api_base: "https://api.openai.com/v1" api_key: os.environ/LITELLM_MODEL_ASSISTANT_API_KEYKoruma kuralı girdisi
Aşağıda, ağ geçidinin yapılandırma gövdesi, yani
dist/helm/router/litellm-gateway-config/configmap.yaml dosyasının config.yaml anahtarı,
litellm_settings bölümünden itibaren verilmiştir:
[… omitted: the routing table]litellm_settings: callbacks: - /etc/litellm-request-guard/request_field_filter.filter - log_masking.withhold_failed_calls redact_messages_in_exceptions: trueguardrails: - guardrail_name: "router.log-masking" litellm_params: guardrail: log_masking.LogMasking default_on: true mode: logging_only patterns: - pattern_type: regex name: "ticket" pattern: "\\bTCK-[0-9]{6}\\b" action: MASK pii_entities_config: "PERSON": MASK "EMAIL_ADDRESS": MASKgeneral_settings: disable_error_logs: trueAğ geçidinin Recipe’i bunların tamamını values.log_masking üzerinden yazar ve
girdiye ağ geçidinin adını verir (burada router); standart kütüphanenin
gerçekleştirmelerinin yazdığı koruma kuralı girdilerinde kısa çizgi bulunan yerde
nokta kullanılır, böylece onların hiçbir eki, adı ne olursa olsun, bu girdinin
yerini alamaz. Girdiden okunmaya değer beş şey vardır.
mode: logging_only, ağ geçidinin, yalnızca tamamlanmış bir çağrının günlüklerine
teslim edildiği noktada ve başka hiçbir yerde çalışmayan bir koruma kuralı için kendi modudur.
Girdinin yüklediği sınıf, bir girdi ne belirtirse belirtsin buna uyar; bu nedenle
bir istek iletilmeden önce istek üzerinde ya da bir yanıt döndürülmeden önce yanıt
üzerinde asla çağrılmaz.
default_on: true onu her çağrıda çalıştırır. Bir çağıran, ağ geçidinin her zaman
açık koruma kurallarını devre dışı bırakmayı isteyen bir istek dahil, onu istekten kapatamaz.
Desen ağ geçidine tam olarak yazıldığı gibi ulaşır. Ağ geçidinin içinde, harf
büyüklüğü gözetilmeden eşleştirilir ve her eşleşme kalıcı olarak desenin büyük harfle
yazılmış, köşeli parantez içindeki adıyla değiştirilir: [TICKET_REDACTED]. Ağ geçidi
ifadeyi başlarken derler ve derlenmeyen bir ifade başlamasını durdurur — derleyici
dizeyi okumadan olduğu gibi aktarır.
Varlık türleri iki tanıyıcı hizmet tarafından bulunur. Girdi hiçbir adres
belirtmez: ağ geçidi her ikisini de ortamından okur; ortamı ise ağ geçidinin
Recipe’i iki kenardan doldurur. dist/helm/router-deployment.yaml dosyasından, ağ geçidi
kapsayıcısının env alanı:
env: - name: LITELLM_MODEL_ASSISTANT_API_KEY valueFrom: secretKeyRef: name: openai-api-key key: api-key - name: PRESIDIO_ANALYZER_API_BASE value: http://analyzer-default:3000 - name: PRESIDIO_ANONYMIZER_API_BASE value: http://anonymizer-default:3000İlki modelin anahtarıdır; Release’in adını verdiği Secret’tan başvurulur ve hiçbir zaman
açıkça yazılmaz; diğer ikisi tanıyıcıların adresleridir. Bir kişinin adı <PERSON>,
bir adres ise <EMAIL_ADDRESS> olur.
Başarısız bir çağrı maskelenmek yerine alıkonur. Ağ geçidi başarısız olan bir çağrı
için hiçbir günlükleme koruma kuralı çalıştırmaz; bu nedenle girdinin yüklediği modül,
istek korumasının hemen ardından kaydedilen log_masking.withhold_failed_calls işlevini de
sağlar ve ağ geçidinin Recipe’i iki ayarı bunun yanına yazar. Geri çağırma işlevine,
başarısız bir çağrının kaydı, kendisinden sonra kaydedilen tüm geri çağırma işlevlerinden önce
teslim edilir; işlev, bir çağıranın ya da modelin yazdığı her metni, eşleşsin ya da eşleşmesin,
[TEXT_WITHHELD] ile, hatanın metnini ise [ERROR_TEXT_WITHHELD] ile değiştirir ve yeniden
denenen bir girişimin gönderdiğini olduğu gibi bırakır. disable_error_logs başarısız çağrıları
harcama günlüklerinin dışında tutar, redact_messages_in_exceptions ise isteğin mesajlarını
ağ geçidinin bir hataya eklediği ayrıntıların dışında tutar.
Aynı ConfigMap ikinci bir anahtar taşır, log_masking.py: girdinin guardrail alanının
ve ikinci callbacks girdisinin adını verdiği modül. Ağ geçidinin Recipe’i modülü, o
callbacks girdisini, koruma kuralı girdisini ve iki ayarı yalnızca values.log_masking
bir şey listelediği sürece ekler; böylece hiçbir şey listelemeyen bir ağ geçidi ConfigMap’i
bunların hiçbiri olmadan, değeri olmayan bir ağ geçidiyle bayt bayt aynı şekilde oluşturur.
Bir günlük okuyucusunun gördüğü ve modelin gördüğü
İsteği şu metni taşıyan bir çağıranı ele alalım:
My name is David Johnson and my email is david.johnson@example.com, ticket TCK-104882. Call me on 212-555-0147.Yukarıdaki blok ve aşağıdaki üç blok, çalışan ağ geçidinin bu metinle ne yaptığını gösterir; bunlar derlemenin çıktısı değildir.
Model sağlayıcısı isteği tam olarak çağıranın gönderdiği gibi alır ve çağıran da modelin yanıtını tam olarak geldiği gibi alır. Ağ geçidinin çağrıyı teslim ettiği bir günlük entegrasyonu ise aynı mesajları maskelenmiş olarak alır:
My name is <PERSON> and my email is <EMAIL_ADDRESS>, ticket [TICKET_REDACTED]. Call me on 212-555-0147.Telefon numarası gönderildiği gibi günlüğe yazılır, çünkü ek
PHONE_NUMBER öğesini listelemez ve hiçbir desen onunla eşleşmez. Listelenen hiçbir şeyin eşleşmediği metin asla
maskelenmez.
Ağ geçidinin günlüklerine teslim ettiği başarılı bir çağrının her kopyası aynı şekilde maskelenir: mesajlar, standart günlük yükünün mesajları ve yanıtı, ağ geçidinin bir araya getirdiği haliyle akışla gelen bir yanıt, sağlayıcının gördüğü haliyle istek ve yanıt, harcama günlüklerinin tuttuğu istek ve her entegrasyonun aldığı yanıt. Modelin yanıtı da bu kopyalarda maskelenir:
Reply for <PERSON> (<EMAIL_ADDRESS>) about [TICKET_REDACTED].Maskelenmeden kalanlar
Günlüklerin maskelenmesi metni başka hiç kimseden gizlemez ve values.log_masking açıklaması da bunu belirtir:
- Model sağlayıcısı her şeyi maskelenmemiş olarak alır; ağ geçidi ve her iki tanıyıcı hizmet de öyle.
- Başarısız bir çağrı, ağ geçidinin yazdığı hiçbir günlükte istek metni bırakmaz ve bunun iki bedeli vardır. Ağ geçidinin başarısız bir çağrı için yazdığı kendi satırı yalnızca hatanın türünü tutar, örneğin
An error was logged with its text withheld, as log masking is on: BadRequestError; böylece sağlayıcının iletisi ve yığın izi o günlükten çıkar. Ayrıca başarısız çağrılar, yalnızca başarılı çağrıları sayan harcama günlüklerinden ve günlük harcama toplamlarından çıkar. Katalog dışında yapılandırılmış bir günlük entegrasyonu, başarısız bir çağrının taşıdığı istisna üzerindeki sağlayıcının kendi hata iletisini yine de okuyabilir; ağ geçidinin kendi geri çağrısından önce kaydedilmiş bir entegrasyona da başarısız bir çağrının metni geldiği gibi iletilir. - Yalnızca maskelemenin üzerinden yazdığı günlükler kapsanır: ağ geçidinin hata ayıklama çıktısı ve bir sağlayıcının kendi günlükleri kapsanmaz. Bir isteğin meta verileri, araç tanımları ve üst bilgileri gönderildiği gibi günlüğe yazılır.
- Kopyaları maskelenemeyen bir çağrı, metni gizlenerek günlüğe yazılır.
Bir tanıyıcıya ulaşılamadığında hiçbir kopya kısmen maskelenmiş olarak günlüğe yazılmaz: o çağrının her kopyasındaki her metin
[TEXT_WITHHELD]ile değiştirilir ve kayıt günlüklere her zamanki gibi iletilir; böylece çağrı harcama günlüklerinde yine sayılır. Ağ geçidinin kendi günlüğü, çağrının metninin gizlendiğini kaydeder. Çağrının kendisi her zamanki gibi yanıtlanır.
Kataloğun oluşturduğu biçimiyle bu ağ geçidi, günlüklerini hiçbir günlük entegrasyonuna iletmez ve harcama günlükleri ne istek ya da yanıt metni ne de başarısız çağrı tutar. Dolayısıyla maskelemenin koruduğu kopyalar, ağ geçidinde yapılandırılmış bir entegrasyonun ya da metin tutan bir harcama günlüğünün alacağı kopyalardır.
Günlük maskeleme mi, veri maskeleme mi
core/data-masking listelenen metni modelden gizler ve bu ağ geçidinde, bağlı olduğu sürece gerçekleştirimi ağ geçidinin mesaj içeriklerini günlüğe yazmasını kapatır. Onun yanında günlük maskelemenin üzerinde işlem yapacağı bir şey kalmaz ve bir okuyucu ikisini tek bir koruma sanabilir. Bu yüzden ağ geçidi ikisini birlikte reddeder: values.log_masking bir şey listelediği sürece, ağ geçidindeki bir core/data-masking eklentisi, ağ geçidinin kendi Component’inin bir doğrulamasıyla derlemeyi durdurur. Ağ geçidine, gerçekleştirimi Manifest’te bağlanmış masked adlı bir tane eklemek şunu yazdırır:
[… omitted: what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][DEVELOPER_ERROR E0033] Component/Feature assertions caused by: Component "core/gateway/litellm" instance "router" assertion "log_masking_not_beside_data_masking": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: "router" lists what to mask in its logs under values.log_masking, and the core/data-masking attachment "masked" is on it too: that attachment's realization turns the gateway's logging of message contents off, so log masking would have nothing left to act on, and a reader could take the two for one protection. Remove values.log_masking to mask what travels, or the "masked" attachment to mask only what is loggedModelin veriyi görmesi gereken ama günlüklerin onu tutmaması gereken yerde günlük maskelemeye başvurun; modelin de görmemesi gereken yerde veri maskelemeye başvurun. İkisi de aynı patterns ve entities değerlerini okur, dolayısıyla bir liste ikisinde de aynı anlama gelir.
Derleyicinin yorumlamadığı yerler
Derleyici, deseni ve varlık türlerini ağ geçidinin yapılandırmasına dize olarak yönlendirir. İfadeyi derlemez, bir bilet numarasının ya da bir kişinin ne olduğunu bilmez ve ağ geçidinin taşıyacağı trafiği görmez. Bu çalışma alanının karşılaşabileceği her durdurma — tanıyıcı soketi bağlanmamış varlık türleri, çözümleyicinin İngilizcede tanımadığı bir varlık türü, aynı ağ geçidinde veri maskelemenin yanında günlük maskeleme, yönetilen modele giden bağlantının hiçbir kimlik bilgisi taşımaması — kataloğun kendi varlıkları tarafından, ağ geçidinin Component’inin ya da Recipe’sinin bir doğrulaması olarak bildirilir ve bunların hiçbiri metnin herhangi bir şekilde anlaşılmasına dayanmaz.
Uyarlama
- Yalnızca kalıpları maskeleyin.
values.log_maskingiçindenentitiesalanını ve iki tanıyıcı bileşeni, kenarları ve Release’teki girdileriyle birlikte kaldırın; kalıplar ağ geçidinin içinde eşleştirilir ve iki hizmete de ihtiyaç duymaz. - Daha fazla varlık türü maskeleyin. Bunları tanıyıcının kendi
sözcük dağarcığıyla
entitiesalanına ekleyin; çözümleyicinin İngilizcede tanımadığı bir tür derlemeyi durdurur ve tanıdığı türleri listeler. - Metni modelden de gizleyin.
values.log_maskingyerine ağ geçidine aynıpatternsveentitiesdeğerlerini listeleyen bircore/data-maskingeklentisi koyun ve bunun gerçekleştirimini Manifest içinde bağlayın. - İkinci bir model sunun. Başka bir model bileşenini kendine ait bir takma ad altında
modelssoketine, ağ geçidinin o bağlantıda ona sunduğu anahtarla birlikte bağlayın;values.modelağ geçidinin yayımladığı takma adı belirtmeyi sürdürür. Maskeleme, ağ geçidinin sunduğu her takma adın çağrılarına uygulanır.