AI Gateway: Politika, Rate Limiting ve Monitoring

LLM Trafiğinin Güvenliği: Aradaki Katmanı Tasarlanmasına Dikkat Çekmek

Neden Bir API Gateway Yetmiyor?

Kurumsal bir API gateway kurmak on yıldır standart bir pratik. Ama bir LLM ttrafiğini yönetmek, klasik REST API yönetimiyle kıyaslandğında tamamen farklı bir ihtiyaç haritasi çıkarıyor karşımıza. Neden? Çünku bir HTTP isteğinin ‘tehlikeli’ olup olmadigi genellikle URL, method ve header’dan anlaşılır. Bir LLM isteğinin tehlikeli olup olmadığı ise ancak dogal dil anlayışıyla anlaşılır.

AI Gateway, LLM ile dünya arasına konan ve iki yönlü akışı izleyen, filtreleyen, politika uygulayan bir aracı katmandır. Bu katman olmadan, kuruluşların LLM’e ne sorulduğunu, ne yanıt alındığını ve bu akım içerisinde neler yasandığını görmesi mümkün değildir.

AI Gateway’in Beş Temel İşlevi

Rate Limiting: Token Ekonomisinde Korunma

Klasik API rate limiting istek sayısını sayar. AI Gateway’de ise kota, token bazlıdır: bir kullanıcı kac prompt token, kaç completion token tüketebilir? Bu ayrım kritiktir çünkü tek bir uzun istek, binlerce kısa istekle aynı maliyeti oluşturabilir.

Politika Motoru: LLM Trafiğine Özgu Kurallar

AI Gateway’in kalbi politika motorudur. Bu motor; istek oncesi (pre-request), yanit oncesi (pre-response) ve yanıt sonrasi (post-response) devreye giren kural setlerini içerir.

Politika Örnekleri

• PII Politikasi: Prompt içerisinde TC kimlik, kredi karti veya e-posta paterni tespit edilirse maskeleme uygula veya blokla.

• Konu Kısıtlama: Belirli konu kümelerine yapilan sorguları yönlendir veya logla.

• Dil Denetimi: Üretilen yanit icerisinde zararlı içerik tespiti.

• Sistem Talimatı Koruma: Kullanıcının sistem talimatı değiştirme girişimlerini tespit et.

• Prompt Injection Filtresi: Bilinen injection pattern’larına karşı sınıflandirıcı çalıştırılır.

Gözlemlenebilirlik: Görunmeyeni Görülür kılmak

AI Gateway’in en kritik ancak en az konuşulan işlevi, gozlemlenebilirlik sağlamasıdır. Bir LLM sisteminde neler olduğunu anlamak icin aşağıdaki ölçütlerin izlenmesi gerekir:

• Prompt/response latency (p50, p95, p99) — model ve ağı ayrı olarak

• Token utilizasyon oranı — maliyet optimizasyonu ve anomali tespiti

• Reddetme oranları (refuse rate) — aşır yüksekse model, aşırı düşükse güvenlik riski

• PII tespit oranları — veri gizliliği uyumluluğu için

• Injection tespit oranları — saldırı girişimleri

• Kullanıcı bazı anomali skoru — normal davranıştan sapma

Maliyet Kontrolü: AI Gateway’in Kazandıran Savaşı

2023–2024 doneminde pek cok kuruluş, beklenmedik LLM maliyetleriyle karşılaştı. Kullanıcıların cok uzun prompt göndermesi, otomasyon scriptlerinin kontrolsüz token tüketmesi veya model yanıtlarının gereksiz uzunlukta olmasi gibi durumlar, aylık faturaları katlayabilir.

Maliyet Anomali Senaryosu

Bir kullanıcı, RAG sistemine 50 sayfalık bir belge upload edip ‘bu belgeyi ozetle’ diyor. Belge chunklara bölünmüyor, doğrudan context’e ekleniyor. Tek bir istek 100K prompt token tüketiyor — günlük kotanın tamamı. AI Gateway bu paterni tespit ederek kullanıcıya chunk limiti uygulamalı ve aşım durumunda uyarı vermelidir.

Açık Kaynak vs. Yönetilen AI Gateway Başlığı

Kaynaklar ve İleri Okuma Tavsiyelerim

**[OWASP LLM Top 10, 2025] OWASP Foundation (2025). **“OWASP Top 10 for Large Language Model Applications 2025”. OWASP 2025. owasp.org/www-project-top-10-for-large-language-model-applications

**[NIST AI RMF, 2023] NIST (2023). **“Artificial Intelligence Risk Management Framework (AI RMF 1.0)”. NIST.gov 2023. nist.gov/publications/artificial-intelligence-risk-management-framework-ai-rmf-10

**[Rebedea et al., 2023] Rebedea, T. et al. (2023). **“NeMo Guardrails: A Toolkit for Controllable and Safe LLM Applications”. EMNLP 2023. arxiv.org/abs/2310.10501