Hız Limitleri ve Eşzamanlı İstekleri Anlamak
Rate limitler, API anahtarınızın belirli bir zaman penceresi içinde işleyebileceği istek sayısını belirler ve sunucu aşırı yüklenmesini önler.
Anthropic hem dakika başına istek (RPM) hem de dakika başına token (TPM) limitleri uygular. RPM sınırını aşarsanız, 429 Çok Fazla İstek hatası alırsınız. Bu, genellikle aynı anahtardan paralel istekler gönderen birden fazla iş parçacığı olduğunda gerçekleşir. Bu yeniden denemeleri zarifçe yönetmek için istemci kodunuzda üstel geri çekilme (exponential backoff) uygulamanız gerekir.
Eşzamanlı istekler de önemlidir. Yüksek RPM sınırınız olsa da, anahtar başına eşzamanlı bağlantıların maksimum sayısı genellikle sınırlandırılmıştır. Yüksek veri akışlı bir pipeline çalıştırıyorsanız, bu metrikler için panonuzu izleyin. Eşzamanlılık sınırlarını aşmak, istek kuyruklanmasına veya kopan bağlantılara neden olabilir.
| Sınır Türü | Etki | Çözünürlük |
|---|---|---|
| RPM | 429 Hatası | Geri çekilme uygulayın |
| TPM | Saniye Başına İstek Limiti | Toplam boyutu azaltın |
| Eşzamanlı | Kuyruğa Al/Drop | Eşzamanlılığı azaltın |
Token Bağlam Penceresi Hatalarını İşleme
Token bağlam penceresi hataları, girdinizin modelin maksimum desteklenen uzunluğunu aşması durumunda, sert bir hataya neden olur.
Her modelin tanımlı bir bağlam penceresi vardır, örneğin en son varyantlar için 200.000 token. Bu pencere hem istemi hem de tamamlamayı içerir. Birleşik token sayınız bu limiti aşarsa API hemen bir hata döndürür. Yanıtı basitçe kısaltamazsınız; giriş boyutunu yönetmeniz gerekir.
Bunu önlemek için istek göndermeden önce token sayılarını tahmin edin. Tokenları doğru sayan kütüphaneler kullanın. Uzun belgeler işliyorsanız, tam metiyi göndermeden önce parçalama stratejileri veya özetleme yöntemlerini düşünün. Modelin belirli bağlam uzunluğu için belgelerine her zaman bakın.
Uyumluluk İçin Temel URL'lerin Yapılandırılması
Doğru temel URL'nin yapılandırılması, isteklerin yönlendirme hataları olmadan hedef Anthropic sunucularına ulaşmasını sağlar.
Standart base URL HTTPS://api.anthropic.com'dur. Ancak bazı bölgeler veya belirli uç noktalar farklı URL'ler kullanabilir. Yanlış base URL kullanmak bağlantı zaman aşımına veya 404 hatalarına neden olur. İstemci yapılandırmanızdaki URL'nin resmi dokümantasyonla eşleştiğini her zaman doğrulayın.
OpenAI-uyumlu bir wrapper kullanıyorsanız, base URL'nin doğru proxy'yi işaret ettiğinden emin olun. Eşleşmeyen URL'ler eksik başlıklar veya yanlış kimlik doğrulama şemaları gibi beklenmeyen davranışlara yol açabilir. Base URL ayarı için ortam değişkenlerinizi iki kez kontrol edin.
API Anahtarı Son Kullanma Tarihi ve Döndürme Yönetimi
API anahtarı süresi ve yenileme, anahtar ele geçirilirse hesabınızı yetkisiz kullanıma karşı korur.
Bazı sağlayıcılar anahtarların belirli bir süre sonra süresinin dolmasına izin verir. Anahtarınız süresi dolduğunda istekler kimlik doğrulama hatası ile başarısız olur. Riski en aza indirmek için anahtarlarınızı düzenli olarak yenileyin. Anahtarları güvenli bir şekilde ortam değişkenlerinde veya gizli yöneticilerde saklayın, kaynak dosyalarda sabit kodlanmış olarak değil.
Döndürme işlemi düşük trafik dönemlerinde yapılmalıdır. Yeni bir anahtar oluşturun, istemci yapılandırmanızı güncelleyin ve eski anahtarı iptal etmeden önce işlevselliği doğrulayın. Bu, sıfır kesinti sağlar. Son kullanma tarihlerini tahmin etmek için anahtar oluşturma tarihlerinin bir kaydını tutun.
Akış Yanıtı Sorunlarını Hata Ayıklama
Akış yanıtı sorunları genellikle Sunucu Tarafı Olaylarının (SSE) yanlış yönetilmesinden veya eksik başlıklardan kaynaklanır.
Akış (streaming) sırasında API verileri parçalar halinde gönderir. İstemciniz bu parçaları doğru şekilde ayrıştırmalıdır. Bir parçayı kaçırırsanız veya son olayı işlemezseniz uygulamanız takılabilir veya eksik metin görüntülenebilir. Kodunuzun stream olay türünü dinlediğinden ve her token geldiğinde işlediğinden emin olun.
Yaygın hatalar arasında şunu göz ardı etmek yer alır stop_reason field veya akış bağlantısını kapatmama. Kaynak sızıntılarını önlemek için akış içinde hataları her zaman yönetin. Özel bir istemci oluşturuyorsanız akış mantığını soyutlayan kütüphaneler kullanın.
Maliyet Verimliliği İçin İstem Yapısı Optimizasyonu
İstem yapısının optimize edilmesi belirteç kullanımını azaltır, çıktı kalitesini korurken maliyetlerinizi düşürür.
İstemcinizdeki her token para demektir. Gereksiz boşlukları, yinelenen talimatları ve aşırı örnekleri kaldırın. Net talimatlar için JSON veya XML gibi yapılandırılmış formatlar kullanın. Bu, giriş token sayısını önemli ölçüde azaltır.
Genel talimatlar için sistem istemlerini ve belirli görevler için kullanıcı istemlerini kullanmayı göz önünde bulundurun. Bu ayrım, model performansını iyileştirebilir ve tekrarlayan bağlam ihtiyacını azaltabilir. Verimsiz istemleri belirlemek için panodaki jeton kullanımınızı izleyin. Maliyetleri optimize etmek için kullanım verilerine göre istemlerinizi ayarlayın.
Araç Çağırma (Tool Calling) Uygulamasında Yaygın Hatalar
Araç çağırmadaki hatalar genellikle yanlış JSON şemaları veya araç yanıtlarının uygun şekilde işlenmemesiyle ilgilidir.
Araçlar kullanırken, JSON şemasını doğru şekilde tanımlayın. Eşleşmeyen veri tipleri veya gerekli alanlar, modelin geçerli araç çağrıları oluşturmasını engeller. İstemci kodunuzun araç çağrı argümanlarını ayrıştırmasını ve işlevi doğru şekilde çalıştırmasını sağlayın. Modelin devam edebilmesi için sonucu beklenen formatta döndürün.
Yaygın bir hata, araç hatalarını zarifçe yönetmemektir. Bir araç başarısız olursa, modelin yeniden denemesi veya ayar yapması için bir hata mesajı döndürün. Bu, uygulamanızın genel güvenilirliğini artırır. Üretim ortamına dağıtmadan önce araç tanımlarınızı kapsamlı bir şekilde test edin.
API Anahtarları İçin Güvenlik En İyi Uygulamaları
Güvenlik en iyi uygulamaları, API kaynaklarınıza yetkisiz erişimi önler ve fatura hilesi riskini azaltır.
Teilen Sie Ihren API-Schlüssel niemals in öffentlichen Repositories oder Client-Code. Verwenden Sie Umgebungsvariablen oder Secret-Management-Dienste, um Schlüssel zu speichern. Rotieren Sie Schlüssel regelmäßig und widerrufen Sie ungenutzte Schlüssel. Überwachen Sie Ihre API-Nutzung auf ungewöhnliche Muster, wie plötzliche Spitzen im Token-Verbrauch.
Sağlayıcınız destekliyorsa IP beyaz listesi uygulayın. Bu, erişimi bilinen IP adresleriyle kısıtlayarak ek bir güvenlik katmanı sağlar. Verilerin aktarım sırasında şifrelenmesi için tüm API isteklerinde HTTPS kullanın. Anahtar izinlerinizi düzenli olarak denetleyerek bunların uygulamanızın ihtiyaçlarıyla eşleştiğinden emin olun.
