रेट लिमिट्स और कॉन्करेंट रिक्वेस्ट्स को समझें
रेट लिमिट्स यह परिभाषित करती हैं कि आपकी API कुंजी एक विशिष्ट समय विंडो के भीतर कितने अनुरोध प्रोसेस कर सकती है, जिससे सर्वर ओवरलोड से बचा जाता है।
AnthRPC RPM (प्रति मिनट अनुरोध) और TPM (प्रति मिनट टोकन) दोनों सीमाएं लागू करता है। यदि आप RPM कैप से अधिक हो जाते हैं, तो आपको 429 Too Many Requests त्रुटि मिलती है। यह अक्सर तब होता है जब एक ही कुंजी से समानांतर अनुरोध भेजने वाले कई थ्रेड होते हैं। आपको इन पुनः प्रयासों को सहजता से संभालने के लिए अपने क्लाइंट कोड में एक्सपोनेंशियल बैकऑफ़ लागू करना होगा।
समानांतर अनुरोध भी मायने रखते हैं। जबकि आपके पास उच्च RPM सीमा हो सकती है, प्रति कुंजी एक साथ कनेक्शन की अधिकतम संख्या आमतौर पर कैप्ड होती है। यदि आप एक उच्च-थ्रूपुट पाइपलाइन चलाते हैं, तो इन मेट्रिक्स के लिए अपने डैशबोर्ड की निगरानी करें। संयुक्त सीमाओं को पार करने से अनुरोध कतारबंद होना या कनेक्शन ड्रॉप हो सकते हैं।
| सीमा प्रकार | प्रभाव | रिज़ोल्यूशन |
|---|---|---|
| RPM | 429 त्रुटि | बैकऑफ लागू करें |
| TPM | रेट लिमिट | बैच साइज कम करें |
| समानांतर | कतार/छोड़ें | समानांतरता कम करें |
टोकन कॉन्टेक्स्ट विंडो एरर्स हैंडल करना
टोकन कॉन्टेक्स्ट विंडो त्रुटियां तब होती हैं जब आपका इनपुट मॉडल द्वारा समर्थित अधिकतम लंबाई से अधिक हो जाता है, जिससे हार्ड फेलियर होता है।
प्रत्येक मॉडल की एक परिभाषित संदर्भ विंडो होती है, जैसे कि नवीनतम संस्करणों के लिए 200,000 टोकन। यह विंडो प्रॉम्प्ट और पूर्णता दोनों को शामिल करती है। यदि आपका संयुक्त टोकन गणना इस सीमा से अधिक हो जाती है, तो API तुरंत एक त्रुटि लौटाता है। आप प्रतिक्रिया को काट नहीं सकते; आपको इनपुट आकार का प्रबंधन करना होगा।
इससे बचने के लिए, अनुरोध भेजने से पहले टोकन गणना का अनुमान लगाएं। उन लाइब्रेरी का उपयोग करें जो टोकन की सटीक गणना करती हैं। यदि आप लंबे दस्तावेजों को प्रोसेस कर रहे हैं, तो पूरा टेक्स्ट भेजने से पहले चंकिंग रणनीतियों या सारांश पर विचार करें। हमेशा मॉडल की दस्तावेज़ीकरण में उसके विशिष्ट संदर्भ लंबाई के लिए जांचें।
संगतता के लिए बेस URL कॉन्फ़िगर करना
सही बेस यूआरएल को कॉन्फ़िगर करने से सुनिश्चित होता है कि आपके अनुरोध मार्शिंग त्रुटियों के बिना संबंधित Anthropic सर्वर तक पहुंचें।
मानक बेस यूआरएल HTTPS://api.anthropic.com है। हालांकि, कुछ क्षेत्र या विशिष्ट एंडपॉइंट अलग यूआरएल का उपयोग कर सकते हैं। गलत बेस यूआरएल का उपयोग कनेक्शन टाइमआउट या 404 त्रुटियों का कारण बनता है। हमेशा अपने क्लाइंट कॉन्फ़िगरेशन में यूआरएल की जांच करें कि क्या यह आधिकारिक दस्तावेज़ीकरण से मेल खाता है।
यदि आप एक OpenAI-कम्पैटिबल व्रैपर का उपयोग कर रहे हैं, तो सुनिश्चित करें कि बेस यूआरएल सही प्रॉक्सी की ओर इशारा करता है। मिसमैच यूआरएल्स अप्रत्याशित व्यवहार का कारण बन सकते हैं, जैसे कि हेडर का missing होना या गलत प्रमाणीकरण स्कीम्स। अपने एनवायरनमेंट वेरिएबल्स के लिए बेस यूआरएल सेटिंग की दोबारा जांच करें।
API कुंजी समाप्ति और रोटेशन का प्रबंधन
API कुंजी की समाप्ति और रोटेशन आपके खाते को अनधिकृत उपयोग से सुरक्षित रखता है यदि कोई कुंजी संक्रमित हो जाती है।
कुछ प्रदाता कुंजियों को एक निर्धारित अवधि के बाद समाप्त होने की अनुमति देते हैं। यदि आपकी कुंजी समाप्त हो जाती है, तो अनुरोध प्रमाणीकरण त्रुटि के साथ विफल हो जाएंगे। जोखिम को न्यूनतम करने के लिए नियमित रूप से अपनी कुंजियों को रोटेट करें। कुंजियों को सुरक्षित रूप से एनवायरनमेंट वेरिएबल्स या सीक्रेट मैनेजर में स्टोर करें, हार्ड-कोडेड स्रोत फाइलों में नहीं।
रोटेशन कम-ट्रैफिक अवधि के दौरान किया जाना चाहिए। एक नई कुंजी जनरेट करें, अपने क्लाइंट कॉन्फ़िगरेशन को अपडेट करें, और पुरानी कुंजी को रद्द करने से पहले कार्यक्षमता की पुष्टि करें। यह शून्य डाउनटाइम सुनिश्चित करता है। समाप्ति की अपेक्षा करने के लिए कुंजी निर्माण तिथियों का रिकॉर्ड रखें।
स्ट्रीमिंग प्रतिक्रिया समस्याओं को डिबग करना
स्ट्रीमिंग रिस्पॉन्स अक्सर सर्वर-सेंट इवेंट्स (SSE) के गलत हैंडलिंग या हेडर की कमी से उत्पन्न होते हैं।
स्ट्रीमिंग करते समय, API डेटा चंक में भेजता है। आपके क्लाइंट को इन चंक को सही ढंग से पार्स करना होगा। यदि आप एक चंक चूक जाते हैं या अंतिम इवेंट को संभालने में विफल होते हैं, तो आपकी एप्लिकेशन लटक सकती है या अधूरा पाठ प्रदर्शित कर सकती है। सुनिश्चित करें कि आपका कोड स्ट्रीम इवेंट प्रकार के लिए सुनता है और प्रत्येक टोकन को आने पर संसाधित करता है।
सामान्य गलतियों में शामिल है stop_reason field या स्ट्रीम कनेक्शन को बंद न करने की विफलता। संसाधन लीक से बचने के लिए स्ट्रीम के भीतर त्रुटियों को हमेशा संभालें। यदि आप एक कस्टम क्लाइंट बना रहे हैं, तो स्ट्रीमिंग लॉजिक को एब्स्ट्रैक्ट करने वाली लाइब्रेरी का उपयोग करें।
लागत कुशलता के लिए प्रॉम्प्ट संरचना अनुकूलन
प्रॉम्प्ट संरचना को अनुकूलित करने से टोकन उपयोग कम होता है, जिससे आउटपुट की गुणवत्ता बनाए रखते हुए आपकी लागत कम होती है।
आपके प्रॉम्प्ट में प्रत्येक टोकन की कीमत होती है। अनावश्यक व्हाइटस्पेस, अतिरिक्त निर्देशों और अत्यधिक उदाहरों को हटाएं। स्पष्ट निर्देशों के लिए संक्षिप्त भाषा और JSON या XML जैसे संरचित प्रारूपों का उपयोग करें। इससे इनपुट टोकन की संख्या में काफी कमी आती है।
सामान्य निर्देशों के लिए सिस्टम प्रॉम्प्ट और विशिष्ट कार्यों के लिए यूजर प्रॉम्प्ट का उपयोग करें। यह अलगाड मॉडल प्रदर्शन में सुधार कर सकता है और दोहराव वाले कॉन्टेक्स्ट की आवश्यकता कम कर सकता है। कुशल प्रॉम्प्ट की पहचान के लिए डैशबोर्ड में अपने टोकन उपयोग की निगरानी करें। लागत अनुकूलित करने के लिए उपयोग डेटा के आधार पर अपने प्रॉम्प्ट समायोजित करें।
टूल कॉलिंग इम्प्लीमेंटेशन में सामान्य गलतियाँ
टूल कॉलिंग गलतियां अक्सर गलत JSON स्कीमा या टूल प्रतिक्रियाओं के असंगत हैंडलिंग से जुड़ी होती हैं।
टूल्स का उपयोग करते समय, JSON स्कीमा को सटीक रूप से परिभाषित करें। मिसमैच वाले प्रकार या आवश्यक फ़ील्ड्स मॉडल को वैध टूल कॉल्स उत्पन्न करने से रोकते हैं। सुनिश्चित करें कि आपका क्लाइंट कोड टूल कॉल तर्कों को पार्स कर सके और फ़ंक्शन को सही तरीके से निष्पादित कर सके। मॉडल को जारी रखने के लिए परिणाम अपेक्षित प्रारूप में लौटाएं।
एक अन्य सामान्य त्रुटि टूल एरर्स को सही ढंग से हैंडल न करना है। यदि कोई टूल फेल हो जाता है, तो मॉडल को रिट्राई या एडजस्ट करने के लिए एक एरर मैसेज वापस करें। इससे आपके एप्लिकेशन की कुल विश्वसनीयता बढ़ती है। प्रोडक्शन में डिप्लॉय करने से पहले अपने टूल डिफिनिशंस का अच्छी तरह टेस्ट करें।
API कुंजियों के लिए सुरक्षा सर्वोत्तम प्रथाएं
सुरक्षा सर्वोत्तम प्रथाएं अनधिकृत एक्सेस को रोकती हैं और बिलिंग धोखाधड़ी के जोखिम को कम करती हैं।
अपनी API कुंजी को सार्वजनिक रिपॉजिटरीज या क्लाइंट-साइड कोड में कभी साझा न करें। कुंजियों को स्टोर करने के लिए एनवायरनमेंट वेरिएबल्स या सीक्रेट मैनेजमेंट सर्विसेज का उपयोग करें। कुंजियों को नियमित रूप से रोटेट करें और अनावश्यक कुंजियों को रद्द करें। असाधारण पैटर्न, जैसे कि टोकन खप में अचानक वृद्धि, के लिए अपनी API उपयोग निगरानी करें।
यदि आपका प्रदाता समर्थन करता है तो IP व्हाइटलिस्टिंग लागू करें। यह ज्ञात IP पतों तक पहुंच को सीमित करके सुरक्षा की एक अतिरिक्त परत जोड़ता है। डेटा के ट्रांजिट में एन्क्रिप्शन के लिए सभी API अनुरोधों के लिए HTTPS का उपयोग करें। अपनी कुंजी अनुमतियों का नियमित रूप से ऑडिट करें ताकि यह सुनिश्चित किया जा सके कि वे आपके एप्लिकेशन की आवश्यकताओं से मेल खाते हैं।
