ทำความเข้าใจขีดจำกัดอัตราและการขอพร้อมกัน
อัตราจำกัดการเรียกข้อมูลกำหนดจำนวนคำขอที่คีย์ API ของคุณสามารถประมวลผลได้ในช่วงเวลาเฉพาะ เพื่อป้องกันไม่ให้เซิร์ฟเวอร์ล้น
Anthropy กำหนดทั้งขีดจำกัดจำนวนคำขอต่อนาที (RPM) และขีดจำกัดโทเค็นต่อนาที (TPM) หากคุณเกินขีดจำกัด RPM คุณจะรับข้อผิดพลาด 429 Too Many Requests สิ่งนี้มักเกิดขึ้นเมื่อเธรดหลายตัวส่งคำขอแบบขนานจากคีย์เดียวกัน คุณต้องนำไปใช้การถดถอยแบบเอกซ์โพเนนเชียลในโค้ดไคลเอนต์ของคุณเพื่อจัดการกับการลองใหม่เหล่านี้ได้อย่างราบรื่น
คำขอพร้อมกันก็สำคัญเช่นกัน แม้ว่าคุณจะมีขีดจำกัด RPM สูง แต่จำนวนการเชื่อมต่อพร้อมกันสูงสุดต่อคีย์มักจะจำกัดไว้ หากคุณรันสายการผลิตที่มีปริมาณงานสูง ให้ตรวจสอบแดชบอร์ดของคุณสำหรับเมตริกเหล่านี้ การเกินขีดจำกัดความพร้อมใช้งานพร้อมกันอาจทำให้คำขอเข้าคิวหรือการเชื่อมต่อหลุด
| 限制类型 | ผลลัพธ์ | ความละเอียด |
|---|---|---|
| RPM | 429 Error | ใช้การถอยหลัง |
| TPM | อัตราจำกัด | ลดขนาดแบทช์ |
| พร้อมกัน | จัดคิว/ตัดออก | ลดความพร้อมใช้งานแบบขนาน |
การจัดการข้อผิดพลาดหน้าต่างบริบทของโทเค็น
ข้อผิดพลาด context window ของโทเค็นเกิดขึ้นเมื่อ input ของคุณเกินความยาวสูงสุดที่โมเดลรองรับ ทำให้เกิดข้อผิดพลาดแบบ hard
แต่ละโมเดลมีหน้าต่างบริบทที่กำหนดไว้ เช่น 200,000 token สำหรับรุ่นล่าสุด หน้าต่างบริบทนี้รวมทั้ง prompt และผลลัพธ์ หากจำนวน token รวมของคุณเกินขีดจำกัดนี้ API จะส่งข้อผิดพลาดทันที คุณไม่สามารถเพียงตัดทอนผลลัพธ์ได้ คุณต้องจัดการขนาดข้อมูลนำเข้า
เพื่อหลีกเลี่ยงปัญหานี้ ให้ประมาณการนับโทเค็นก่อนส่งคำขอ ใช้ไลบรารีที่นับโทเค็นได้อย่างแม่นยำ หากคุณกำลังประมวลผลเอกสารยาว ให้พิจารณาใช้กลยุทธ์การแบ่งชิ้น (chunking) หรือการสรุปความก่อนส่งข้อความเต็ม ตรวจสอบเอกสารของโมเดลเสมอสำหรับความยาวบริบทเฉพาะของมัน
กำลังกำหนดค่า URL พื้นฐานเพื่อความเข้ากันได้
การกำหนดค่า URL พื้นฐานที่ถูกต้องจะทำให้การเรียกใช้ของคุณไปถึงเซิร์ฟเวอร์ของ Anthropic ที่ตั้งใจไว้โดยไม่มีข้อผิดพลาดในการกำหนดเส้นทาง
URL ฐานมาตรฐานคือ HTTPS://api.anthropic.com อย่างไรก็ตาม บางภูมิภาคหรือเอนด์พอยต์เฉพาะอาจใช้ URL ที่แตกต่างกัน การใช้ URL ฐานที่ผิดจะส่งผลให้เกิดการเชื่อมต่อหมดเวลาหรือข้อผิดพลาด 404 เสมอตรวจสอบให้แน่ใจว่า URL ในการตั้งค่าไคลเอนต์ของคุณตรงกับเอกสารอย่างเป็นทางการ
หากคุณใช้ wrapper ที่เข้ากันได้กับ OpenAI โปรดตรวจสอบว่า base URL ชี้ไปยัง proxy ที่ถูกต้อง URL ที่ไม่ตรงกันอาจนำไปสู่พฤติกรรมที่ไม่คาดคิด เช่น การขาด headers หรือระบบการตรวจสอบสิทธิ์ที่ไม่ถูกต้อง โปรดตรวจสอบตัวแปรสภาพแวดล้อมของคุณสำหรับการตั้งค่า base URL อย่างละเอียด
การจัดการการหมดอายุและการหมุนเวียน API Key
การหมดอายุและการหมุนเวียนคีย์ API ปกป้องบัญชีของคุณจากการใช้งานโดยไม่ได้รับอนุญาต หากคีย์ถูกเปิดเผย
บางผู้ให้บริการอนุญาตให้คีย์หมดอายุหลังจากช่วงเวลาหนึ่ง หากคีย์ของคุณหมดอายุ คำขอจะล้มเหลวด้วยข้อผิดพลาดการตรวจสอบสิทธิ์ ควรหมุนคีย์ของคุณเป็นประจำเพื่อลดความเสี่ยง เก็บคีย์อย่างปลอดภัยในตัวแปรสภาพแวดล้อมหรือผู้จัดการความลับ ไม่ใช่ในไฟล์ซอร์สที่เขียนตายตัว
ควรทำในช่วงเวลาที่การจราจรต่ำ สร้างคีย์ใหม่ อัปเดตการกำหนดค่าไคลเอนต์ของคุณ และตรวจสอบการทำงานก่อนเพิกถอนคีย์เก่า สิ่งนี้รับประกันการ downtime เป็นศูนย์ เก็บบันทึกวันที่การสร้างคีย์เพื่อคาดการณ์วันหมดอายุ
การแก้ไขปัญหาคำตอบแบบสตรีมมิ่ง
ปัญหาการตอบสนองแบบสตรีมมักเกิดจากการจัดการเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์ (SSE) ไม่ถูกต้องหรือขาดส่วนหัว
เมื่อสตรีม API จะส่งข้อมูลเป็นชิ้นส่วน ไคลเอนต์ของคุณต้องแยกวิเคราะห์ชิ้นส่วนเหล่านี้ได้อย่างถูกต้อง หากคุณพลาดชิ้นส่วนหรือล้มเหลวในการจัดการเหตุการณ์สุดท้าย แอปพลิเคชันของคุณอาจค้างหรือแสดงข้อความที่ไม่สมบูรณ์ ตรวจสอบให้แน่ใจว่าโค้ดของคุณฟังเหตุการณ์สตรีมและประมวลผลแต่ละโทเค็นเมื่อมาถึง
ข้อผิดพลาดทั่วไปรวมถึงการเพิกเฉยต่อ stop_reason field or failing to close the stream connection. Always handle errors within the stream to prevent resource leaks. Use libraries that abstract the streaming logic if you are building a custom client.
การปรับโครงสร้าง Prompt เพื่อประสิทธิภาพด้านต้นทุน
การปรับโครงสร้าง prompt ให้เหมาะสมช่วยลดการใช้ token ลดต้นทุนของคุณขณะยังคงรักษาคุณภาพของผลลัพธ์
โทเค็นทุกตัวใน prompts ของคุณมีค่าใช้จ่าย ลบช่องว่างที่ไม่จำเป็น คำสั่งที่ซ้ำซ้อน และตัวอย่างที่มากเกินไป ใช้ภาษาที่กระชับและรูปแบบที่มีโครงสร้างเช่น JSON หรือ XML สำหรับคำแนะนำที่ชัดเจน วิธีนี้ลดจำนวนโทเค็นอินพุตได้อย่างมีนัยสำคัญ
พิจารณาใช้ system prompts สำหรับคำแนะนำทั่วไปและ user prompts สำหรับงานเฉพาะ การแยกส่วนนี้สามารถปรับปรุงประสิทธิภาพของโมเดลและลดความต้องการ context ซ้ำซ้อน ตรวจสอบการใช้โทเค็นของคุณในแดชบอร์ดเพื่อระบุ prompts ที่ไม่มีประสิทธิภาพ ปรับปรุง prompts ของคุณตามข้อมูลการใช้งานเพื่อปรับให้เหมาะสมกับต้นทุน
ข้อผิดพลาดทั่วไปในการใช้งาน Tool Calling
ข้อผิดพลาดในการเรียกใช้ Tool มักเกี่ยวข้องกับสคีมา JSON ที่ไม่ถูกต้องหรือการจัดการการตอบกลับเครื่องมือที่ไม่เหมาะสม
เมื่อใช้เครื่องมือ กำหนดสคีมา JSON ให้แม่นยำ ประเภทข้อมูลที่คลาดเคลื่อนหรือฟิลด์ที่จำเป็นที่ขาดหายไปจะทำให้โมเดลล้มเหลวในการสร้างการเรียกใช้เครื่องมือที่ถูกต้อง ตรวจสอบให้แน่ใจว่าโค้ดไคลเอนต์ของคุณสามารถแยกวิเคราะห์อาร์กิวเมนต์การเรียกใช้เครื่องมือและเรียกใช้ฟังก์ชันได้อย่างถูกต้อง ส่งผลลัพธ์กลับในรูปแบบที่คาดหวังเพื่อให้โมเดลสามารถดำเนินการต่อได้
ข้อผิดพลาดทั่วไปอีกอย่างหนึ่งคือการไม่จัดการข้อผิดพลาดของเครื่องมืออย่างเหมาะสม หากเครื่องมือล้มเหลว ให้ส่งข้อความข้อผิดพลาดกลับไปยังโมเดลเพื่อให้มันสามารถลองใหม่หรือปรับแต่งได้ สิ่งนี้ช่วยปรับปรุงความน่าเชื่อถือโดยรวมของแอปพลิเคชันของคุณ ทดสอบคำจำกัดความของเครื่องมือของคุณอย่างละเอียดก่อนนำไปใช้งานจริง
แนวทางปฏิบัติด้านความปลอดภัยที่ดีที่สุดสำหรับคีย์ API
แนวทางปฏิบัติด้านความปลอดภัยที่ดีที่สุดช่วยป้องกันการเข้าถึงทรัพยากร API ของคุณโดยไม่ได้รับอนุญาตและลดความเสี่ยงจากการฉ้อโกงการเรียกเก็บเงิน
อย่าแชร์คีย์ API ของคุณในที่สาธารณะหรือโค้ดฝั่งไคลเอนต์ ใช้ตัวแปรสภาพแวดล้อมหรือบริการจัดการความลับเพื่อเก็บคีย์ หมุนเวียนคีย์เป็นประจำและเพิกถอนคีย์ที่ไม่ได้ใช้งาน ตรวจสอบการใช้งาน API ของคุณเพื่อหารูปแบบผิดปกติ เช่น การเพิ่มขึ้นอย่างกะทันหันของการบริโภคโทเค็น
หากผู้ให้บริการรองรับ ให้เปิดใช้งานการจำกัด IP (IP whitelisting) เพื่อเพิ่มความปลอดภัยโดยจำกัดการเข้าถึงเฉพาะ IP ที่รู้จัก ใช้ HTTPS สำหรับการร้องขอ API ทั้งหมดเพื่อเข้ารหัสข้อมูลระหว่างการส่ง ตรวจสอบสิทธิ์ของคีย์เป็นระยะเพื่อให้แน่ใจว่าสอดคล้องกับความต้องการของแอปพลิเคชัน
