Memahami Batas Kecepatan dan Permintaan Konkuren
Batas laju menentukan berapa banyak permintaan yang dapat diproses oleh kunci API Anda dalam jendela waktu tertentu, mencegah kelebihan beban server.
Anthropic menerapkan batas permintaan per menit (RPM) dan batas token per menit (TPM). Jika Anda melebihi batas RPM, Anda akan menerima kesalahan 429 Too Many Requests. Hal ini sering terjadi ketika beberapa utas mengirim permintaan paralel dari kunci yang sama. Anda harus menerapkan backoff eksponensial dalam kode klien Anda untuk menangani ulang coba ini dengan lancar.
Permintaan konkuren juga penting. Meskipun Anda mungkin memiliki batas RPM tinggi, jumlah maksimum koneksi simultan per kunci biasanya dibatasi. Jika Anda menjalankan pipeline throughput tinggi, pantau dasbor Anda untuk metrik ini. Melebihi batas konkuren dapat menyebabkan antrian permintaan atau koneksi yang terputus.
| Tipe Batas | Efek | Resolusi |
|---|---|---|
| RPM | 429 Error | Terapkan backoff |
| TPM | Batas Laju | Kurangi ukuran batch |
| Konkuren | Antrian/Drop | Kurangi paralelisme |
Menangani Error Jendela Konteks Token
Kesalahan jendela konteks token terjadi ketika input Anda melebihi panjang maksimum yang didukung model, menyebabkan kegagalan keras.
Setiap model memiliki jendela konteks yang ditentukan, seperti 200.000 token untuk varian terbaru. Jendela ini mencakup baik prompt maupun completion. Jika jumlah token gabungan Anda melebihi batas ini, API akan segera mengembalikan error. Anda tidak dapat sekadar memotong respons; Anda harus mengelola ukuran input.
Untuk menghindari ini, perkirakan jumlah token sebelum mengirim permintaan. Gunakan library yang menghitung token dengan akurat. Jika Anda memproses dokumen panjang, pertimbangkan strategi chunking atau peringkasan sebelum mengirim teks lengkap. Selalu periksa dokumentasi model untuk panjang konteks spesifiknya.
Mengkonfigurasi URL Dasar untuk Kompatibilitas
Mengonfigurasi URL dasar yang benar memastikan permintaan Anda mencapai server Anthropic yang dimaksud tanpa kesalahan pengalihan.
URL dasar standar adalah HTTPS://api.anthropic.com. Namun, beberapa wilayah atau endpoint tertentu mungkin menggunakan URL yang berbeda. Menggunakan URL dasar yang salah menyebabkan waktu tunggu koneksi atau kesalahan 404. Selalu verifikasi URL dalam konfigurasi klien Anda sesuai dengan dokumentasi resmi.
Jika Anda menggunakan wrapper OpenAI-compatible, pastikan base URL mengarah ke proxy yang benar. URL yang tidak cocok dapat menyebabkan perilaku tidak terduga, seperti header yang hilang atau skema autentikasi yang salah. Periksa kembali variabel lingkungan Anda untuk pengaturan base URL.
Mengelola Masa Berlaku dan Rotasi Kunci API
Kedaluwarsa dan rotasi kunci API melindungi akun Anda dari penggunaan tidak sah jika kunci dikompromikan.
Beberapa penyedia mengizinkan kunci kedaluwarsa setelah periode tertentu. Jika kunci Anda kedaluwarsa, permintaan akan gagal dengan kesalahan autentikasi. Putar kunci Anda secara teratur untuk meminimalkan risiko. Simpan kunci dengan aman di variabel lingkungan atau manajer rahasia, bukan dalam file sumber yang dikodekan secara keras.
Rotasi harus dilakukan selama periode lalu lintas rendah. Hasilkan kunci baru, perbarui konfigurasi klien Anda, dan verifikasi fungsionalitas sebelum mencabut kunci lama. Ini memastikan downtime nol. Simpan catatan tanggal pembuatan kunci untuk mengantisipasi kedaluwarsa.
Debugging Masalah Respons Streaming
Masalah respons streaming sering muncul dari penanganan Server-Sent Events (SSE) yang salah atau header yang hilang.
Saat streaming, API mengirim data dalam potongan. Klien Anda harus mengurai potongan-potongan ini dengan benar. Jika Anda melewatkan potongan atau gagal menangani peristiwa akhir, aplikasi Anda mungkin macet atau menampilkan teks yang tidak lengkap. Pastikan kode Anda mendengarkan jenis peristiwa stream dan memproses setiap token saat tiba.
Kesalahan umum termasuk mengabaikan stop_reason field or failing to close the stream connection. Always handle errors within the stream to prevent resource leaks. Use libraries that abstract the streaming logic if you are building a custom client.
Mengoptimalkan Struktur Prompt untuk Efisiensi Biaya
Mengoptimalkan struktur prompt mengurangi penggunaan token, menurunkan biaya Anda sambil mempertahankan kualitas output.
Setiap token dalam prompt Anda berharga uang. Hapus spasi berlebih, instruksi redundan, dan contoh berlebihan. Gunakan bahasa yang ringkas dan format terstruktur seperti JSON atau XML untuk instruksi yang jelas. Ini mengurangi jumlah token input secara signifikan.
Perhatikan penggunaan prompt sistem untuk instruksi umum dan prompt pengguna untuk tugas spesifik. Pemisahan ini dapat meningkatkan kinerja model dan mengurangi kebutuhan konteks berulang. Pantau penggunaan token Anda di dasbor untuk mengidentifikasi prompt yang tidak efisien. Sesuaikan prompt Anda berdasarkan data penggunaan untuk mengoptimalkan biaya.
Kesalahan Umum dalam Implementasi Tool Calling
Kesalahan pemanggilan alat sering melibatkan skema JSON yang salah atau penanganan respons alat yang tidak tepat.
Saat menggunakan tools, tentukan skema JSON secara akurat. Jenis yang tidak cocok atau bidang yang diperlukan menyebabkan model gagal menghasilkan panggilan alat yang valid. Pastikan kode klien Anda dapat memarsing argumen panggilan alat dan mengeksekusi fungsi dengan benar. Kembalikan hasil dalam format yang diharapkan agar model dapat melanjutkan.
Kesalahan umum lainnya adalah tidak menangani kesalahan alat dengan baik. Jika alat gagal, kirimkan pesan kesalahan ke model agar dapat mencoba lagi atau menyesuaikan. Ini meningkatkan keandalan keseluruhan aplikasi Anda. Uji definisi alat Anda secara menyeluruh sebelum diterapkan ke produksi.
Praktik Keamanan Terbaik untuk Kunci API
Praktik keamanan terbaik mencegah akses tidak sah ke sumber daya API Anda dan mengurangi risiko penipuan penagihan.
Jangan pernah membagikan kunci API Anda di repositori publik atau kode sisi klien. Gunakan variabel lingkungan atau layanan manajemen rahasia untuk menyimpan kunci. Putar kunci secara teratur dan cabut kunci yang tidak digunakan. Pantau penggunaan API Anda untuk pola tidak biasa, seperti lonjakan tiba-tiba dalam konsumsi token.
Terapkan pembatasan IP jika penyedia Anda mendukungnya. Ini menambahkan lapisan keamanan tambahan dengan membatasi akses ke alamat IP yang dikenal. Gunakan HTTPS untuk semua permintaan API untuk mengenkripsi data saat ditransmisikan. Audit izin kunci Anda secara teratur untuk memastikan sesuai dengan kebutuhan aplikasi Anda.
