Hiểu về Giới hạn Tốc độ và Yêu cầu Đồng thời
Giới hạn tốc độ xác định số lượng yêu cầu mà khóa API của bạn có thể xử lý trong một khoảng thời gian cụ thể, ngăn ngừa quá tải máy chủ.
Anthropic áp dụng cả giới hạn yêu cầu mỗi phút (RPM) và giới hạn token mỗi phút (TPM). Nếu bạn vượt quá giới hạn RPM, bạn sẽ nhận được lỗi 429 Too Many Requests. Điều này thường xảy ra khi nhiều luồng gửi yêu cầu song song từ cùng một khóa. Bạn phải triển khai cơ chế backoff theo cấp số nhân trong mã khách hàng của mình để xử lý các lần thử lại một cách mượt mà.
Yêu cầu đồng thời cũng quan trọng. Trong khi bạn có thể có giới hạn RPM cao, số lượng kết nối đồng thời tối đa mỗi khóa thường bị giới hạn. Nếu bạn chạy một quy trình thông lượng cao, hãy theo dõi bảng điều khiển của bạn cho các số liệu này. Vượt quá giới hạn đồng thời có thể gây ra xếp hàng yêu cầu hoặc kết nối bị ngắt.
| Loại giới hạn | Hiệu ứng | Độ phân giải |
|---|---|---|
| RPM | Lỗi 429 | Triển khai độ trễ |
| TPM | Giới hạn tốc độ | Giảm kích thước lô |
| Đồng thời | Xếp hàng / Loại bỏ | Giảm tính song song |
Xử lý lỗi cửa sổ ngữ cảnh token
Lỗi cửa sổ ngữ cảnh token xảy ra khi đầu vào của bạn vượt quá độ dài tối đa được hỗ trợ của mô hình, gây ra lỗi cứng.
Mỗi mô hình có một cửa sổ ngữ cảnh xác định, chẳng hạn như 200.000 token cho các biến thể mới nhất. Cửa sổ ngữ cảnh này bao gồm cả lời nhắc và kết quả. Nếu tổng số token của bạn vượt quá giới hạn này, API sẽ trả về lỗi ngay lập tức. Bạn không thể chỉ cắt ngắn phản hồi; bạn phải quản lý kích thước đầu vào.
Để tránh điều này, hãy ước tính số lượng token trước khi gửi yêu cầu. Sử dụng các thư viện đếm token chính xác. Nếu bạn đang xử lý các tài liệu dài, hãy cân nhắc các chiến lược phân đoạn hoặc tóm tắt trước khi gửi toàn bộ văn bản. Luôn kiểm tra tài liệu của mô hình về độ dài cửa sổ ngữ cảnh cụ thể của nó.
Cấu hình URL cơ sở cho khả năng tương thích
Cấu hình URL cơ sở chính xác đảm bảo các yêu cầu của bạn đến đúng máy chủ Anthropic mà không có lỗi định tuyến.
URL cơ sở tiêu chuẩn là HTTPS://api.anthropic.com. Tuy nhiên, một số khu vực hoặc điểm cuối cụ thể có thể sử dụng các URL khác nhau. Sử dụng URL cơ sở sai sẽ dẫn đến thời gian chờ kết nối hoặc lỗi 404. Luôn xác minh URL trong cấu hình máy khách của bạn khớp với tài liệu chính thức.
Nếu bạn đang sử dụng wrapper tương thích OpenAI, hãy đảm bảo URL cơ bản trỏ đến proxy chính xác. URL không khớp có thể dẫn đến hành vi không mong muốn, chẳng hạn như thiếu tiêu đề hoặc lược thức xác thực không chính xác. Hãy kiểm tra kỹ các biến môi trường của bạn cho cài đặt URL cơ bản.
Quản lý thời hạn và xoay vòng khóa API
Hết hạn và xoay vòng khóa API bảo vệ tài khoản của bạn khỏi việc sử dụng trái phép nếu khóa bị lộ.
Một số nhà cung cấp cho phép khóa hết hạn sau một khoảng thời gian nhất định. Nếu khóa của bạn hết hạn, các yêu cầu sẽ thất bại với lỗi xác thực. Thường xuyên xoay vòng các khóa của bạn để giảm thiểu rủi ro. Lưu trữ khóa một cách bảo mật trong các biến môi trường hoặc bộ quản lý bí mật, không phải trong các tệp nguồn được mã hóa cứng.
Việc xoay khóa nên được thực hiện trong các thời kỳ ít lưu lượng truy cập. Tạo một khóa mới, cập nhật cấu hình máy khách của bạn và xác minh chức năng trước khi thu hồi khóa cũ. Điều này đảm bảo không gián đoạn. Giữ hồ sơ về ngày tạo khóa để dự đoán ngày hết hạn.
Gỡ lỗi Vấn đề Phản hồi Streaming
Các vấn đề với phản hồi streaming thường phát sinh từ việc xử lý không đúng các sự kiện do máy chủ gửi (SSE) hoặc thiếu tiêu đề.
Khi stream, API gửi dữ liệu dưới dạng các chunk. Khách hàng của bạn phải phân tích các chunk này một cách chính xác. Nếu bạn bỏ lỡ một chunk hoặc không xử lý sự kiện cuối cùng, ứng dụng của bạn có thể bị treo hoặc hiển thị văn bản không đầy đủ. Đảm bảo mã của bạn lắng nghe loại sự kiện stream và xử lý từng token khi nó đến.
Những sai lầm phổ biến bao gồm việc bỏ qua stop_reason field hoặc không đóng kết nối phát trực tiếp. Luôn xử lý lỗi trong quá trình phát trực tiếp để ngăn ngừa rò rỉ tài nguyên. Sử dụng các thư viện trừu tượng hóa logic phát trực tiếp nếu bạn đang xây dựng một khách hàng tùy chỉnh.
Tối ưu hóa cấu trúc Prompt để tiết kiệm chi phí
Tối ưu hóa cấu trúc prompt giúp giảm sử dụng token, giảm chi phí của bạn trong khi vẫn duy trì chất lượng đầu ra.
Mỗi token trong lời nhắc của bạn đều tốn tiền. Loại bỏ khoảng trắng không cần thiết, hướng dẫn dư thừa và các ví dụ quá mức. Sử dụng ngôn ngữ súc tích và các định dạng có cấu trúc như JSON hoặc XML cho các hướng dẫn rõ ràng. Điều này giảm đáng kể số lượng token đầu vào.
Hãy xem xét việc sử dụng lời nhắc hệ thống cho các hướng dẫn chung và lời nhắc người dùng cho các nhiệm vụ cụ thể. Sự phân tách này có thể cải thiện hiệu suất của mô hình và giảm nhu cầu về ngữ cảnh lặp lại. Theo dõi việc sử dụng token của bạn trong bảng điều khiển để xác định các lời nhắc không hiệu quả. Điều chỉnh các lời nhắc của bạn dựa trên dữ liệu sử dụng để tối ưu hóa chi phí.
Những Sai Lầm Thường Gặp Khi Triển Khai Tool Calling
Lỗi gọi công cụ thường liên quan đến lược đồ JSON không chính xác hoặc xử lý không đúng cách các phản hồi công cụ.
Khi sử dụng công cụ, hãy xác định chính xác lược đồ JSON. Các kiểu dữ liệu hoặc trường bắt buộc không khớp sẽ khiến mô hình không thể tạo ra các lệnh gọi công cụ hợp lệ. Đảm bảo mã client của bạn có thể phân tích cú pháp các đối số gọi công cụ và thực thi hàm một cách chính xác. Trả về kết quả ở định dạng dự kiến để mô hình có thể tiếp tục.
Một lỗi phổ biến khác là không xử lý lỗi công cụ một cách khéo léo. Nếu một công cụ thất bại, hãy trả về thông báo lỗi cho mô hình để nó có thể thử lại hoặc điều chỉnh. Điều này cải thiện độ tin cậy tổng thể của ứng dụng của bạn. Kiểm tra kỹ các định nghĩa công cụ trước khi triển khai lên môi trường sản xuất.
Thực tiễn bảo mật tốt nhất cho Khóa API
Thực tiễn bảo mật tốt nhất ngăn chặn truy cập trái phép vào các tài nguyên API của bạn và giảm thiểu rủi ro gian lận thanh toán.
Không bao giờ chia sẻ khóa API của bạn trong các kho lưu trữ công khai hoặc mã phía máy khách. Hãy sử dụng biến môi trường hoặc các dịch vụ quản lý bí mật để lưu trữ khóa. Xoay vòng khóa thường xuyên và thu hồi các khóa không sử dụng. Theo dõi việc sử dụng API của bạn để phát hiện các mẫu bất thường, chẳng hạn như sự tăng đột biến về tiêu thụ token.
Triển khai danh sách trắng IP nếu nhà cung cấp của bạn hỗ trợ. Điều này thêm một lớp bảo mật bổ sung bằng cách hạn chế quyền truy cập vào các địa chỉ IP đã biết. Sử dụng HTTPS cho tất cả các yêu cầu API để mã hóa dữ liệu khi truyền. Thường xuyên kiểm tra quyền của khóa để đảm bảo chúng phù hợp với nhu cầu của ứng dụng.
