TechFlow tin tức, ngày 10 tháng 5, theo báo cáo trên Medium, API Swarms gần đây đã ra mắt bản cập nhật lớn nhằm nâng cao hiệu suất, hiệu quả chi phí và tính linh hoạt. Bản cập nhật lần này chủ yếu bao gồm ba chức năng cốt lõi:
Flex Processing là một lớp xử lý tối ưu hóa chi phí dành cho các khối công việc AI không khẩn cấp, cung cấp mức giảm giá 75% chi phí token đầu vào và đầu ra, giảm thêm 75% vào ban đêm (từ 20h đến 6h sáng theo giờ chuẩn Thái Bình Dương), đồng thời kéo dài cửa sổ timeout lên tới 15 phút.
Hệ thống bộ nhớ đệm thông minh động tự động tối ưu hóa kết quả hoàn thành tác vụ của agent, với thời gian sống bộ nhớ đệm là 5 phút, tự động dọn dẹp mỗi 60 giây, hỗ trợ các yêu cầu đồng thời, giúp giảm các lần gọi API dư thừa và sử dụng token.
Các điểm cuối hoàn thành agent riêng lẻ cung cấp các tùy chọn tùy chỉnh chưa từng có, hỗ trợ hơn 600 nhà cung cấp mô hình, cho phép người dùng thiết lập các tham số như lời nhắc hệ thống, cấu hình vai trò, nhiệt độ và kiểm soát token.
