TechFlow, le 10 mai, selon un article publié sur Medium, l'API Swarms a récemment lancé une mise à jour majeure visant à améliorer les performances, l'efficacité des coûts et la flexibilité. Cette mise à jour comprend principalement trois fonctionnalités clés :
Flex Processing est une couche de traitement optimisée pour les charges de travail d'IA non urgentes, offrant une réduction de 75 % sur les coûts des jetons d'entrée et de sortie, ainsi qu'une remise supplémentaire de 75 % pendant les heures nocturnes (de 20h à 6h, heure du Pacifique), avec une fenêtre de dépassement prolongée à 15 minutes.
Le système dynamique de cache intelligent optimise automatiquement les résultats des agents, avec un temps de vie du cache de 5 minutes, un nettoyage automatique toutes les 60 secondes, et prenant en charge les requêtes simultanées afin de réduire les appels redondants à l'API et l'utilisation des jetons.
Les points de terminaison individuels pour les complétions d'agents offrent des options de personnalisation sans précédent, prenant en charge plus de 600 fournisseurs de modèles, permettant de personnaliser des paramètres tels que les invites système, les configurations de rôles, la température et le contrôle des jetons.
