TechFlow — OpenAI prévoit de lancer des fonctionnalités de dialogue vocal et d'analyse d'images dans ChatGPT. Ces nouvelles fonctionnalités seront déployées au cours des deux prochaines semaines pour les utilisateurs abonnés aux offres Plus et Enterprise. La fonctionnalité vocale sera disponible sur les appareils iOS et Android, tandis que la fonctionnalité d'analyse d'images sera accessible sur toutes les plateformes.
La fonction vocale s'appuie sur un nouveau modèle de synthèse vocale capable de générer un son humain réaliste à partir uniquement d'un texte et de quelques secondes d'exemples vocaux. Elle utilise également le système de reconnaissance vocale open source Whisper pour transcrire la parole en texte, générer une réponse, puis convertir cette réponse en audio joué à l'utilisateur. Quant à la fonction d'analyse d'images, elle repose sur les modèles multimodaux GPT-3.5 et GPT-4, qui appliquent leurs compétences en raisonnement linguistique à divers types d'images, telles que des photos, des captures d'écran ou des documents combinant texte et images. Elle permet aux utilisateurs de montrer une ou plusieurs images à ChatGPT, qui tente alors d'identifier la question posée et d'y répondre de manière appropriée — par exemple, en explorant le contenu d'un réfrigérateur pour planifier un repas, ou en analysant un graphique complexe relatif à des données professionnelles.
