TechFlowの報道によると、OpenAIはChatGPTに音声および画像対話機能を導入する計画であり、これらの新機能は今後2週間以内にPlusユーザーおよび企業ユーザー向けに提供される予定です。音声対話機能はiOSおよびAndroid端末で利用可能となり、画像対話機能はすべてのプラットフォームで提供されます。
音声機能は新しいテキスト読み上げモデルによってサポートされており、テキストと数秒間の音声サンプルから人間のような自然な音声を生成できます。また、オープンソースの音声認識システムWhisperを使用して口語をテキストに変換し、それに対して回答を生成した後、その回答を再び音声に変換してユーザーに再生します。一方、画像機能はマルチモーダルなGPT-3.5およびGPT-4によって支えられており、写真やスクリーンショット、テキストと画像を含むドキュメントなどさまざまな種類の画像に対し言語的推論能力を適用することが可能です。これにより、ユーザーは1枚または複数の画像をChatGPTに提示でき、ChatGPTがユーザーが尋ねようとしている内容を特定し、適切な回答を提供します。たとえば、冷蔵庫の中身を見て夕食の献立を検討したり、仕事に関連するデータの複雑なグラフを分析したりすることが可能になります。
お気に入りに追加
SNSで共有
