TechFlowの報道によると、OpenAIはGPT-4 Turbo with VisionがAPIで正式に提供開始されたことを発表した。
現在、JSON形式のテキストや関数呼び出しを通じて、モデルの視覚認識および分析機能を利用し、JSONコードスニペットを生成できるようになった。これにより開発者は、「メールの送信、ウェブ上での投稿、購入の実行」などのアプリケーション間操作を自動化することが可能になる。ただし、OpenAIはAPIページ上で「ユーザーに代わって現実世界に影響を与える行動を起こす前に、ユーザーによる確認プロセスを確立することを強く推奨します」と明記している。
OpenAIの広報担当者は、今回の変更により開発者のワークフローが簡素化され、より効率的なアプリケーション開発が可能になると述べた。「以前は、開発者がテキストと画像に対して別々のモデルを使用する必要がありましたが、現在では1回のAPI呼び出しで、このモデルが画像を分析し推論を適用できるようになっています」と説明した。




