TechFlow đưa tin, ngày 9 tháng 1, theo báo cáo của TechCrunch, trong buổi trò chuyện trực tiếp với Chủ tịch Stagwell Mark Penn, Musk cho biết tổng hợp tri thức của nhân loại dùng để huấn luyện AI về cơ bản đã cạn kiệt vào năm 2024. Quan điểm này phù hợp với lý thuyết "đỉnh dữ liệu" mà cựu nhà khoa học trưởng OpenAI Ilya Sutskever từng đề cập tại hội nghị NeurIPS tháng 12.
Musk cho rằng dữ liệu tổng hợp (synthetic data) sẽ là con đường then chốt cho sự phát triển AI trong tương lai. Hiện nay, các gã khổng lồ công nghệ như Microsoft, Meta, OpenAI và Anthropic đã áp dụng phương pháp huấn luyện bằng dữ liệu tổng hợp cho các mô hình AI chủ lực của họ. Trong đó, Phi-4 vừa được Microsoft mở mã nguồn, mô hình Gemma của Google, Claude 3.5 Sonnet của Anthropic và loạt mô hình Llama mới nhất của Meta đều sử dụng dữ liệu tổng hợp để huấn luyện hoặc tinh chỉnh.
Xét về chi phí, mô hình Palmyra X 004 do công ty khởi nghiệp AI Writer phát triển với gần như toàn bộ dữ liệu tổng hợp chỉ tốn 700.000 USD, thấp hơn đáng kể so với mức 4,6 triệu USD để phát triển mô hình cùng quy mô của OpenAI. Tuy nhiên, các nghiên cứu chỉ ra rằng dữ liệu tổng hợp có thể dẫn đến hiện tượng sụp đổ mô hình (model collapse), khiến đầu ra kém sáng tạo hơn và gia tăng thành kiến, bởi những định kiến và hạn chế trong dữ liệu huấn luyện ban đầu sẽ bị khuếch đại trong quá trình tổng hợp. Theo thống kê của Gartner, khoảng 60% dữ liệu trong các dự án AI và phân tích năm 2024 là dữ liệu được tạo sinh tổng hợp.
