Bị OpenAI "khóa tài khoản", ByteDance đang toan tính điều gì?
Tuyển chọn TechFlowTuyển chọn TechFlow
Bị OpenAI "khóa tài khoản", ByteDance đang toan tính điều gì?
Dữ liệu ngôn ngữ chất lượng cao là "món ăn ngon" đối với các mô hình lớn.
Chuyên sâu báo cáo Web3Tác giả: Cử Đại Danh Nhĩ
Chẳng mấy chốc mà 2023 cũng gần trôi qua, ai ngờ cuối năm lại nổi lên một vụ lùm xùm lớn.
Gần đây, theo báo cáo của The Verge:
ByteDance bị OpenAI "cấm tài khoản" vì đã sử dụng API của ChatGPT để phát triển mô hình lớn riêng của mình.
Mặc dù sau đó ByteDance đã lên tiếng làm rõ rằng hành động này chỉ "nhằm mục đích thử nghiệm" và đã yêu cầu ngừng ngay lập tức.
Nhưng rốt cuộc, đây vẫn là một sự việc khiến người ta không khỏi liên tưởng xa hơn…
Đằng sau việc ByteDance bị cấm tài khoản, thực chất đang nhằm mục đích gì?
1. ByteDance muốn gì?
Mặc dù trong bài báo của The Verge không nêu rõ cụ thể ByteDance đã dùng API của OpenAI như thế nào để phát triển mô hình lớn của mình, nhưng về khả năng huấn luyện, quá trình dùng một mô hình lớn (ví dụ như GPT của OpenAI) để huấn luyện một mô hình lớn khác thường có một vài phương pháp sau.
Một trong số đó là mô hình "thầy dạy trò".
Hãy hình dung, người thầy (mô hình lớn hiện có) khi xử lý các nhiệm vụ khác nhau sẽ tạo ra một số đầu ra (ví dụ như văn bản, hình ảnh...). Người học trò (mô hình mới) sẽ quan sát hành vi của người thầy, cố gắng bắt chước những đầu ra này.
Như vậy, người học trò sẽ học được cách xử lý các nhiệm vụ tương tự. Trong ứng dụng thực tế, điều này có thể đạt được bằng cách để mô hình mới học dữ liệu do mô hình cũ tạo ra.
Một cách khác là thông qua huấn luyện kết hợp, để "người thầy" và "người học trò" cùng xử lý nhiệm vụ.
Trong ứng dụng thực tế, điều này có thể thực hiện bằng cách để hai mô hình chia sẻ một số tầng hoặc tham số, nhờ đó mô hình mới và cũ có thể học hỏi lẫn nhau, hỗ trợ nhau để cùng hoàn thành nhiệm vụ.
Xét về tính khả thi kỹ thuật, trong sự việc lần này, ByteDance nhiều khả năng đã sử dụng phương pháp thứ nhất.
Tức là sử dụng dữ liệu do API của OpenAI tạo ra làm dữ liệu huấn luyện.
Do đó, điều ByteDance thực sự muốn trong đợt sóng gió này chính là dữ liệu ngôn ngữ chất lượng cao do ChatGPT tạo ra.
Và loại dữ liệu như vậy cũng chính là "món hời" hấp dẫn nhất mà bất kỳ mô hình lớn nào đang trong quá trình huấn luyện đều khao khát có được.
Tuy nhiên, do thỏa thuận trước đó của OpenAI đã rõ ràng cấm việc dùng mô hình của họ để phát triển sản phẩm cạnh tranh, nên việc ByteDance bị OpenAI "cấm tài khoản" là điều tất yếu.
Câu hỏi đặt ra là: Với tư cách là một công ty lớn mạnh, ByteDance lẽ ra không thiếu nhân lực và kinh phí để thực hiện các công việc như thu thập dữ liệu, gắn nhãn ngữ liệu—vậy tại sao lại đi bước "nước cờ mạo hiểm" này?
2. Tại sao phải mạo hiểm?
Thực ra, trên đường đua mô hình lớn ở thời điểm hiện tại, điều ByteDance thiếu không phải là nhân tài hay vốn, mà là thời gian.
So với các ông lớn trong nước như Baidu, iFlytek, thời điểm ByteDance thực sự gia nhập lĩnh vực mô hình lớn có thể nói là khá muộn.
Xét về mặt thời gian, sản phẩm mô hình lớn đầu tiên của ByteDance – DouBao – được ra mắt vào giữa tháng 8 năm nay, lúc đó thì cơn sốt mô hình lớn đã bùng cháy gần nửa năm.
Bất kỳ ai thực sự muốn tham gia vào lĩnh vực mô hình lớn đều biết rằng cuộc cạnh tranh ở tầng mô hình có "thời điểm vàng".
Trong lĩnh vực mô hình lớn, những doanh nghiệp đi trước thường tích lũy được nhiều người dùng, dữ liệu và kinh nghiệm hơn, từ đó tạo ra lợi thế cạnh tranh. Những người đến sau muốn đuổi kịp phải bỏ ra nhiều nỗ lực và chi phí hơn.
Mặc dù DouBao ra mắt vào tháng 8 giúp ByteDance tạm thời kịp chuyến xe muộn ở tầng mô hình, nhưng xét về hiệu năng và định vị, sản phẩm này dường như chỉ là một tác phẩm "thử nghiệm", chưa thể thực sự hòa hợp với các hoạt động kinh doanh hiện tại của ByteDance.
Là một công ty lớn từng tạo ra các sản phẩm đình đám như TikTok trong thời đại Internet di động, điều ByteDance thực sự muốn là một mô hình lớn toàn diện và phổ quát hơn—giống như Văn Tâm Nhất Ngôn—có thể tích hợp hoặc nhúng vào các ứng dụng khác nhau của họ.
Từ đó mới có kế hoạch "Seed" sau này của ByteDance — dự kiến sẽ xây dựng xong mô hình lớn Seed sánh ngang hiệu suất GPT-3.5 trước cuối năm nay.
Vấn đề là, việc huấn luyện mô hình lớn rốt cuộc không phải chuyện một sớm một chiều.
Việc gắn nhãn dữ liệu, trích xuất ngữ liệu chất lượng cao và hàng loạt công việc chuẩn bị phức tạp khác đều cần thời gian.
Vậy làm thế nào để trong khoảng thời gian ngắn ngủi và hạn hẹp, thu thập đủ lượng lớn ngữ liệu chất lượng cao?
Một cách đáng tin cậy nhất chính là trực tiếp sử dụng dữ liệu từ những mô hình đã được kiểm chứng, độ trưởng thành cao—ví dụ như ChatGPT.
3. Thời điểm vàng ở tầng mô hình
Thực ra, không chỉ riêng ByteDance, ngay cả những tay chơi AI hàng đầu như Google cũng vì "vội vã thành công" mà thực hiện những hành động tương tự.
Đầu tháng này, Google từng thất vọng thông báo rằng mô hình lớn Gemini—được kỳ vọng rất lớn—phải hoãn ra mắt do không xử lý tốt các truy vấn ngoài tiếng Anh.
Nhưng thật kỳ lạ, chỉ vài ngày sau, Google bất ngờ quay lại và chính thức ra mắt Gemini vào ngày 6 tháng 12, dường như những "khuyết điểm" đã nhắc tới trước đó giờ không còn là vấn đề.
Sau đó, cư dân mạng kiểm tra mới phát hiện ra, hóa ra Google đã tìm được "giải pháp" từ Văn Tâm Nhất Ngôn của Baidu.
Qua kiểm tra của nhiều người dùng mạng xã hội như @Lan Xi Ye và nhiều người khác, khi giao tiếp với Gemini-Pro bằng tiếng Trung, nếu hỏi "bạn là ai?", Gemini-Pro trả lời ngay: Tôi là mô hình lớn Văn Tâm của Baidu.
Tình trạng này khiến nhiều người suy đoán rằng Google đã trực tiếp dùng ngữ liệu tiếng Trung của Văn Tâm Nhất Ngôn để huấn luyện.
Để vượt mặt GPT-4, Google quả thật đã vội vã đưa gà ra chợ.
Tuy nhiên, xét về dài hạn, hành vi các công ty lớn lấy dữ liệu của nhau kiểu này rốt cuộc chỉ là hiện tượng tạm thời.
Bởi lẽ, sau vài lần "lộ liễu" như vậy, các công ty lớn chắc chắn sẽ siết chặt dữ liệu nội bộ hơn nữa.
Dù vậy, hành vi lấy dữ liệu qua lại này khiến người dùng và nhà đầu tư không khỏi thầm lo lắng: Nếu dữ liệu giữa các mô hình có thể dễ dàng sao chép lẫn nhau về mặt kỹ thuật, thì trong tương lai ngoài ChatGPT và một vài mô hình đỉnh cao hiếm hoi, còn bao nhiêu mô hình thực sự "có chất lượng thật sự"?
Phía sau mối lo ngại này thực ra tồn tại một câu hỏi nền tảng quan trọng hơn, đó là:
Tại sao chúng ta cần quá nhiều mô hình lớn giống nhau như vậy?
Rốt cuộc, dữ liệu ngôn ngữ của con người là hữu hạn, các đội ngũ hàng đầu (như ChatGPT) đã chiếm phần lớn rồi, phần dữ liệu chuyên biệt nhỏ nhoi còn lại cũng đã bị các ngành dọc phân chia hết.
Ngày nay, khi khởi nghiệp ở tầng mô hình gần như đã đi đến hồi kết, so với dữ liệu thì phương pháp huấn luyện khác biệt và các chức năng đa dạng do đó tạo ra mới là yếu tố tạo ra sự chênh lệch thực sự.
Và điều này trở thành chìa khóa để người dùng có thể chấp nhận hành vi "sao chép" này hay không.
Ở điểm này, Gemini của Google đưa ra câu trả lời là chức năng đa phương tiện gốc mạnh mẽ hơn (có phần phóng đại).
Còn mô hình Seed lớn của ByteDance trong tương lai có thể lội ngược dòng, giành được niềm tin của người dùng hay không, cũng phải xem nó có điểm nổi bật nào "một đẹp che trăm xấu" hay không.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
