Sam Altman tiết lộ mới nhất: Những thách thức và định hướng phát triển trong tương lai của OpenAI
Tuyển chọn TechFlowTuyển chọn TechFlow
Sam Altman tiết lộ mới nhất: Những thách thức và định hướng phát triển trong tương lai của OpenAI
Bài viết này trích từ cuộc phỏng vấn mới nhất của Raza Habib, CEO của Humanloop, với Sam Altman, CEO của OpenAI. Trong cuộc phỏng vấn, Sam đã thẳng thắn chia sẻ về những khó khăn hiện tại, giới hạn tài nguyên GPU, độ dài Context, đa phương thức và các vấn đề liên quan đến mã nguồn mở.
Chuyên sâu báo cáo Web3Lời mở đầu
Tuần trước, CEO của Humanloop là Raza Habib đã có cơ hội ngồi cùng Sam Altman và 20 nhà phát triển khác để thảo luận về API của OpenAI và kế hoạch sản phẩm của họ. Sam rất cởi mở. Cuộc trao đổi bao gồm cả những vấn đề thực tế mà các nhà phát triển quan tâm lẫn những chủ đề lớn hơn liên quan đến sứ mệnh của OpenAI và tác động xã hội của AI. Dưới đây là những điểm chính:
Hiện tại OpenAI phụ thuộc nặng nề vào GPU
Trong suốt cuộc thảo luận, một chủ đề thường xuyên được nhắc đến là hiện tại OpenAI đang cực kỳ phụ thuộc vào GPU, điều này đã làm chậm nhiều kế hoạch ngắn hạn của họ. Phàn nàn lớn nhất từ khách hàng là về độ tin cậy và tốc độ của API. Sam thừa nhận mối lo ngại này và giải thích rằng phần lớn các vấn đề đều bắt nguồn từ tình trạng thiếu hụt GPU.
Khả năng xử lý ngữ cảnh 32k vẫn chưa thể mở rộng cho nhiều người dùng hơn. OpenAI vẫn chưa khắc phục được vấn đề quy mô O(n^2) trong cơ chế chú ý, do đó mặc dù có thể sớm đạt cửa sổ ngữ cảnh 100k - 1M token (trong năm nay), bất kỳ cửa sổ lớn hơn nào cũng sẽ cần một đột phá nghiên cứu.
API fine-tuning bị giới hạn bởi khả năng cung cấp GPU. Họ hiện vẫn chưa sử dụng các phương pháp hiệu quả như Adapters hay LoRa, nên việc chạy và quản lý fine-tuning tiêu tốn rất nhiều tài nguyên tính toán. Trong tương lai sẽ có hỗ trợ fine-tuning tốt hơn. Họ thậm chí có thể tổ chức một chợ mô hình do cộng đồng đóng góp.
Dịch vụ dung lượng chuyên dụng bị giới hạn bởi khả năng cung cấp GPU. OpenAI cũng cung cấp dịch vụ dung lượng chuyên dụng, cung cấp bản sao riêng tư của mô hình cho khách hàng. Để sử dụng dịch vụ này, khách hàng phải cam kết chi ít nhất 100.000 đô la trước.
Lộ trình ngắn hạn của OpenAI
Năm 2023:
GPT-4 rẻ hơn và nhanh hơn — Đây là ưu tiên hàng đầu của họ. Nhìn chung, mục tiêu của OpenAI là giảm chi phí "trí tuệ" xuống mức tối thiểu, vì vậy họ sẽ tiếp tục nỗ lực giảm giá thành API.
Cửa sổ ngữ cảnh dài hơn — Trong tương lai gần, cửa sổ ngữ cảnh lên tới một triệu token là điều khả thi.
API fine-tuning — API fine-tuning sẽ được mở rộng sang các mô hình mới nhất, nhưng hình thức cụ thể sẽ dựa trên nhu cầu thực sự mà các nhà phát triển thể hiện.
API có trạng thái (A stateful API) — Khi bạn gọi API trò chuyện hôm nay, bạn phải truyền lại toàn bộ lịch sử hội thoại và trả phí cho cùng những token đó nhiều lần. Phiên bản API trong tương lai sẽ ghi nhớ lịch sử hội thoại.
Năm 2024:
Đa phương thức (Multimodality) — Tính năng này đã được minh họa khi phát hành GPT-4, nhưng chưa thể mở rộng cho mọi người do thiếu GPU.
Plugin “chưa đạt PMF”, có thể sẽ không sớm xuất hiện trên API
Nhiều nhà phát triển quan tâm đến việc gọi Plugin ChatGPT từ bên ngoài thông qua API, nhưng Sam nói ông nghĩ họ sẽ không phát hành tính năng này sớm. Với cách sử dụng plugin hiện tại, ngoài chức năng duyệt web, các trường hợp sử dụng khác cho thấy chúng chưa đạt được PMF (Product-Market Fit). Ông nói nhiều người tưởng rằng họ muốn các ứng dụng được dùng bên trong ChatGPT, nhưng thực tế người dùng thật sự muốn là có được khả năng của ChatGPT bên trong ứng dụng của riêng họ.
OpenAI sẽ tránh cạnh tranh với khách hàng của mình — ngoại trừ ChatGPT
Nhiều nhà phát triển bày tỏ lo ngại rằng nếu xây dựng ứng dụng bằng API của OpenAI thì OpenAI có thể ra mắt sản phẩm cạnh tranh với họ. Nhưng Sam nói OpenAI sẽ không phát hành thêm sản phẩm nào khác ngoài ChatGPT. Ông nói một công ty nền tảng vĩ đại sẽ có một ứng dụng chủ lực, và ChatGPT sẽ giúp họ cải thiện chất lượng API bằng cách tự trở thành khách hàng của chính sản phẩm mình. Tầm nhìn của ChatGPT là trở thành trợ lý siêu trí tuệ trong công việc, nhưng OpenAI sẽ không can thiệp vào các trường hợp sử dụng khác của GPT.
Cần có quản lý, nhưng cũng cần mã nguồn mở
Mặc dù Sam đang kêu gọi quản lý các mô hình trong tương lai, ông không cho rằng các mô hình hiện tại là nguy hiểm và cho rằng việc quản lý hoặc cấm chúng là một sai lầm lớn. Ông khẳng định lại tầm quan trọng của mã nguồn mở và nói rằng OpenAI đang cân nhắc việc mở mã nguồn GPT-3. Một phần lý do họ chưa mở mã là vì ông nghi ngờ có bao nhiêu cá nhân và công ty thực sự có khả năng lưu trữ và cung cấp các mô hình lớn.
Luật tắc mở rộng (Scaling laws) vẫn còn hiệu lực
Gần đây có nhiều bài viết tuyên bố rằng “thời đại mô hình lớn đã kết thúc”. Điều này không phản ánh đúng ý kiến gốc.
Dữ liệu nội bộ của OpenAI cho thấy các luật tắc mở rộng về hiệu suất mô hình vẫn còn hiệu lực, tức là việc làm lớn mô hình hơn sẽ tiếp tục mang lại cải thiện hiệu suất. Tuy nhiên, tỷ lệ mở rộng không thể duy trì mãi, vì trong vài năm ngắn ngủi OpenAI đã mở rộng mô hình lên hàng triệu lần, và việc tiếp tục như vậy trong tương lai là không bền vững. Điều này không có nghĩa là OpenAI sẽ ngừng cố gắng làm mô hình lớn hơn, mà chỉ có nghĩa là họ có thể chỉ tăng gấp đôi hoặc gấp ba mỗi năm, thay vì tăng theo nhiều bậc độ lớn.
Việc luật tắc mở rộng vẫn còn hiệu lực có ảnh hưởng lớn đến dự báo thời gian phát triển AGI. Giả định về mở rộng ngụ ý rằng chúng ta có thể đã sở hữu phần lớn các thành phần cần thiết để xây dựng AGI, và phần việc còn lại chủ yếu là mở rộng các phương pháp hiện tại sang mô hình và tập dữ liệu lớn hơn. Nếu thời đại mở rộng kết thúc, chúng ta có thể kỳ vọng AGI còn rất xa. Việc luật tắc mở rộng vẫn hiệu lực mạnh mẽ gợi ý rằng lộ trình hiện thực hóa AGI sẽ ngắn hơn.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
