OpenAI cũng thiếu GPU, giảm chi phí là mục tiêu hàng đầu
Tuyển chọn TechFlowTuyển chọn TechFlow
OpenAI cũng thiếu GPU, giảm chi phí là mục tiêu hàng đầu
12 tỷ USD + gần như toàn bộ năng lực tính toán, Microsoft giao "nửa mạng sống" cho OpenAI.
Chuyên sâu báo cáo Web3Tác giả | Lăng Tử Quận
Biên tập | Vệ Thi Kiệt
Chuyến đi châu Âu của Sam Altman vẫn đang tiếp diễn. Gần đây tại Luân Đôn, ông đã có một buổi thảo luận kín với CEO của công ty AI HumanLoop. HumanLoop là một công ty hỗ trợ các nhà phát triển xây dựng ứng dụng trên các mô hình ngôn ngữ lớn.
CEO của HumanLoop, Raza Habib, đã ghi lại những điểm chính từ cuộc trao đổi này và công bố trên trang web chính thức của công ty. Tuy nhiên sau đó, theo yêu cầu từ OpenAI, bản ghi chép này đã bị gỡ xuống. Hành động này càng làm tăng sự tò mò của dư luận về nội dung cuộc nói chuyện. Một số người suy đoán rằng một số quan điểm được đề cập liên quan đến OpenAI đã có sự thay đổi.
Sau khi xem xét bản ghi chép đã bị xóa, GeekPark nhận thấy nội dung không chỉ tiết lộ kế hoạch ngắn hạn của OpenAI trong mắt Sam,mà còn hé lộ áp lực mà OpenAI đang phải gánh chịu dù nhận được sự hỗ trợ mạnh mẽ về tài nguyên điện toán đám mây từ Microsoft.
Dù sao đi nữa, việc tinh chỉnh mô hình và suy luận (inference) vẫn tiêu tốn rất nhiều tài nguyên tính toán.
Theo The Information đưa tin, các mô hình của OpenAI đã tiêu tốn 1,2 tỷ USD trên Microsoft Azure, việc tập trung tài nguyên tính toán để hỗ trợ OpenAI khiến cho các bộ phận khác của Microsoft bị giới hạn nguồn máy chủ sử dụng.
Về vấn đề này, Sam cho biết mục tiêu hàng đầu hiện nay là giảm chi phí.
Ngoài ra, Sam cũng tiết lộ rằng hiện nay việc mở rộng cửa sổ ngữ cảnh dài hơn, cung cấp API tinh chỉnh, v.v., đềubị giới hạn bởi tài nguyên GPU;
Trong cuộc trao đổi này, Sam Altman đã trả lời nhiều câu hỏi được dư luận quan tâm như cạnh tranh và thương mại hóa:
-
Mặc dù vừa tuyển dụng một quản lý sản phẩm đẳng cấp thế giới là Peter Deng, nhưng OpenAI sẽ không cân nhắc phát hành thêm nhiều sản phẩm mới;
-
Xu hướng ứng dụng tương lai là tích hợp chức năng mô hình lớn vào nhiều ứng dụng hơn, chứ không phải phát triển ngày càng nhiều plugin trên ChatGPT,vì thực tế phần lớn các plugin hiện nay chưa đạt được PMF (Product / Market Fit – sự phù hợp giữa sản phẩm và thị trường);
-
Trong vài năm qua, OpenAI đã nhân rộng quy mô mô hình lên gấp hàng triệu lần, nhưng tốc độ này là không bền vững. Trong thời gian tới, OpenAI sẽ tiếp tục tăng quy mô mô hình với tốc độ 1 đến 3 lần để cải thiện hiệu suất.
Bản ghi chép được công khai vào ngày 29 tháng 5 và theo ghi nhận của cư dân mạng thì bị xóa vào khoảng ngày 3 tháng 6.Dưới đây là nội dung thu được từ bản sao lưu:
OpenAI hiện đang bị giới hạn nghiêm trọng bởi GPU
Khi đoạn hội thoại kéo dài,tài nguyên tính toán cần thiết tăng theo cấp số mũ
Hiện tại GPU của OpenAI rất hạn chế, điều này đã làm chậm tiến độ nhiều kế hoạch ngắn hạn của họ. Phàn nàn lớn nhất từ khách hàng là độ tin cậy và tốc độ của API. Sam thừa nhận lo ngại này và giải thích rằng phần lớn vấn đề xuất phát từ tình trạng thiếu hụt GPU.
Cửa sổ ngữ cảnh dài 32k vẫn chưa thể phổ biến rộng rãi cho nhiều người dùng.OpenAI vẫn chưa khắc phục được vấn đề mở rộng O(n^2) của cơ chế chú ý (attention), do đó mặc dù có vẻ khả thi để sớm (trong năm nay) đạt được cửa sổ ngữ cảnh 100k - 1M token, nhưng bất kỳ kích thước lớn hơn sẽ đòi hỏi một đột phá nghiên cứu.
Cửa sổ ngữ cảnh dài 32K vẫn chưa thể cung cấp cho nhiều người hơn.OpenAI vẫn chưa vượt qua được vấn đề mở rộng O(n^2) của cơ chế chú ý, mặc dù dường như họ sẽ sớm (năm nay) có cửa sổ ngữ cảnh 100k–1M token, nhưng bất kỳ cửa sổ nào lớn hơn sẽ cần một đột phá trong nghiên cứu.
Ghi chú: O(n^2) nghĩa là khi độ dài chuỗi tăng lên, tài nguyên tính toán cần thiết để thực hiện phép tính Attention tăng theo cấp số mũ.O biểu thị giới hạn trên hoặc trường hợp xấu nhất về tốc độ tăng trưởng độ phức tạp thời gian hoặc không gian của thuật toán; (n^2) biểu thị độ phức tạp tỷ lệ thuận với bình phương kích thước đầu vào.
API tinh chỉnh hiện cũng bị giới hạn bởi khả năng sẵn có của GPU.Họ vẫn chưa sử dụng các phương pháp tinh chỉnh hiệu quả như Adapters hay LoRa, vì vậy việc vận hành và quản lý (mô hình) thông qua tinh chỉnh rất tốn tài nguyên tính toán. Trong tương lai họ sẽ hỗ trợ tinh chỉnh tốt hơn. Họ thậm chí có thể tổ chức một thị trường đóng góp mô hình dựa trên cộng đồng.
Việc cung cấp sức chứa chuyên dụng bị giới hạn bởi khả năng sẵn có của GPU. OpenAI cung cấp sức chứa chuyên dụng, tạo bản sao riêng tư của mô hình cho khách hàng. Để sử dụng dịch vụ này, khách hàng phải cam kết thanh toán trước ít nhất 100.000 USD.
Lộ trình ngắn hạn của OpenAI
Năm 2023: Giảm chi phí trí tuệ nhân tạo;Năm 2024: Trình diễn giới hạn đa phương thức.
Sam cũng chia sẻ lộ trình tạm thời gần đây của API OpenAI mà ông nhìn thấy.
Năm 2023:
-
GPT-4 rẻ hơn và nhanh hơn – Đây là nhiệm vụ ưu tiên hàng đầu của họ. Nhìn chung, mục tiêu của OpenAI là giảm thiểu chi phí "trí tuệ" càng nhiều càng tốt, do đó họ sẽ tiếp tục nỗ lực giảm chi phí API theo thời gian.
-
Cửa sổ ngữ cảnh dài hơn – Trong tương lai gần, cửa sổ ngữ cảnh có thể lên tới 1 triệu token.
-
API tinh chỉnh – API tinh chỉnh sẽ được mở rộng sang các mô hình mới nhất, nhưng hình thức cụ thể sẽ phụ thuộc vào nhu cầu mà các nhà phát triển thể hiện.
-
Một API có trạng thái (stateful API) – Khi gọi API trò chuyện hiện nay, bạn phải lặp đi lặp lại toàn bộ lịch sử hội thoại và trả phí cho cùng các token. Trong tương lai sẽ có phiên bản API có thể ghi nhớ lịch sử hội thoại.
Năm 2024:
Đa phương thức – Được trình diễn như một phần của phiên bản GPT-4, nhưng chưa thể mở rộng cho tất cả mọi người trước khi có thêm GPU.
Dự đoán và suy nghĩ về thương mại hóa:
Plugin 「chưa đạt PMF」,có thể sẽ không sớm xuất hiện trên API.
Nhiều nhà phát triển quan tâm đến việc truy cập plugin ChatGPT thông qua API, nhưng Sam cho rằng các plugin này sẽ không được phát hành sớm. Ngoài plugin Browse, việc sử dụng các plugin khác cho thấy chúng chưa đạt được PMF (sự phù hợp giữa sản phẩm và thị trường). Ông chỉ ra rằng nhiều người nghĩ họ muốn ứng dụng của mình nằm bên trong ChatGPT, nhưng thực chất điều họ muốn là ChatGPT tồn tại bên trong ứng dụng của họ.
Ngoài ChatGPT,OpenAI sẽ tránh cạnh tranh với khách hàng của mình
Các công ty vĩ đại đều cómột ứng dụng then chốt.
Nhiều nhà phát triển bày tỏ lo ngại khi sử dụng API của OpenAI vì sợ rằng cuối cùng OpenAI có thể tung ra sản phẩm cạnh tranh trực tiếp. Sam nói rằng OpenAI sẽ không phát hành thêm sản phẩm nào ngoài ChatGPT. Ông nói rằng trong lịch sử, các công ty nền tảng vĩ đại đều có một ứng dụng then chốt. ChatGPT sẽ cho phép các nhà phát triển trở thành khách hàng của chính sản phẩm mình để cải thiện API. Tầm nhìn của ChatGPT là trở thành một trợ lý làm việc siêu thông minh, nhưng đối với nhiều trường hợp sử dụng GPT khác, OpenAI sẽ không tham gia.
Cần có quản lý,nhưng chưa phải bây giờ
「Tôi nghi ngờ về số lượng cá nhân và công tycó đủ năng lực sở hữu và vận hành mô hình ngôn ngữ lớn」
Mặc dù Sam kêu gọi quản lý các mô hình trong tương lai, nhưng ông cho rằng các mô hình hiện tại không nguy hiểm và việc quản lý hay cấm chúng là một sai lầm lớn. Ông nhấn mạnh lại tầm quan trọng của mã nguồn mở và cho biết OpenAI đang cân nhắc mở nguồn GPT-3. Lý do họ chưa mở nguồn một phần là vì ông nghi ngờ về số lượng cá nhân và công ty có đủ năng lực sở hữu và vận hành các mô hình ngôn ngữ lớn (LLMs).
Quy luật quy mô vẫn còn hiệu lực
Tốc độ mở rộng gấp hàng triệu lần trong vài năm,sẽ không thể duy trì mãi.
Gần đây có nhiều bài viết tuyên bố rằng «thời đại của các mô hình AI khổng lồ đã qua». Điều này không chính xác. (Ghi chú: Tại một sự kiện ở MIT vào tháng 4, Sam Altman từng nói: Chúng ta hiện đã gần đến hồi kết của thời đại mô hình khổng lồ.)
Dữ liệu nội bộ của OpenAI cho thấy quy luật quy mô về hiệu suất mô hình vẫn còn hiệu lực,việc tăng kích thước mô hình sẽ tiếp tục cải thiện hiệu suất.
Do OpenAI đã mở rộng mô hình lên gấp hàng triệu lần chỉ trong vài năm ngắn ngủi, tốc độ mở rộng như vậy là không thể duy trì lâu dài.Điều này không có nghĩa là OpenAI sẽ ngừng cố gắng làm mô hình lớn hơn, mà có nghĩa là mỗi năm quy mô mô hình có thể tăng gấp đôi hoặc gấp ba lần, chứ không phải tăng hàng chục bậc độ lớn.
Việc quy luật quy mô vẫn hiệu lực có ý nghĩa quan trọng đối với tiến độ phát triển AGI.Giả định của quy luật quy mô là chúng ta có thể đã sở hữu phần lớn các yếu tố cần thiết để xây dựng AGI, và phần việc còn lại chủ yếu là mở rộng các phương pháp hiện có sang các mô hình lớn hơn và tập dữ liệu lớn hơn. Nếu thời đại quy mô đã qua, chúng ta có thể còn xa AGI hơn. Thực tế là quy luật quy mô vẫn còn hiệu lực mạnh mẽ ngụ ý rằng AGI có thể đến trong thời gian ngắn hơn.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
极客公园
