GTC đối thoại với Huang Renxun: GPU trong mắt tôi rất khác biệt so với người khác
Tuyển chọn TechFlowTuyển chọn TechFlow
GTC đối thoại với Huang Renxun: GPU trong mắt tôi rất khác biệt so với người khác
"NVIDIA không sản xuất chip, NVIDIA xây dựng trung tâm dữ liệu"
Chuyên sâu báo cáo Web3Bài viết: Uyển Thần
Chỉnh sửa: Tĩnh Vũ
Nguồn: GeekPark
Không khí bỗng trở nên nghiêm túc.
"Một số phương tiện cho rằng ông hoặc là Leonardo da Vinci của thời đại AI, hoặc là Oppenheimer của thời đại AI. Ông nghĩ sao về điều này?"
"Oppenheimer chế tạo bom, còn chúng tôi (NVIDIA) thì không làm việc đó." Trước câu hỏi mang chút đùa cợt này, ông Huang Renxun - nhà sáng lập và CEO của NVIDIA - đã do dự một chút rồi trả lời rất nghiêm túc.
Vào ngày 19 tháng 3 theo giờ địa phương, ngay sau khi hoàn thành bài phát biểu khai mạc GTC 2024 với mức độ thu hút như một ngôi sao nhạc pop, Huang Renxun đã dành buổi tiếp theo để trả lời phỏng vấn các cơ quan truyền thông toàn cầu.
Huang Renxun giải thích lại những điểm chính trong "buổi hòa nhạc" vừa diễn ra cho giới truyền thông｜Ảnh: GeekPark
Dù là những câu hỏi lớn lao như "AGI sẽ đến khi nào?", "NVIDIA nhìn nhận thị trường Trung Quốc ra sao?", hay cụ thể hơn như cách ứng dụng phần mềm NIM mới ra mắt, vị thuyền trưởng của công ty đứng thứ ba về vốn hóa thị trường toàn cầu này đều có thể phân tích, trừu tượng hóa vấn đề thành những tầng lớp dễ hiểu hơn và dùng những phép so sánh đơn giản để trả lời. Dù đôi khi có vẻ né tránh, nhưng ít nhất sự chân thành trong câu trả lời là khó có thể nghi ngờ.
Ở đỉnh cao mới với vốn hóa hai nghìn tỷ đô la Mỹ, Lão Hoàng cho rằng, thị trường chip GPU không phải là mục tiêu của NVIDIA – "NVIDIA không sản xuất chip, NVIDIA xây dựng trung tâm dữ liệu". Vì vậy, NVIDIA đã xây dựng tất cả: phần cứng, phần mềm, dịch vụ, để khách hàng tự quyết định cách mua trung tâm dữ liệu của mình.
Trong bài phát biểu chính GTC 2024, Lão Hoàng trình bày 5 điểm then chốt: Trong bối cảnh cuộc cách mạng công nghiệp mới (tính toán tăng tốc và AI sinh học), hạ tầng mới của NVIDIA gồm: nền tảng Blackwell; NIMS; NEMO và NVIDIA AI Foundry; Omniverse và robot ISAAC.｜Ảnh: Nvidia
01. Kế hoạch sản phẩm GTC tại thị trường Trung Quốc
Hỏi: Những kế hoạch mạng lưới và công nghệ mới sẽ bán vào Trung Quốc bao nhiêu? Có thông tin gì về SKU riêng cho Trung Quốc có thể tiết lộ không? Đã có cân nhắc hay thay đổi nào dành riêng cho thị trường này chưa?
Huang Renxun: Tôi vẫn chưa công bố điều đó với anh, anh quá tham lam (cười). Đây là toàn bộ câu trả lời. Hiện tại, đối với Trung Quốc, chúng tôi có chip L20 và H20 phù hợp yêu cầu xuất khẩu, và chúng tôi đang nỗ lực hết sức để tổ chức, phân bổ nguồn lực cho thị trường Trung Quốc.
02. Mục tiêu của AI Foundry
Hỏi: Trong bài phát biểu chính, ông nói AI Foundry đang phát huy tác dụng ở nhiều doanh nghiệp. Chiến lược tổng thể và mục tiêu dài hạn của kế hoạch này là gì?
Huang Renxun: Mục tiêu của AI Foundry là xây dựng phần mềm. Không phải phần mềm như một công cụ, bởi bất kỳ ai cũng có phần mềm như vậy. Hai phần mềm quan trọng nhất từng được tạo ra từ lâu trước đây, một cái tên là Office, khiến phần mềm trở thành RTS (Real-Time Software - phần mềm thời gian thực).
Một phần mềm cực kỳ quan trọng khác là cuDNN (thư viện CUDA Deep Neural Network). Chúng ta có tất cả những thư viện AI khác nhau này. Thư viện tương lai sẽ là một dạng microservice, vì thư viện tương lai không chỉ mô tả bằng toán học mà còn mô tả bằng AI. Trong tương lai, tất cả chúng sẽ trở thành NIMs (microservices).
Những NIMs này là phần mềm siêu phức tạp, bạn chỉ cần truy cập vào website của chúng tôi. Bạn có thể chọn sử dụng trực tuyến, tải về chạy trên một đám mây khác, hoặc tải về chạy trên máy tính cá nhân. Khi vận hành trạm làm việc hay trung tâm dữ liệu của bạn, dịch vụ này sẽ giúp chúng hoạt động hiệu quả hơn rất nhiều. Đây là một cách sử dụng mới trong môi trường. Hiện nay, khi doanh nghiệp vận hành các thư viện này, chúng tôi có hệ thống cấp phép phần mềm (License) sẵn sàng, bạn có thể sử dụng dịch vụ này với giá 4.500 USD/GPU/năm.
03. Giá cả Blackwell
Hỏi: Trước đây ông nói giá chip AI thế hệ mới Blackwell nằm trong khoảng 30.000-40.000 USD, có thông tin chính xác hơn không?
Huang Renxun: Điều này rất khó nói, tôi chỉ muốn mọi người có cảm nhận nhất định về mức giá sản phẩm của chúng tôi, chứ không định đưa ra báo giá cụ thể.
Giá cả hệ thống Blackwell rất khác biệt, vì mỗi người có cấu hình yêu cầu khác nhau. Nếu không chỉ sử dụng Blackwell, hệ thống Blackwell thường bao gồm cả NV-Link bên trong, nên giá cả giữa các hệ thống khác nhau là khác nhau. Như thường lệ, phạm vi giá thường phụ thuộc vào TCO (chi phí sở hữu tổng thể).
NVIDIA không sản xuất chip, NVIDIA xây dựng trung tâm dữ liệu, vì vậy chúng tôi thiết lập mọi nhiệm vụ, đưa vào tất cả phần mềm, điều chỉnh để hệ thống trung tâm dữ liệu vận hành tốt nhất có thể. Sau đó, phần điên rồ đến: chúng tôi tập hợp trung tâm dữ liệu thành những phần nhỏ hơn, cho phép khách hàng tùy chỉnh theo nhu cầu riêng biệt của họ, bao gồm mạng lưới, lưu trữ, mặt phẳng điều khiển, bảo mật và các mô-đun quản lý, tìm cách tích hợp trung tâm dữ liệu vào hệ thống của khách hàng. Cuối cùng, khách hàng quyết định cách mua nó. Vì vậy, khác với việc bán chip trước đây, giá cả Blackwell không phải là chuyện của chip, mô hình kinh doanh của chúng tôi cũng phản ánh điều này.
Cơ hội của NVIDIA không phải là chip GPU, mà là trung tâm dữ liệu. Trung tâm dữ liệu đang nhanh chóng chuyển sang giai đoạn tăng tốc, đây là thị trường trị giá 250 tỷ USD mỗi năm và tăng trưởng 20-25% mỗi năm, chủ yếu nhờ nhu cầu từ AI. Trong đó, NVIDIA sẽ chiếm một phần quan trọng, tăng từ 1 nghìn tỷ lên 2 nghìn tỷ USD, tôi cho rằng điều đó là hợp lý.
Huang Renxun: Thứ anh gọi là GPU, và thứ tôi gọi là GPU, hình ảnh trong đầu hoàn toàn khác nhau｜Ảnh: GeekPark
04. Sam Altman muốn mở rộng sang ngành chip
Hỏi: Sam Altman luôn thảo luận với những người trong ngành chip về việc mở rộng quy mô chip AI. Ông ấy có trao đổi với ông về vấn đề này chưa?
Huang Renxun: Tôi không biết ý định của ông ấy. Tôi đồng ý rằng ông ấy cho rằng AI sinh học sẽ trở nên rất lớn.
Ngày nay, cách máy tính tạo ra pixel là truy xuất dữ liệu từ tập dữ liệu, xử lý dữ liệu, sau đó truyền dữ liệu. Mọi người cho rằng quá trình này tiêu tốn rất ít năng lượng, nhưng thực tế ngược lại. Bởi mỗi lần bạn chạm điện thoại, mỗi prompt, đều cần chạy đua với tập dữ liệu và trả kết quả về. Việc truy xuất dữ liệu từ tập dữ liệu, thu thập tất cả phần cần thiết bằng CPU, sau đó kết hợp thông tin theo cách có ý nghĩa từ góc nhìn hệ thống gợi ý, rồi gửi thông tin kết quả về cho người dùng — quá trình này đòi hỏi lượng tính toán khổng lồ.
Điều này giống như mỗi khi bạn hỏi tôi một câu hỏi, tôi đều phải chạy về văn phòng để truy xuất thông tin — cần rất nhiều năng lượng. Trong tương lai, ngày càng nhiều tính toán sẽ là sinh nội dung, chứ không dựa trên truy xuất. Tất nhiên, quá trình sinh nội dung này phải thông minh và liên quan đến ngữ cảnh. Tôi tin rằng trong tương lai, gần như mọi pixel, mọi tương tác trên máy tính của con người đều sẽ được tạo ra qua quá trình sinh nội dung, và tôi tin Sam cũng nghĩ như vậy. Tôi hy vọng kiến trúc thế hệ mới Blackwell có thể đóng góp lớn cho lĩnh vực AI sinh nội dung này. Hiện tại, phần lớn trải nghiệm vẫn dựa trên truy xuất, nhưng nếu trong tương lai mọi tương tác người-máy đều là trải nghiệm sinh nội dung, tôi sẽ không ngạc nhiên. Đây là một cơ hội to lớn.
05. Mô hình lớn cá nhân sẽ như thế nào?
Hỏi: Tôi hoàn toàn đồng ý với định nghĩa của ông về phần mềm tương lai, cuộc sống của chúng tôi cũng đang thay đổi mạnh mẽ thông qua LLM. Về các mô hình nền tảng, ông nghĩ tương lai sẽ ra sao?
Huang Renxun: Cốt lõi là, làm thế nào chúng ta sở hữu mô hình lớn cá nhân? Có vài cách để làm điều này. Ban đầu, chúng ta nghĩ quá trình này có thể cần tinh chỉnh (fine tuning), và liên tục tinh chỉnh trong quá trình sử dụng.
Tuy nhiên, như bạn biết, tinh chỉnh khá tốn thời gian. Sau đó chúng ta phát hiện ra kỹ thuật prompt (prompt engineering), học theo ngữ cảnh (context learning), môi trường làm việc (working environment), v.v.
Tôi nghĩ câu trả lời sẽ là sự kết hợp của tất cả những điều này. Trong tương lai, bạn có thể chỉ tinh chỉnh một lớp trọng số (weights) gọi là Lora, khóa các phần còn lại không cần tinh chỉnh, từ đó giảm chi phí tinh chỉnh. Bạn có thể cộng tác tạo prompt, học theo ngữ cảnh, tăng bộ nhớ mô hình — tất cả những điều này tạo nên mô hình lớn độc đáo của bạn, có thể chạy trên đám mây hoặc trên máy tính cá nhân.
06. Quan điểm về các startup chip AI
Hỏi: Hôm qua, sau bài phát biểu chính của ông, công ty chip Groq đã đăng Twitter nói chip của họ vẫn chạy nhanh hơn. Ông nghĩ sao về bình luận từ các startup chip AI?
Huang Renxun: Tôi chưa tìm hiểu nhiều (cười), thôi không bình luận.
Bất kỳ mô hình nào tạo nội dung theo token đều cần cách thức riêng, bởi Transformer không phải tên của bất kỳ mô hình cụ thể nào.
Các mô hình này về cơ bản đều dựa trên công nghệ Transformer, tận dụng cơ chế chú ý (attention) của Transformer, nhưng giữa các mô hình có sự khác biệt lớn. Một số mô hình sử dụng mô hình hỗn hợp chuyên gia (Mixture of Experts), trong mô hình hỗn hợp có loại hai chuyên gia, có loại bốn chuyên gia, các mô hình này chờ tin nhắn và định tuyến phân phối, mọi bước bên trong đều khác nhau, mỗi mô hình đều cần tối ưu hóa đặc biệt.
Lúc này, nếu đơn vị tính toán được thiết kế chỉ để thực hiện một cách thức cụ thể, một việc cụ thể, thì nó sẽ là một máy tính có thể cấu hình, chứ không phải máy tính có thể lập trình cấu hình, và do đó không thể hưởng lợi từ tốc độ và tiềm năng đổi mới của phần mềm.
Cũng như kỳ diệu của CPU không thể bị đánh giá thấp, lý do CPU vẫn là CPU suốt nhiều năm trời chính là vì nó vượt qua được phần cứng có thể cấu hình gắn trên bo mạch PC, tài năng của kỹ sư phần mềm có thể được thể hiện qua CPU. Ngược lại, nếu bạn cố định mọi thứ trên chip, bạn sẽ cắt đứt trí tuệ sắc sảo mà kỹ sư phần mềm có thể mang lại cho chip.
Đó là lý do tại sao chip NVIDIA có thể hoạt động xuất sắc dưới nhiều kiến trúc mô hình AI khác nhau (từ AlexNet đến Transformer), NVIDIA đã tìm ra một phương pháp để hưởng lợi từ một dạng tính toán chuyên biệt. Chip ở đây được dùng để thúc đẩy phần mềm, và công việc của NVIDIA là thúc đẩy sáng tạo, thúc đẩy những phát minh như ChatGPT.
07. Mô phỏng không gian robot tận dụng mô hình ngôn ngữ như thế nào?
Hỏi: Ông nói về việc dùng AI sinh học và mô phỏng (simulation) để huấn luyện robot quy mô lớn, nhưng có rất nhiều điều chúng ta chưa biết cách mô phỏng tốt, đặc biệt khi liên quan đến môi trường cấu trúc, làm sao vượt qua giới hạn để tiếp tục huấn luyện robot?
Huang Renxun: Có nhiều cách để làm điều này. Đầu tiên, bạn có thể xây dựng vấn đề hoặc quan điểm của mình trong ngữ cảnh mô hình ngôn ngữ của chúng tôi.
Mô hình ngôn ngữ lớn hoạt động theo cách không ràng buộc và phi cấu trúc, đây cũng chính là tiềm năng của nó. Nó học được rất nhiều thứ từ văn bản, nhưng có thể không phù hợp để khái quát hóa. Cách nó khái quát hóa trong không gian là một "phép màu", khoảnh khắc ChatGPT cho robot có thể đang đến rất gần.
Để vượt qua vấn đề này, bạn có thể xác định ngữ cảnh và vấn đề, ví dụ nói với nó rằng đang ở trong bếp với điều kiện cụ thể. Bằng cách áp dụng phép màu của ChatGPT, robot có thể khái quát hóa hiệu quả và tạo ra các token có ý nghĩa với phần mềm. Khi hệ thống cảm biến máy tính nhận diện được các token này, robot có thể suy diễn theo các ví dụ này.
08. Dự đoán khoảnh khắc ChatGPT tiếp theo
Hỏi: Ông nói một số ngành sẽ đón khoảnh khắc ChatGPT sớm hơn. Ngành nào sẽ thay đổi đầu tiên? Có thể chia sẻ những đột phá ông thấy, đặc biệt là những trường hợp khiến ông phấn khích không?
Huang Renxun: Có rất nhiều ví dụ. Tôi rất hào hứng với Sora, năm ngoái tôi đã thấy khả năng tương tự trên Wayve, đây là ví dụ về tạo video từ văn bản.
Để tạo một video như vậy, mô hình phải có cảm nhận về quy luật vật lý, ví dụ đặt đồ vật lên bàn chứ không phải giữa không trung; người đi bộ phải trên mặt đất. Không được vi phạm quy luật vật lý.
Một ví dụ khác là chúng tôi dùng Earth-2 để dự đoán tác động của thời tiết cực đoan. Đây là lĩnh vực nghiên cứu then chốt, vì các sự kiện thời tiết cực đoan có thể gây thiệt hại nặng nề cho cộng đồng địa phương. Sử dụng Earth-2, chúng tôi có thể dự đoán tác động của các hiện tượng thời tiết cực đoan ở độ phân giải 3km. Đây là bước cải tiến lớn so với phương pháp hiện tại, vốn cần siêu máy tính lớn hơn 25.000 lần.
Việc tạo thuốc và protein mới là một trường hợp tiềm năng ấn tượng khác. Điều này đạt được thông qua vòng học tăng cường kiểu AlphaGo, cho phép khám phá không gian phân tử lớn mà không cần tiêu thụ chất vật lý, có khả năng cách mạng hóa phát hiện thuốc.
Đây là những điều rất có ảnh hưởng, công nghệ robot cũng vậy.
Trong bài phát biểu khai mạc GTC ngày 18 tháng 3, Lão Hoàng chăm chú nhìn sản phẩm kiến trúc Blackwell mới nhất｜Ảnh: GeekPark
09. Quản chế xuất khẩu chip ảnh hưởng thế nào đến NVIDIA
Hỏi: Quản chế xuất khẩu chip và tình hình địa chính trị sẽ ảnh hưởng thế nào đến NVIDIA?
Huang Renxun: Có hai việc chúng ta phải làm ngay lập tức. Thứ nhất, hiểu rõ mọi chính sách để đảm bảo tuân thủ; thứ hai, nâng cao độ bền vững chuỗi cung ứng.
Về điểm thứ hai, tôi lấy một ví dụ. Khi chúng tôi cấu hình chip Blackwell thành bộ xử lý DGX, có tới 600.000 linh kiện đến từ khắp nơi trên thế giới, nhiều linh kiện đến từ Trung Quốc. Cũng như độ phức tạp của chuỗi cung ứng ô tô toàn cầu, chuỗi cung ứng toàn cầu rất khó bị phá vỡ.
10. Mối quan hệ với TSMC
Hỏi: Ông có thể nói về mối quan hệ với TSMC không? Trong vài năm qua, khi độ phức tạp đóng gói chip liên tục gia tăng, TSMC đã giúp NVIDIA đạt được mục tiêu như thế nào?
Huang Renxun: Hợp tác với TSMC là một trong những mối hợp tác chặt chẽ nhất của chúng tôi, bởi việc chúng tôi làm rất khó, còn họ lại làm rất tốt.
Chúng tôi nhận được các đơn vị tính toán từ TSMC, các chip trần CPU, GPU, tỷ lệ thành phẩm rất tốt. Bộ nhớ đến từ Micron, SK Hynix, Samsung, và việc lắp ráp này phải hoàn thành tại Đài Loan. Vì vậy, chuỗi cung ứng không hề đơn giản, cần sự phối hợp giữa các công ty. Những công ty lớn này cùng hợp tác với chúng tôi, dần nhận ra rằng hợp tác chặt chẽ hơn là điều rất cần thiết.
Chúng tôi lấy linh kiện từ các công ty khác nhau, sau đó lắp ráp, công ty thứ ba kiểm tra, công ty thứ tư lắp thành hệ thống, tất nhiên hệ thống lớn này cuối cùng nhằm mục đích xây dựng một siêu máy tính, rồi kiểm tra thêm. Cuối cùng, chúng tôi xây dựng trung tâm dữ liệu. Hãy tưởng tượng, toàn bộ gia công sản xuất chỉ để tạo thành một trung tâm dữ liệu khổng lồ. Toàn bộ chuỗi cung ứng từ trên xuống dưới có độ phức tạp rất cao, bởi chúng tôi không chỉ lắp ráp, ngoài việc chip bản thân là một kỳ tích, chúng tôi còn tạo ra một hệ thống lớn và phức tạp.
Vì vậy, khi mọi người hỏi tôi cảm nhận về GPU ra sao, có thể một phần cho rằng nó chỉ giống như một SoC (chip tích hợp) mà thôi, còn tôi nhìn thấy giá đỡ, dây cáp, switch... Đó mới là mô hình GPU và phần mềm trong tâm trí tôi. TSMC thực sự rất quan trọng.
11. Chiến lược kinh doanh đám mây
Hỏi: NVIDIA đang chuyển mình sang kinh doanh đám mây, trong khi các nhà cung cấp đám mây khác lại tự làm chip của họ. Liệu họ có ảnh hưởng đến chiến lược định giá của ông không? Chiến lược kinh doanh đám mây của NVIDIA là gì? Có bán dịch vụ đám mây DGX cho khách hàng Trung Quốc không?
Huang Renxun: NVIDIA hợp tác với các nhà cung cấp dịch vụ đám mây, đưa phần cứng và phần mềm của chúng tôi vào đám mây của họ, mục tiêu là mang khách hàng đến đám mây của họ.
NVIDIA là một công ty nền tảng tính toán, chúng tôi phát triển phần mềm, chúng tôi có một cộng đồng nhà phát triển theo dõi NVIDIA, do đó, chúng tôi tạo nhu cầu và mang khách hàng đến cho các nhà cung cấp dịch vụ đám mây (CSP) sử dụng DGX của NVIDIA.
12. "Leonardo thời hiện đại", hay "Oppenheimer thời hiện đại"?
Hỏi: Ông từng nói AGI sẽ đến trong 5 năm, dự đoán thời gian này có thay đổi không? Việc AGI đến nhanh hơn có khiến ông sợ hãi không? Có người nói ông là Leonardo thời hiện đại (đa tài, đóng góp lớn lao), cũng có người nói ông là Oppenheimer thời hiện đại, ông nghĩ sao?
Huang Renxun: Oppenheimer chế tạo bom, còn chúng tôi (NVIDIA) thì không làm việc đó.
Trước tiên hãy định nghĩa cụ thể AGI, để chúng ta biết mức độ nào mới coi là đạt AGI, khi nào đạt được. Nếu AGI có nghĩa là trên một lượng lớn bộ dữ liệu kiểm thử, chương trình phần mềm có thể làm tốt hơn phần lớn con người trong các bài kiểm tra toán, đọc hiểu, logic, y học, luật, GMAT, SAT, v.v., thậm chí tốt hơn tất cả mọi người, thì máy tính có thể đạt được AGI trong vòng 5 năm.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
极客公园
