Phân tích sâu mô hình ngôn ngữ lớn của Sequoia Capital: Doanh nghiệp làm thế nào để hiện thực hóa ứng dụng trí tuệ nhân tạo
Tuyển chọn TechFlowTuyển chọn TechFlow
Phân tích sâu mô hình ngôn ngữ lớn của Sequoia Capital: Doanh nghiệp làm thế nào để hiện thực hóa ứng dụng trí tuệ nhân tạo
Phân tích này cực kỳ đáng chú ý đối với các nhà đầu tư, doanh nhân và những người khởi nghiệp.
Chuyên sâu báo cáo Web3
Quỹ đầu tư mạo hiểm Sequoia Capital, một trong những công ty đầu tư mạo hiểm hàng đầu thế giới, luôn dẫn đầu xu hướng đổi mới công nghệ nhờ tầm nhìn đầu tư vượt trội và kinh nghiệm sâu rộng trong ngành. Gần đây, Sequoia Capital đã công bố một phân tích chuyên sâu về các mô hình ngôn ngữ lớn (LLMs), bài viết này thảo luận cách LLMs đang thúc đẩy đổi mới doanh nghiệp, thúc đẩy sự xuất hiện của các chồng công nghệ mới, đồng thời dần kết hợp xu hướng mã nguồn mở và việc tự huấn luyện mô hình tùy chỉnh.
Phân tích này cực kỳ đáng chú ý đối với nhà đầu tư, doanh nhân và người khởi nghiệp. Với nhà đầu tư, nó tiết lộ những ngành nghề và công nghệ cụ thể nào có thể tăng trưởng mạnh trong tương lai. Với doanh nhân và người khởi nghiệp, phân tích này cho thấy sự nổi lên của LLMs và xu hướng tùy chỉnh hóa, từ đó cung cấp một góc nhìn hoàn toàn mới để suy nghĩ về việc đổi mới sản phẩm thông qua tương tác bằng ngôn ngữ tự nhiên.
Dưới đây là bản tóm tắt và bản dịch toàn văn do trợ lý ảo siêu cấp ChatGPT thực hiện:
Tóm tắt:
Sáng tạo với mô hình ngôn ngữ lớn (LLMs): Các LLM như ChatGPT đang thúc đẩy đổi mới trong nhiều lĩnh vực, từ tiếp thị đến luật pháp đến tìm kiếm; ngày càng nhiều công ty tích hợp tương tác ngôn ngữ tự nhiên vào sản phẩm của họ.
Xuất hiện của chồng công nghệ mới: Chồng công nghệ mới cho các ứng dụng này bao gồm API mô hình ngôn ngữ, cơ chế truy xuất và các khung điều phối như LangChain. Xu hướng sử dụng mã nguồn mở và tự huấn luyện mô hình tùy chỉnh ngày càng gia tăng, khi các công ty ngày càng mong muốn tùy biến mô hình theo nhu cầu riêng.
Tùy chỉnh hóa LLM: Các công ty tùy chỉnh LLM theo ba cách: huấn luyện mô hình tùy chỉnh từ đầu, tinh chỉnh mô hình nền tảng hoặc dùng mô hình đã huấn luyện trước và truy xuất ngữ cảnh liên quan. Việc tùy chỉnh này giúp tương tác ngôn ngữ tự nhiên dựa trên dữ liệu nội bộ trở nên cụ thể và phù hợp hơn.
Sự hội tụ của các chồng công nghệ: Dự kiến chồng công nghệ API LLM và chồng công nghệ tự huấn luyện mô hình sẽ dần hợp nhất theo thời gian, vì ngày càng nhiều công ty quan tâm đến việc tự huấn luyện và tinh chỉnh mô hình. Sự hội tụ này sẽ mang lại tính linh hoạt và thích nghi cao hơn cho các ứng dụng mô hình ngôn ngữ.
Nâng cao tính thân thiện với nhà phát triển: Các công cụ như LangChain khiến cho chồng công nghệ ngày càng dễ sử dụng hơn với lập trình viên phổ thông, chứ không chỉ riêng nhóm máy học. Những công cụ này giúp giải quyết các vấn đề thường gặp, tránh bị khóa nhà cung cấp, thúc đẩy cộng đồng phát triển đa dạng và hòa nhập hơn.
Bản dịch toàn văn:
Doanh nghiệp đang hiện thực hóa ứng dụng AI như thế nào
ChatGPT đã tạo ra một làn sóng đổi mới khổng lồ, thúc đẩy sự phát triển của các mô hình ngôn ngữ lớn (LLMs). Ngày càng nhiều doanh nghiệp đang đưa sức mạnh của tương tác ngôn ngữ tự nhiên vào sản phẩm của họ. Việc áp dụng API mô hình ngôn ngữ đã kích hoạt một cuộc cách mạng mới trong hệ sinh thái công nghệ. Để hiểu rõ hơn về các ứng dụng mà mọi người đang xây dựng và các chồng công nghệ họ đang sử dụng, chúng tôi đã trao đổi với 33 công ty trong mạng lưới Sequoia – từ các startup giai đoạn đầu đến các doanh nghiệp quy mô lớn đã niêm yết. Chúng tôi đã nói chuyện với họ hai tháng trước và lại tiếp tục cập nhật tuần trước nhằm nắm bắt đầy đủ tốc độ thay đổi nhanh chóng trong lĩnh vực này.
Vì nhiều nhà sáng lập và lập trình viên vẫn đang mày mò chiến lược AI của riêng mình, chúng tôi mong muốn chia sẻ những phát hiện dù lĩnh vực này đang thay đổi rất nhanh.
1. Gần như mọi công ty trong mạng lưới Sequoia đều đang tích hợp mô hình ngôn ngữ vào sản phẩm của họ
Chúng tôi đã chứng kiến chức năng tự động hoàn thành mã tuyệt vời (như Sourcegraph, Warp, Github) và tự động hóa trong khoa học dữ liệu (như Hex). Chúng tôi cũng thấy các chatbot tốt hơn, không chỉ dùng cho hỗ trợ khách hàng, nhân viên mà còn cả giải trí cho người dùng.
Các công ty khác tái tưởng tượng toàn bộ quy trình làm việc với AI làm trung tâm, bao gồm nghệ thuật thị giác (như Midjourney), tiếp thị (như Hubspot, Attentive, Drift, Jasper, Copy, Writer), bán hàng (như Gong), trung tâm liên lạc (như Cresta), luật pháp (như Ironclad, Harvey), kế toán (như Pilot), công cụ năng suất (như Notion), kỹ sư dữ liệu (như dbt), tìm kiếm (như Glean, Neeva), mua sắm tạp hóa (như Instacart), thanh toán tiêu dùng (như Klarna) và lập kế hoạch du lịch (như Airbnb). Đây chỉ là một vài ví dụ, và mới chỉ là khởi đầu.
2. Chồng công nghệ mới cho các ứng dụng này chủ yếu tập trung vào API mô hình ngôn ngữ, truy xuất và điều phối, nhưng việc sử dụng mã nguồn mở cũng đang tăng dần
-
Trong mẫu khảo sát của chúng tôi, 65% doanh nghiệp đang triển khai ứng dụng ở môi trường sản xuất, tăng so với mức 50% hai tháng trước, phần còn lại vẫn đang thử nghiệm.
-
94% doanh nghiệp đang sử dụng API mô hình nền tảng. Trong mẫu này, GPT của OpenAI rõ ràng là lựa chọn phổ biến nhất với tỷ lệ 91%, tuy nhiên Anthropic đã thu hút sự quan tâm đáng kể trong quý vừa qua đạt mức 15% (một số công ty sử dụng nhiều mô hình cùng lúc).
-
88% doanh nghiệp cho rằng cơ chế truy xuất (như cơ sở dữ liệu vector) sẽ tiếp tục là phần thiết yếu trong chồng công nghệ của họ. Cung cấp thông tin ngữ cảnh liên quan cho mô hình giúp nâng cao chất lượng kết quả, giảm “ảo giác” (thông tin sai lệch), và giải quyết vấn đề cập nhật dữ liệu. Một số doanh nghiệp dùng cơ sở dữ liệu vector tùy chỉnh (như Pinecone, Weaviate, Chroma, Qdrant, Milvus...), trong khi số khác dùng pgvector hoặc sản phẩm liên quan từ AWS.
-
38% doanh nghiệp quan tâm đến các khung phát triển và điều phối LLM như LangChain. Một số dùng để tạo nguyên mẫu, số khác đã triển khai trong sản xuất. Tỷ lệ áp dụng đã tăng trong vài tháng gần đây.
-
Ít hơn 10% doanh nghiệp đang tìm kiếm công cụ giám sát đầu ra, chi phí hoặc hiệu suất LLM và thực hiện kiểm thử A/B. Khi ngày càng nhiều doanh nghiệp lớn và ngành chịu quản lý áp dụng mô hình ngôn ngữ, chúng tôi cho rằng sự quan tâm trong các lĩnh vực này sẽ tăng lên.
-
Một vài doanh nghiệp đang nghiên cứu các công nghệ tạo sinh bổ trợ, ví dụ như kết hợp tạo văn bản và giọng nói. Chúng tôi cũng tin rằng đây là lĩnh vực tăng trưởng đầy hứa hẹn.
-
15% doanh nghiệp đang xây dựng mô hình ngôn ngữ tùy chỉnh từ đầu hoặc dùng công nghệ mã nguồn mở, thường là song song với việc dùng API LLM. Mấy tháng trước, tỷ lệ áp dụng huấn luyện mô hình tùy chỉnh đã tăng đáng kể. Việc này đòi hỏi sử dụng tài nguyên tính toán, thư viện mô hình, dịch vụ lưu trữ, khung huấn luyện và theo dõi thử nghiệm từ các công ty phổ biến khác như Hugging Face, Replicate, Foundry, Tecton, Weights & Biases, PyTorch, Scale...
Sau mỗi cuộc trao đổi với các chuyên gia, chúng tôi nhận thấy tốc độ phát triển AI quá nhanh, chưa ai đủ tự tin về chồng công nghệ cuối cùng, nhưng tất cả đều đồng thuận rằng API LLM sẽ luôn là trụ cột then chốt, tiếp theo là cơ chế truy xuất và các khung phát triển như LangChain. Việc huấn luyện và tinh chỉnh mô hình mã nguồn mở và tùy chỉnh dường như cũng đang tăng dần. Các lĩnh vực khác trong chồng công nghệ cũng quan trọng, nhưng còn non trẻ hơn.
3. Doanh nghiệp muốn tùy chỉnh mô hình ngôn ngữ theo môi trường đặc thù của họ
Mặc dù mạnh mẽ, mô hình ngôn ngữ tổng quát không thể phân biệt và đáp ứng nhu cầu cho nhiều tình huống ứng dụng. Doanh nghiệp muốn có khả năng tương tác ngôn ngữ tự nhiên trên dữ liệu nội bộ như tài liệu dành cho nhà phát triển, danh mục sản phẩm, quy định nhân sự hoặc công nghệ thông tin. Trong một số trường hợp, doanh nghiệp còn muốn tùy chỉnh mô hình theo dữ liệu người dùng như ghi chú cá nhân, bố cục thiết kế, chỉ số dữ liệu hoặc kho mã nguồn.
Hiện tại có ba phương pháp chính để tùy chỉnh mô hình ngôn ngữ (để hiểu sâu hơn về mặt kỹ thuật, có thể tham khảo bài thuyết trình "Trạng thái của GPT" gần đây của Andrej tại Microsoft Build):
-
Đào tạo mô hình tùy chỉnh từ đầu: Khó nhất. Đây là phương pháp cổ điển và khó khăn nhất để giải quyết vấn đề. Thường cần các nhà khoa học máy học trình độ cao, lượng lớn dữ liệu liên quan, hạ tầng đào tạo và tài nguyên tính toán. Đây cũng là lý do chính khiến đổi mới xử lý ngôn ngữ tự nhiên trước đây chủ yếu diễn ra ở các công ty công nghệ lớn. BloombergGPT là ví dụ điển hình về một dự án mô hình tùy chỉnh được thực hiện mà không có sự hậu thuẫn của các ông lớn công nghệ, tận dụng tài nguyên từ Hugging Face và các công cụ mã nguồn mở khác. Với sự cải tiến của công cụ mã nguồn mở và ngày càng nhiều công ty sáng tạo trong việc sử dụng LLM, chúng tôi dự đoán sẽ thấy thêm nhiều mô hình tùy chỉnh và tiền huấn luyện được sử dụng.
-
Tinh chỉnh mô hình nền tảng: Độ khó trung bình. Phương pháp này cập nhật trọng số của mô hình đã tiền huấn luyện bằng dữ liệu độc quyền hoặc dữ liệu chuyên ngành bổ sung. Đổi mới mã nguồn mở cũng khiến phương pháp này ngày càng dễ thực hiện hơn, nhưng vẫn thường đòi hỏi đội ngũ trình độ cao. Một số chuyên gia thừa nhận riêng rằng tinh chỉnh khó hơn tưởng tượng và có thể gây ra hậu quả bất ngờ như trôi mô hình hoặc "phá vỡ" các kỹ năng khác của mô hình mà không cảnh báo. Mặc dù phương pháp này có khả năng phổ biến hơn, hiện tại vẫn khó thực hiện với đa số công ty. Dù vậy, tình hình đang thay đổi rất nhanh.
-
Dùng mô hình đã tiền huấn luyện và truy xuất ngữ cảnh liên quan: Dễ nhất. Nhiều người thường nghĩ họ cần một mô hình được tinh chỉnh riêng, nhưng thực tế họ chỉ muốn mô hình suy luận đúng thông tin của họ vào đúng thời điểm. Có nhiều cách để cung cấp thông tin đúng cho mô hình đúng lúc: gửi truy vấn cấu trúc tới cơ sở dữ liệu SQL, tìm kiếm trong danh mục sản phẩm, gọi API bên ngoài hoặc dùng truy xuất nhúng. Truy xuất nhúng có ưu điểm là dễ dàng tìm kiếm dữ liệu phi cấu trúc bằng ngôn ngữ tự nhiên. Về mặt kỹ thuật, dữ liệu được chuyển thành vector nhúng và lưu trong cơ sở dữ liệu vector. Khi có truy vấn, các vector này được tìm kiếm để xác định ngữ cảnh liên quan nhất rồi cung cấp cho mô hình. Phương pháp này giúp vượt qua giới hạn cửa sổ ngữ cảnh hẹp của mô hình, chi phí thấp, giải quyết vấn đề cập nhật dữ liệu (ví dụ ChatGPT không biết thế giới sau tháng 9/2021), và thậm chí một lập trình viên đơn lẻ không cần đào tạo chính thức về máy học cũng có thể thực hiện. Cơ sở dữ liệu vector hữu ích vì trong quy mô lớn, nó giúp lưu trữ, tìm kiếm và cập nhật vector nhúng dễ dàng hơn. Cho đến nay, chúng tôi quan sát thấy các công ty lớn thường dựa vào thỏa thuận đám mây doanh nghiệp và dùng công cụ từ nhà cung cấp đám mây, trong khi startup thiên về dùng cơ sở dữ liệu vector chuyên biệt. Tuy nhiên, lĩnh vực này thay đổi rất nhanh. Cửa sổ ngữ cảnh đang ngày càng mở rộng (OpenAI vừa mở rộng lên 16K, Anthropic ra mắt cửa sổ 100.000 token). Mô hình nền tảng và cơ sở dữ liệu đám mây có thể tích hợp trực tiếp chức năng truy xuất vào dịch vụ của họ. Chúng tôi đang theo dõi sát sao diễn biến thị trường này.
4. Hiện tại, chồng công nghệ API LLM và chồng công nghệ huấn luyện mô hình tùy chỉnh có vẻ tách biệt, nhưng theo thời gian, chúng sẽ dần hội tụ
Đôi khi ta cảm giác có hai câu chuyện về chồng công nghệ: một là dùng API LLM (thiên về đóng và hướng nhà phát triển), hai là huấn luyện mô hình ngôn ngữ tùy chỉnh (thiên về mã nguồn mở và đội ML phức tạp hơn trước đây).
Một số người đặt câu hỏi liệu việc dễ dàng truy cập LLM qua API có khiến các công ty giảm bớt việc tự huấn luyện hay không. Nhưng đến nay, tình hình lại ngược lại. Khi sự quan tâm đến AI tăng và phát triển mã nguồn mở gia tốc, ngày càng nhiều công ty quan tâm đến việc huấn luyện và tinh chỉnh mô hình riêng.
Chúng tôi cho rằng theo thời gian, hai chồng công nghệ API LLM và mô hình tùy chỉnh sẽ dần hội tụ. Ví dụ, một công ty có thể huấn luyện mô hình ngôn ngữ riêng từ mã nguồn mở, nhưng dùng cơ sở dữ liệu vector để truy xuất, giải quyết vấn đề cập nhật dữ liệu. Những công ty khởi nghiệp thông minh xây dựng công cụ cho chồng công nghệ mô hình tùy chỉnh cũng đang cố gắng mở rộng sản phẩm để liên quan hơn đến cuộc cách mạng API LLM.
5. Chồng công nghệ này đang ngày càng thân thiện hơn với nhà phát triển
API mô hình ngôn ngữ giúp các mô hình mạnh mẽ sẵn sàng dùng được với lập trình viên phổ thông, không chỉ riêng nhóm máy học. Hiện nay, nhóm lập trình viên làm việc với mô hình ngôn ngữ đã mở rộng đáng kể, bao trùm toàn bộ lập trình viên, và chúng tôi tin sẽ thấy nhiều công cụ định hướng nhà phát triển hơn nữa.
Ví dụ, LangChain giúp lập trình viên xây dựng ứng dụng LLM bằng cách trừu tượng hóa các vấn đề phổ biến: kết hợp các mô hình thành hệ thống cao cấp hơn, nối chuỗi các lần gọi mô hình, kết nối mô hình với công cụ và nguồn dữ liệu, xây dựng các tác nhân (agent) có thể vận hành các công cụ này, đồng thời đơn giản hóa quá trình chuyển đổi giữa các mô hình ngôn ngữ, giúp tránh bị khóa nhà cung cấp. Một số người dùng LangChain để tạo nguyên mẫu, trong khi số khác tiếp tục dùng trong sản xuất.
6. Để đạt được việc áp dụng toàn diện, mô hình ngôn ngữ cần trở nên đáng tin cậy hơn (về chất lượng đầu ra, quyền riêng tư và an ninh dữ liệu)
Trước khi tích hợp hoàn toàn LLM vào ứng dụng, nhiều công ty mong muốn có công cụ tốt hơn để xử lý quyền riêng tư dữ liệu, cô lập, an ninh, bản quyền và giám sát đầu ra mô hình. Trong các ngành chịu quản lý như tài chính công nghệ và chăm sóc sức khỏe, các công ty đặc biệt quan tâm điều này và cho biết rất khó tìm giải pháp phần mềm để giải quyết (đây là lĩnh vực khởi nghiệp tiềm năng). Lý tưởng nhất, cần có phần mềm có thể cảnh báo (hoặc ngăn chặn) mô hình tạo nội dung sai, ảo tưởng, phân biệt hoặc nguy hiểm.
Một số công ty cũng lo ngại về cách dữ liệu họ chia sẻ với mô hình được dùng để huấn luyện: ví dụ, ít người biết dữ liệu ChatGPT Consumer mặc định được dùng để huấn luyện, trong khi dữ liệu ChatGPT Business và API thì không. Khi chính sách rõ ràng hơn và có thêm biện pháp bảo vệ, mô hình ngôn ngữ sẽ đáng tin cậy hơn, và chúng ta có thể chứng kiến bước nhảy tiếp theo về tỷ lệ áp dụng.
7. Ứng dụng mô hình ngôn ngữ sẽ ngày càng đa phương tiện hơn
Các công ty đã khám phá ra những cách thú vị khi kết hợp nhiều mô hình tạo sinh để tạo hiệu ứng ấn tượng: chatbot kết hợp văn bản và giọng nói mang lại trải nghiệm hội thoại ở cấp độ mới. Mô hình văn bản và giọng nói có thể kết hợp giúp bạn sửa nhanh lỗi trong video đã ghi mà không cần quay lại toàn bộ.
Bản thân các mô hình cũng ngày càng đa phương tiện hơn. Chúng ta có thể hình dung những ứng dụng AI phong phú trong tương lai cho cả người tiêu dùng và doanh nghiệp, kết hợp tạo văn bản, giọng nói/âm thanh và hình ảnh/video, tạo ra trải nghiệm hấp dẫn hơn và hoàn thành nhiệm vụ phức tạp hơn.
8. Vẫn còn ở giai đoạn sơ khai
AI mới chỉ bắt đầu thấm sâu vào mọi ngóc ngách của công nghệ. Trong khảo sát, chỉ 65% công ty đã triển khai sản xuất, và trong số đó nhiều ứng dụng còn khá đơn giản. Khi ngày càng nhiều doanh nghiệp tung ra ứng dụng LLM, những rào cản mới sẽ xuất hiện, mở ra cơ hội mới cho các nhà sáng lập. Trong vài năm tới, tầng cơ sở hạ tầng sẽ tiếp tục phát triển nhanh chóng.
Nếu chỉ một nửa số demo chúng tôi từng thấy có thể chuyển hóa thành sản phẩm thành công, chúng ta sẽ bước vào một hành trình đầy hứng khởi. Thật đáng phấn khích khi thấy từ những công ty đầu tư Arc sớm nhất của chúng tôi đến Zoom, các nhà sáng lập đều tập trung vào cùng một điều: dùng AI để làm hài lòng người dùng.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
