红杉资本/Sequoia Capital，作为全球领先的风险投资公司之一，凭借其卓越的投资眼光和丰富的行业经验，一直在科技创新的前沿引领着潮流。近日，红杉资本发布了一篇关于大型语言模型（LLMs）的深度分析，这篇文章探讨了LLMs如何引领企业创新、催生新的技术栈、并逐渐融合开源和自定义模型训练的趋势。

这篇分析对于投资者、企业家和创业者来说都是极其值得关注的。对于投资者，它揭示了哪些行业和具体技术可能在未来经历快速增长。对于企业家和创业者，这篇分析揭示了LLMs的崛起及其定制化的趋势，这将为他们提供一个全新的视角去思考如何通过自然语言交互来创新他们的产品。

下面是我们的超级助教ChatGPT做的摘要和全文翻译：

摘要：

大型语言模型（LLMs）的创新：像ChatGPT这样的LLMs在各个行业中催生了创新，从营销到法律到搜索，越来越多的公司将自然语言交互集成到他们的产品中。

新技术堆栈的出现：这些应用的新技术堆栈包括语言模型API、检索机制和像LangChain这样的编排框架。开源和自定义模型训练的趋势日益增长，公司越来越渴望根据自身需要定制模型。

对LLMs的定制化：公司通过从零开始训练自定义模型、微调基础模型，或使用预训练模型并检索相关语境来实现对LLMs的定制化。这种定制化使得基于其数据的自然语言交互更加具体和相关。

技术堆栈的融合：LLM API技术堆栈和自定义模型训练技术堆栈预计会随着时间的推移合并，因为公司对训练和微调自己的模型越来越感兴趣。这种融合预计将为语言模型应用提供更大的灵活性和适应性。

开发者友好性的提高：像LangChain这样的工具使得技术堆栈对于普通开发人员而言越来越易于使用，而不仅仅是机器学习团队。这样的工具帮助开发人员解决常见问题，避免供应商锁定，促进了一个更包容和多样化的开发者社区。

全文翻译：

企业如何让人工智能应用变为现实

ChatGPT释放了一股巨大的创新浪潮，带动了大型语言模型（LLMs）的发展。越来越多的企业正在将自然语言交互的强大功能引入他们的产品中。语言模型API的采用在其后掀起了一场新的技术堆叠革命。为了更好地了解人们正在构建的应用以及他们所使用的技术堆栈，我们与Sequoia网络中的33家公司进行了交流，这些公司既有初创阶段的初创企业，也有规模庞大的上市企业。我们在两个月前与他们进行了对话，以及在上周再次交流，以充分捕捉这个领域迅速变化的步伐。

由于许多创始人和开发者正在摸索他们自己的人工智能战略，我们希望分享我们的发现，即便这个领域正在快速发展变化。

1. 几乎Sequoia网络中的每家公司都在将语言模型集成到其产品中

我们已经看到了神奇的代码自动完成功能（如Sourcegraph、Warp、Github），以及数据科学（如Hex）的自动完成功能。我们见证了更出色的聊天机器人，不仅用于客户支持、员工支持，还应用于消费者娱乐。

其他公司以AI为先导，重新构想了整个工作流程，涵盖视觉艺术（如Midjourney）、营销（如Hubspot、Attentive、Drift、Jasper、Copy、Writer）、销售（如Gong）、联系中心（如Cresta）、法律（如Ironclad、Harvey）、会计（如Pilot）、生产力工具（如Notion）、数据工程（如dbt）、搜索（如Glean、Neeva）、杂货购物（如Instacart）、消费支付（如Klarna）和旅行规划（如Airbnb）。这些只是一些例子，而且它们只是个开始。

2. 这些应用程序的新技术堆栈主要集中在语言模型API、检索和编排上，但开源使用也在不断增长

• 在我们的样本中，65%的企业正在进行应用的生产部署，相比两个月前的50%有所增长，其余仍在试验阶段。

• 94%的企业正在使用基础模型API。在我们的样本中，OpenAI的GPT明显是最受欢迎的，占据了91%的比例，然而Anthropic在过去的一个季度中表现出了较大的兴趣，达到了15%（某些公司同时使用多个模型）。

• 88%的企业认为，检索机制（如向量数据库）将继续成为他们技术堆栈中的关键部分。通过为模型提供相关的语境信息，有助于提高结果的质量，减少“错觉”（不准确性），并解决数据新鲜度的问题。有些企业使用定制的向量数据库（如Pinecone、Weaviate、Chroma、Qdrant、Milvus等），而其他企业使用pgvector或AWS的相关产品。

• 38%的企业对像LangChain这样的LLM编排和应用开发框架表示关注。一些企业将其用于原型设计，而其他企业则将其应用于实际生产中。在过去几个月中，采用率有所增加。

• 少于10%的企业正在寻找用于监控LLM输出、成本或性能以及进行A/B测试的工具。随着更多大型企业和受监管行业采用语言模型，我们认为在这些领域的兴趣可能会增加。

• 少数几家企业正在研究互补的生成技术，比如将生成文本和语音相结合。我们也相信这是一个令人兴奋的增长领域。

• 15%的企业正在从零开始或使用开源技术构建自定义语言模型，通常是在同时使用LLM API的基础上进行。几个月前，自定义模型训练的采用率有了显著增长。这需要使用其它备受欢迎的公司如Hugging Face、Replicate、Foundry、Tecton、Weights & Biases、PyTorch、Scale等提供的计算资源、模型库、托管服务、训练框架和实验跟踪等自己的技术堆栈。

我们与每位从业者交谈后发现，人工智能的发展速度太快，人们对最终技术堆栈的信心尚不足够高，但大家一致认为LLM API将始终是关键支柱，其次是检索机制和像LangChain这样的开发框架。开源和自定义模型的训练和调优似乎也在逐渐增长。技术堆栈的其他领域也很重要，但在成熟度上较为靠前。

3. 企业希望根据其独特的环境来定制语言模型。

通用语言模型虽然功能强大，但对许多应用场景来说，并不能区分和满足其需求。企业希望能够在其数据上实现自然语言交互，例如开发者文档、产品库存、人力资源或信息技术规则等等。在某些情况下，企业还希望根据用户的数据来自定义模型，例如个人笔记、设计布局、数据指标或代码库。

目前，有三种主要的方法来定制语言模型（关于更深入的技术解释，可以参考Andrej最近在Microsoft Build上的《GPT现状》演讲）：

• 从零开始训练一个自定义模型。难度最高。这是解决这个问题的经典且最困难的方法。通常需要高技能的机器学习科学家、大量相关数据、训练基础设施和计算资源。这也是为什么在历史上，自然语言处理的创新主要发生在大型科技公司的一个重要原因。BloombergGPT就是一个很好的例子，它是在没有大型科技公司的支持下进行的自定义模型项目，利用了Hugging Face和其他开源工具的资源。随着开源工具的改进和更多公司创新使用LLM，我们预计会看到更多自定义和预训练模型的使用。

• 对基础模型进行微调。难度适中。这是通过使用进一步的专有数据或领域特定数据，更新预训练模型的权重。开源创新也使这种方法越来越易于实现，但它仍然通常需要一支高水平的团队。一些从业者私下承认，微调比听起来更加困难，并且可能会产生一些意想不到的后果，如模型漂移和在没有警告的情况下“破坏”模型的其他技能。虽然这种方法更有可能变得更常见，但目前对大多数公司来说仍然难以实现。不过，这也在快速变化中。

• 使用预训练模型并检索相关语境。难度最低。人们通常认为他们需要一个专门为他们进行微调的模型，但实际上他们只是希望模型在合适的时间对他们的信息进行推理。有很多方法可以在合适的时间为模型提供正确的信息：向SQL数据库发起结构化查询、在产品目录中进行搜索、调用某些外部API或使用嵌入式检索。嵌入式检索的好处在于可以使用自然语言轻松地搜索非结构化数据。从技术上讲，这是通过将数据转化为嵌入式向量，并将其存储在向量数据库中来实现的。当查询发生时，搜索这些向量嵌入以找到最相关的语境，并提供给模型。这种方法有助于突破模型的有限上下文窗口，成本较低，解决了数据新鲜度的问题（例如，ChatGPT不知道2021年9月之后的世界），并且可以由一个单独的开发者在没有正式机器学习培训的情况下完成。向量数据库很有用，因为在大规模情况下，它使存储、搜索和更新嵌入式向量更加容易。到目前为止，我们观察到较大型公司仍然依靠其企业云协议，并使用云供应商提供的工具，而初创公司则倾向于使用专门构建的向量数据库。然而，这个领域变化非常迅速。上下文窗口正变得越来越大（刚刚，OpenAI扩展到了16K，Anthropic推出了一个拥有10万个标记的上下文窗口）。基础模型和云数据库可能会将检索功能直接嵌入到其服务中。我们正在密切关注这个市场的发展。

4. 目前，LLM API的技术堆栈与自定义模型训练的技术堆栈可能感觉是相互独立的，但随着时间的推移，它们将逐渐融合在一起

有时候，我们可能感觉存在着两种技术堆栈的故事：一方面是利用LLM API的技术堆栈（更侧重于闭源和面向开发人员），另一方面是训练自定义语言模型的技术堆栈（更侧重于开源和以往更为复杂的机器学习团队）。

一些人对LLMs通过API轻松获取是否意味着公司会减少自己的自定义训练产生了疑问。然而到目前为止，情况恰好相反。随着对人工智能的兴趣增长和开源开发的加速，许多公司对训练和微调自己的模型越来越感兴趣。

我们认为随着时间的推移，LLM API和自定义模型的技术堆栈将逐渐融合在一起。例如，一家公司可能会从开源中训练自己的语言模型，但通过向量数据库进行检索以解决数据新鲜度的问题。而为自定义模型技术堆栈构建工具的智能创业公司也致力于扩展其产品，使其与LLM API的革命更加相关。

5. 这个技术堆栈正在变得越来越适合开发人员使用

语言模型API使得功能强大的现成模型可供普通开发人员使用，而不仅仅是机器学习团队。现在，与语言模型一起工作的开发人员群体已经显著扩大，覆盖了所有开发人员，我们相信会看到更多以开发人员为导向的工具。

例如，LangChain通过抽象常见问题，帮助开发人员构建LLM应用程序：将模型组合成更高级的系统、将多个模型的调用链接在一起、将模型与工具和数据源连接起来、构建可以操作这些工具的代理，并通过简化切换语言模型的过程，帮助避免供应商锁定。有些人将LangChain用于原型设计，而其他人则继续将其用于实际生产中。

6. 如果要实现全面采用，语言模型需要变得更加可靠（包括输出质量、数据隐私和安全性）

在将LLM完全应用到他们的应用程序之前，许多公司希望拥有更好的工具来处理数据隐私、隔离、安全性、版权以及监控模型输出。在从金融科技到医疗保健等受监管行业中，公司特别关注这一点，并表示很难找到解决此问题的软件解决方案（这是一个有潜力的创业领域）。理想情况下，应该有软件能够提示（如果不是阻止）模型生成错误、虚幻、歧视性或者危险内容等问题。

一些公司还对与模型共享的数据用于训练的方式表示担忧：例如，很少有人知道ChatGPT Consumer的数据默认用于训练，而ChatGPT Business和API数据则不用于训练。随着政策的明确并建立更多的防护措施，语言模型将更加可信，我们可能会见证采用率的又一次飞跃变化。

7. 语言模型应用将日益多模态化

公司们已经发现了将多个生成模型结合起来产生出色效果的有趣方式：组合文本和语音生成的聊天机器人可以带来全新层次的对话体验。文本和语音模型可以结合使用，帮助您快速修正视频录制中的错误，而无需重新录制整个视频。

模型本身也越来越多模态化。我们可以想象未来丰富的消费者和企业AI应用，将文本、语音/音频和图像/视频生成结合起来，创造出更具吸引力的用户体验，完成更复杂的任务。

8. 现在仍处于早期阶段

人工智能刚刚开始渗透到科技的方方面面。在调查中，只有65%的公司已经投入生产，而且其中许多都是相对简单的应用。随着越来越多的企业推出LLM应用，新的障碍将出现，为创始人带来更多机会。未来几年，基础设施层将继续快速演进。

如果我们所见到的只有一半的演示能够顺利转化为产品，我们将迎来一个令人激动的旅程。看到从我们最早期的Arc投资到Zoom等公司的创始人都专注于同一件事情，即以人工智能来让用户满意，这真是令人振奋。