谁在拥有生成式AI平台？

type

Post

status

Published

date

Dec 5, 2023

slug

example-3

summary

我们开始看到技术堆栈的早期阶段出现在生成人工智能（AI）中。数百家新初创公司正涌入市场，开发基础模型、构建人工智能原生应用程序以及建立基础设施/工具。

高级技术堆栈：基础设施、模型和应用程序

为了了解生成式人工智能市场是如何形成的，我们首先需要定义今天的堆栈是什么样子的。这是我们的初步看法。

栈可以分为三层：

将生成式 AI 模型集成到面向用户的产品中的应用程序，运行自己的模型管道（“端到端应用程序”）或依赖第三方 API为人工智能产品提供动力的模型，可以作为专有 API 或开源检查点（反过来，需要托管解决方案）提供为生成式 AI 模型运行训练和推理工作负载的基础设施供应商（即云平台和硬件制造商）

需要注意的是：这不是市场地图，而是分析市场的框架。在每个类别中，我们都列出了一些知名供应商的示例。我们还没有尝试全面或列出所有已发布的令人惊叹的生成式人工智能应用程序。我们也不会在这里深入探讨 MLops 或 LLMops 工具，这些工具尚未高度标准化，将在以后的帖子中讨论。

第一波生成式AI应用程序已开始形成规模，但在保留率和差异化方面遇到困难

在之前的技术周期中，传统观点是，要建立一家大型独立公司，你必须拥有最终客户——无论是个人消费者还是 B2B 买家。人们很容易相信，生成人工智能领域最大的公司也将是最终用户应用程序。到目前为止，还不清楚情况是否如此。

可以肯定的是，在纯粹的新颖性和大量用例的推动下，生成式人工智能应用程序的增长令人震惊。事实上，我们知道至少有三个产品类别的年收入已经超过 1 亿美元：图像生成、文案写作和代码编写。

然而，仅靠增长还不足以建立持久的软件公司。至关重要的是，增长必须是有利可图的——从某种意义上说，用户和客户一旦注册，就会产生利润（高毛利率）并长期停留（高保留率）。在缺乏强大的技术差异化的情况下，B2B 和 B2C 应用程序通过网络效应、保留数据或构建日益复杂的工作流程来驱动长期客户价值。

在生成人工智能中，这些假设不一定成立。在我们采访过的应用公司中，毛利率差异很大——在少数情况下高达 90%，但更常见的是低至 50-60%，这主要是由模型推理成本驱动的。漏斗顶部的增长令人惊叹，但目前尚不清楚当前的客户获取策略是否具有可扩展性——我们已经看到付费获取效率和保留率开始下降。许多应用程序也相对没有差异化，因为它们依赖于类似的底层人工智能模型，并且没有发现竞争对手难以复制的明显网络效应或数据/工作流程。

因此，目前尚不清楚销售最终用户应用程序是否是建立可持续生成人工智能业务的唯一甚至最佳途径。随着语言模型竞争和效率的增加，利润应该会提高（更多内容见下文）。随着人工智能游客离开市场，保留率应该会增加。有一个强有力的论据表明，垂直整合的应用程序在推动差异化方面具有优势。但还有很多事情需要证明。

展望未来，生成式人工智能应用公司面临的一些重大问题包括：

垂直整合（“模型+应用程序”）。将人工智能模型作为服务使用，使应用程序开发人员能够与小团队快速迭代，并随着技术的进步更换模型提供商。另一方面，一些开发人员认为产品就是模型，从头开始训练是创造防御性的唯一方法——即通过不断地对专有产品数据进行重新训练。但这是以更高的资本要求和更不灵活的产品团队为代价的。构建功能与应用程序。生成式人工智能产品有多种不同的形式：桌面应用程序、移动应用程序、Figma/Photoshop 插件、Chrome 扩展程序，甚至 Discord 机器人。由于用户界面通常只是一个文本框，因此很容易将人工智能产品集成到用户已经工作的地方。其中哪些将成为独立公司，哪些将被微软或谷歌等已经将人工智能纳入其产品线的现有企业吸收？管理炒作周期。目前尚不清楚流失是否是当前一批生成式人工智能产品所固有的，或者是否是早期市场的产物。或者，随着炒作的消退，人们对生成式人工智能的兴趣是否会减弱。这些问题对应用程序公司具有重要影响，包括何时加大筹款力度；如何积极地投资于客户获取；优先考虑哪些用户群；以及何时宣布产品适合市场。

模型提供商发明了生成式AI，但尚未达到大规模商业规模

如果没有 Google、OpenAI 和 Stability 等机构所做的出色研究和工程工作，我们现在所说的生成式人工智能就不会存在。通过新颖的模型架构和扩展训练流程的巨大努力，我们都受益于当前大型语言模型 (LLM) 和图像生成模型的令人惊叹的功能。

然而，与使用量和热度相比，与这些公司相关的收入仍然相对较小。在图像生成方面，在用户界面、托管产品和微调方法的生态系统的支持下，Stable Diffusion 社区出现了爆炸性增长。但稳定性将免费提供主要检查站作为其业务的核心原则。在自然语言模型中，OpenAI 以 GPT-3/3.5 和 ChatGPT 占据主导地位。但迄今为止，基于 OpenAI 构建的杀手级应用相对较少，而且价格也已经下降过一次。

这可能只是暂时现象。Stability是一家新公司，尚未专注于货币化。OpenAI 有潜力成为一项庞大的业务，随着更多杀手级应用程序的构建，它在所有 NLP 类别收入中赚取很大一部分——特别是如果它们能够顺利地集成到微软的产品组合中的话。鉴于这些模型的大量使用，大规模收入可能不会落后太多。

但也存在相反的力量。作为开源发布的模型可以由任何人托管，包括不承担大规模模型训练相关成本（高达数千万或数亿美元）的外部公司。目前尚不清楚是否有任何闭源模型可以无限期地保持其优势。例如，我们开始看到 Anthropic、Cohere 和 Character.ai 等公司构建的法学硕士更接近 OpenAI 的性能水平，并在类似的数据集（即互联网）上进行训练并具有类似的模型架构。稳定扩散的例子表明，如果开源模型达到足够水平的性能和社区支持，那么专有替代方案可能会发现难以竞争。

到目前为止，对于模型提供商来说，最明显的收获可能是商业化可能与托管相关。对专有 API（例如来自 OpenAI）的需求正在快速增长。开源模型的托管服务（例如 Hugging Face 和 Replicate）正在成为轻松共享和集成模型的有用中心，甚至在模型生产者和消费者之间产生一些间接的网络效应。还有一个强有力的假设，即可以通过与企业客户的微调和托管协议来货币化。

但除此之外，模型提供商还面临许多重大问题：

商品化。人们普遍认为，随着时间的推移，人工智能模型的性能将会趋同。与应用程序开发人员交谈时，很明显这种情况还没有发生，文本和图像模型方面都有强大的领导者。它们的优势不是基于独特的模型架构，而是基于高资本要求、专有的产品交互数据和稀缺的人工智能人才。这会成为持久的优势吗？毕业风险。依赖模型提供商是应用程序公司起步甚至发展业务的好方法。但一旦达到规模，他们就会有动力去构建和/或托管自己的模型。许多模型提供商的客户分布高度倾斜，少数应用程序占据了大部分收入。如果/当这些客户转向内部人工智能开发时会发生什么？钱重要吗？生成式人工智能的前景如此巨大，但也可能具有很大的危害性，以至于许多模型提供商已组织成为公益公司（B corps），发行上限利润份额，或以其他方式将公共利益明确纳入其使命中。这并没有阻碍他们的筹款活动。但是，关于大多数模型提供商是否真的想要获取价值以及是否应该获取价值，需要进行合理的讨论。

基础设施供应商触及一切并获得回报

生成式人工智能中的几乎所有内容都会在某个时刻通过云托管的 GPU（或 TPU）。无论是对于运行训练工作负载的模型提供商/研究实验室、运行推理/微调的托管公司，还是将两者结合起来的应用程序公司，FLOPS都是生成式 AI 的命脉。很长一段时间以来，最具颠覆性的计算技术的进展首次受到计算的限制。

因此，生成式人工智能市场的大量资金最终流向了基础设施公司。给出一些非常粗略的数字：我们估计，平均而言，应用程序公司将大约 20-40% 的收入用于推理和针对每个客户的微调。这通常直接支付给计算实例的云提供商或第三方模型提供商——反过来，第三方模型提供商将大约一半的收入花在云基础设施上。因此，有理由猜测当今生成式 AI总收入的 10-20% 流向了云提供商。

除此之外，训练自己模型的初创公司已经筹集了数十亿美元的风险投资——其中大部分（早期轮次高达 80-90%）通常也花在了云提供商身上。许多上市科技公司每年花费数亿美元用于模型训练，要么与外部云提供商合作，要么直接与硬件制造商合作。

用技术术语来说，这就是我们所说的“大量资金”——尤其是对于新兴市场而言。其中大部分花费在三大云上：亚马逊网络服务（AWS）、谷歌云平台（GCP）和微软Azure。这些云提供商每年总共花费超过1000 亿美元的资本支出，以确保他们拥有最全面、可靠且具有成本竞争力的平台。特别是在生成人工智能领域，它们还受益于供应限制，因为它们可以优先使用稀缺硬件（例如 Nvidia A100 和 H100 GPU）。

但有趣的是，我们开始看到可信的竞争出现。像甲骨文这样的挑战者已经通过巨额资本支出和销售激励取得了进展。Coreweave 和 Lambda Labs 等一些初创公司凭借专门针对大型模型开发人员的解决方案迅速发展。他们在成本、可用性和个性化支持方面展开竞争。它们还公开了更细粒度的资源抽象（即容器），而由于 GPU 虚拟化的限制，大型云仅提供 VM 实例。

在幕后运行绝大多数人工智能工作负载的可能是迄今为止生成式人工智能领域的最大赢家：Nvidia。该公司公布的 2023 财年第三季度数据中心 GPU 收入为38亿美元，其中很大一部分用于生成人工智能用例。通过数十年对 GPU 架构的投资、强大的软件生态系统以及学术界的深入使用，他们围绕这项业务建立了强大的护城河。最近的一项分析发现，研究论文中引用 Nvidia GPU 的次数是顶级 AI 芯片初创公司总和的 90 倍。

确实存在其他硬件选项，包括 Google 张量处理单元 (TPU)；AMD Instinct GPU；AWS Inferentia 和 Trainium 芯片；以及来自 Cerebras、Sambanova 和 Graphcore 等初创公司的人工智能加速器。英特尔虽然起步较晚，但也凭借其高端 Habana 芯片和 Ponte Vecchio GPU 进入市场。但到目前为止，这些新芯片很少占据重要的市场份额。值得关注的两个例外是谷歌，其 TPU 在 Stable Diffusion 社区和一些大型 GCP 交易中获得了关注，以及台积电，据信该公司生产此处列出的所有芯片，包括 Nvidia GPU（英特尔混合使用其自己的晶圆厂和台积电来制造芯片）。

换句话说，基础设施是堆栈中有利可图、持久且看似可防御的层。基础设施公司需要回答的重大问题包括：

保持无状态工作负载。无论您在哪里租用 Nvidia GPU，它们都是一样的。大多数人工智能工作负载都是无状态的，因为模型推理不需要附加数据库或存储（模型权重本身除外）。这意味着人工智能工作负载可能比传统应用程序工作负载更容易跨云移植。在这种情况下，云提供商如何才能创造粘性并防止客户转向最便宜的选择？度过芯片稀缺的终结。云提供商和 Nvidia 本身的定价一直受到最理想 GPU 稀缺供应的支持。一位供应商告诉我们，A100 的标价实际上自推出以来有所上涨，这对于计算硬件来说非常不寻常。当通过增加产量和/或采用新硬件平台最终消除这种供应限制时，这将如何影响云提供商？挑战者云能否突破？我们坚信，垂直云将通过更专业的产品从三大巨头手中夺取市场份额。到目前为止，在人工智能领域，挑战者已经通过适度的技术差异化和英伟达的支持赢得了有意义的关注——对英伟达来说，现有的云提供商既是最大的客户，也是新兴的竞争对手。长期的问题是，这足以克服三巨头的规模优势吗？

那么……价值将在哪里累积？

当然，我们还不知道。但根据我们掌握的生成式人工智能的早期数据，结合我们在早期人工智能/机器学习公司的经验，我们的直觉如下。

如今，生成人工智能领域似乎不存在任何系统性护城河。作为一阶近似，应用程序缺乏强大的产品差异化，因为它们使用相似的模型；模型面临着不明确的长期差异，因为它们是在具有相似架构的相似数据集上进行训练的；云提供商缺乏深度的技术差异化，因为它们运行相同的 GPU；甚至硬件公司也在同一家工厂生产芯片。

当然，有标准的护城河：规模护城河（“我拥有或可以比你筹集更多的钱！”）、供应链护城河（“我有 GPU，你没有！”）、生态系统护城河（“每个人都已经在使用我的软件了！”）、算法护城河（“我们比你更聪明！”）、分销护城河（“我已经拥有一个销售团队和比你更多的客户！”）和数据管道护城河（“我”）我在互联网上爬取的内容比你还多！”）。但从长远来看，这些护城河都不是持久的。现在判断堆栈的任何一层是否会产生强大、直接的网络效应还为时过早。

根据现有数据，尚不清楚生成人工智能是否会出现长期的赢家通吃的动态。

这很奇怪。但对我们来说，这是个好消息。这个市场的潜在规模很难把握——介于所有软件和所有人类努力之间——因此我们期望有很多很多的参与者以及各个层面的良性竞争。我们还期望横向和纵向公司都能取得成功，并采用由最终市场和最终用户决定的最佳方法。例如，如果最终产品的主要差异化是人工智能本身，那么垂直化（即将面向用户的应用程序与本土模型紧密耦合）很可能会胜出。然而，如果人工智能是更大的长尾功能集的一部分，那么更有可能发生水平化。当然，随着时间的推移，我们也应该看到更多传统护城河的建立，甚至可能会看到新型护城河的出现。

无论如何，我们可以确定的一件事是，生成式人工智能会改变游戏规则。我们都在实时学习规则，巨大的价值将被释放，技术格局将因此而变得非常非常不同。我们就是为此而来！

这篇文章中的所有图像都是使用 Midjourney 创建的。