现在，全世界都在关注 Nvidia在市场上的主导地位，但更深入地研究这一点很重要。Nvidia 显然是训练芯片市场的领导者，但这只占 AI 芯片需求的 10% 到 20% 左右。推理芯片有一个相当大的市场，它可以解释经过训练的模型并响应用户查询。这个细分市场要大得多，没有任何一个实体，甚至 Nvidia 都无法锁定这个市场。
此外，我们需要打破市场。用户将需要在边缘和云环境中进行推理处理。云推理将视数据中心需求而定。今天数据中心半导体的总市场约为 500 亿美元（不包括内存，不可否认这是一个重要的排除）。这个推理市场不仅很大，而且相当分散。
考虑到大量人工智能工作是在 GPU 上进行的，英伟达可以说已经在其中占有很大份额，而且可能是最大的。AMD 也瞄准了这个市场，但他们远远落后于 Nvidia。此外，这是一个超大规模应用程序使用大量专有芯片的领域——AWS 在 Inferentia 上和谷歌在 TPU 上，仅举几例。值得注意的是，大部分工作仍在 CPU 上执行，尤其是在高端 GPU 供不应求的情况下。在可预见的未来，这部分市场预计将保持高度竞争。与 AMD 一样，这是所有其他 CPU、GPU 和加速器供应商将通过健康的产品组合竞争的市场。
这给我们带来了另一个重要机会——边缘推理。“边缘”一词经常被误用，但出于我们的目的，我们主要指的是最终用户手中的任何设备。今天，这主要包括手机和个人电脑，但正在扩展到相机、机器人、工业系统和汽车等其他领域。预测这个市场的规模具有挑战性。除了扩大使用范围之外，这些设备的大部分硅片可能会被捆绑到执行这些设备所有功能的片上系统 (SoC) 中。
iPhone 就是一个典型的例子，它在其 A 系列处理器中将大量芯片区域专用于 AI 内核。根据一些指标，人工智能内容已经占据了 A 系列芯片的 20%，当我们承认剩下的 80% 必须在手机上运行所有其他功能时，这是相当可观的。许多其他公司也在采用 SoC AI 策略。
AI 领域的一个普遍问题是运行最新的大型语言模型 (LLM)（如GPT和Stable Diffusion）所需的计算能力。人们对在尽可能轻的计算足迹上运行这些模型非常感兴趣，并且开源社区在相对较短的时间内取得了显着进步。
这意味着边缘推理市场可能仍将高度分散。一种务实的方法是假设对于现有类别，如手机和个人电脑，人工智能芯片将由已经为这些设备提供芯片的公司提供，例如高通和英特尔/AMD。
如前所述，目前很难获得对 AI 硅市场规模的可靠预测。围绕LLM 和其他模型在实际工作中的实际使用的模糊性无助于这种情况。然后是关于计算什么以及如何计算的问题。例如，如果一个超大规模企业购买了数十万个 CPU，这些 CPU 将运行神经网络和传统工作负载，或者如果有人在他们的 SoC 中添加了几十平方毫米的 AI 块，我们如何计算这些？目前，我们的粗略估计表明，人工智能芯片市场将包括约 15% 的训练、45% 的数据中心推理和 40% 的边缘推理。
这对任何考虑进入该市场的人都具有重大意义。在可预见的未来，Nvidia 将保持对训练市场的控制。数据中心推理市场看起来很有吸引力，但已经包括了无数公司，包括 Nvidia、AMD 和英特尔等巨头，以及来自客户的 Roll-Your-Own 内部自研芯片。边缘推理很可能由现有的传统硅供应商主导，所有这些供应商都在大力投资支持 transformers和 LLM。那么，新进入者有哪些机会？我们基本上可以看到四个选项：
1、向其中一家 SoC 供应商提供 IP 或小芯片。这种方法的优点是资本要求相对较低；让您的客户处理向 TSMC 付款。有大量客户旨在构建 SoC。虽然许多人可能希望在内部处理所有事情，但许多人可能会在必要时选择协助。
2、建立一个大的（非常大的）战争基金并追逐数据中心市场。由于多种原因，这是一项具有挑战性的工作，尤其是因为客户数量有限，但潜在的回报是巨大的。
3、找到一些可以从定制解决方案中受益的新边缘设备。将注意力从手机和笔记本电脑转移到相机、机器人、工业系统等。这条路也不容易。其中一些设备非常便宜，因此无法容纳具有高 ASP 的芯片。几年前，我们观察到许多希望在相机和无人机上实现低功耗 AI 的公司的宣传。很少有人幸存下来。
4、最后是汽车，整个行业的希望。这个市场仍然高度分散且有些模糊。进入的窗口并不大，但机会很大。
总而言之，人工智能市场已经大有可为。这并不意味着那些冒险进入的人失去了所有希望，但公司在选择市场和客户时需要高度专注和极其审慎。
