根据IDC的研究，全球66%的企业表示他们将在未来18个月内投资genAI。在表明genAI将在2024年增加IT支出的组织中，基础设施将占总支出的46%。问题在于：构建该AI基础设施所需的一种关键硬件目前供不应求。

在过去两年中，AI采用的快速增长已经使得行业难以供应运行genAI和一般AI所需的特殊高性能芯片。大部分关注处理器短缺的焦点都在对Nvidia GPU及来自AMD、Intel以及超大规模数据中心运营商等各种芯片设计师的需求激增。

Lee教授说：“对于在韩国SK Hynix运营的晶圆厂生产的高带宽内存芯片的需求激增，关注度却远没有那么高。”

上周，SK Hynix表示，由于需求高涨，其高带宽内存（HBM）产品几乎已预订至2025年。根据市场研究公司TrendForce的说法，HBM的价格最近也上涨了5%至10%，这是由于AI芯片的显著溢价和增加的产能需求所驱动。

TrendForce的高级研究副总裁Avril Wu表示，从2024年开始，HBM芯片预计将占DRAM总市场价值的20%以上，到2025年可能超过30%。“并不是所有主要供应商都通过了客户对[高性能HBM]的认证，这导致买家接受更高的价格以确保稳定和优质的供应，”Wu在一份研究报告中说。

如果没有HBM芯片，数据中心服务器的内存系统将无法跟上高性能处理器，比如GPU的速度，Lee说。HBM是向GPU提供它们处理的数据的。“任何购买用于AI计算的GPU的人，也需要高带宽内存，”Lee说。

换句话说，高性能GPU的利用率会很低，经常坐等数据传输。总之，对SK Hynix内存芯片的高需求是由于对Nvidia GPU芯片的高需求引起的，及在较小程度上，与对AMD、Intel及其他AI芯片的需求相关，”他说。

“HBM相对较新，由于HBM所提供的更多带宽和容量，正在快速获得强劲动力，”Gartner分析师Gaurav Gupta说。“它与Nvidia和Intel销售的产品不同。除了SK Hynix，其他内存参与者的情况也类似。对于Nvidia，我相信存在限制，但更多的是与他们的芯片在晶圆厂的封装能力相关。”

尽管SK Hynix正在达到其供应极限，但Samsung和Micron正在加大HBM生产，并应能支持市场需求，因为市场变得更加分散，Lee说。

目前的HBM短缺主要是在TSMC的封装上（即芯片-晶圆-基板技术或CoWoS），这是该技术的独家供应商。Lee说，TSMC正在将其SOIC容量增加一倍以上，并将CoWoS容量提高60%以上。“我预计到今年年底，短缺将会缓解，”他说。

与此同时，更多的封装和晶圆厂供应商正在上线并认证他们的技术以支持NVIDIA、AMD、Broadcom、Amazon等使用TSMC芯片封装技术的公司，根据Lee的说法。

Nvidia的生产大约占全球AI服务器芯片供应的70%，据彭博分析师预计，今年其GPU销售收入将达到400亿美元。相比之下，竞争对手Intel和AMD预计分别产生5亿美元和35亿美元的收入。但这三家公司都在尽可能快地提升产量。

Nvidia正在通过增加其CoWoS和HBM的生产能力来应对GPU供应短缺，根据TrendForce的说法。TrendForce的报告中说：“这种积极的做法预计将把目前平均40周的交货时间缩短一半，到2024年第二季度，随着新产能开始投产。”“这种扩张旨在缓解由于GPU短缺而阻碍AI服务器可用性的供应链瓶颈。”

IDC的计算半导体研究副总裁Shane Rau表示，尽管对AI芯片产能的需求非常高，市场正在适应。“在服务器级GPU的情况下，他们正在增加晶圆、封装和内存的供应。增加供应是关键，因为由于它们的性能和可编程性，服务器级GPU将继续是训练和运行大型AI模型的首选平台。”

Gartner Research预计，今年全球对AI专用芯片的支出将达到530亿美元，并在未来四年内翻一番多。因此，芯片制造商正在尽快推出新处理器也就不足为奇了。

Intel已宣布其针对AI功能的芯片计划，包括其Gaudi 3处理器，并表示其Xeon 6处理器，可以运行检索增强生成（RAG）过程，也将是关键。Gaudi 3 GPU是专为在数据中心训练和运行庞大的大型语言模型（LLM）而设计的，这些模型是genAI的基础。

与此同时，AMD在其最近的财报电话会议中，吹嘘其MI300 GPU适用于AI数据中心工作负载，据IDC集团副总裁Mario Morales说，这也有良好的市场表现，研究公司正在追踪超过80家半导体供应商开发专门用于AI的芯片。

在软件方面，LLM创造者也在开发针对特定任务的较小模型；它们需要较少的处理资源，并依赖于本地、专有数据——与拥有数千亿甚至超过一万亿参数的庞大、不定形算法不同。

Intel的未来策略类似：它希望在从笔记本电脑到智能手机的每种计算设备上启用genAI。Intel的Xeon 6处理器将包括一些带有板载神经处理单元（NPU或“AI加速器”的版本，用于工作站、PC和边缘设备。Intel还声称其Xeon 6处理器足以运行更小、更定制的LLM。即便如此，如果没有HBMs，这些处理器可能很难跟上genAI的高性能需求。