AI芯片，需要怎样的存储？

在ChatGPT的推动下，AI芯片浪潮席卷全球。这一方面体现在全球的云厂商和OEM在抢购相应的GPU和AI芯片；另一方面，为了应对大模型庞大数据量对芯片带宽和速度的需求，包括英伟达在内的AI芯片厂商都把HBM当作了芯片内存的首选，进而导致了HBM的需求短缺。不过，这并不是AI芯片厂商的唯一选择。
 
Rambus战略营销副总裁Matt Jones在与半导体行业观察交流的时候也指出，AI/ML应用包括训练和推理两大环节。对于训练来说，内存带宽和容量是关键要求，对于推理而言，内存吞吐速度和低时延则至关重要，尤其系统需要实时响应的情况下。
 
有见及此，行业的人就把HBM应用到AI训练市场，这主要是看好其具有非常出色的带宽性能，可以通过节省电路板空间和功耗来抵消较高的设计和制造成本。“在物理空间日益受限的数据中心环境中，HBM的紧凑架构带来了实实在在的好处。其较低的功耗可降低环境的热负荷，而冷却往往是最主要的运营成本之一。”Matt Jones说。
 
与此同时，另一种类型的DRAM——GDDR则凭借其可以在传统的PCB和封装制造工艺上实现和出色的性能等优势而成为AI推理的理想的内存解决方案。其高性价比的特点又使其适合批量部署在各种边缘网络和物联网终端设备上。
 
具体到实际应用，据Matt Jones所说，HBM/GDDR内存非常适合AI/ML、图形和高性能计算（HPC）等数据密集型应用，在这些应用中，需要以极高的带宽处理海量数据。而作为一种可用于各种计算密集型应用的高性能内存解决方案。Rambus预计GDDR将用于图形处理器以及自动驾驶、AI和5G基础设施等应用。
 
也正是在这些应用的推动下，产业和标准组织将这两种存储推动到了HBM3和GDDR6。
 
然而，正如Matt Jones所说，对于客户而言，无论是HBM3还是GDDR6，对内存产品的主要改善就是提供高带宽在满足带宽要求的前提下，客户一开始关注的是解决方案的成本和复杂性，这也是类似Rambus这样的供应商在第一阶段会与客户沟通的内容，以便确认选择哪一种解决方案。
 
“在选定产品解决方案后，客户对产品最重要的需求就变成了对技术支持的需求，这都是Rambus所擅长的。”Matt Jones接着说。据他介绍，Rambus能提供完整的HBM3内存子系统解决方案和完整的GDDR6内存子系统解决方案，给客户全方面的支持。
 
首先看HBM方面，Matt Jones表示，Rambus 的HBM内存子系统由经过共同验证的控制器与PHY组成。这些IP也可以通过单独授权，与第三方或客户的控制器或PHY解决方案搭配使用；在速度方面，Rambus HBM内存子系统支持每数据引脚高达8.4 Gb/s的数据速率（HBM3），通过其1024位接口和这一最高数据速率，可提供1075.2 GB/s的内存带宽；
 
同时，该接口专为2.5D系统而设计通过Interposer，将信号在3D DRAM堆栈与SoC上的内存子系统之间进行传输。此外，由于这种信号密度和堆叠外形尺寸的组合需要特别的设计考量，为了便于实施和提高设计灵活性，Rambus对整个2.5D系统进行了完整的信号和电源完整性分析，以确保满足所有信号、功耗和散热要求。
 
再看GDDR6，据Matt Jones介绍，最初为图形应用打造的GDDR是一种高性能内存解决方案，可用于各种计算密集型应用。而Rambus GDDR6控制器则完全支持Rambus GDDR6 PHY的带宽和双通道功能，通过前瞻命令处理（Look-Ahead）最大程度地提高了内存带宽，减少时延。该内核与DFI接口协议兼容（针对GDDR6进行了扩展），并且支持与用户逻辑相连的AXI或本地接口。
 
针对客户的需求，Rambus还为GDDR6 PHY提供了24G和16G两个版本。新推出的Rambus GDDR6 24G PHY完全符合JEDEC GDDR6（JESD250C）标准，支持最高每引脚24 Gb/s的数据速率。GDDR6接口支持2个16位通道，总数据宽度为32位。Rambus GDDR6 PHY的每引脚速度为 24 Gb/s，带宽为 96 GB/s；
 
Matt Jones介绍说，在提供领先产品的同时，与客户的紧密合作往往也能事半功倍。他举例说到，GDDR6实现所面临的主要设计挑战来自其最强大的特性之一——速度。因为在 24 Gb/s的速度下，要保持信号完整性（SI），就需要大量专业知识，尤其是在电压较低的情况下，设计人员面临着更加严格的时序和电压范围，而损耗源的数量及其影响却增加很多。由于接口、封装和电路板之间的相互依存关系，必须协同设计这些组件，才能保持系统的信号完整性。
 
“Rambus直接与客户合作，提供全系统信号和电源完整性（SI/PI）分析，构建经过优化的芯片布局。客户可获得带有全套测试软件的硬核解决方案，快速完成启动、特性分析和调试。”Matt Jones强调。他重申：“Rambus的解决方案具有一整套可实现快速启动、特性分析和调试的测试软件，来帮助客户降低开发难度。另外，Rambus 还直接与客户合作，提供信号完整性和功能完整性的技术分析。因此，Rambus能够帮助客户提高效率，并最终帮助他们加快芯片问市时间。”
 
展望未来，Rambus也将一直努力通过开发不同的技术路线和轨道来突破现有产品/解决方案的性能极限，并致力于建立最新的行业基准。公司也正在对创新的基础研发进行持续投资，以实现更高性能的内存架构。