AI芯片需要怎样的内存？

人工智能(AI)、车用芯片的复杂程度更胜以往，边缘处理比重增加，存储的选择、设计、使用模式及配置难度也越来越高。

据Semiconductor Engineering报导，为了处理汽车和AI应用产生的大量资料，芯片架构越趋复杂，在资料于芯片、元件和系统之间移动以及处理优先处理顺序不明确的情况下，设计团队只能在合并和共享存储之间取得平衡以降低成本，或增加更多不同类型的存储来提升效能、降低功耗。

因此出现各种不同的方法，包括将小型存储分散在芯片或封装周围的邻近存储运算(near-memory computing)，以及将资料移动最小化的存储内运算(in-memory computing)。这些方法的目的都是透过减少负载和储存量来解决存储瓶颈，同时节省能源。

内建SRAM和DRAM存储仍是当前市场主流。DRAM密度高、使用电容储存结构相对简单，又具有低延迟、高效能和接近无限次存取的耐用度，功耗也比较低。SRAM速度非常快，但较为昂贵且密度有限。这些不同的需求会影响存储的类型、数量以及内建或外接存储的选择。

功耗也是存储的关键问题，不同存储类型和配置也会影响功耗。例如在7奈米制程的存储上移动资料因导线的RC延迟，需要更高的功率，并可能产生热能，破坏讯号的完整性。

存储对AI很重要，AI又是所有新技术的要角。但不只有AI芯片，还有芯片内部的AI应用，都会影响存储的使用方式。如要实现超快的速度和最低功耗，最好的办法就是把所有元件放在同一个芯片上，但有时会受到空间的限制。

这也说明了，为什么资料中心和训练应用AI芯片的体积比许多部署在终端设备执行推论应用的其他类型芯片更大。另一种方法则是将部分存储移到芯片外，并透过设计提高传输量及缩短与存储的距离，或是限制外接存储的资料流。

外接存储的竞赛，基本上以DRAM-GDDR和HBM为主。从工程和制造角度来看，GDDR比较像DDR和LPDDR等其他类型的DRAM，可以放在一个标准的印刷电路板上并使用类似的制程。

HBM是比较新的技术，牵涉到堆叠和矽中介层，每个HBM堆叠都有上千个连接，因此需要高密度的互连，这远远超过PCB的处理能力。HBM追求最高效能和最佳的电源效率，但成本更高，需要更多的工程时间和技术。GDDR的互连没这么多，但会影响讯号的完整性。

明导国际(Mentor)IP部门总监Farzad Zarrinfar表示，功率、效能和面积(PPA)都很重要，但主要还是和应用有关。以携带型的应用为例，功率非常重要，而功率也分为动态和静态两部分，如果需要大量运算，那么动态功率就非常重要；如果是穿戴式设计，则更重视静态／漏电功率。电动车在意电池的续航力，因此功耗也是关键因素。

尽管有大量革命性的技术和创新架构，存储仍是所有设计的核心。如何决定现有存储的优先顺序、共享、位置以及用途，获得最佳系统效能是件知易行难的事。