人工智能，需要怎样的存储？

在最近几年的科技产业，人工智能（英语：Artificial Intelligence，缩写为AI）是一个不能不提的热点。
 
正如美光副总裁暨客户端存储事业部总经理Prasad Alluri在早前于深圳举办的存储界盛会GMIF 2024的峰会演讲中所说：“AI正在变得无处不在，这项革命性的技术正在给自动驾驶汽车、健康、天气和灾难预测、工作效率提升、学习和智能制造等领域带来深远的影响”。
 
考虑到AI本身的特点，这就给与AI密切相关的存储带来了前所未有的挑战。
 
Prasad Alluri也指出，与过往不同，存储和内存曾各自为政，主要致力于提高密度。但AI的兴起带来了两大转变：一是与系统架构的协同优化；二是将能效作为关键优化参数。为此，如何针对应用需求打造性能优越、容量足够大且功耗足够低的存储产品，就成为了存储厂商工作的重中之重。
 
针对AI当前现状，美光也正在面向数据中心、PC、手机和汽车等应用领域，提供领先的NAND和DRAM产品支持。
 
数据中心，重中之重
 
作为AI数据的主要存储地和训练、推理的主要载体，数据中心的存储是全球厂商的聚焦点。针对数据中心的计算、传输和存储的各个环节，厂商们正在通过提供各样的产品，力争在这个潜力巨大的市场获得一席之地，美光也不例外。在Prasad Alluri看来，在这个应用，我们可将焦点集中于AI数据中心。具体来说，则可以将其视为两个独立的存储池来讨论：
 
首先，存在一个庞大的数据池，用于存储供模型训练所需的数据；
 
以GPT-4为例，据估算，其训练过程消耗了互联网上约四分之一的数据，这足以说明大模型所需数据的庞大规模。为了训练这类模型，必须具备存储海量数据的能力，于是我们可以形象地称之为“数据湖”，即所有待训练数据均汇聚于此。
 
“对于这一存储场景，最关键的属性在于能够高效且经济地传输数据。将容量与经济性相结合，意味着需要摒弃主要依赖大容量硬盘驱动器的传统架构，转而采用大容量SSD。此举不仅能减少物理占用空间，还能降低能耗，从而提升整体能源经济性。” Prasad Alluri表示。
 
针对这个特点，美光推出了理想的解决方案6500 ION系列。
 
据介绍，作为全球率先推出的 200 层数据中心 NVMe SSD，美光6500 ION系列重新定义了可扩展存储。如美光所说，随着终端用户的数据量快速增长，用户希望数据中心能够提供更高的性能，同时越来越关注环境问题。在此背景下，如果您的 IT 预算有限，6500 ION 将是您的理想选择。美光 6500 ION 拥有卓越的性能，可轻松应对几乎所有这些问题，助力提升可持续性，为您带来比 QLC SSD 更高的价值。
 

 
从性能上看，美光 6500 ION SSD 的整体性能优于 30.72TB 容量的竞品 QLC SSD——读取延迟降低 34%；顺序写入速率提高 58%；4KB 随机读取 IOPS 提高 62%；4KB 随机写入 IOPS 提升超过 30 倍。除此以外，与竞品 QLC SSD 相比，美光 6500 ION 的功耗降低了 20%，能效（IOPS/瓦特）提高了 56%，并拥有更长的使用寿命（随机写入耐久性提升 10 倍以上）
 
美光表示，这款创新型 SSD 能够更加轻松地存储和维护对象存储、通用大容量云存储、全闪存阵列、容量层、NoSQL 数据库、内容交付和人工智能/机器学习 (AI/ML) 数据湖中常见的海量数据集。更重要的是，该系列SSD 可帮助降低前期采购成本；通过更低的供电/冷却能耗来节约运营费用；通过提高存储密度降低服务器/软件许可成本。
 
换而言之，对于需要以有限预算扩充存储系统的数据中心，美光 6500 ION 是理想之选。
 
除了数据池之外，在AI数据中心，还有一个是训练过程实际发生的存储池——一个紧邻GPU的存储池；对于这个存储池，需考虑的是如何将数据湖中的数据高效送入GPU内存以供训练。在此过程中，设备的读写性能至关重要，尤其是随机读取性能。针对这类靠近GPU训练集群的存储，美光提供了9550 SSD——一款从设计之初便旨在满足这些需求的产品。
 

 
据介绍，美光9550 SSD随机读取性能领先业界，速率高达3,300 KIOPS，这正是训练集群所亟需的。此外，美光9550 SSD提供业界领先的能效，并在支持各类AI工作负载方面表现出众，包括使用大规模存储加速器(BaM)进行图神经网络(GNN)训练（SSD平均功耗降低高达43%，整体系统能耗减少高达29%）、NVIDIA Magnum IO GPUDirect Storage（每传输1TB数据，SSD能耗降低高达81%）、MLPerf（SSD能耗降低高达35%，系统能耗降低高达13%）以及使用Microsoft DeepSpeed对Llama 大语言模型(LLM)训练进行微调（SSD能耗降低高达 21%）。
 
AI PC，多管齐下
 
要了解AI PC需要怎样的存储，就要深入理解AI PC，那就意味着我们需将焦点放在用户体验上。
 
如Prasad Alluri所说，AI PC的核心在于通过诸如翻译或图像编辑等任务来提升生产力，且这些任务需在设备上高效完成。正是这种整体体验定义了AI PC，而非单纯的技术规格。而为了满足用户的这些期望，美光认为所需的内存量远超微软的最低指导线（备注：微软为其AI PC产品Copilot+设定了基准要求，其中NPU的算力起始于40 TOPS，内存方面则规定了至少16GB的容量，以及256GB的存储空间作为最低配置。）
 
事实上，当前多数OEM在打造AI PC时，已配备了24GB至32GB的DRAM。面对AI PC的需求，美光也加速了LPDDR5X在AI PC中的应用普及。据介绍，与同类SODIMM产品相比，LPDDR5X的性能提升了约1.5倍。
 
此外，美光还专为AI个人电脑设计了一种新型内存模块——LPCAMM2。与传统SODIMM产品相比，LPCAMM2不仅性能提升1.5倍，而且功耗降低高达58%，空间节省达64%。Prasad Alluri强调，这款新产品于今年早些时候推出，主要围绕三大目标设计：提升性能、降低功耗以及减小体积。“在标准PC中，通常需要两个SODIMM并排放置，占用主板大量空间。而LPCAMM2则将这些功能集成到一个DIMM中，从而显著提升了电源效率和性能。”Prasad Alluri补充说。
 


来到SSD方面，美光推荐使用如美光3500 SSD等高性能客户端产品，可在相同功耗下提供业界领先的性能。
 
据介绍，美光3500 SSD采用了M.2外形尺寸，提供512GB、1TB和2TB三种容量规格，在具有NVMe 2.0c的PCIe Gen4 x4接口上运行，支持行业标准的512字节扇区大小。在具体参数方面，美光3500 SSD的顺序读取速率 7000MB/s，顺序写入速率7000MB/s。随机读取速率为1150K IOPS，随机写入速率为1150K IOPS，2TB总写入量为1200TBW。
 
此外，3500 SSD中内置了启发式算法。当检测到AI工作负载时，驱动器可以主动加载所需的正确模型或数据。这正是美光为实现高效能和电源效率所做的优化。
 
AI手机，全面开发
 
来到 AI Phone市场，正如美光在一篇博文中所说，生成式人工智能正在通过引入曾经只存在于科幻小说中的功能，彻底改变智能手机的功能。在美光看来。生成式人工智能的核心是使用算法和模型，根据经过训练的大量数据集生成文本、图像甚至预测。这项变革性技术正在使智能手机不仅仅是消费工具，更是创造和个人协助的工具。那么，这对智能手机的内存和存储容量意味着什么？手机需要什么才能充分利用人工智能应用？
 
在美光看来，随着生成式人工智能的发展，它将成为移动生态系统中更主要的创新驱动力。为了支持旗舰手机的先进传感器、摄像头和外形尺寸，高容量和带宽内存和存储至关重要。数据在手机内存和存储中收集和存储，在边缘（而不是在云端）计算和处理，并转化为有价值的预测性见解。美光也凭借其领先的UFS 4.0 和 LPDDR5X DRAM技术，在定义 AI 智能手机的未来功能方面处于领先地位。
 

 
美光表示，公司推出的UFS 4.0 技术为存储性能树立了新标准，这对于 AI 驱动应用所需的快速处理速率至关重要。它实现了惊人的 4300 兆字节每秒 (MBps) 的顺序读取速率和 4000 MBps 的顺序写入速率，是之前 UFS 3.1 标准性能的两倍。数据吞吐量的显著提升确保 AI 应用可以更快地访问和处理大型数据集，从而减少延迟并提高整体设备响应能力。
 
此外，美光的 UFS 4.0 采用紧凑型设计，封装尺寸仅为 9毫米x13 毫米，支持开发更纤薄、更美观的智能手机设计，同时不影响性能。该存储解决方案还包括一键刷新等创新功能，它通过自动数据碎片整理来帮助保持设备的长期性能，确保即使长时间使用后存储性能仍保持如新
 
在内存方面，美光的LPDDR5X DRAM旨在满足先进 AI 处理的要求，提供高达 9600 兆比特每秒 (Mbps) 的最高速率，这对于处理 AI 的大量计算需求至关重要。这种速率提升，加上高密度封装，可以在相同的外形尺寸内增加内存容量，对于需要快速访问大量数据的 AI 应用至关重要。它还具有 13% 的增益和更快的峰值带宽，并且在使用当天可降低高达 27% 的功耗。
 
AI汽车，不容忽视
 
至于AI汽车方面，Prasad Alluri告诉半导体行业观察，与移动和PC市场相比，汽车行业面临着独特的挑战。因为汽车的设计要求其能够可靠运行多年，通常长达十年之久。同时，它们还必须承受恶劣的环境，包括高振动和灰尘。这些因素在车辆内存和存储解决方案的设计中发挥着至关重要的作用。
 
作为领先推出LPDDR5X的公司之一，美光对这个产品有很深入的了解，也让公司能将其推向汽车市场。同样，公司推出的高可靠性UFS 4.0也能成为汽车应用的另一个重要组成部分。针对汽车行业正涌现出一股重要趋势——向区域架构与集中决策的转变，美光推出了融入了虚拟化技术的4150AT SSD ——全球首款四端口SSD。
 
据介绍，美光车规级4150AT SSD提供多达四个片上系统（SoC）接口，可实现软件定义智能汽车的集中存储。作为一款面向未来汽车的SSD，美光4150AT SSD为消费级车辆带来了企业级速率，在4KB传输中实现超过600,000 IOPS（每秒输入/输出操作次数）和 100,000 IOPS 的随机读取和随机写入速率。
 
在美光看来，PCIe 4.0 接口和四端口是美光4150AT SSD非常特别的创新点之一。
 
在过去的汽车分布式架构设计中，车辆周围配备了多个ECU（电子控制单元），为了提高效率、性能和降低成本，这些ECU正逐渐集中化。因此，过去车辆中可能分布着多个ECU，现在则出现了区域计算处理和集中计算处理的情况。因此，汽车内包含多个需要管理的域，如IVI系统、模拟系统、ADAS系统以及具备抗干扰能力的连接系统。这些设备大多通过本地或中央域控制器进行运行。
 
美光强调，在公司推出全球首款四端口4150AT SSD之前，每个设备都需配置本地存储。但在其推出之后，开发者就可以通过将大型语言模型、AI算法、高清地图以及车载娱乐内容（如电影）都集中在一个存储设备中，而不是分散在多个设备上，可以最大化存储设备的利用率。在4150AT SSD面试之后，还可以解决过往集中式存储解决方案的PCIe交换机集成问题，这不但大大降低了成本，还避免了延迟问题。
 
至于虚拟化方面，美光4150AT SSD的SR-IOV功能最多可支持 64 台虚拟机（VM），为任务繁重的多主机工作负载提供了高性能；增强安全性，基于 SR-IOV 虚拟化，每台虚拟机（VM）的数据在硬件上与其他数据相互隔离，既可减少数据或代码泄漏，又可防止黑客对单台虚拟机的攻击危及到其他虚拟机，从而维护关键数据的隐私和安全。
 
总而言之，美光4150AT SSD主要聚焦于两种虚拟化：单根I/O虚拟化和多命名空间。多命名空间功能让用户够将不同类型的介质区分为SLC、TLC以及高耐久性SLC区域。“鉴于联网车辆面临的安全威胁日益严峻，其中一个命名空间可专门用于安全应用，能进一步提升其可靠性。”Prasad Alluri说。
 
“简而言之，通过虚拟化技术，4150AT SSD能像多个SSD一样运作，从而支持带集中控制的区域架构。”Prasad Alluri总结说。
 
写在最后
 
我们必须强调的是，我们以上述几个市场为范例介绍美光的存储产品，并不代表美光只提供支持这些应用的存储产品，而是因为这几个市场是当前主流的AI落地领域。
 
正如Prasad Alluri所说，人工智能只是多种工作负载的其中一个。美光并不是在创造仅专用于人工智能的产品。事实上，大多数美光开发的产品主要都是用于通用计算。人工智能工作负载可以与这些通用应用程序并行运行。
 

 
“人工智能有某些独特的需求，我们的做法是在考虑这些需求的前提下优化产品。然而，这并不意味着它们仅专用于人工智能个人电脑或以人工智能为中心的硬件。从本质上讲，我们的解决方案具有多功能性，可以重新配置用于各种应用。”Prasad Alluri解析说。
 
为此，展望未来，美光也将继续专注于提升技术，升级产品，为人工智能做好充分的准备。