一文了解英伟达GTC2022上猛料，144核的CPU，800亿晶体管的GPU

如今英伟达的GTC大会已经备受业界关注，它已经成为当下AI芯片行业的一大风向标。在今年的GTC大会上，英伟达的猛料颇多，不仅推出144核CPU和800亿晶体管GPU，之前业界疑问的为什么英伟达没有加入UCIe也得到了解惑。
 

发布Grace CPU超级芯片

 
备受业界期待的CPU Grace也在GTC上亮相，英伟达发布了首款面向 AI 基础设施和高性能计算的基于 Arm® Neoverse™ 的数据中心专属 CPU。NVIDIA Grace CPU 超级芯片由两个CPU芯片组成，它们之间通过NVLink®-C2C互连在一起。NVLink®-C2C 是一种新型的高速、低延迟、芯片到芯片的互连技术。
 
Grace CPU超级芯片基于最新的数据中心架构 Arm v9，具备最高的单线程核心性能。能在单个插座中容纳 144个Arm 核心，在 SPECrate 2017_int_base 基准测试中的模拟性能达到业界领先的 740 分。根据 NVIDIA 实验室使用同类编译器估算，这一结果较当前 DGX A100 搭载的双 CPU相比高1.5倍以上。
 
此外，Grace CPU 超级芯片的LPDDR5x内存子系统能提供两倍于传统DDR5设计的带宽，可达到每秒1 TB ，同时功耗也大幅降低 ，CPU加内存整体功耗仅500瓦。
 
NVIDIA 创始人兼首席执行官黄仁勋表示：“一种新型的数据中心已经出现，它就是能对海量数据进行处理和提炼以实现智能的 AI 工厂。Grace CPU 超级芯片能够在一个芯片中提供最高的性能、内存带宽以及 NVIDIA 软件平台，将作为‘全球 AI 基础设施的 CPU’ 大放异彩。”
 
凭借最高的性能、内存带宽、能效及可配置性，Grace CPU 超级芯片在要求最为严苛的高性能计算、AI、数据分析、科学计算和超大规模计算应用方面将会脱颖而出。
 
据悉，Grace CPU 超级芯片和 Grace Hopper 超级芯片预计将于 2023 年上半年开始供货。
 
800亿个晶体管的H100 GPU
 
NVIDIA H100是首款基于Hopper架构的GPU，其中Hopper架构以美国计算机领域的先驱科学家 Grace Hopper 的名字命名，将取代两年前推出的 NVIDIA Ampere 架构。
 
 
H100 Die（图源：英伟达）
 
那么H100又哪些新的技术亮点呢？主要有六点：
 
第一，先进性。H100由800亿个晶体管组成，采用台积电4nm工艺。因此能显著提升AI、HPC、显存带宽、互连和通信的速度，并能够实现近 5TB/s 的外部互联带宽。H100 是首款支持 PCIe 5.0 的 GPU，也是首款采用 HBM3 的 GPU，可实现 3TB/s 的显存带宽。20个 H100 GPU 便可承托相当于全球互联网的流量，使其能够帮助客户推出先进的推荐系统以及实时运行数据推理的大型语言模型。
 
第二，采用了新的Transformer 引擎。在不影响精度的情况下，H100能将网络的速度提升至上一代的六倍。
 
第三，在云环境中Hopper架构通过为每个GPU实例提供安全的多租户配置，将 MIG 的部分能力扩展了 7 倍。
 
第四，H100 是全球首款具有机密计算功能的加速器，可保护 AI 模型和正在处理的客户数据。客户还可以将机密计算应用于医疗健康和金融服务等隐私敏感型行业的联邦学习，也可以应用于共享云基础设施。
 
第五，通过第4代NVIDIA NVLink技术，服务器间最多可以连接256个H100GPU，比上一代采用HDR Quantum InfiniBand网络的带宽高出9倍。
 
第六，采用新的DPX指令，可以加速动态规划，其速度提升分别可达 40 倍和 7 倍。
 
H100 将提供 SXM 和 PCIe 两种规格，可满足各种服务器设计需求。其中SXM 提供 4 GPU和8 GPU配置的HGX™ H100 服务器主板，可助力企业将应用扩展至一台服务器和多台服务器中的多个 GPU；H100 PCIe 通过 NVLink 连接两块 GPU，相较于 PCIe 5.0，可提供 7 倍以上的带宽，为主流企业级服务器上运行的应用带来卓越的性能。PCIe规格便于集成到现有的数据中心基础设施中。NVIDIA H100 将自第三季度起开始供货。
 
NVIDIA Hopper 架构 GPU 还可与 NVIDIA Grace CPU通过 NVLink-C2C 互联，与 PCIe 5.0 相比，可将CPU和GPU之间的通信速度提高7倍以上。这一组合，即Grace Hopper 超级芯片，可用于大规模HPC和 AI 应用。
 
以太网网络平台Spectrum-4
 
NVIDIA Spectrum™-4。它是新一代的以太网平台，将为规模大数据中心基础设施提供所需的超高网络性能和强大安全性。作为全球首个400Gbps 端到端网络平台，NVIDIA Spectrum-4 的交换吞吐量比前几代产品高出 4 倍，达到 51.2 Tbps。该平台由 NVIDIA Spectrum-4 交换机系列、ConnectX®-7 智能网卡、NVIDIA BlueField® -3 DPU 和 DOCA™ 数据中心基础设施软件组成，能够大幅加速大规模云原生应用。
 
 
NVIDIA Spectrum™-4（图源：英伟达）
 
Spectrum-4 交换机实现了纳秒级计时精度，相比普通毫秒级数据中心提升了五到六个数量级。这款交换机还能加速、简化和保护网络架构。与上一代产品相比，其每个端口的带宽提高了 2 倍，交换机数量减少到 1/4 ，功耗降低了 40%。
 
NVIDIA Spectrum-4 ASIC 和 SN5000 交换机系列基于4纳米工艺，包含 1000 多亿个晶体管以及经过简化的收发器设计，具有领先的能效和总拥有成本。凭借支持 128 个 400GbE 端口的 51.2Tbps 聚合 ASIC 带宽，以及自适应路由选择和增强拥塞控制机制，Spectrum-4 优化了基于融合以太网的RDMA（RDMA over Converged Ethernet）网络架构，并显著提升了数据中心的应用速度。
 
Spectrum-4 ASIC 具有领先的安全功能，例如支持 MACsec 和 VXLANsec，并通过硬件信任根将安全启动作为默认设置，帮助确保数据流和网络管理的安全性和完整性。
 
凭借 12.8Tbp 加密带宽和这些安全功能（BlueField-3 DPU和ConnectX-7 智能网卡同样具有此类功能），Spectrum-4 将成为市场上优秀的、高性能的、安全的端到端以太网网络平台。
 
为定制芯片集成开放 NVLink，并支持UCIe
 
NVIDIA还宣布推出 NVIDIA® NVLink®-C2C，这是一种超快速的芯片到芯片、裸片到裸片的互连技术，将支持定制裸片与NVIDIA GPU、CPU、DPU、NIC 和 SOC 之间实现一致的互连，助力数据中心打造新一代的系统级集成。
 
NVLink-C2C 的一些关键特性包括：
 
●高带宽 —— 支持处理器和加速器之间的高带宽一致性数据传输
●低延迟 —— 支持处理器和加速器之间的原子操作，对共享数据进行快速同步和高频率更新
●低功耗和高密度 —— 采用先进的封装，与 NVIDIA 芯片上的 PCIe Gen 5 相比，能源效率提高 25 倍，面积效率提高 90 倍
●工业标准支持 —— 支持 Arm AMBA CHI 或 CXL 工业标准协议，实现设备间的互操作性
 
借助先进的封装技术，NVIDIA NVLink-C2C 互连链路的能效最多可比 NVIDIA 芯片上的 PCIe Gen 5 高出 25 倍，面积效率高出 90 倍，可实现每秒 900 GB 乃至更高的一致互联带宽。
 
NVIDIA 超大规模计算副总裁 Ian Buck 表示：“为应对摩尔定律发展趋缓的局面，必须开发小芯片和异构计算。我们利用 NVIDIA 在高速互连方面世界一流的专业知识，开发出统一、开放的技术，这将有助于我们的 GPU、DPU、NIC、CPU 和 SoC 通过小芯片构建出新型的集成产品。”
 
今日发布的 NVIDIA  Grace™  超级芯片系列以及去年发布的 Grace Hopper 超级芯片均采用了NVIDIA NVLink-C2C 技术来连接处理器芯片。NVLink-C2C 现已为半定制芯片开放，支持其与 NVIDIA 技术的集成。
 
Arm 高级副总裁兼基础设施业务总经理 Chris Bergey 表示："由于未来的 CPU 在不断增加加速芯片和多芯片的设计，因此在整体生态系统中支持基于芯片的 SoC 至关重要。Arm 正致力于支持一系列广泛的连接标准，并使我们的 AMBA CHI 协议能够支持这些未来技术，包括与 NVIDIA 在NVLink-C2C上合作，以解决 CPU、GPU 和 DPU 之间的一致性连接等用例。"
 
除 NVLink-C2C 之外，NVIDIA 还将支持本月早些时候发布的 UCIe（Universal Chiplet Interconnect Express，通用小芯片互连传输通道）标准。与 NVIDIA 芯片的定制芯片集成既可以使用 UCIe 标准，也可以使用 NVLink-C2C，后者经过优化，延迟更低、带宽更高、能效更高。
 
 结语
 
在AI这个时代，英伟达总能给我们带来划时代的芯片和前沿技术。如今英伟达已经集齐了CPU、GPU和DPU，接下来三者的融合或将成为后摩尔时代更值得关注的点。