百万卡AI集群,离不开英伟达网络
2024-08-22
16:47:33
来源: 邵逸琦
点击
近两年,打造新的超算集群成为了科技巨头的头等大事。
3. AI解决方案的提供商
谁有更大的超算集群,谁就能在算力上占得先机,谁就能先人一步训练出更优秀的大模型,看似风平浪静的海面之下,正在酝酿一场异常激烈的军备竞赛。
其中影响力最大的,莫过于埃隆·马斯克(Elon Musk)的AI初创公司xAI在美国田纳西州孟菲斯建造的超算集群,该集群由10万块英伟达Hopper GPU组成,可能会一举成为目前地表最强AI超算集群。
我们可以做一个简单的对比,OpenAI的 GPT-4用了2.5万块英伟达Ampere GPU;全球超算TOP1的Frontier用了 3.78万块GPU,微软的云系统集群Eagle也只用了1.44万块英伟达Hopper GPU,单纯从AI算力来看,xAI的孟菲斯超算集群是毫无争议的第一。
然而,超算集群不是GPU的简单堆砌。对于研究人员来说,调用几千块GPU就需要耗费不少心力,想要让10万块GPU做到如臂使指,难度可以说是指数级增长。
其中最大的挑战,就是如何让这么一个超大规模集群实现高效稳定的网络连接。过往的数据中心通常会使用传统以太网来进行连接,尽管这一方案在过去几十年时间中不断发展和升级,但对于今日蓬勃发展的AI数据中心来说,传统以太网暴露的短板,已成为了不能忽视的阻碍。
1.网络即是算力
讲到数据中心,让人不禁想到了约翰·盖奇在1984 年为Sun Microsystems公司提出的口号——“网络就是计算机”。
这句话的本意是,如果用户拥有合适的软件,就可以使用网络中的其他计算机,以获得额外的CPU算力,从而可以解决单台计算机无法解决的困难问题,也就是今天所提到的云计算的概念。
如今的AI数据中心同样印证了80年代的这句话,在AI数据中心里,服务器上跑着的AI应用程序本身并不能单独工作,需要与后端GPU和人工智能加速器组成的计算节点以及CPU和存储等前端节点之间通信实现协同工作。
在这种情况下,当涉及到ChatGPT这样的大型复杂模型时,为了解决单个服务器节点算力不足的问题,加速模型训练和对大量数据集的处理,就需要转向分布式并行计算,将工作负载分配到多个通过高速、低延时网络连接的服务器节点上。
某种意义上来说,网络不止是计算机,如今的网络也可以和算力划等号。以今天的目光来看,分布式并行计算是AI取得成功的关键,高度可扩展的网络使AI研究人员能够利用更多的计算资源,从而更快、更出色地提升性能。
相对而言,AI和计算机是两个明确的概念,而网络相比之下就显得宽泛很多了,它可以指代很多类型的网络,AI所需要的网络,到底是哪一种呢?
事实上,在AI浪潮中所兴建的数据中心,所用到的后端网络技术,不外乎InfiniBand和以太网这两种,前者源于被英伟达收购的Mellanox,其高速和低延迟特性受到了AI的青睐,而后者则是构成互联网的一种关键技术,如今也在数据中心里被广泛使用。
根据美国调研机构Dell'Oro Group今年7月的报告,未来五年内,用于连接加速服务器的AI后端网络中部署的交换机支出预计将接近800亿美元,这也意味着整个数据中心交换机市场实现了翻倍。
该调研机构指出,当前数据中心交换机市场支出主要用于连接通用服务器的前端网络,但AI工作负载将需要新的后端基础设施建设,虽然目前InfiniBand仍占据主导地位(约90%),但随着技术改进以及市场需求,未来以太网将会在AI后端网络市场取得更多机会,到2027年将占据20%的收入份额。
为什么以太网能在后端网络市场中异军突起,快速敲开AI集群的大门呢?
我们不妨用公路来做例子,以太网就像是高速公路,速度限制很高,但可能会发生碰撞,阻碍交通,它的优势是较高的带宽和可扩展性,但劣势是容易产生丢包。
而InfiniBand更像是特殊设计的专用公路,速度很高,同时可以有效避免拥堵,它的独特架构可以实现零丢包,同时大幅降低延迟,这两个特性对于AI来说非常重要。
基于这两种技术,我们可以把目前的AI系统大致分成两类,即AI工厂和AI云,尽管都面向AI市场,但它们的具体应用却有着较大差别。
AI工厂旨在处理大语言模型(LLM)和其他基础AI 模型等大规模算法模型,这些模型是构建更先进AI 系统的基础模组,而AI云扩展了传统云基础设施的功能,以支持大规模生成式人工智能应用程序,前者更适合InfiniBand,而后者更倾向于以太网。
问题是,适用于传统数据中心的以太网,放在AI集群里完全达不到开箱即用的水平,传统以太网需要应对大量的、松耦合的不同业务的需求,融入了非常广泛而复杂的功能,它们并非专为高性能并行计算而设计,使用传统以太网络搭建的系统只能实现 AI 云预期性能的一小部分。
网络为AI带来了更强大的算力,但反过来,AI的飞速发展又对数据中心的网络架构提出了更高要求,英伟达正是看到了这一趋势,推出了专为AI云设计的Spectrum-X。
2.为AI上云而生
与很多人的印象有所不同,英伟达作为一家靠GPU起家的厂商,在2020年陆续并购Mellanox、Cumulus Networks这两家公司之后,几乎每年都会拿出新的网络产品与解决方案。
2020年5月举行的GTC春季大会期间,英伟达创始人兼首席执行官黄仁勋在线上主题演讲开场10分钟内,就特别向全球观众展示了于同年3月问世的400GbE以太网络交换机:Spectrum-3 SN4000系列,后续又展示了2月推出的BlueField-2 DPU。
2022年3月举行的GTC春季大会上,英伟达又推出下一代以太网络平台Spectrum-4,该平台由 Spectrum-4交换机系列、ConnectX-7智能网卡、BlueField-3 DPU和DOCA数据中心基础设施软件组成,是全球首个400Gbps端到端以太网网络平台。
而在2023年的台北国际电脑展上,英伟达正式推出了全球首款专为AI打造的以太网网络平台——Spectrum-X,其将Spectrum-4以太网交换机与BlueField-3 DPU紧密结合,取得了1.7倍的整体AI性能和能效提升,可以在多租户环境中提供一致、可预测的性能。
从2020年的GTC到2023年的台北国际电脑展,英伟达逐步展现出了自己在网络领域的实力,除了已有的InfiniBand外,以太网成了英伟达在AI网络市场中的新焦点。
那么Spectrum-X与传统以太网平台有何区别呢?
正如英伟达在官方博客中所述,Spectrum-X作为一个端到端的网络平台,集成了交换机、DPU网卡、AI Cloud优化软件包以及可编程开发库,为了解决生成式AI和AI云的痛点,Spectrum-X在不同方向做了针对性优化。
![](/uploadfile/2024/0822/20240822044939424.jpg)
NVIDIA Spectrum-X
首先是传统以太网被诟病最多的延迟问题,Spectrum-X交换机应用了多种优化技术,最大限度应用cut-through技术,显著降低端口转发时延。并且引入了来自InfiniBand的RDMA(远程直接内存访问)技术,该技术允许GPU之间直接通过网络进行内存通信,这样就可以大幅降低通信延迟,提升集群的整体效率,确保系统在扩展时依旧能保持较高性能。
而前面所提到的因负载冲突而带来的网络拥塞甚至丢包问题,英伟达为此加入了动态路由技术(Adaptive Routing),该技术能够根据网络负载情况,实时调整数据传输路径,最大化网络带宽的利用率,通过这种方式来防止某些链路因负载过高而成为性能瓶颈。
除了以上两个痛点外,AI云与AI工厂最大的区别还是多租户,在多个AI作业同时运行的环境中,Spectrum-X也具备了性能隔离技术(Performance Isolation),该技术确保在多租户环境中,不同租户或应用之间的网络流量互不干扰,确保各个任务都能在最优环境中运行。
除了以上几点外,构建一个十万乃至百万GPU的AI集群是一个浩大的工程,需要大量的时间与投入,传统做法是先构建系统再逐渐调试优化,周期很长,而且一旦出现问题,就会带来巨大的损失。
而英伟达的数字孪生技术(Digital Twin Technology),为构建AI集群的客户解决了这方面的担忧,它提供了一个可以进行预调试和优化的Spectrum-X虚拟环境。在实际构建物理平台之前,用户可以先在虚拟环境中完成所有的配置和测试,然后将这些优化应用到物理数据中心中,这不仅大幅降低了调试成本,还显著缩短了部署时间。
作为NVLink和InfiniBand的提供商,英伟达本身就在网络领域积累了相当丰厚的经验,在理解了客户最真实的需求后,对传统以太网的改造可谓是得心应手,解决了过往被诟病较多的问题,Spectrum-X开始在以太网市场中崭露头角,愈来愈多云服务厂商开始尝试这一新平台。
法国云服务提供商Scaleway就采用了Hopper GPU和Spectrum-X平台来构建自己的AI集群,通过英伟达这套整体解决方案,Scaleway极大地提升了AI计算能力,缩短了AI训练时间,同时加速了AI解决方案的开发、部署和上市时间,有效提高了投资回报率。
事实上,在不到一年的时间内,英伟达已经构建了一个强大的网络生态系统,迅速得到了全球主要 ODM和OEM的支持,如HPE、戴尔、联想和Supermicro等厂商都推出了基于Spectrum-X的端到端解决方案,更多AI集群在构建之初,就把目光瞄向了这个为AI上云而生的平台。
3. AI解决方案的提供商
如今来看,英伟达早已不再是一个单纯的GPU厂商,而是逐步转型为全面的AI解决方案提供商。通过深耕GPU技术,英伟达奠定了其在加速计算领域的基础,但它并未止步于此。通过整合以太网和InfiniBand这两大网络平台,英伟达开始从纯粹的硬件部件供应商向全方位的AI基础设施领军者迈进。
当越来越多的AI集群落地时,网络的作用就会越发突出,提供算力的同时,思考如何更好地利用算力,在其他厂商还在苦苦思索之际,英伟达网络,已经迈出了至关重要的一步。
责任编辑:Ace
相关文章
-
- 半导体行业观察
-
- 摩尔芯闻
最新新闻
- 中国科学院西安光机所及孵化企业“海地空”科研成果联合亮相光博会
- 聚焦功率半导体产业︱APSME 2025 亚洲国际功率半导体、材料及装备技术展将在广州盛大召开
- 助力汽车半导体产业发展,2025 广州国际新能源汽车功率半导体技术展览会与您相约“羊城”广州
- 天芯微获2024年晶合集成供应链大会“技术服务奖”
- 直击国产AI芯片生存现状:GPU造血,TPU突袭,Chiplet成大势,网络卡脖子
- 加速“灯塔工厂”照亮中国智造,赛美特四大明星产品重磅发布
- 从芯片到系统赋能创新:2024新思科技开发者大会共创万物智能未来
- Pickering Interfaces 发布最新可编程电阻模块——既适用于功能性测试与验证,也适用于硬件在环(HIL)应用
热门文章 本日 七天 本月
- 1 晶圆厂中的“超纯水”,你真的了解吗?
- 2 新思科技发布全球领先的40G UCIe IP,助力多芯片系统设计全面提速
- 3 Mentor线上讲堂 | 如何使用 HLS 来优化 AI/ML、视觉和智能 IoT 应用的性能和功耗/能耗
- 4 一文看懂封装基板