​收购Mellanox,黄仁勋是怎么想的?

2020-04-28 14:00:11 来源: 半导体行业观察

来源:内容由半导体行业观察(ID:icbank)编译自「 thenextplatform 」,谢谢。


英伟达去年3月宣布以69亿美元的价格收购Mellanox的交易终于在获得全球所有监管机构的允许。这两家公司的合并带来了许多可能性,在过去的一年中,我们在The Next Platform的也进行了多个角度的探讨。
我们都有想法,但最重要的是Nvidia联合创始人兼首席执行官黄仁勋(Jensen Huang)对于这单交易的构思和思考的想法。日前,他们接受了The Next Platform的采访,讨论了Nvidia和Mellanox将如何帮助创建未来的系统架构。
Timothy Prickett Morgan (TPM 自去年三月以来,我一直非常渴望与您进行对话。很明显,在2018年的时候,就有人想要购买Mellanox,这个买家可能是AMD,Intel或IBM。但我个人很高兴最终买家是Nvidia。我认为,网络业务如果合并到英特尔,根据历史经验,这将遇到困难,但Barefoot Networks看起来可能有所不同。我很久以前就提出一个案例,IBM应该做的是将OpenPower联盟整合到一家公司中,并将其全部粘合(glue)在一起,从而成为一个真正强大的单一竞争对手。
但是,我现在要弄清楚的是:您拥有Mellanox,并且您以我认为非常优惠的价格得到了它。事实证明,它比我们以前看到的要强大得多,这本身就很有趣。而且,您可以部署各种非常好的技术。
那么,什么使Mellanox真正适合Nvidia?
黄仁勋: 我们知道的第一件事就是遵守了阿姆达尔定律(tAmdahl’s Law)。如您所知,我们要做的一件事就是加速计算。因此,我们首先遇到了一个问题,并将其从软件重构到系统再到芯片再到互连。结果,我们将应用程序加快了几个数量级。当我们刚开始这样做时,这几乎是不合逻辑的,某种程度上,剩下的性能足以使公司有时可以将应用程序加速几个数量级,在某些情况下,我们提供的速度是10倍,20倍,速度提高了30倍,需要花费数周的时间才能运行,并将其减少到数小时。
人们花了十年半的时间才意识到,这种计算模型对难以解决且将长期难以解决的问题具有极大的意义。因此,我们创建了加速计算,它花了很长时间,但已经超过了临界点。
现在,当您遇到一个涵盖整个数据中心的大规模问题时,它就无法容纳在任何一台计算机中,并且将其计算部分加速了几个数量级,那么问题将变成其他所有问题。然后我们开始逐步解决所有其他问题。但是,您将永远无法解决的一件事情就是将多台计算机连接在一起。因为我们总是会遇到比一台计算机更大的问题。当问题大于一台计算机时,网络便成为问题,并且需要非常快的网络。因此,这就是我们与Mellanox的关系可以追溯到十年前,并且我们与他们合作了很长时间的原因。
网络问题比仅拥有越来越快的网络要复杂得多。这样做的原因是由于要在此分布式数据中心规模的计算机上传输,同步,收集和减少数据量,并且结构本身的计算很复杂。
TPM 你这么说是指嵌入到交换机中的计算,还是要使用SmartNIC?我想一秒钟谈一下,因为在我看来,SmartNIC和Mellanox提出的想法现在可能比明年我们能获得多少带宽更重要。因为从不属于该处理器的CPU或GPU上清除东西是提高整个系统的计算效率的关键。
黄仁勋: 是的。例如,您永远不想复制相同的数据两次。理想情况下,您根本不会移动数据。而且,如果要移动数据,最好在压缩之前先压缩它,然后以某种方式缩小它。因此,信息的改组,关于要改组哪些信息,何时改组它以及以什么格式进行改组以及在移动它之前预先进行了什么计算。所有这些都是网络上的计算。我们做一些。我们做了一些事情,称为NCCL,这是一项突破,使我们能够将RDMA直接用于GPU内存,并使用我们的GPU在网络上进行汇总和归约(ollectives and reductions)。它们在网络交换机端执行相同的操作。
因此,要点是,当您移动数据时,不仅仅是简单的蛮力地移动大量数据,因为它是太多的数据。而且,当您在大型计算机上移动大量数据时,您想对此保持智能(smart)。因此,将其称为SmartNIC的想法很棒,因为您可以预处理数据,压缩数据或完全避免进行数据处理。
在网络计算和网络处理中添加智能对性能至关重要。这不仅与数据速率有关。数据速率只能带您走那么远,它的移动速度也仅与摩尔定律一样快。如果那样的话。您想欺骗物理定律,不想面对它们。
TPM 我想我的意思是,对于SmartNIC进行一些GPUoffload工作同样重要。我可以说明一下,如果您保留所有这些网络功能,那么在购买X86处理器时为什么要牺牲三分之一的内核。GPU本身必须进行一些与网络相关的工作,或者您可以在SmartNIC上进行便宜得多的预处理,减轻GPU的负担,并通过它完成更多工作。我不知道这在逻辑上是否正确。但这是我一直困扰我的事情。
黄仁勋: 做到这一点并不是超级逻辑(super logical t)。但是您所说的其他所有内容都是正确的。我的意思是,事实是,我们不想在CPU上运行网络软件,因为这没有任何意义。很多数据移动是在CPU上完成的,这是讲不通的。您必须将其卸载到数据处理单元或DPU,而SmartNIC就是这样的东西。
如今,许多数据中心都保证了传输的每个数据包的安全性,因为您希望减少数据中心的攻击面。您无法在CPU上执行此操作。因此,您必须移走网络堆栈。您要移出安全性堆栈,并且要移出数据处理和数据移动堆栈。
TPM 在某些情况下,Mellanox正在演示存储,例如,您不需要托管我们所知道的处理器。而且非常精简。他们在NIC中使用“ Bluefield” Arm芯片,然后将Ceph或其他任何东西放在它们上,将它们群集在一起,就可以在Fabrics上使用NVM-Express,您可以使用分布式存储系统,而且我们没有主机,没有X86处理器。我可以想象一个世界,在这种世界中,您可以使用这些Bluefield主机为它们进行一些整理工作,然后进行分解,然后组成可组合的GPU计算。GPU可能需要一台主机,但是您不一定需要一台功能齐全的服务器。
黄仁勋: 洋葱,芹菜和胡萝卜(即计算“汤”的三位一体)是CPU,GPU和DPU。这三个处理器是计算的基础。而且,如果每个处理器中都装有世界一流的处理器,那么您将拥有一台非常出色的计算机。而您要做的就是在正确的处理器上完成正确的工作。
实际上,需要三种类型的处理器。首先是CPU。CPU是所有其他地方都无法容纳的东西的全部。拥有它是很好的。如果我不得不下注,那么我总是希望拥有一个CPU。这样做的原因是因为我会想到一个需要CPU的想法,并且这个想法永远存在。但是,一旦确定了要运行的算法,确定了数据格式和数据运输的方法,选用其他两种处理器是更好的方法。
对于Mellanox而言,数据是在计算机之间移动,在存储之间移动,我们应当通过深度数据包检查来保护穿越网络的位和字节,并且所有这些处理都应在SmartNIC上处理,这最终将成为DPU,DPU将是可编程的,它将完成您和我已经讨论过的所有处理,并且它将在传输数据时将数据的移动工作转移到对数据的精细处理中,并使其保持从未使用过的状态,并避免冗余的数据副本。
那就是未来的架构。这就是为什么我们对Mellanox感到如此兴奋的原因。
而且,Mellanox和Nvidia的结合是最有意义的,因为我们比其他任何人都将计算推向极限,并且比其他任何人都更快地揭示了计算机所有其他元素的弱点。如果我们能解决问题,我们将为每个人解决。
TPM 是的,我明白了。我很少见到像DGX-2这样的服务器,其中有八个100Gb / sec NIC卡。很快,您将能够将其加倍到200 Gb /秒,并且从现在开始又可以很快将其加倍到400 Gb /秒。
黄仁勋 即使如此,用于减少内存副本,压缩内存,在完成任何传输之前对其进行预处理的算法的数量也是极其庞大的。
在此之上完成的大量软件,我们称为整个层Magnum I / O。Magnum I / O包括NCCL,它在我们的GPU上包括RDMA,在NIC上包括RDMA –在GPU一侧,我们称为NCCL,在交换机一侧,它们称为UCX,以及所有这些软件,以实现高效复制和高效传输,数据复制确实是非常复杂的东西,但它在我们称为Magnum I / O的层中。因此,仅硅片上的软件数量确实非常复杂。这就是为什么我认为将我们两家公司结合在一起很有意义的原因之一。
我认为,第一个战略原因当然是战略原因,是我们现在已经合并了两家专注于高性能计算的公司的力量。我们致力于解决两个最大的问题。一种是计算,另一种是联网。因此,如果可以协调解决这两个问题,我们可以大大提高计算能力。
第二个原因,您刚才提到了分解和组合的想法,这种趋势正在迅速发展。
众所周知,过去二十年来最强大的计算机革命是云计算。而使之成为可能的是使用超融合服务器进行的简单扩展,将所有内容都整合到一个服务器中。您需要更多存储空间,请购买另一台服务器。如果您需要更多的CPU或内存,请购买另一台服务器。那很容易管理,很容易编程,很容易扩展。这就开始了云计算革命。过去十年来发生的事情,尤其现在正在加速,这主要是因为人工智能的出现和数据的爆炸性增长。超伸缩( hyperconverged )的缩放方式变得效率很低,因此我们想到了分解和可组合性的想法。
如果不是因为Mellanox与RDMA和存储供应商所做的工作,那么分类实际上是一个不切实际的概念。分解和可组合性的逻辑完美地适用于GPU。因此,当云数据中心开始向AI迈进时,他们需要拥有能够加速AI的服务器,而CPU却不适合于此。
而且,与其将GPU安装到每台服务器中,而不是等到数据中心被新的超融合基础设施升级后,再在计算机中安装了GPU,他们还可以将GPU分解并放置在任意位置的GPU服务器,还可以将存储服务器放置在任何地方,并且他们可以他们可以使用Kubernetes协调整个事情。
因此,在这个微服务和容器的新世界中,我们现在要按照对工作负载非常有意义的形式和大小,由分解的计算元素组成您的数据中心。当您考虑到这一点时,正是这种fabric使之成为可能。这就是Mellanox将其淘汰的原因。它们使分类成为可能,因此东西向的流量变得非常高。但是数据中心的组成变得更加容易,利用率提高了,吞吐量也提高了,因为现在您可以在任意位置放置GPU之类的加速器。因此,所有这些都组合在一起成为了可分解,可组合和可加速的这种新型数据中心。
更多内容请查看原文。

点击文末【阅读原文】,可查看 本文原链接


*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。


今天是《半导体行业观察》为您分享的第2293期内容,欢迎关注。

推荐阅读


后疫情时代,芯片产业走向何方?

浦东芯片三十年

国内半导体进入收购扩张期

半导体行业观察

半导体第一垂直媒体

实时 专业 原创 深度


识别二维码 ,回复下方关键词,阅读更多

中国半导体|苹果 |封测 蓝牙 |设备 |晶圆|英伟达|射频|台积电



回复 投稿 ,看《如何成为“半导体行业观察”的一员 》

回复 搜索 ,还能轻松找到其他你感兴趣的文章!

点阅读原文, 可查看 本文原链接

责任编辑:Sophie

相关文章

半导体行业观察
摩尔芯闻

热门评论