中科驭数，重新定义DPU

在中科驭数于日前举办的第三代DPU发布会上，清华大学教授、中国工程院院士郑纬民先生首先指出，当前，世界正在进入以信息产业为主导的经济发展时期，越发多元复杂的应用场景对计算能力提出了前所未有的需求，算力也成为了数字经济的底座，芯片则是算力的核心，是算力提升的关键所在。
 
其中，GPU和CPU因为先天优势，成为数据中心必不可缺的重要组成部分。而随着互联网的发展，大量的数据涌入到数据中心中被云计算处理，于是诞生了对数据进出数据中心进行加速处理的新兴事物DPU。
 
作为一款数据处理器，DPU承担着数据网络传输、存储、计算、安全等任务，也被称为数据中心中继CPU、GPU之后第三颗主力芯片。
 
重新定义DPU
 
“DPU是重要的新型算力基础设施，在未来数据中心、智算中心等高带宽、低延迟、高吞吐率产品都将发挥重要作用，为东数西算、算力网络等重要新型算力基础设施建设提供核心组件。”郑纬民院士说。正因为如此重要，过去几年国内外企业在DPU上展开了激烈竞争，中科驭数就是其中的一个佼佼者。
 
据金融街资本党委书记、董事长兼总经理程瑞琦先生介绍，中科驭数的团队其实很早就开始投入到DPU的研究。而关于这个处理器的定义和功能，在过去的发展中也顺应需求，发生了不小的变化。
 
中科驭数CEO鄢贵海也坦言，过去对于DPU并不算新，甚至可以说DPU很旧，旧到就像一张网卡（也就是网络适配器），它唯一的就能就是从网上接收数据，发送给本地CPU。
 
“DPU也非常新，新到我们被称为过去十年芯片结构上面重要的创新之一。在DPU上面我们看到它不在是单纯实现上网功能，而是要重新连接计算节点之间的高带宽、低延迟网络，可以说有了DPU，算力基础设施从绿皮车时代进入到高铁时代。不仅解决连通问题，更解决整个算力基础设施之间节点、虚拟机和物理机之间逻辑距离问题。”鄢贵海接着说。
 
在中科驭数看来，如果把CPU比做大脑，那么GPU就好比是肌肉，DPU则是神经中枢。CPU承载了应用生态，决定了计算系统是否可以通用；GPU提供了高密度各类精度的算力，决定了系统是否有足够的“力量”；DPU负责数据在各种CPU和GPU之间高效流通，决定了系统是否能协同工作。而历经多年的发展以后，DPU已经接近进入成熟期，能为我们提供网络、数据、存储、安全基础算力。
 
“从本质上看，DPU就是解决CPU效率不高和GPU处理不了的负载，DPU的多元处理能力将会使得它成为系统内部核心。”鄢贵海说。由此及见，针对算力中心的需求，中科驭数希望能提供一流的DPU产品，以解决算力资源的弹性扩展问题、解决所有计算资源高效互连的问题、解决各种计算卸载加速计算问题。当然，统一运维和统一管控问题也成为中科驭数解决的目标。
 
而要实现上述目标，则需要从从三个层次入手：
 
第一，继续强化架构设计，用架构决胜，用最先进的芯片架构来重新定义DPU芯片架构；
第二，强化软件，以最高兼容性软件导入客户应用；
第三，平台上门，把架构、软件装到示范平台上，使得客户可以用最低的成本接入DPU规模化部署，开展业务验证；
 
“为了实现这些目标，我们看到DPU已经不仅仅是一颗芯片，而是芯片、软件、平台的一体化系统，是一个一体化的工程。”鄢贵海说。基于这种见解，中科驭数打造了公司的DPU技术底座。
 
敲定技术路线
 
在具体介绍技术底座之前，我们先看一下中科驭数在DPU定义上的一些思考。
 
据介绍，在定义DPU的时候，中科驭数碰到的第一个问题就是技术路线的选择。在综合考量了公司的技术积累、行业的现状和发展趋势之后，中科驭数一致认为，DPU不是简单的堆核、拼工艺就能实现跃迁的芯片。于是，“拼架构”就成为了公司的选择。
 
“架构创新不是一个可选项，而是必选项”，卢文岩强调。“我们的思路就是理论先行，用创新的体系解救理论来指导复杂的芯片设计。”卢文岩接着说。他进一步解析道，中科驭数做了两大底层创新：
 
第一个是底层创新，也就是自主研发了KPU架构。
 
“依靠着整个团队在体系结构领域超过15年的体系结构积累，我们基于软件定义硬件的技术路线，创新性地提出了面向专用计算的统一计算架构KPU，KPU以异构计算核为基本运算单元，这些计算核都是根据上层应用计算最密集的业务，然后把它抽象成核函数，定制化的设计，从而实现超高的性能。”卢文岩介绍说。
 
所谓软件定义，按照卢文岩所说，是指通过类似弱编译方式，建立起上层应用计算和下层处理核之间映射关系。进一步运行的时候通过数据流驱动方式激活不同的核函数，从而完成运算。据介绍，这种架构有三大优势：
   
第一，软件可定义。可以根据应用特点定制不同的核组，它能够融合多种业务处理。DPU里面可以融合像网络协议、存储协议、安全算法等；
   
第二，有超高的并行度，可以全面支持业务集、数据集并行；
   

• 有超强的性能，因为数据流结构是一种计算密集而非控制密集的结构，它也是净内存架构。

 
第二个底层创新是KPU基础上设置了首个DPU指令集架构KISA。
 
“KISA将软件定义技术路线向着更加可落地、可执行的方向推进了一大步，它系统性地解决了领域专用计算的编程范式混杂的难题，让开发变得更加简单高效，让每一行代码直达DPU算力。”卢文岩介绍说。
 
据介绍，KISA（Kernel-based Instruction Set Architecture）是中科驭数面向DPU强IO、强数据、弱控制、敏捷异构的需求而推出的强扩展指令集，是业界首个面向DPU领域的专用指令集。不同于传统的CPU指令集，KISA面向数据而非控制，高计算密度型而非低计算密度型，以数据流为基本操作单元，而非字节。更重要的是，KISA首次在指令集层次支持敏捷异构，用一套统一的指令实现了多种异构处理核进行管理调度。
 
中科驭数表示，目前，KISA指令集涵盖了KISA基础架构、以及面向DPU专用处理扩展指令，包含包解析、转发指令、以及表查询指令等。而基于KISA已经覆盖25大类应用场景，累计数百个用例，得到非常充分验证。
 
也正是在这两大底层创新的推动下，中科驭数推出了公司的第三代DPU K2 Pro。
 
一颗“全能冠军”芯片
 
在总结K2 Pro的特征时，卢岩文直言，公司在立项之初就将“实用制胜，量产为王”设定为这颗芯片的目标。因此在做K2 Pro设计的时候，中科驭数不仅仅追求单一功能有多极致或者单一性能指标多突出，而是将其看做一个均衡系统的工程。
 
为了实现上述目标，公司的这颗芯片从六个方面做了极致的优化：
 
第一，K2 Pro必须是一个先进、好用的网络芯片；因此中科驭数在为其带来非常完善的基础网络卸载，还为其增加了非常完美的运维能力。另外，这颗芯片在网络延时、高阶包处理能力上做了增强，将端到端的网络延时做到业界领先水平1.2us以下，成功弥补了国内低延时网卡空白。
 
“可编程包处理引擎和基础网络结合，打破传统网络只做二层包处理局限，为用户提供更灵活的包解析和分析能力。”卢文岩说。
 
第二，K2 Pro必须是高通量数据处理芯片；
 
卢文岩表示，DPU业务具有业务种类多且杂、并发性高和对于时延非常敏感等鲜明特点。为此，中科驭数打造了具有高通量处理能力的DPU。“我们在这个DPU的流的调度和隔离上做了很多研究，并对流的识别和并发做了很多优化，使其在超大并发情况下的性能下降不大。”卢文岩接着说。
 
第三，K2 Pro必须是强业务卸载芯片；
 
在中科驭数看来，DPU必须是轻控制，而不是做一个媲美CPU的控制芯片。基于这见解，公司做了很多流的精细调度，借助一系列的技术把云里面非常复杂的业务从它在DPU里面可卸载的量从不到20%提升到90%以上，将控制任务大大降低。在服务治理场景下也，中科驭数的芯片能将原先400us以上的治理延时降到30us以内。这个实现了量级跃迁的结果领先同行，实现了新的突破。
 

• DPU必须是一个灵活可扩展的处理芯片。

 
据卢文岩介绍，DPU的一个大趋势就是会有越来越多的业务会放在DPU上处理。同时，伴随着协议的升级，任务也变多。所以中科驭数一致认为——DPU必须要有可扩展性。这首先就体现在本身的可编程性。为此除了可编程引擎之外，中科驭数还为公司的芯片引入了协议分析引擎PPP、通用算法引擎CAE等几个卸载引擎，以更好支持协议升级和算法处理升级。
 
其次，中科驭数还自研了DPU芯片互联高速方案以实现芯片级即联，完成算力层面的扩展。
 
“不同于传统SoC互联，DPU对整个互联规模、延时，尤其是业务隔离性有着更强的要求。所以我们自主研发了NoC架构。改架构可以支撑数百个核全互联，可以实现点到点的通信小于20纳秒，实现点到点带宽200G限速，而且可以实现完全隔离，这在DPU里面隔离是非常重要的特性。”卢文岩说。
 
此外，中科驭数的芯片还提供了多种和外接算力芯片集成的方案，让DPU有了更多可能。例如在金融场景里，中科驭数尝试着用DPU将金融里面通信协议和业务算法执行全卸载，获得了比现有方案超过10倍的性能，这颠覆了很多人对DPU的看法。
 
第五，K2 Pro还应该是一颗稳如磐石的“管理”芯片，在应用中扮演的的是主设备角色，管理着上层的虚机、拉起与回收，管理着虚机系统加载，管理着上层各类资源。而通过从多个层次对稳定性的考量，中科驭数在这颗DPU上做了非常细致的异常监测和恢复机制，让其在包级异常可以做到纳秒级恢复。
 
第六，DPU必须要在能效比上有更好的表现。因为只有更好的能效才能将其大量落地。为此中科驭数用了所有低功耗常规手段，从业务层面做了很多细致优化，做了更精确的电源使用关断，在不影响性能情况下实现了降面积、降频率。
 
正是基于这些多方面的考量，让中科驭数最终推出了指标一流、先进好用的全功能DPU芯片K2 Pro DPU，并基于此打造出领先的产品。
 
三大系列，六款产品
 
据介绍，这颗芯片目前也搭载在中科驭数的“思威”SWIFT、“福来”FLEXFLOW和“功夫”CONFLUX三大系列的六款DPU卡产品上，精准支撑细分业务场景。当中，“思威”SWIFT系列主打低时延网络，包括了SWIFT-2200N和SWIFT-NDPP。首先看SWIFT-2200N方面，得益于公司低延时DMA、MAC，以及全协议栈等卸载技术，SWIFT-2200N实现了低于1.2μs的端到端网络传输性能，达到了业界领先的水平，可为金融运算、物联网等场景提供极致的性能体验；SWIFT-NDPP产品则是中科驭数面向超低时延需求场景推出的二次开发平台，搭载国内首款自研商用芯片级数据卸载引擎DOE、网络卸载引擎NOE，采用可编程架构等技术，支持二次开发，可作为金融极速交易、人工智能、工业互联网、视频流等领域的技术底座。
 
“福来”FLEXFLOW系列面向的则是高吞吐无损网络，包含了FLEXFLOW-2200T和FLEXFLOW-2100R两款产品。其中，前者是一款高带宽通用网卡产品，拥有完善的无状态网络卸载引擎，覆盖10GE到100GE网络接入需求，为数据中心基础网络搭建提供了底层支撑；后者则是一款支持RDMA硬化卸载技术的产品，支撑打造完善的200G高速无损数据传输网络，为AIGC时代大模型训推业务提速中的关键一环。
 
面向软件定义网络的“功夫”CONFLUX系列是中科驭数本次推出的又一个领先产品。
 
和其他系列一样，CONFLUX系列同样包含了两款产品，分别是CONFLUX-2200E和CONFLUX-2200。其中，CONFLUX-2200E产品激活了强大的NP引擎，支持SDN网络功能卸载加速，其40Mpps与200Gbps的强大转发能力可以覆盖云计算的绝大部分应用场景；CONFLUX-2200P产品则是中科驭数倾全力打造的全功能DPU产品，支持网络、存储、安全、计算业务的下沉与加速，是云原生网络技术的杀手锏。
 
借助这些产品，中科驭数的实力获得了客户的认可。而通过推出核心软件开发平台HADOS，则加速了产品的落地。“如果说‘性能’的关键是芯片，那么‘好用和易用’的核心就是软件。”中科驭数高级副总裁张宇解析说。
 
他进一步指出，在构建高性能云数据中心和智算中心时，“三U一体”算力底座是技术核心。而对于国内客户而言，在大规模部署“三U一体”高性能算力中心时，仍然存在三个主要痛点：分别是集群升级迁移成本大、周期长、学习门槛高；大规模使用、部署和运维难度大以及安全性与高可用的构建极具挑战。
 
针对以上的痛点，承担算力操作系统角色的软件平台是解题的关键。因此，面向处于核心位置的DPU需求，中科驭数推出了公司DPU操作系统HADOS（Heterogenous Agile Developing and Operating System）的第三个大版本。
 
据介绍，这个版本是中科驭数六年全部软件研发投入和在各行业广泛落地经验的整合和沉淀，也是中科驭数乃至国内DPU软件研发平台的重要里程碑。因为有了这个系统之后，我们在DPU方面有了与英伟达和Intel抗衡的中国方案。
 
作为业内唯一一款生态全兼容的DPU应用开发平台，HADOS 3.0核心代码量已经超过126万行，包含网络、计算、存储、安全等多层次API数量高达2765个，并且提供大量的开箱即用的组件和服务。同时，该系统还兼容了主流的8款CPU平台和10个操作系统的，其中更是包含了全部的国产CPU平台，像龙芯、飞腾、海光、鲲鹏、申威和兆芯和主流的国产操作系统。
 
张宇告诉半导体行业观察，HADOS已经成为业内适配最完全、竞争力最强，在国内实际落地部署最多的DPU软件开发平台，累计部署量已经超过了万卡级别的部署应用。“一家成功的算力大芯片公司的核心壁垒必须是软硬兼备的，既要有芯片架构的强大技术壁垒，更要有持久投入的，生态兼容完备的软件护城河。HADOS就是驭数的软件护城河。”张宇强调。
 
写在最后
 
在谈到公司未来发展策略时，鄢贵海首先指出，纵观全球发展，国外厂商对DPU的刻画其实已经裹足不前了，这也正是中科驭数要重新定义DPU的原因。据透露，到2025年，中科驭数会在完成K2-Pro的基础上继续深化架构设计，进而推出K3芯片。
 
K3将基于KISA2.0指令以及14纳米，同时集成RISC-V轻量级控制核，处理带宽将达到800G。延迟低于1微秒，功耗比K2Pro的下降40%。来到软件方面，则将在HADOS3.0基础上升级到HADOS4.0，同时将HADOS部分开源教育版面向各个合作伙伴。届时中科驭数还会推出企业版4.0的系统，其在性能、功能、稳定性方面将会达到前所未有的高度。
 
回看芯片产业的数十年发展，英特尔将自己修炼成为CPU行业的代表企业，GPU则成为了英伟达不可磨灭的标签。在处理器新浪潮到来之际，中科驭数希望自己能成为DPU领域的代表企业，让大家谈到DPU的时候，就想起中科驭数。
 
这也正是每一个中科驭数人奋斗的目标。