先进封装下的芯粒间高速互联接口设计思考

背景

近年来，随着AIGC的发展，生产力的生成方式、产品形态都在发生重大的变化。计算规模和模型规模的不断增大，尤其是大模型的出现和广泛应用对算力的需求呈现出爆发式的增长。这一系列的变化对计算架构提出了新的挑战，首先是系统规模越来越大，系统结构越来越复杂；其次计算形态的变革，传统的计算形态，主要是基于CPU或GPU的同构计算越来越难以满足算力的持续增长。

在这一背景下，Chiplet成为非常有潜力的设计方法和解决方案。Chiplet架构可以将SoC进行拆分重组，将主要功能单元如计算、存储、传感等转变成芯粒的形式，从而支持复杂系统的异构集成。而将各种芯粒重构成为一个完整的系统则需要依赖D2D接口对其进行互联，尤其是当设计人员需要构建一个包含多种第三方芯粒的复杂系统时，一个统一的D2D互联接口成为不可或缺的组件。在此背景下，UCIe、BoW、OpenHBI等D2D互联接口协议应运而生，旨在构建一个统一的D2D互联框架。尽管协议不尽相同，D2D互联接口的底层技术存在着较多的共性，而这些共性技术是D2D接口设计人员非常重要的研究内容。

本文将从D2D接口的信道特点、D2D接口的技术指标，D2D接口的设计思考和D2D接口的设计流程革新等方面来浅谈D2D互联接口的共性技术。
 
D2D接口的信道特点

信道条件通常是接口研究的起点，接口电路的架构搭建、微结构选取到具体电路的实现无不以信道特性作为出发点，D2D接口的设计也不例外。相比传统高速接口，D2D接口的信道表现了较多新的特点，这主要是由D2D接口的应用环境和封装形式所带来的。众所周知，D2D接口主要用于芯粒间的高带宽数据互联，这一应用场景决定了D2D接口信道的两个主要特点：一、信道长度较短，一般局限在封装内部；二、信道数量大，布线密集。同时，这一应用场景也决定了D2D接口往往面对较为先进的封装形式，其布线通道通常是基板（substrate）甚至是硅中介层（silicon interposer），我们分别称之为D2D接口的标准封装（standard package）和先进封装（advanced package）。

相比以PCB走线为主的传统互联方式，D2D标准封装和先进封装的显著特点是节距（pitch）的减小。在标准封装中，芯片凸点（bump）的节距从传统封装的0.5~1mm减小到100~200um，而在先进封装中，这一物理尺寸进一步微缩到30~60um。这一变化首先带来了一系列信道物理尺寸的同步微缩，包括互联走线的线宽、线距和金属厚度等。而这些物理尺寸的微缩进一步引起了信道电学特性的改变。概括而言，从传统封装到先进封装，信道的单位长度电阻显著增大，而其单位长度的等效电感和电容基本保持不变。考虑到在D2D标准封装和先进封装下其信道长度显著缩短，信道整体的等效电感和电容显著缩小。具体而言，先进封装下的D2D信道的电学特性变化主要表现在如下方面：

- 插入损耗（insertion loss）


得益于D2D互联间距较短，相比传统的高速互联接口，D2D接口信道的损耗较低。我们考察了多种D2D互联协议的参考信道，在其最高工作频率下的信道损耗均小于-6dB，在实际设计信道的过程中，这一指标通常可以控制得更加优越（-2~-3dB）。较低的信道损耗使得高阶均衡不再是一个必须项，同时，简单的调制方式（如NRZ）就能实现较高数据率的传输，这些特点均为高能效数据传输提供了有利条件。

- 反射（reflection）

得益于D2D信道电学特性的变化趋势（较高的阻抗，较小的等效电感和电容），相比传统信号，D2D信道的反射特性得到了较大程度的优化，尤其是在先进封装下，信道对反射敏感的频率范围进一步推高，这一特点为D2D接口的端接方案提供了更大的空间。在D2D信道条件下，发射端的源阻抗和接收端的端接阻抗可以不要求完全匹配，设计人员可以选取更小的源阻抗和更大的端接阻抗以获取更大的信号摆幅和更小的功耗。在互联非常短的极端情况下，设计人员甚至可以选择舍弃端接电阻。

- 串扰（crosstalk）

串扰是D2D信道设计所面临的主要问题。由于D2D接口通常具有庞大的引脚数量，因此布线面积会非常受限，这将导致一些传统的结论在D2D互联场景下不再适用。通常而言，设计人员克服串扰的常用方法包括采用差分信号线以及引入屏蔽线等，而研究表明，在面积受限的情况下，单端非屏蔽方案相比差分屏蔽线方案具有更好的串扰特性，这是D2D信道显著区别于传统信道的一个重要特点。鉴于此，D2D信道的串扰特性更多地需要从返回路径上进行优化，比如采用带状线而非微带线结构，采用更薄的介质层，更完整的参考平面等。

D2D接口的技术指标

对D2D接口的技术指标的考察揭示了D2D高速接口的技术趋势。我们整理了国内外多个较为常见的D2D接口协议的技术指标，从中可以看到D2D高速接口的一些共性技术要求。基本的技术指标如封装形式（凸点节距）、信道长度、数据位宽、最高速率等本质上相当于设计参数，也可以认为是D2D接口的功能指标。


我们看到，多数D2D接口协议均支持标准封装和先进封装，少数协议仅支持先进封装。在标准封装下，典型的信道长度通常在50mm以下，数据位宽多为16线；而在先进封装下，信道长度仅为数个mm，而数据位宽通常会比标准封装大很多，典型值在32~64线之间。通常来说，D2D接口的最高数据率对标准封装和先进封装而言没有明显区分，一般在16~32Gbps之间。

真正考验D2D接口设计能力的是以下两个性能指标：时延（latency）和能效（power efficiency）。D2D接口的时延指标通常在几个ns，该指标决定数据传输的实际吞吐率，是直接影响系统性能的重要因素。D2D接口的能效指标一般在1pJ/b以下，先进封装下的这一数值还会进一步降低。由于D2D接口传输的数据率非常庞大，其功耗十分可观，甚至在整个系统功耗中也往往占据了相当大的一部分，因此能效对于D2D接口而言同样是一个至关重要的指标。

出于对系统性能的考量（换言之对D2D接口时延和能效性能的考量），我们将进一步审视D2D接口设计参数的选取。首先，为确保系统所需要的带宽，我们通常认为更高的数据率是更好的选择，但是更高的数据率通常意味着更低的能效，甚至在特定情况下还会导致更大的时延。因此，在某些情况下，适当降低数据率，同时配合更大的数据位宽可能是一个更好的方案。当然，更大的数据位宽需要占据更大的芯片面积，此时设计者可能需要考虑采用更小的凸点节距，甚至采用先进封装等更为复杂的方案来缩小接口电路的面积。从上述分析中可以看到，D2D接口电路的设计参数选取本质上仍是性能与成本的折中，如何实现有限成本（芯片面积，研发周期等）下的时延、能效最优化是D2D接口设计者始终思考的问题。

在上述考量下，总结来说，对于标准封装的D2D接口，较优的设计选择是采用最大的数据率和较小的数据位宽来实现带宽和面积的平衡；而对于先进封装的D2D接口，较优的设计选择是采用适中的数据率和较大的数据位宽，从而在确保带宽需求的情况下争取更好的能效性能。

上述分析虽然针对D2D标准封装和先进封装，对更为先进的3D封装也同样适用。在最近发布的UCIe 2.0中，协议定义了UCIe 3D接口的设计指标。在该指标中，接口的数据率进一步降低到4Gbps，以接近系统中逻辑电路的工作频率，从而实现极致的时延和能效性能；同时，协议通过指定较大的位宽和极小的节距以确保该接口的数据带宽和带宽密度。
 
D2D接口的设计思考

D2D接口的设计是一项系统而又细致的工作，其中最为困难从而也是最有价值的部分正是那些可以提升D2D接口性能的设计方法。如上所述，时延和能效是D2D接口最为重要的性能指标，下面我们就从这两个方面浅谈D2D接口设计的一些思考。

- 时延

以设计方法和流程而言，D2D接口电路通常都可以分为数字电路和模拟电路两部分。在D2D接口设计中，这两部分通常由不同的设计者来承担。自然地，设计者通常会从这两个部分去分别优化D2D接口的时延。比如，在数字电路设计中，尝试采用更高的工作频率和更精简的流水线结构等；同样，在模拟电路设计中也可以通过采用合理的串并转换电路结构来缩小时延。

然而，一个可能对时延影响更为显著却往往容易被忽视的环节是模拟电路和数字电路的接口部分。这是因为数字电路和模拟电路往往处在不同的时钟域中，而数据的跨时钟域传输需要经过同步。通常来说，设计人员一般会采用FIFO来对数据进行跨时钟域同步，这一过程将会带来数个时钟周期的时延。这一开销在大多数场景下无足轻重，但是对于D2D接口而言却可能是无法承受的。因此，如何处理数模接口上的数据同步问题是优化D2D接口延时的重要课题。

优化数模接口上的时延的中心思想是在完成数据同步的基础上缩小甚至取消FIFO所带来的时延开销。对此，我们提供了两种可行的方案：边沿调整技术和FIFO重置技术。边沿调整技术将数据的跨时钟域操作视为一次数据采样，其核心思想是通过调整算法搜索到最优的采样窗口对数据进行采样，从而完成跨时钟域操作，该方案可以将时延开销由数个时钟周期减小到半个时钟周期。FIFO重置技术是将FIFO从数模接口转移到模拟电路内部的串行时钟域上，假设模拟电路中的串并转换比为N，该方法可以将时延开销减小到原始方案的N分之一。

- 能效

能效优化所涉及内容则更为广泛，大到整个D2D接口架构的选取，小到某个具体电路的实现，都可能与最终的能效特性有密不可分的联系。这里我们将选取两个典型的例子来讨论基于能效优化的一些设计实现方法。

D2D接口的时钟方案是D2D接口架构设计的一个重要内容。通常对于16~32Gbps数据率的接口设计而言，半速率架构是一个较为常用的选择，因其结构简明且性能鲁棒。但是对于D2D接口，尤其是工作在较高数据率的D2D接口，半速率架构对于能效性能而言可能不是一个最优方案。因为D2D接口的数据位宽通常较大，这意味着D2D接口的片上时钟分布网络较传统的高速接口电路远为庞大，较高的时钟频率带来的时钟分布网络的功耗开销将变得十分可观。因此，对于工作在较高数据率的D2D接口来说，采用四分之一时钟速率架构或是一个对能效性能更加友好的方案。

从具体的电路设计角度，去偏斜（de-skew）电路是D2D接口中一个非常重要的模块，同时也是与整个接口的能效特性关系非常紧密的模块。去偏斜电路的作用是调节D2D接口中每个通道的时延，从而将所有通道输出信号的时间偏差限制在极小的范围内。对于去偏斜电路的设计，延时链结构是一个常用的选择。但是当该模块需要覆盖较大的偏斜时，延时链结构需要引入较大的延时，这同时也会带来较大的功耗。因此，出于能效的考量，基于相位内插器（PI）的电路结构可能是更适合D2D接口的电路实现方案。
 
D2D接口的设计流程革新

D2D接口作为一种新兴的高速接口，表现出很多不同于传统高速接口的技术特点，而这些新的特点也对传统的IC设计流程提出了挑战。由上面讨论可以看到，D2D接口是少数对数字电路、模拟电路和封装都有极高设计要求的系统，而D2D接口设计对设计方法和流程的挑战则主要集中在数字电路与模拟电路、芯片与封装的界面衔接上。

对于数字电路和模拟电路界面，传统的设计方法在设计流程上通常只对数字电路进行时序约束和分析，在模拟电路侧，一般仅通过仿真确保数模接口界面的时序。对传统的高速接口而言，这样的流程通常就可以满足设计需求，而对于D2D高速接口，由于其大带宽和低延时特性，其数模接口工作在更高的频率，传统的设计流程已然难以满足数模接口界面的时序要求。因此，在D2D接口设计的过程中，设计人员还需要在模拟电路侧应用时序约束和分析流程，包括刻画模拟电路边界处器件的时序特性、对其编写约束条件，并整合到数字电路的时序分析流程中进行统一的时序优化和收敛。

对于芯片和封装的界面的处理则主要集中在信道建模问题上。在传统的高速接口电路设计流程中，封装设计人员通常对信道进行单独建模，通过电磁场仿真，提取信道的仿真模型（如S参数模型），并提供给电路设计者进行仿真验证。在D2D接口设计中，尤其是先进封装甚至是3D封装下的D2D接口，较传统的高速接口有两个显著的区别：一是端口数量显著增加，二是信道条件更加规则，各端口往往面对较为简单且一致的信道条件。在第一个变化下，传统的设计流程将消耗大量的设计资源，使设计工作变得低效；而第二个变化则为信道的统一建模提供了机会。在先进封装尤其是3D封装下，对信道建立集总器件的简单模型，并转化为线延时融合到电路时序分析的流程中实现全链路的时序优化将成为一种高效的主流设计方法。

关于奇异摩尔——AI网络全栈式互联架构产品及解决方案提供商 

成立于 2021 年初，奇异摩尔以互联为中心，依托Chiplet和高性能RDMA技术, 构建统一互联架构 Kiwi Fabric，为超大规模AI计算平台提供高性能互联解决方案。

我们的核心产品涵盖，面向北向Scale out网络的AI原生智能网卡，面向南向Scale up网络的片间加速芯粒RDMA G2G，面向高性能芯片算力扩展的Chiplet互联芯粒2.5D/3D IO Die，及UCIe Die2Die IP等全链路解决方案。我们的核心团队均来自全球半导体行业巨头，如NXP, Intel, Broadcom, Alchip, AMD, NCAP等，具有丰富的AI互联产品研发和管理经验。团队具有50+高性能网络及Chiplet量产项目经验。

奇异摩尔以创新为核心驱动、以技术探索新场景、以生态构建新的半导体格局、为高性能AI计算奠定稳固的基石。