一种面向Chiplet互连的高效传输协议设计与实现.pdf

一种面向C h i p l e t互连的高效传输协议设计与实现*熊国杰,张津铭,贺光辉(上海交通大学电子信息与电气工程学院,上海 2 0 0 2 4 0)摘 要:高效、高带宽、高可靠性的传输协议对于C h i p l e t异构集成技术有着至关重要的作用。为此,提出了一种面向C h i p l e t互连的并行传输接口协议。采用新型分层架构提升协议的灵活性和可兼容性;通过基于多路选择链的冗余通道技术提高对物理链路故障的容错性,并在硬件上实现循环冗余校验,从而提升协议的传输可靠性。为了验证提出的传输协议,在2块V C 7 0 9 F P GA上实现了协议传输通路。实验结果表明,与P C I e相比,所提协议具有带宽高、接口面积小、可靠性高的优势。关键词:芯粒;互连协议;高带宽;高可靠性中图分类号:T N 4 0 2文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 3.0 8.0 0 2D e s i g n a n d i m p l e m e n t a t i o n o f a n e f f i c i e n t t r a n s m i s s i o n p r o t o c o l f o r C h i p l e t i n t e r c o n n e c t i o nX I ONG G u o-j i e,Z HANG J i n-m i n g,HE G u a n g-h u i(S c h o o l o f E l e c t r o n i c I n f o r m a t i o n a n d E l e c t r i c a l E n g i n e e r i n g,S h a n g h a i J i a o T o n g U n i v e r s i t y,S h a n g h a i 2 0 0 2 4 0,C h i n a)A b s t r a c t:E f f i c i e n t,h i g h-b a n d w i d t h,a n d h i g h-r e l i a b i l i t y t r a n s m i s s i o n p r o t o c o l s a r e c r u c i a l f o r C h i p-l e t h e t e r o g e n e o u s i n t e g r a t i o n t e c h n o l o g y.T h e r e f o r e,a p a r a l l e l t r a n s m i s s i o n i n t e r f a c e p r o t o c o l f o r C h i p-l e t i n t e r c o n n e c t i o n i s p r o p o s e d.A n e w h i e r a r c h i c a l a r c h i t e c t u r e i s a d o p t e d t o i m p r o v e t h e f l e x i b i l i t y a n d c o m p a t i b i l i t y o f t h e p r o t o c o l.T h e f a u l t t o l e r a n c e t o p h y s i c a l l i n k f a i l u r e s i s i m p r o v e d b y u s i n g r e d u n d a n t c h a n n e l s b a s e d o n t h e m u l t i-p a t h s e l e c t i o n c h a i n,a n d c y c l i c r e d u n d a n c y c h e c k i s i m p l e m e n t e d i n h a r d-w a r e t o e n h a n c e t h e t r a n s m i s s i o n r e l i a b i l i t y o f t h e p r o t o c o l.T o v e r i f y t h e p r o p o s e d t r a n s m i s s i o n p r o t o-c o l,t h e p r o t o c o l t r a n s m i s s i o n p a t h i s i m p l e m e n t e d o n t w o V C 7 0 9 F P GA s.T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t c o m p a r e d w i t h P C I e,t h e p r o t o c o l h a s t h e a d v a n t a g e s o f h i g h b a n d w i d t h,s m a l l i n t e r f a c e a r e a,a n d h i g h r e l i a b i l i t y.K e y w o r d s:c h i p l e t;i n t e r c o n n e c t i o n p r o t o c o l;h i g h-b a n d w i d t h;h i g h-r e l i a b i l i t y1 引言随着摩尔定律1引领芯片工艺逐步逼近物理线宽的极限,仅仅通过芯片制造工艺的升级路线将难以为继,业界普遍认为集成电路制造将进入“后摩尔时代”2。同时,以人工智能为代表的新一代信息技术兴起,其各类应用场景对算力的需求更加旺盛3,对芯片提出了更高的性能要求,芯片集成复杂化成为不可逆的趋势。更多的功能单元和更大的片上存储使得芯片面积急剧增大,导致芯片良率降低,进而也增加了成本,这很大程度上限制了高端芯片(C P U、D S P、A I和S w i t c h)的发展速率。为了继续保持高端芯片的快速发展趋势,延续摩尔定律,一种 新型的设计 思想 C h i p l e t(芯粒)异构集成技术4逐渐进入半导体行业的视野。如图1所示,所谓C h i p l e t异构集成技术,即将原先的芯片拆成多个体积更小、产量更高且成本更低的*收稿日期:2 0 2 2-1 0-1 9;修回日期:2 0 2 2-1 1-2 8基金项目:国家重点研发计划(2 0 1 9 Y F B 2 2 0 4 5 0 0)通信地址:2 0 0 2 4 0 上海市闵行区东川路8 0 0号上海交通大学电子信息与电气工程学院A d d r e s s:S c h o o l o f E l e c t r o n i c I n f o r m a t i o n a n d E l e c t r i c a l E n g i n e e r i n g,S h a n g h a i J i a o T o n g U n i v e r s i t y,8 0 0 D o n g c h u a n R o a d,M i n h a n g D i s t r i c t,S h a n g h a i 2 0 0 2 4 0,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 5卷第8期2 0 2 3年8月 V o l.4 5,N o.8,A u g.2 0 2 3 文章编号:1 0 0 7-1 3 0 X(2 0 2 3)0 8-1 3 3 9-0 8“芯粒”,再利用先进封装技术将其重新组装起来,形成一个完整的复杂功能芯片。该技术不仅能够有效地解决芯片网络规模化的问题,还能大幅减少芯片的开发成本和开发周期。F i g u r e 1 C h i p d e v e l o p m e n t a t p o s t M o o r e e r a图1 后摩尔时代的芯片发展C h i p l e t异构集成技术作为一种封装级集成和复用技术,与传统的单芯片(M o n o l i t h i c A S I C s)集成方式相比,在良率、成本及商业模式多方面具有优势和潜力,为高端C P U、F P GA及网络芯片等多领域芯片的研制提供了一种高能效、低成本的实现方式。C h i p l e t集成技术的核心思想是借助C h i p l e t互连技术、C h i p l e t布局规划技术与先进封 装技术5,6,实现不同工艺节点下复杂芯片的模块化异构集成,并依据性能各自选择最佳工艺,同时考虑散热需求建立合理的芯粒布局7,最终构建芯粒网络,在保障性能的同时大幅降低设计复杂度和制造成本。这一技术为性能提升摆脱单纯依赖工艺进步提供了有效的解决路径,成为“后摩尔时代”的复杂异构芯片设计方向。在C h i p l e t异构集成技术中,C h i p l e t互连技术起到了至关重要的作用8。高效、高可靠的互连能够帮助多C h i p l e t系统快速实现异构集成,保证了C h i p l e t技术的高灵活性。同时,C h i p l e t互连还具有高兼容性,即在面向C h i p l e t新型应用时仍然可以支持传统的传输方式,以保证目前各大厂商芯片产品9 1 1的可重构性和互操作性。C h i p l e t互连技术可分为2类:串行互连技术和并行互连技术1 2。串行互连技术(S e r D e s)具有速度快、传输距离远、I O数量少等优点,目前在芯片之间的高速互连场景中已应用得十分广泛。不同于传统的S e r D e s技术应用场景,面向C h i p l e t的串行互连在一个封装系统内完成,其传输距离远小于板级互连的,信号在传输线中的衰落减少,故接口电路的设计可以简化,这降低了传统S e r D e s收发电路的复杂度,从而实现高速低能耗的C h i p l e t串行传输。与串行互连技术相比,C h i p l e t并行接口的互连密度更高,每比特的传输能耗更低,传输延时更小,相对而言更加适合访问对延时和带宽密度要求高的应用场景。另一方面,先进封装技术芯片集成度更高,互连线资源丰富,这为并行接口互连提供了很好的条件。然而,目前C h i p l e t的各种互连传输方式仍然存在一定的问题:(1)I n t e l提出的P C I e(P e r i p h e r a l C o m p o n e n t I n t e r c o n n e c t e x p r e s s)、C X L(C o m p u t e e X p r e s s L i n k)协议在工艺层面没有考虑先进封装技术,故在带宽等方面无法满足C h i p l e t应用的需求;(2)I n t e l的A I B(A d v a n c e d I n t e r f a c e B u s)接口协议1 3与O D S A(O p e n D o m a i n S p e c i f i c A r c h i t e c-t u r e)工作组的B o W(B u n c h o f W i r e s)协议1 4,1 5虽然面向C h i p l e t互连,但其只针对物理层设计,没有提出协议层以及协议层-物理层之间适配的相关内 容;(3)U C I e(U n i v e r s a l C h i p l e t I n t e r c o n n e c t e x p r e s s)联盟提出的U C I e协议1 6虽然较为全面,但其协议的数据通道逻辑仍然存在优化的空间。总体而言,当前行业内没有一个统一的互连标准,缺乏国内自主可控的互连协议。针对现有国内封装工艺凸块距离偏大、良率偏低的现状,亟需一种具有高效、高可靠和高兼容等特性的传输协议。针对以上问题,本文提出一种面向C h i p l e t的高效、高带宽、高可靠互连并行接口协议。该协议由物理层、适配层和协议层组成,以先进封装方式作为基础,利用并行的互连方式保证了协议的高带宽特性;通过物理层中基于多路选择链的冗余通道技术和协议层中的C R C校验和重传机制,保证了协议的高可靠性;同时,协议可支持P C I e和C X L 2种传统的传输协议。2 协议介绍本文协议是针对C h i p l e t互连场景,应用于同一封装内连接多个C h i p l e t的一种开放式、高兼容性的并行传输协议。协议使用端到端的数据传输方式,两端均包含有发送逻辑T X(T r a n s m i t t e r)和接收逻辑R X(R e c e i v e r)。如图2所示,每个接口模块都包括发送和接收2组信号线,每组信号线都包含时钟、数据和控制3种类型。在单个接口模块中,由于凸块间距、信道间距的不同,需要根据不同的封装方式决定数据线的数量:先进封装方式下,单 模块支持6 4根数据线;标准封装方式0431C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(8)下,单模块支持1 6根数据线。相较串行传输方式,并行传输可以有效地增加芯片边缘利用率,提高带宽密度。F i g u r e 2 M u l t i-C h i p l e t p a c k a g e m o d u l e图2 多C h i p l e t封装模块2.1 协议分层为提高协议的灵活性以及与其他协议的兼容性,本文传输协议采用3层架构,包括协议层(P r o-t o c a l L a y e r)、适配层(A d a p t e r L a y e r)和 物 理 层(P h y s i c a l L a y e r),如图3所示。在3层架构中,协议层和物理层的定义与传统协议中的定义相近,而适配层是针对C h i p l e t互连特别增加的一层结构,其原因在于目前仍然存在其他的协议I P和物理层I P可供选择,而适配层的存在能够使不同的协议和物理层得以兼容并相互协调,以保证链路成功传输数据。这对构建C h i p l e t互连的生态圈具有更加重要的意义。F i g u r e 3 P r o t o c o l a r c h i t e c t u r e图3 协议架构2.1.1 协议层协议层位于本文协议的最上层,其向上连接C h i p l e t的应用层,与C h i p l e t的内部进行数据交互,向下连接传输协议的适配层,进一步实现片间互连。为了兼容现有的软件生态,本文协议层中定义了2种F l i t模式,分别为6 8 B和2 5 6 B模式,以此兼容C X L 2.0和P C I e/C X L 3.0协议。在6 8 B F l i t模式中,一个F l i t由头部控制字、数据有效负载和C R C校验字段组成。作为发送端时,协议层从应用层读取到数据之后,首先为F l i t加入头部控制字段,其中包含F l i t序号I D、协议模式、C R C校验模式、通道地址和目的地址等信息,这些信息主要在接收端的适配层进行解析;接着,在F l i t的尾部加入2个字节长的空码,这部分内容将在适配层进行填充。作为接收端时,协议层将对应删除F l i t中的头部信息和C R C校验信息,将原始数据写入到应用层存储器中。对于6 8 B F l i t模式而言,其单F l i t中的字节数不是2的整数次幂,这会导致F l i t传输与物理通道不匹配的问题,所以需要对连续的F l i t进行重排,如图4 a所示。在完成重排之后,该模式下可实现字节与通道的成功匹配。在2 5 6 B F l i t模式中,其F l i t组成与6 8 B F l i t的大体一致,如图4 b所示。区别在于F l i t中的有效数据更加连续,且尾部的控制字段增多,这使得在保留的1 4 B控制字段中,除了必需的C R C校验字段以外,用户还可以加入更多自定义信息,以满足特定的应用需求。F i g u r e 4 6 8 B a n d 2 5 6 B F l i t s t r u c t u r e s图4 6 8 B和2 5 6 B F l i t结构2.1.2 适配层适配层位于协议层和物理层之间,起到衔接的作用,其主要功能包括:(1)对整个传输过程进行链路状态的管理;(2)对协议进行仲裁与选择;(3)保证数据传输的完整性和可靠性。在适配层中,包含一个控制整个传输过程的有限状态机,以进行链路状态管理。该状态机负责控制与协议层和物理层之间的信号交互,包括数据信号和控制信号,如初始化过程中的请求和响应信号,如图5所示;同时还负责保证传输过程的有序进行,若发生错误能够及时发现并进行复位等。在适 配 层 中 还 需 要 完 成 协 议 仲 裁/选 择 和C R C校验/重试2个功能。作为发送端时,由于单1431熊国杰等:一种面向C h i p l e t互连的高效传输协议设计与实现F i g u r e 5 I n i t i a l i z a t i o n p r o c e s s图5 初始化流程个C h i p l e t可能包含多个接口模块,故需要将协议包进行物理层的映射,若发生多个协议包共同竞争同一个物理层接口模块的情况,则需要对多个竞争的协议进行仲裁,在本文协议中采用的是轮询仲裁方式;同时,在协议层中提到的C R C空白字段需要在适配层进行相应的计算。作为接收端时,需要对接收到的数据包进行C R C码的计算和对比,若校验失败,则申请数据重传;协议仲裁/选择为发送端的逆过程。对于重传开销比较大的传输场景,也可考虑使用前向纠错方式进行数据检验;然而,由于C h i p l e t互连在先进封装方式下的原始误码率较低,约为1 0-1 5量级,故C R C校验和重传机制能够满足大多数场景的可靠性要求。2.1.3 物理层物理层接收来自适配层的数据,并将其映射到物理链路。除此之外,本文协议在传统传输协议的物理层基础上新设冗余通道,以在物理链路层面提升C h i p l e t互连的可靠性。在进行字节到通道的映射时,每个字节在一个单独的数据通道上进行传输。字节0在通道0上传输,字节1在通道1上传输,依此类推。在每个字节内部,首先传输比特0,每个字节都将传输共8个周期。冗余通道重映射是指当某个数据通道发生故障且被检测到时,为了不让物理链路失效,设置冗余通道并以其代替原有数据通道的方法。对于标准封装的1 6数据通道接口,冗余通道的设置将会产生较大比例的引脚负担,故该方法主要考虑在先进封装下的6 4数据通道接口中使用。2.2 数据传输流程协议的数据传输流程如图6所示,具体步骤如下所示:(1)发送端协议层收到应用层请求,从应用层读取数据;根据I D寄存器生成F l i t头部信息,并将其与有效数据、C R C空码组合生成F l i t;将F l i t存入数据缓冲区。F i g u r e 6 D a t a t r a n s f e r p r o c e s s图6 数据传输流程(2)发送端适配层根据F l i t头部信息进行协议的仲裁和选择,同时进行初始化过程:根据响应判断物理层为可用状态后,开始传输过程;在传输的数据通路中,计算C R C校验码并将其加入到F l i t的空码中。(3)发送端物理层对数据按字节进行物理通道的映射。(4)接收端物理层接收到物理通道的信号后,将其按字节重映射回数据。(5)接收端适配层计算C R C校验码并与接收到的码字进行对比,若校验失败,则请求从发送数据缓冲区重传数据;若校验成功,则根据F l i t头部信息中的目的地址进行协议的分发。(6)接收端协议层解析出有效数据,并将其发送给接收端的应用层。(7)完成整个数据传输流程。3 硬件设计实现3.1 冗余通道设计对于C h i p l e t互连而言,目前大多数物理层设计都采用并行传输,以提高传输的带宽密度。然而,一旦在多个数据通道中出现一个通道故障,则整个接口模块将无法正常使用。特别是国内封装工艺良率偏低,这对C h i p l e t互连协议的可靠性提出了严峻挑战。针对这一问题,本文协议提出冗余通道设计:2431C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(8)先进封装条件下,在6 4个数据通道之外额外设置2个冗余的数据通道,以应对可能的通道故障情况。每个冗余的数据通道可完成对原有6 4个数据通道中任意一个通道的修复,故在该设计中单个先进封装接口模块可最多容忍2个数据通道的故障。在标准封装模块中,由于原有数据通道数较少,若添加冗余通道会给C h i p l e t引脚带来较大压力,故不考虑冗余通道设计。在冗余通道设计下,将冗余通道设置在其余数据通道的两侧,如图7所示。F i g u r e 7 R e d u n d a n c y l a n e图7 冗余通道若有数据通道发生故障,从冗余通道到故障通道之间的所有通道都进行“左移”或“右移”,以完成数据到通道的重映射。当原来的6 4个通道数据中第n(0n6 3)个数据复用到第n-1个通道时,称为“左移”;当第n个数据复用到第n+1个通道时,称为“右移”。其伪代码如下所示:伪代码1 冗余单通道重映射(0 x6 3)I f F a i l u r e o c c u r s i n L a n ex F o r 0ix L a n ei=D a t ai+1;R e d u n d a n c y0=D a t a0;伪代码2 冗余双通道重映射(0 x,y6 3)I f F a i l u r e o c c u r s i n L a n ex a n d L a n ey F o r 0ix L a n ei=D a t ai+1;R e d u n d a n c y0=D a t a0;F o r yj6 3 L a n ej=D a t aj-1;R e d u n d a c y1=D a t a6 3;在电路层面,多通道的“左移”和“右移”操作通过一个多路选择链来实现。每个数据在进入物理通道之前都需经过一个三路选择器,以保证数据具备“左移”和“右移”的可能性。选择器的控制信号为物理链路是否发生故障:若发送端无法获得接收端的有效返回响应,则判断物理链路发生故障。发送端电路结构如图8所示。接收端的电路结构与发送端类似,这里不再赘述。F i g u r e 8 M u x c h a i n图8 多路选择链电路在可靠性层面,多路选择链电路的形成只涉及晶圆制造这一个环节,而物理链路的形成涉及到晶圆制造、微凸点互连、中介层走线等多个环节,其故障概率远高于片上电路的,因此以增加多路选择链电路为代价设置冗余通道以提高传输可靠性是切实可行的。3.2 链路状态管理模块适配层通过一个有限状态机管理整个传输过程中的链路状态。除了正常传输状态外,传输过程还包括复位、空闲、初始化、禁用、重传和传输错误状态。各个状态之间的转换关系如图9所示。F i g u r e 9 R e l a t i o n s h i p s b e t w e e n s t a t e s图9 各状态转换关系首先,在任何状态下若发生链路故障,则传输进入复位状态,所有寄存器进行复位,传输过程重新进行。若复位之后,链路正常则进入链路空闲状态,等待应用层的数据发送请求。在接收到应用层的数据发送请求之后,链路进入初始化状态,状态机将向物理层发送请求,若物理层空闲则响应协议3431熊国杰等:一种面向C h i p l e t互连的高效传输协议设计与实现层并进入传输状态;若物理层正在处理其他协议层的数据传输,则等待并将状态切换到禁用状态,直到轮询仲裁的结果为当前协议才再开始传输。在传输过程中,若C R C对比结果有误,从接收端返回重传请求,则发送端切换到重传状态,从数据缓冲区重新读取数据并发送。同时,在传输过程中若发生解析错误、物理层链路故障和协议层发送错误等情况,则进入传输错误状态,并进行状态机的复位。3.3 C R C校验模块本文协议支持C R C校验方式,参考传统传输协议P C I e/C X L选用校验码生成的多项式的方法,生成的多项式为(x+1)*(x1 5+x+1)=x1 6+x1 5+x2+1,共提供3位误码校验保证。其线性反馈移位寄存器的初始值为0 0 0 0 h,之后从F l i t第0字节的第0位开始,到第0字节的第7位,再到第1字节,以此类推,一直计算到第1 2 7字节。对于6 8 B F l i t模式,不足1 2 8 B的部分高位用0补齐;对于2 5 6 B F l i t模式,保留的1 4 B字段中,默认后4 B为C R C校验码,4 B以2 B为一组分别对01 2 7 B字段和1 2 82 5 1 B字段进行校验,不足1 2 8 B的部分进行高位补齐。F i g u r e 1 0 D i a g r a m o f C R C图1 0 C R C校验电路图4 实验结果与环境4.1 实验环境为了评估所提出的传输协议在C h i p l e t互连场景下的性能,本文利用2块X i l i n x V C 7 0 9 F P GA开发板实现了C h i p l e t互连原型验证系统平台。实验装置如图1 1所示。在图1 1所示的实验装置中,发送端F P GA模拟C h i p l e t 0,读取B R AM初始化预存入的数据,即模拟应用层的数据发送请求,经过发送端的多层协议之后传给F P GA的光口,以模拟实际链路的F i g u r e 1 1 P r o t o t y p e v e r i f i c a t i o n s y s t e m b a s e d o n V C 7 0 9图1 1 基于V C 7 0 9的原型验证系统传输;在接收端的F P GA光口收到数据后,将其传给接收 端的多层协议 进行进一步 解析,以模 拟C h i p l e t 1的数据接收,最终将有效数据存至C h i p-l e t 1的B R AM中。4.2 硬件实现结果4.2.1 带宽评估由于本文协议为C h i p l e t的并行互连协议,故其带宽的计算公式如式(1)所示:BWt o t a l=N u ml a n efl a n e(1)其中,BWt o t a l为总传输带宽,N u ml a n e为物理通道数,fl a n e为物理链路的传输频率,为协议的传输效率。在本文协议中,物理通道的数量在单个先进/标准封装模块下分别为6 4/1 6;受工具限制,在F P GA板上的综合频率为2 0 0 MH z,将其匹配至目 前C h i p l e t互 连 的 实 际 传 输 频 率1 4 4/8 G T p s进行计算;根据协议层中规定的6 8 B F l i t和2 5 6 B F l i t结构,可以得到2种模式下各自的理论传输效率,经过F P GA的功能和性能验证,其实际传输效率可以达到理论值。根据式(1)得到各协议配置下的带宽,其与P C I e 5.0的对比如图1 2所示。F i g u r e 1 2 B a n d w i d t h c o m p a r i s o n b e t w e e n P C I e a n d p r o p o s e d p r o t o c o l u n d e r d i f f e r e n t c o n f i g u r a t i o n s图1 2 各种配置下协议带宽与P C I e的对比从图1 2可以看出,在不同配置下,本文协议相比传统传输协议P C I e 5.0带宽平均增加了6.44431C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(8)倍。其原因在于本文协议基于先进封装技术,能够通过数据线并行排布以成倍增加传输带宽;同时,在保证兼容性的前提下,优化协议结构,针对C h i p l e t传输特点简化控制字,提高了协议传输效率。4.2.2 面积评估本文实验中除了对所提出的协议进行F P GA实现之外,还对P C I e协议进行了硬件实现,以对比两者F P GA资源的使用情况。二者的资源占用对比如表1所示。T a b l e 1 R e s o u r c e u t i l i z a t i o n o f p r o t o c o l表1 协议资源使用情况资源类型本文协议P C I e比例/%L UT2 0 7 61 8 7 0 61 1.1F F1 0 9 11 3 9 9 97.8 从表2可以看出,本文传输协议的L UT和F F资源使用量分别为P C I e协议的1 1.1%和7.8%。这是由于本文协议针对C h i p l e t场景优化了数据通道逻辑设计,所以其在降低了协议延迟的同时也极大地减少了协议实现所需要的资源,这在C h i p-l e t互连应用中将极大地降低C h i p l e t接口控制器所需要的面积。5 未来发展方向本文针对C h i p l e t互连提出了一种基于先进封装的并行传输协议,并在F P GA原型验证平台上进行了验证。在实际的C h i p l e t架构设计与物理实现 中,还需要结 合具体的先 进封装技 术和C h i p l e t互连实现技术。目前,在2.5 D/3 D先进封装技术层面,台积电已将相关技术1 7整合为“3 D F a b r i c”平台,并将其分为芯片堆叠(前端3 D)和先进封装(后端3 D)2种技术。芯片堆叠技术包括真正实现3 D的C o W(C h i p o n W a f e r)和W o W(W a f e r o n W a f e r)技术;先进封装技术则包括扇出型封装技术(I n F O)和硅中介层技术(C o W o S)等。在3 D封装技术层面,三星于2 0 2 0年公布了X-C u b e技术,其使用成熟的硅通孔T S V(T h r o u g h S i l i c o n V i a)工艺进行芯片互连,能够将S R AM芯片堆叠在逻辑芯片上,该技术缩短了信号连接距离,提升了逻辑芯片与存储芯片之间的数据传输速度和能效。在中国大陆,长电科技、通富微电等企业也在积极推动传统封装技术的突破。长电科技于2 0 2 1年7月推出了X D F O I(X D i m e n s i o n F a n-O u t I n t e g r a t i o n)全系列极高密度扇出型封装解决方案,其线宽/线距可达2 m;此外,X D F O I采用了极窄节距凸块互连技术,封装尺寸大,可集成多颗芯片、高带宽内存和无源器件。通富微电目前已建成国内顶级2.5 D/3 D封装平台V I S i o n S及超大尺寸F C B GA(F l i p C h i p B a l l G r i d A r r a y)研发平台,可完成高层数重布线技术开发。其封装业务包含框架类封装、基板类封装、晶圆类封装等,可广泛应用于高性能计算、移动终端、人工智能和车载电子等领域。在国内外的诸多先进封装技术中,如何选取适合的先进封装技术并将其与C h i p l e t互连方式相结合,在真正意义上实现并行互连接口,将是下一个亟待解决的问题。这需要设计者在芯片良率、成本、互连带宽、功耗等影响因素之间进行权衡,结合具体的C h i p l e t应用,在多种封装方式和互连方法中选择最优的解决方案。6 结束语本文提出了一种面向C h i p l e t互连的高效、高带宽、高可靠性并行传输协议,并对其进行设计实现,通过F P GA验证平台模拟实际C h i p l e t传输场景,与成熟的接口协议P C I e进行了对比。实验结果表明,相比P C I e,本文协议带宽平均增加6.4倍,面积消耗平均减少9 0%;同时,其通过冗余通道设计可进一步增加C h i p l e t互连的传输可靠性。参考文献:1 M o o r e G E.C r a mm i n g m o r e c o m p o n e n t s o n t o i n t e g r a t e d c i r-c u i t sJ.I E E E S o l i d-S t a t e C i r c u i t s S o c i e t y N e w s l e t t e r,2 0 0 6,1 1(3):3 3-3 5.2 T a n Z,C a i H,D o n g R,e t a l.NN-B a t o n:D NN w o r k l o a d o r-c h e s t r a t i o n a n d c h i p l e t g r a n u l a r i t y e x p l o r a t i o n f o r m u l t i c h i p a c c e l e r a t o r sC P r o c o f t h e 4 8 t h A CM/I E E E A n n u a l I n t e r-n a t i o n a l S y m p o s i u m o n C o m p u t e r A r c h i t e c t u r e,2 0 2 1:1 0 1 3-1 0 2 6.3 S h a o Y S,C e m o n s J,V e n k a t e s a n R,e t a l.S i m b a:S c a l i n g d e e p-l e a r n i n g i n f e r e n c e w i t h c h i p l e t-b a s e d a r c h i t e c t u r eJ.C o mm u n i c a t i o n s o f t h e A CM,2 0 2 1,6 4(6):1 0 7-1 1 6.4 M a X H,W a n g Y J,W a n g Y,e t a l.S u r v e y o n c h i p l e t s:I n t e r-f a c e,i n t e r c o n n e c t a n d i n t e g r a t i o n m e t h o d o l o g yJ.C C F T r a n s a c t i o n s o n H i g h P e r f o r m a n c e C o m p u t i n g,2 0 2 2,4(1):4 3-5 2.5 A g a r w a l R,C h e n g P,S h a h P,e t a l.3 D p a c k a g i n g f o r h e t e r o-g e n e o u s i n t e g r a t i o nCP r o c o f t h e 7 2 n d I E E E E l e c t r o n i c C o m p o n e n t s a n d T e c h n o l o g y C o n f e r e n c e,2 0 2 2:1 1 0 3-1 1 0 7.6 J o h n H L.S e m i c o n d u c t o r