申威SW3231处理器的浸没式液冷模块研究_何霜.pdf

2 0 M i c r o c o n t r o l l e r s&E m b e d d e d S y s t e m s 2 0 2 3年第4期w w w.m e s n e t.c o m.c n 申威S W 3 2 3 1处理器的浸没式液冷模块研究何霜,康明涛,付小月,刘洁丽(中国电子科技集团公司第三十二研究所,上海 2 0 1 8 0 8)摘要:研究了一款申威处理器浸没式液冷模块。处理器采用S W 3 2 3 1,在国产化方面实现自主可控;散热采用浸没式液冷方式,克服了传统风冷散热方式噪音高、占用空间大的缺点,同时节约了电力成本,提高了散热效率。本模块对外提供两路千兆网口、两路万兆光口和U S B接口;支持健康监控及管理功能,可监测电压等;可适配统信操作系统;利用虚拟网络控制台可实现图像化系统界面。本模块可应用于信号处理、数据处理、网络交换和液冷服务器等重要领域。关键词:申威S W 3 2 3 1;P C I e;UO S中图分类号:T P 3 9 9 文献标识码:AR e s e a r c h o n S u b m e r g e d L i q u i d-c o o l e d M o d u l e B a s e d o n S u n w a y SW 3 2 3 1 P r o c e s s o rH e S h u a n g,K a n g M i n g t a o,F u X i a o y u e,L i u J i e l i(T h e 3 2 n d R e s e a r c h I n s t i t u t e o f C h i n a E l e c t r o n i c s T e c h n o l o g y G r o u p C o r p o r a t i o n,S h a n g h a i 2 0 1 8 0 8,C h i n a)A b s t r a c t:A s u b m e r g e d l i q u i d-c o o l e d m o d u l e b a s e d o n S u n w a y C P U i s s t u d i e d i n t h e p a p e r.T h e p r o c e s s o r i s S u n w a y SW 3 2 3 1,w h i c h r e-a l i z e s t h e a u t o n o m y a n d c o n t r o l i n t h e d o m e s t i c f i e l d.T h e w a y o f t h e h e a t d i s s i p a t i o n i s t h e s u b m e r g e d l i q u i d-c o o l e d m e t h o d,w h i c h s o l v e s t h e s h o r t c o m i n g s o f t h e t r a d i t i o n a l a i r-c o o l e d m e t h o d,s u c h a s l o u d n o i s e a n d l a r g e s p a c e o c c u p a t i o n,s a v e s t h e p o w e r c o s t a n d i m p r o v e s t h e h e a t d i s s i p a t i o n e f f i c i e n c y.T h i s m o d u l e p r o v i d e s t w o g i g a b i t E t h e r n e t i n t e r f a c e,t w o 1 0 g i g a b i t o p t i c a l i n t e r f a c e s a n d U S B i n t e r f a c e s.I t s u p p o r t s h e a l t h m o n i t o r i n g a n d m a n a g e m e n t f u n c t i o n s,w h i c h c a n m o n i t o r v o l t a g e a n d o t h e r p e r f o r m a n c e.I t c a n b e s u i t a b l e f o r u n i t y o p e r a t i n g s y s t e m.T h e g r a p h i c a l i n t e r f a c e c a n b e r e a l i z e d b y v i r t u a l n e t w o r k c o n s o l e.T h e m o d u l e c a n b e a p p l i e d t o s i g n a l p r o c e s s i n g,d a t a p r o c e s s i n g,n e t w o r k s w i t c h i n g,l i q u i d-c o o l e d s e r v e r a n d o t h e r i m p o r t a n t f i e l d s.K e y w o r d s:S u n w a y SW 3 2 3 1;P C I e;UO S0 引 言近年来,加强国产处理器芯片自主可控迫在眉睫。目前国产处理器有申威、龙芯、飞腾、兆芯和海光等,其中申威处理器具有更多的自主知识产权指令集,从设计、封装再到制造,受到国外影响较小,满足国产化需求。因申威处理器功耗较高,一般情况下,模块在机箱中采用的风冷散热模式已不能满足需求,此种散热方式噪声高、占用空间大且灰尘多,而液冷散热方式可很大程度上改善这些缺点。申威S W 3 2 3 1采用“申威6 4”自主指令系统,基于第三代“申威6 4”二次优化版核心的3 2核6 4位通用处理器,采用C C NUMA多核结构和系统级芯片技术,片内包含8路D D R S D R AM接口以及4 0 l a n e 的P C I e 4.0 标准I/O接口1。基于此,本文研究了一款基于申威处理器的浸没式液冷模块。浸没式液冷模块主要包括C P U子系统、外部设备互联总线接口(P e r i p h e r a l C o m p o n e n t I n t e r c o n n e c t e x p r e s s,P C I e)桥片、网络部分、电源系统、时钟和基板管理控制器(B a s e b o a r d M a n a g e m e n t C o n t r o l l e r,BMC)监控系统等。其中,C P U子系统实现P C I e、直连接口(D i r e c t L i n k I n t e r-f a c e,D L I)、D D R初始化和配置维护等功能,同时具备大内存的特点;网络部分可实现两路千兆网络和两路万兆光接口,同 时 该 模 块 提 供 通 用 串 行 总 线(U n i v e r s a l S e r i a l B u s,U S B)接口。软件上可适配统信操作系统;利用虚拟网络控制台(V i r t u a l N e t w o r k C o n s o l e,VN C)可实现图像化系统界面。该模块可应用于信号处理、数据处理、网络交换和液冷服务器等领域。1 模块硬件设计1.1 总体设计方案本文浸没式液冷模块设计使用两片申威S W 3 2 3 1处理器,外部硬件接口有电源P o w e r和地G N D接口、时钟接口、存储器接口、P C I e接口、直连接口和低速接口,同时支持调试管理维护接口等。其中,直连接口D L I A、D L I B和D L I C具有极性翻转、通道反转和链路自协商的特点,敬请登录网站在线投稿(t o u g a o.m e s n e t.c o m.c n)2 0 2 3年第4期 2 1 图1 申威S W 3 2 3 1浸没式液冷模块框图其使用相同的参考时钟源,对于同一申威处理器的不同直连接口的参考时钟输入,需要保证同频,但可以存在相位差异2。两片申威处理器可通过外部硬件电路配置单双路模式,增强了使用灵活性。由于 申 威S W 3 2 3 1处 理 器 支 持P C I e 4.0,P C I e桥 片 支 持P C I e 3.0,且P C I e 4.0可向下兼容P C I e 3.0,因此申威S W 3 2 3 1的P C I e 8 l a n e通道可连接P C I e交换芯片,再通过P C I e交换桥片连接各个功能芯片。主要功能芯片由1片C P L D芯片、1片P C I e交换桥片、1片P C I e万兆网络桥片、1片P C I e千兆网络桥片、1片P C I e转S A T A桥片、1片P C I e转U S B桥片和BMC控制单元组成,实现2路万兆光接口、2路千兆网 接 口、1路S A T A 接 口 和2路U S B 2.0接 口。其 中,P C I e转S A T A桥片的1路S A T A接口用来安装操作系统;BMC控制单元使模块具备健康监控及管理功能,用来监测电压等;利用虚拟网络控制台VN C,通过网络访问实现图像化系统界面。本模块硬件设计架构如图1所示。申威S W 3 2 3 1浸没式液冷模块主要性能指标如下:采用国产申威S W 3 2 3 1处理器,主频为2.4 GH z,双精度浮点性能可高达1 2 8 0 G F L O P S,整数性能可达8 8 0 G O P S;主处理器板载D D R 4内存容量支持1 2 8 G B;支持基本输入输出(B a s i c I n p u t O u t p u t S y s t e m,B I O S)引导;适配统信操作系统;支持板级健康监控及管理功能,可监测电压等;整板功耗不高于3 5 0 W;应用于信号处理、数据处理、网络交换和液冷服务器等领域。1.2 电源及上电时序设计通过外部电源箱提供1 2 V直流电压,然后通过L TM系列D CD C转换芯片分别为本模块的主要功能芯片C P L D、P C I e交换桥片、P C I e转千兆网桥片、P C I e转万兆网桥片、P C I e转S A T A桥片、P C I e转U S B桥片和BMC监控芯片等电源供电。另外,通过L TM系列D CD C转换芯片为申威S W 3 2 3 1处理器供电,分别为核电源电压0.8 5 V、I/O接口电源电压1.8 V、直连接口I/O模拟电源电压1.8 V以及直连接口模拟电源电压0.8 5 V等。L TM系列D C D C转换芯片及D D R终端稳压器共同为D D R 4内存条供电。外部1 2 V电压正常供电后,控制时序的C P L D芯片先上电,待其3.3 V和1.8 V正常上电后,按照各个功能芯片各档电压上电顺序要求依次上电,具体顺序为电压3.3 V、电压1.8 V、千兆网络芯片电压1.8 V、千兆网络芯片电压1.0 V、P C I e交换桥片电压0.9 V、万兆网络芯片电压3.3 V、万兆网络芯片电压0.9 2 V、P C I e转U S B桥片电压1.0 5 V,最后一档电压为2.5 V。C P L D芯片控制各档电压顺序时,需要通过各电源芯片的使能信号和p o w e r g o o d信号控制和判断电源时序。为了保证正常工作,申威S W 3 2 3 1处理器的上电同样需要按照一定的顺序,首先要将电源就绪信号D C OK_L和冷复位信号R E S E T_L设置为低电平,然后对处理器的I/O电源1.8 V和D D R 4供电电源进行上电,再对处理器的内核电源0.8 5 V上电,接着对直连接口D L I I/O模拟电源1.8 V上电,各档电压正常后,最后依次将D C OK_L和R E S E T_L信号设置为高电平状态,申威 S W 3 2 3 1 处理器开始进入初始化流程。2 软件设计申威S W 3 2 3 1处理器浸没式液冷模块软件部分包括基本输入输出系统固件、BMC固件和操作系统等。图2所示为基于硬件平台的软件系统架构。2.1 B I O S固件固件一般指所有内置于嵌入式设备的软件,包括引导2 2 M i c r o c o n t r o l l e r s&E m b e d d e d S y s t e m s 2 0 2 3年第4期w w w.m e s n e t.c o m.c n 图2 基于硬件平台的软件系统架构程序、操 作 系 统、驱 动、应 用软件 等3。申 威B I O S固 件是一段编译成功的二进制可执行 文 件(B i n文 件)。本 浸没式 液 冷 模 块 可 适 配 申 威B I O S,其可通过“固件信息”维 护WE B界 面 固 化 到S W 3 2 3 1对应的S P I F L A S H芯片中,进行开机自检和引导操作系统自动启动,支持P C I e初始化、D L I初始化、D D R初始化和内存自测试等。2.2 B M C固件BMC固件遵循智能平台管理接口(I n t e l l i g e n t P l a t-f o r m M a n a g e m e n t I n t e r f a c e,I PM I)V 2.0 协议规范,通过管理控制器来扩展系统的平台管理功能,独立运行的内核为BMC固件提供了一个安全性较强的、稳定的操作系统4。该模块烧录的BMC固件具体可以实现C P U 电压监测以及其他功能芯片的电压监测。2.3 操作系统在计算机领域,我国已拥有多个自主操作系统:统信、银河麒麟、深度科技等,其中统信操作系统在国产化操作系统中应用广泛,并取得了较好的成绩。统信软件技术有限公司是以“打造中国操作系统创新生态“为使命的国内基础软件公司。UO S是统信软件发行的美观易用、安全稳定的国产操作系统,该系统可支持龙芯、申威、鲲鹏、飞腾、兆芯等国产C P U平台5,同时还支持AMD 6 4、A RM 6 4、M I P S 6 4、S W 6 4 C P U等架构,为军工等重要行业提供支撑,为国产操作系统在安全可控方面提供实践经验。图3为统信操作系统技术架构图。图3 技术架构图6统信操作系统技术架构图包括硬件层、系统层和应用层。硬件层包括C P U、R AM、硬盘、终端设备和网卡等,由系统层自下控制;应用层包括人工智能、大数据、虚拟化、云计算等现实情景,由系统层自上提供调用接口控制;系统层由软硬件支持、系统资源管理以及多种功能组成。基于申威S W 3 2 3 1处理器的浸没式液冷模块适配统信操作系统,在操作系统层面具有安全性高、可用性强、可靠性高、易维护和兼容性强等优点。3 结构设计在不含接插件的条件下,模块外形尺寸为3 8 5 mm2 4 2.5 mm5 0.8 mm。模块结构件主要由框架结构件、主板、上盖板、连接器、液冷流道、起拔器、锁紧条和接头等组成。由于传统的风冷散热方式效率低、占用空间大,且不断增加电力成本,对高效低功耗的冷却系统的需求迫在眉睫。再加上越来越多的数据中心建设以及对经济高效和环保的冷却解决方案的需求不断增长,预计到2 0 2 6年全球浸没式液冷市场将增长至7亿美元7。综上,本模块采用浸没式液冷方式散热。冷的氟化液F C 4 0通过快速接头进入模块机壳内固定好 的P V C软 管,液 体 从P V C软 管 出 来 后 依 次 流 向C P U、电源芯片、功能芯片等发热元器件,氟化液F C 4 0温度升高,热的液体最终通过快速接头流出模块机壳。在这些发热元器件上放置散热器,冷板上有凸台,再加上导热衬垫,可减小接触间隙,从而降低接触热阻,可更好地将C P U、电源芯片、功能芯片等发热器件的热量传递给氟化液F C 4 0。热仿真边界条件:流体进口温度为5 5,流量为2 L/m i n;模块仿真主体金属材料选择6 0 6 3,导热系数给定2 0 2 W/mk;内存材料内阻较小,采用与P C B接近的导热系数,其余核心器件仿真采用块体生热方式,材料选择陶瓷,导热 系 数 为6.5 W/mk;P C B导热系数给定为0.1 7 3 W/mk,各项同性;此处忽略散热片与申威S W 3 2 3 1芯片间接触热阻。仿真结果如图4所示。通过仿真分析得到模块的电路板加上散热器的温度分布云图。从分布云图可以看出,模块的最高温度大致为7 4。模块右侧芯片温度较高,左侧较低。这是因为流体进入管道流向S W 3 2 3 1芯片,此处的流 敬请登录网站在线投稿(t o u g a o.m e s n e t.c o m.c n)2 0 2 3年第4期 2 3 图4 电路板+散热器温度分布云图体速度相对较快且热流密度小,温度较低;右侧的流体速度相对较慢且热流密度大,温度较高。温度较高的区域是热耗较大的功能器件所在的区域。在这些区域,通过导热垫片与散热器压板的凸台紧密贴合,确保元器件与散热器件的有效接触面积,减小结构热阻,达到更好的散热效果。4 测试分析为了验证申威S W 3 2 3 1处理器的浸没式液冷模块实际工作情况,对其性能进行了测试验证,测试结果如表1所列。表1 测试结果测试项目指标要求测试结果处理器主频2 GH z2.4 GH z千兆速率9 0 0 M b i t/s9 0 2 M b i t/s万兆速率9 G b i t/s9.4 G b i t/sU S B 2.0读速率1 8 MB/s2 0.2 MB/sU S B 2.0写速率4 8 0 0 K B/s5 0 9 1 K B/s硬盘读速率3 4 0 MB/S3 7 5 MB/S硬盘写速率1 3 0 MB/S1 4 8 MB/S内存带宽C o p y值2 3 0 0 0 MB/S2 5 2 4 0.3 MB/S从表1中的测试结果可以看出,模块性能均达到指标设计要求。申威S W 3 2 3 1处理器主频为2.4 GH z,使用i p e r f工具测试千兆网络和万兆网络,可正常通信且速率达到指标要求;使用f i o工具测试U S B和硬盘读写速率,系统可识别U S B和硬盘且达到指标要求;使用s t r e a m工具测试内存带宽C o p y值为2 5 2 4 0.3 M B/s,高于2 3 0 0 0 M B/s,满足指标要求。5 结 语本模块是基于申威处理器S W 3 2 3 1设计的浸没式液冷模块,使用申威S W 3 2 3 1 处理器符合关键器件国产化设计要求,具有更高的安全性。通过对模块进行热仿真,采用浸没式液冷方式散热更高效且节省空间。经过测试,千兆网络、万兆光口、U S B和V N C网络显示功能均正常;在软件方面,申威B I O S和B M C固件烧录成功,统信操作系统适配成功,分别使C P U正常初始化,模块具备健康监控及管理功能,系统层面具有更高的应用性;本模块可应用于信号处理、数据处理、网络交换和液冷服务器等领域。参考文献1 郭兴,罗凯,刘彦飞.一种基于国产申威SW 3 2 3 1处理器的高速存储设备的设计J.电子质量,2 0 2 1(1 2):5 3.2 国家高性能集成电路(上海)设计中心.申威3 2 3 1处理器硬件接口手册,2 0 1 9.3 曾祥义,刘伟,肖昊.一种嵌入式设备固件安全更新方案J.电子科技,2 0 2 2,3 6(8):2.4 郭强,苗磊,庄宝华.基于国产兆芯处理器的服务器系统安全设计J.计算机工程(增刊),2 0 2 1,4 7(8):5 0.5 齐心好视通与统信UO S完成互认证,再拓云视频会议国产化生态版图E B/O L.2 0 2 2 1 2.h t t p s:/b a i j i a h a o.b a i d u.c o m/s?i d=1 6 6 8 9 8 5 7 9 7 0 9 3 1 1 3 3 2 6&w f r=s p i d e r&f o r=p c.6 统信服务器操作系统V 2 0白皮书E B/O L.2 0 2 2 1 2.h t-t p s:/w w w.u n i o n t e c h.c o m/n e x t/s u p p o r t/d o c.7 液体散热的方式有哪些,液体冷却的优点与误区E B/O L.2 0 2 2 1 2.h t t p s:/w w w.e l e c f a n s.c o m/d/1 8 5 2 4 1 0.h t m l.2 0 2 2.0 6.2 3.何霜(工程师),研究方向为电子信息技术;康明涛(工程师),研究方向为通用计算机;付小月(工程师),研究方向为计算机结构设计;刘洁丽(工 程 师),研 究 方 向 为 嵌 入 式 计 算 机。通 信 作 者:何 霜,8 9 6 6 8 1 9 1 0q q.c o m。(责任编辑:薛士然 收稿日期:2 0 2 2-1 2-0 6)I A R E m b e d d e d W o r k b e n c h支持性价比出众的新型S T M 3 2 M C U系列意法半导体(S TM i c r o e l e c t r o n i c s,以下简称 S T)最近推出了性价比出众的S TM 3 2 C 0系列产品,为开发人员降低了S TM 3 2入门门槛。现在,嵌入式开发软件和服务的全球领导者、S T的授权合作伙伴I A R 宣布支持这款热门S TM 3 2微控制器的最新产品系列。性能强大的I A R E m b e d d e d W o r k b e n c h f o r A r m可帮助开发人员构建紧凑的代码并加以优化,以及提供全面的调试和分析能力。此番I A R和S T携手,将帮助使用8位或1 6位MC U的嵌入式开发人员,转向价格极具竞争力的3 2位芯片。I A R E m b e d d e d W o r k b e n c h f o r A r m具备先进的代码优化技术和全面的调试功能,深受全球嵌入式系统开发人员的喜爱。该工具套件使应用开发流程变得更快、更高效且代码高度紧凑。此外,集成的静态和运行时代码分析工具有助于保证代码质量,以及帮助嵌入式软件实现长期的可维护性和可移植性。