基于高性能计算的芯片组参数研究.pdf

第 5 卷 第 8 期 新一代信息技术 Vol.5 No.8 2022 年 4 月 NEW GENERATION OF INFORMATION TECHNOLOGY Apr.2022 通讯作者:齐磊(1985)，男，计算机、工商管理双硕士，高级工程师，长期从事高性能计算，云计算、大数据、国产芯片领域的研究等 工作。DOI:10.3969/j.issn.2096-6091.2022.08.018 基于高性能计算的芯片组参数研究 齐 磊 （曙光信息产业（北京）有限公司，北京 100193）摘 要：本文对一种高性能计算的芯片组参数进行研究和应用，在对该芯片组以抽象出的交叉开关与信道等参数进行实际的开发设计与实现工作时，利用高性能计算的通信特征来研究测试模型的相关参数，得出相关的性能评价参数，然后采用 FPGA 测试环境和相关的仿真软件对其进行测试和验证，分析影响高性能计算的芯片组带宽和延迟的各种因素，优化相关参数和设施，来提高高性能计算的芯片组的性能。关键词：高性能计算；芯片组；参数；FPGA；仿真 本文著录格式：齐磊.基于高性能计算的芯片组参数研究J.新一代信息技术，2022，5(8):62-64 中图分类号：TP303+.1 文献标识码：A Research on Chipset Parameters Based on High Performance Computing QI Lei(Dawning Information Industry(Beijing)Co.,Ltd.,Beijing 100193,China)Abstract:This paper studies and applies the chipset parameters of a high-performance computing,carries on the actual devel-opment design and implementation work to the chipset with abstract cross switch and channel parameters,uses the communica-tion characteristics of high-performance computing to study the relevant parameters of the test model,obtains the relevant per-formance evaluation parameters,then uses FPGA test environment and relevant simulation software to test and verify it,analyzes the various factors affecting the bandwidth and delay of the chipset of high-performance computing,optimizes the relevant pa-rameters and facilities.to improve the performance of chipsets for high-performance computing.Key words:high-performance computing;chipsets;parameters;FPGA;simulation Citation:QI Lei.Research on Chipset Parameters Based on High Performance ComputingJ.New Generation of Information Technology,2022,5(8):62-64 0 引言 本文针对高性能计算的芯片组相关参数进行研究与分析，利用 HPP 结构体系来实现超并行的高性能计算的芯片组支持软硬件双方都需要同时符合计算机上千万亿次的运算需求1，并实现了全局地址空间、交换芯片之间的相互连接两级通信以及同步支持多处理器等功能2。由于科学技术的高速迭代更新，芯片内部晶体管高度集成，本文通过对高性能计算的通信特征与多处理器特征进行研究与分析，优化芯片组的通行性能参数3，实现了芯片组的多处理器接口目标，并且可以传输海量数据，实现高性能计算，也使芯片组在集合通信模式下处理的数据快速提升4。本文以龙芯 2E 多处理器为研究对象5，简单阐述了一下在该处理器芯片的组合结构体系下高性能计算的芯片组中高性能计算特征的测试参数模型6，在基于芯片组进行交叉开关与抽象信道的环境参数测试，分析这些相关的测试参数，并进行优化7。1 芯片组的组成方案 以龙芯 2E 多处理器为设计基础，开发设计一种可以达到高性能计算的芯片组8，使其数个处理器可以利用一个高速设置的外接通道和设备系统信号连接通信，利用多处理器与多通道之间进行联通通信9，其结构设计如图 1 所示。系统设计中有两个总线端口数，并且这两个总线端口都是以总线方式，与其他的处理器进行对接，然后利用设计LPC通道，达到控制/I O功能变慢速目的；利用设计PCI通道达到控制/I O功能加速的目的。设计系统互联通道，达到系统之间的互联扩展功能，利用交叉开关使全互联设计达到系统各端口之间的数据信息交换功能。本文设计的芯片组支持的数据包的范围为8256 Byte，通过按照数据包 8 期 齐 磊:基于高性能计算的芯片组参数研究 63 图 1 龙芯片 2E 多处理器芯片组结构总图 Fig.1 dragon chip 2E multiprocessor chipset structure diagram 的字节进行排列对齐后，按顺序对数据包进行传送，有效地保障了数据信息通信的有效性与可靠性；并利用内部总线协议，将交叉开关连接多处理器芯片内部的各通道，实现通信目的，可以达到同步支持多处理器和全局地址空间的互通功能，实现可调试、便于管理的寄存器功能10。而交叉开关的设计是利用分布式调试的方式，通过设计数个冲裁器与数条数据通道，来提高芯片组内部设置的各端口之间的信息交流速率。2 高性能计算芯片组的相关参数 2.1 芯片组信道与环境相关的参数 芯片组设计中，关于通信性能的模块主要有四个，分别是快速外设通道模块、处理器通道模块、互联通道模块以及交叉开关模块等。因快速外设通道模块、处理器通道模块以及互联通道模块等三个模块都拥有部分相同特征，因此，对这三个模块进行抽象结构设计，该芯片组的通信信道结构如图 2所示。图 2 芯片组通信信道的结构设计图 Fig.2 a structural design of a chipset communication channel 其中，通信信道的结构组成主要有三个，分别是内部缓冲区模块、对外通信接口模块以及内部总线接口模块等。内部缓冲区模块是承上启下对接内外部接口关系，起到对内外部两个方向之间的信息数据的传输功能，由于每个传输方向特征需求，需要根据读写特征来区分不同的缓冲区，缓冲区按需分成了四组，分别执行读写命令以及数据的分离工作，并且这些缓冲区内可以执行数次的工作指令。2.2 芯片组与信道评价相关的参数 通常以带宽指标与延迟指标作为基准对通信系统进行性能的评价，其中还包含了信道内外部总线的使用率、实际测试带宽参数以及交叉开关的无效占有率。信道的延迟是请求指令从一个信道中的接口端口出发到下一个端口离开所需要的时间。交叉开关的延迟是请求指令从一个信道端口出发，至下一个信道端口接收所需要的时间。2.3 测试模型相关的参数 芯片组为了实现高性能结构体系，需要在通信性能方面进行优化，从多处理器中的通信特征方向对传输数据的大小进行信息的区分；高性能计算的通信特征是集合式通信特征，可以利用多种通信模式进行多方向的同一目标通信指令传输，并经过统一通道完成。同一端口的海量数据，或者是多个端口不同的数据量，在一个单位时间内，需要通过交叉开关和同一信道，信道内部端口出现连续传输的请求，这个参数就可以标注多处理器与高性能计算 MPI 通信的特征。3 测试环境搭建 3.1 芯片组 FPGA 测试环境 利用 FPGA 测试环境对芯片组各项模块的逻辑设计性能功能进行测试和验证。多处理器系统运行工作时，设置处理器模块为32 Byte，其中内部总线和系统总线的时钟值为80 MHZ，数据的总线宽度为64位，LPC 与 PCI 的时钟是33 MHz，数据总线宽度是32位，并利用操作系统与 BIOS 引导对芯片组的多处理器进行启动。3.2 仿真测试环境 采用某仿真软件的仿真环境对该芯片组的硬件方面进行信道逻辑设施的语言开发设计，包括对虚拟内外部总线接口通信设备的连接设计，芯片组中FPGA 的 PCI 模块逻辑设计以及芯片组的通信协议设计等，这些模块功能的设计都是以总线协议 PCI来实现运行的目的。4 测试结果分析 通过利用调试工具，对芯片组进行各项通道的64 新一代信息技术 2022 年 内部测试，检测每一项通道中的时序周期情况，以内部时钟 80 MHz 的检测节点为基础，多处理器总线的传输请求，需要历经 22 个周期才能传输到下一个处理器总线上，其延迟值是 263.5 ns；处理器总线的传输请求，需要 24 个周期才能传输至 PCI 总线上，其延迟值为 289.5 ns。在这个仿真环境里，芯片组内部的缓冲区中，信道内部带宽值设置为 668 MB/s，芯片组信道带宽使用率就会随着缓冲区深度的变大而变大，因此大块数据的传输使用率提升的概率就会较小，小数据的传输使用率就会变大，说明增大缓冲区深度在传输大块数据时对带宽的增加效果不显著，并且会出现带宽使用率随着不间断的传输数据大范围减少的情况，说明芯片组多处理器随着数量的提升，会导致通信需求和压力的不断提高，信道的带宽相反不断地变小，进入通信性能的恶性循环，通过对信道的参数与带宽进行衡量，达成一种平衡间的设置，才能更加有效地提高芯片组的高性能计算效率。在仿真测试中尽可能提高每次交流传输粒度，可以有效地提高高性能计算效率。5 优化外设 PCI 通道 由于 PCI 通信通常是利用突发机制的方式对数据进行传输工作，传输的数据长度都不是固定值，因此，无法估计传输结束的时间周期；并且 PCI 读操作是以延迟重试来完成，当请求方发出读指令后，如应答方回应准备好了，才进行数据传输工作，反之则断开连接。为了防止出现交叉开关与其他处理器内部之间的接口被无效占用，需要对多处理器通信实现 PCI 通信功能，让 PCI 设施在读指令发出，还没有收到读响应数据时，不用交叉开关总线进行读重试。并对高性能计算的通信芯片组提高每次交流的传输粒度，通过对 PCI 控制器的分离方式，可以有效地降低延迟时序与等待读响应的交叉开关争用重读动作，有效地提升了芯片组中多处理器间的通信性能。6 结论 本文主要通过简单探讨高性能计算的芯片组中高性能计算的通信特征与多处理器特征之间的相关关系，并对其进行优化与升级工作，通过分析芯片 组在各项通道中的测试模型参数，来研究其高性能计算的通信特征，并通过开发和设计的实现过程，抽象出信道和交叉开关的环境参数，对这些相关参数进行性能评价，通过优化芯片组，提高芯片组多处理器间的通信计算性能。参考文献 1 易宇,金然.基于符号执行的内核级Rootkit静态检测J.计算机工程与设计,2006,27(16):3064-3068.2 Gupta P,McKeown N.Design and Implementation of Afast Crossbar SchedulerJ.IEEE Micro,1999,19(01):20-28.3 Jin H W,Sur S,Chai L,et al.Limic:Support for High-Performance MPI Intra-Node Communication on Linux ClusterC.2005 International Conference on Parallel Processing(ICPP05).IEEE,2005:184-191.4 Liu J,Chandrasekaran B,Wu J,et al.Performance Comparison of MPI Implementations over InfiniBand,Myrinet and QuadricsC.Proceedings of the 2003 ACM/IEEE Conference on Supercomputing.2003:58.5 颜仁仲,钟锡昌,张倪.一种自动检测内核级Rootkit并恢复系统的方法J.计算机工程,2006,32(10):77-79.6 Sistare S,Vandevaart R,Loh E.Optimization of MPI Colle-ctives on Clusters of Large-Scale SMPsC.Proceedings of the 1999 ACM/IEEE Conference on Supercomputing.1999:23-es.7 Lee M J E,Dally W J,Farjad-Rad R,et al.CMOS High-Speed I/Os-Present and FutureC.Proceedings 21st International Conference on Computer Design.IEEE,2003:454-461.8 Culler D,Singh J P,Gupta A.Parallel Computer Architecture:A Hardware/Software ApproachM.Houston:Gulf Professional Publishing,1999.9 Kruegel C,Robertson W,Vigna G.Detecting Kernel-Level Rootkits through Binary AnalysisC.20th Annual Computer Security Applications Conference.IEEE,2004:91-100.10 Levine J F,Grizzard J B,Owen H L.Detecting and Categorizing Kernel-Level Rootkits to Aid Future DetectionJ.IEEE Security and Privacy,2006,4(01):24-32.齐磊(1985)，男，计算机、工商管理双硕士，高级工程师，长期从事高性能计算，云计算、大数据、国产芯片领域的研究等工作。