基于INTESIM5.0的...静力学大规模分布式并行计算_刘天成.pdf

汽 车 文 摘刘天成张群代民果宋德健（英特工程仿真技术有限公司，大连 116000）【摘要】针对现如今汽车工业对高精度、高效率数值仿真的迫切需求，研究了支持分布式并行计算的工业仿真软件INTESIM5.0对于大规模精细仿真的适用性。研究方法包括建立3个网格规模不同的气缸体模型，分别使用INTESIM和某商软模拟100万网格模型，对比两者结果以验证INTESIM的计算正确性。使用INTESIM在神威太湖之光的商用计算系统，模拟1亿网格模型，发现并行加速比和并行效率符合一般规律。对比3个模型的INTESIM求解结果，论证精细建模的优越性。研究结果表明INTESIM完全胜任超大规模并行计算，从而以低时间成本获得高精度仿真结果，有助于提升汽车发动机缸体的可靠性和耐久性优化效率。主题词：工业仿真有限元并行计算亿级网格发动机气缸计算机集群中图分类号：TP311.1文献标识码：ADOI:10.19822/ki.1671-6329.20220100Large Scale Distributed Parallel Computation of Cylinder Block StaticAnalysis Based on INTESIM5.0Liu Tiancheng,Zhang Qun,Dai Minguo,Song Dejian（INTESIM Engineering Simulation Technology Co.,Ltd,Dalian 116000）【Abstract】Aimed at the urgent need of high precision and high efficiency numerical simulation in the automobileindustry,the applicability of the industrial simulation software INTESIM 5.0 supporting distributed parallel computing forlarge-scale fine simulation is studied.The research method is as follows:3 cylinder models with different grid sizes areestablished,INTESIM and a commercial software are used to simulate 1 million grid models respectively.The results of 2models are compared to verify the correctness of INTESIM calculations.INTESIM is used to simulate 100 million gridmodels on the commercial computing system of Sunway TaihuLight,it is found that the parallel speed up ratio and parallelefficiency conform to the general law.The advantages of fine modeling are demonstrated by comparing the results of 3models solved by INTESIM.The results show that INTESIM is fully competent for large-scale parallel computing,to obtainhigh-precision simulation results with low time cost,which is helpful to improve the optimization efficiency of the reliabilityand durability of automobile engine cylinder block.Key words:Industrial simulation，Finite Element Method(FEM)，Parallel computing，Hundred-million-class grid，Engine cylinder block，Computer cluster基于INTESIM5.0的气缸体静力学大规模分布式并行计算【欢迎引用】刘天成，张群，代民果，等.基于INTESIM5.0的气缸体静力学大规模分布式并行计算J.汽车文摘,2023(2):59-62.【Cite this paper】LIU T C,ZHANG Q,DAI M G,et al.Large Scale Distributed Parallel Computation of Cylinder Block Static AnalysisBased on INTESIM5.0J.Automotive Digest(Chinese),2023(2):59-62.1引言汽车CAE贯穿于汽车研发设计的整个流程，CAE复杂度高、计算量大，对并行计算有很高要求。缸体作为汽车发动机主体结构，几何结构越来越复杂。现代缸体结构在传统结构基础上，大多增加了油泵壳体、水泵壳体和各种回油道结构。其凸台根部、孔洞边缘等倒角、倒圆处会产生应力集中，水套底部拐角等处容易出现结构设计上的应力集中。对此有很多基于ANSYS、Altair等CAE仿真工具的相关研究1-5，但普遍存在计算模型偏小，计算准确性仍有不足的问题。从有限元数学分析的角度看，在缸体薄壁、孔洞、Automotive Digest592023年 第2期结构过渡的关键区域布置充分细的网格，是缸体全模型精细化分析的关键，也是确保其结构可靠性耐久性的重要手段。这对计算提出了巨大挑战。随着计算技术的发展，使得对缸体全模型进行亿级网格建模，利用超级计算集群求解数千万自由度的力学模型成为可能。近年来，英特工程仿真技术有限公司开发的INTESIM5.0等国产CAE软件在功能、精度以及高性能计算方面取得长足进步，不仅可以覆盖ANSYS和Altair等国外商业软件的绝大部分应用领域，而且在大规模并行计算具有独特优势，比如完全基于分布式内存的高速I/O和并行预处理，有更大的并行计算规模等。本文采用国产工业仿真软件INTESIM5.0，对某缸体分别建立26万个网格单元、100个万网格单元、1亿个网格单元的3个CAE模型进行静力学仿真分析。首先基于26万个网格单元模型，比较INTESIM与某商软计算结果，以验证INTESIM计算结果的正确性。然后通过INTESIM 3个CAE模型计算结果对比，验证对于缸体这样的重要零部件，进行精细化建模分析的重要性和必要性。2缸体有限元模型缸体基本结构和材料参数如表1所示。如表2所示，建立3个有限元网格模型，网格数量最多达到1亿7百万个。3INTESIM计算精度验证INTESIM-Structure结构分析模块是其核心产品之一，是技术领先的自主研发结构力学分析工具，具备强大的分析功能和丰富的模块配置，能够模拟复杂的固体力学问题，特别是结构高度非线性问题，包括几何大变形、材料非线性、接触非线性问题。目前主要支持结构稳态线性和非线性分析、瞬态分析、模态分析、转子动力学分析、特征值屈曲分析、谐响应分析、响应谱分析和随机振动分析。对于模型2，分别使用INTESIM和某商业软件在Windows系统上进行单机模拟，均采用直接法求解，计算所得合位移大小的空间分布分别如图1所示。从图1中对比结果可以看到，模型下部位移幅度较小，上部位移幅度较大，受直接支撑部分的位移幅度较小，受侧面支撑部分的位移幅度较大，符合客观规律。两者合位移大小的最值基本相等，空间分布规律基本一致，相对残差均约为10-11。由此INTESIM仿真计算的正确性得到验证。4INTESIM大规模并行计算INTESIM-HPC高性能求解模块是面向高性能计算硬件和大型CAE模型仿真需求开发的高级功能。采用网格重叠一层的ghost技术。计算区域划分后相表1缸体基本结构和材料参数几何尺寸材料属性（钢）振动指标长/mm宽/mm高/mm密度/gcm-3弹性模量/GPa泊松比底面作完全固定约束，整体受9.8 m/s2重力加速度5404603807.82100.3表23个有限元网格模型个模型号模型1模型2模型3网格数268 3291 055 103107 364 565求解自由度192 387653 48751 427 569系数矩阵非零元个数7 289 45126 446 3472 404 653 18300.19010-40.38010-40.56910-40.75910-40.94910-40.11410-30.13310-30.15210-30.17110-3Displacement sum/mm1.780 210-41.518 410-41.328 610-41.138 810-49.490 210-57.592 110-55.694 110-53.796 110-51.898 010-50Displacement sum/mm（a）INTESIM计算的位移量（b）某商业软件计算的位移量图1合位移大小的空间分布汽车文摘60汽 车 文 摘当于把总体矩阵按行分配到每个处理器，每个子域内的单元分析和总体矩阵的形式都是完全并行。在对整个结构分区的过程中，同样可以对边界进行分区施加，因此形成右端向量以及约束处理也可以完全并行实现。这样，系数矩阵和右端项都分布存储在各个处理器。这种数据的独立性，还可通过并行输入/输出（I/O）进一步提高程序性能。独特的分布式并行排序算法，使得多物理场仿真高性能计算（High Performance Computing，HPC）的数据预处理完全基于分布式内存，具有很好的载平衡，因此无需单独的胖节点，直接在计算节点即可完成亿级网格规模的预处理6-8。另一方面，数据常驻内存，这一阶段不存在硬盘I/O，省去数据文件的多次读写和胖瘦节点间转移，可以迅速进入求解迭代循环。对于模型3，使用INTESIM在神威太湖之光的商用计算系统的q_x86_vio_share队列，使用25个计算节点（每节点16核）进行了强扩展测试（表3）。图2展示了加速比S及并行效率E与进程数n的变化关系。计 算 系 统 的 CPU 为 Intel(R)Xeon(R)CPU E5-2630 v3 2.40GHz，求解方法采用共轭梯度法迭代求解。随着并行规模增加到400个进程，数据粒度不断减小，通讯时间消耗不断增加。如果以25个进程定基，400个进程的并行效率不低于30%，基本满足大规模并行计算要求。为了适配不同计算队列，在 q_x86_cn_sim 队列上，还进行5节点120核测试。图3为120进程时以矩阵表达的通信结构，共有870个非零位置，在这些位置上，进程将触发通信。通信矩阵的特点是主对角位置均为0，表示进程自身与自身不发生通信。应当指出，实际收发的字节长度为每次通信收发字长的累加，约等于ghost网格点总数乘以每个网格点上所需交换的变量个数，以及整型字长（4 字节）或实型字长（8 字节）。本例中，ghost 网格点总数为2 169 874个，若交换4个实型量，总字节长度就超过1亿字节，通信量非常大。如何隐藏通信，提升并行计算效率，是另一个需要研究的方向。图4是该模型被划分为120个分区的效果图。图5给出了120进程计算得到的合位移大小空间分布。可见，其分布规律与第3节中的结果一致。不同n值对应的结果相一致，不再详细描述。表3强扩展测试进程数n/个2550100200400耗时t/s9 485.154 767.072 938.722 498.831928.88加速比S11.983.223.794.91并行效率E/%9980.547.330.7注：加速比定义为基础进程数对应的计算用时与当前进程数对应的计算用时之比；并行效率定义为加速比除以当前进程数与基础进程数之比。图2加速比与进程数的变化1.878 110-11.707 410-11.536 610-11.365 910-11.195 210-11.024 410-18.536 910-26.829 510-25.122 110-23.414 710-21.707 410-20Displacement sum/mm543210050100150200250300350400进程数n/个加速比S12090603000306090120进程号j进程号i图3120进程时通信结构矩阵图4缸体并行计算区域分解图5合位移大小的空间分布（n=120）Automotive Digest612023年 第2期5不同网格计算结果对比表4给出了使用INTESIM分别求解模型13得到的合位移大小最大值和冯米塞斯（Von Mises）应力最大值。由此可见，随着网格规模的增大，合位移大小最大值和Von Mises应力最大值均增大。这是因为有限元数学处理是基于空间离散、分片连续和细化的网格，提升了计算求解的逼近程度。从而使得应力集中处的计算结果更加灵敏、精确，导致测得的最大值增大，并伴随最小值减小。如果以模型3计算结果为基准，模型1的位移最大值误差为20.7%，Von Mises应力最大值误差为 5.8%；模型 2 的位移最大值误差为9.0%，Von Mises应力最大值误差为2.6%。这些误差足以对设计优化和后续其它分析产生影响，如高估使用寿命和强度极限。6结论使用国产INTESIM5.0软件的INTESIM-Structure结构分析模块，对某缸体小规模有限元模型、中等规模有限元模型和超大规模有限元模型进行静力学分析。与亿级网格的超大规模模型计算结果相比，小规模模型和中等规模模型的位移和Von Mises应力存在较大误差。这个误差可能对缸体设计优化和后续的其它分析带来比较负面影响。超大规模并行计算实现了以低时间成本获得高精度仿真结果，对提升发动机缸体的可靠性、耐久性的结构优化设计效率作用显著。汽车其它零部件也应尽可能建立精细有限元模型，借助高性能计算，分析出更精确的结果，提出更准确的设计评估。后续还将采取多种措施，稀疏矩阵分块求解技术、通信隐藏技术和细粒度数据的线程加速技术，进一步提高大规模并行计算效率。参考文献1 龚旺,唐灵聪,刘毅.基于Hyperworks的发动机缸体孔位加工有限元分析C/2020中国汽车工程学会年会论文集,2020:2455-2458.2 邹萍萍,曾小春,袁晓军,等.某柴油发动机缸体主轴承壁强度及结构化分析J.农机化研究,2020(9):32-33.3 张影,孟祥辉.汽车发动机缸体强度有限元分析J.现代制造技术与装备,2017,247(6):32-33.4 朱玲斌，邵百明，薛喜才，等.发动机缸体断裂原因J.理化检验-物理分册,2020,56(9):56-60.5 黄硕.汽车发动机缸体扩缸前后静强度和模态分析C/Altair2015技术大会论文集,2015:146-157.6 SOLOMONIK E,KALE L V.Highly Scalable Parallel SortingC/IEEE International Symposium on Parallel&Distributed Processing,IEEE,2010.7 KALE L V,KRISHNAN S.A comparison based parallelsorting algorithmC/In Proceedings of the 22nd International Conference on Parallel Processing,1993:196-200.5 LAVRIJSEN W,IANCU C,PAN X.Improving networkthroughput with global communication reorderingC/Proceedings of the 2018 IEEE International Parallel and Distributed Processing Symposium(IPDPS),2018:266-275.8 彭晋韬，杨章，刘青凯，等.结合通信重排和消息合并的通信调度方法研究J.计算机工程与科学,2020,42(2):191-196.【作者简介】刘天成(1995-)，男，硕士，工程师。研究领域为并行计算、固体力学仿真。E-mail:张群(1971-)，男，博士，正高级工程师。研究领域为多物理场耦合仿真、算法设计。英特工程仿真技术(大连)有限公司创始人、总裁，工业CAE仿真软件研发及工程应用专家。E-mail:代民果(1972-)，男，博士，副高级工程师。研究领域为计算流体力学，大规模并行计算。E-mail:宋德健(1992-)，男，硕士，结构仿真工程师。E-mail:表4模型13的位移和应力最大值合位移大小最大值/mVon Mises应力最大值/MPa模型10.1490.360模型20.1710.372模型30.1880.382汽车文摘62