基于混合云的舰船高性能计算仿真平台研究.pdf

信息技术XINXIJISHU2023年第10 期基于混合云的舰船高性能计算仿真平台研究陈晓明，田喜民，万李韦（中国船舶及海洋工程设计研究院，上海2 0 0 0 11）摘要：针对当前舰船设计企业在使用CAE计算时遇到的高性能计算资源不足的问题，设计了一种混合云架构的高性能计算平台，该平台通过整合企业内部建设的高性能计算资源和公有云资源，结合统一作业管理平台、远程可视化等技术，既能满足船舶设计企业对高性能计算资源的弹性需求，又能满足用户作业提交、作业计算进度监控和计算结果在线处理。该平台已成功应用于舰船设计企业，提高了舰船设计中CAE计算的效率，解决了高性能计算资源不足的问题。关键词：高性能；仿真计算；云计算；舰船设计中图分类号：TP391D0I:10.13274/ki.hdzj.2023.10.015Research on ship high-performance computing simulation platform based on hybrid cloudCHEN Xiao-ming,TIAN Xi-min,WAN Li-wei(Marine Design&Research Institute of China,Shanghai 200011,China)Abstract:To solve the problem of insufficient high-performance computing resources when ship design en-terprises use CAE computing,a high-performance computing platform with hybrid cloud architecture is de-signed.By integrating the high-performance computing resource and the public cloud resource,and combi-ning the unified operation management platform,remote visualization and other technologies,the platformcan not only meet the elastic requirements of ship design enterprises for high-performance computing re-sources,but also meet the user s job submission,job calculation progress monitoring and online processingof calculation results.The platform has been successfully applied to ship design enterprises,which improvesthe efficiency of CAE calculation in ship design and solves the problem of insufficient high-performancecomputing resources.Key words:high-performance;simulating calculation;cloud calculation;ship design0 引言CAE计算主要是用计算机对工程或产品进行性能与安全可靠性分析，证实工程或产品未来性能的可用性与可靠性。目前,大型船舶的总体设计、结构设计等船舶设计中需要开展大量的CAE仿真计算分析。CAE仿真计算需要消耗大量的计算资源，包括CPU、内存、高速磁盘、高速网络等,通过利用作者简介：陈晓明（19 8 3），男，硕士，工程师，研究方向为数字化与信息化。文献标识码：A文章编号：10 0 9-2 552(2 0 2 3)10-0 0 7 9-0 5计算集群强大的计算能力来处理复杂的问题2 。目前,中大型船舶设计科研院所大多自行建设了小型的计算中心，而受限于投资规模、运维管理能力等原因，建设的小型计算中心往往资源较少，导致仿真作业排队和计算时间长、计算精度不高。云计算是由大的服务商或机构提供的非本地的业务和软件服务，是分布式计算、并行计算、网络存储、虚拟化等传统计算机和网络技术的融合产物3。云计算是一种基于服务的，可扩展且灵活的，具有共享属性，按使用计量的系统架构4，一7 9 一11基于混合云的舰船高性能计算仿真平台研究非常适合于舰船仿真分析工作的阶段性高低峰需求，但出于信息安全保护的角度考虑，科研院所不愿意将所有的计算任务都上传至公有云，因此，需要一种既能满足高性能计算资源的弹性需求,又能满足企业保护部分敏感船型数据的高性能计算平台。本文设计实现了一种混合架构的高性能计算平台，充分发挥私有云的私有属性和公有云的弹性,通过统一作业管理和虚拟应用实现在线提交作业和远程处理仿真计算结果5。1船舶设计中的CAE仿真分析流程舰船设计中的CAE分析流程一般包括建模、模型前处理、提交计算求解、获取计算结果、数据后处理分析6 。首先是建模和前处理，是指对需要计算的问题建立几何和物理模型并划分网格7 ,这一过程需要具有一定的内存容纳大量的网格，通常在工作站完成；模型建立后就是求解计算过程,这一过程需要大量的CPU、内存和高速的交换存储，通常利用作业系统提交到高性能计算集群上执行计算，结果数据存放在大容量磁盘阵列中；最后是后处理,即对计算结果进行数据分析处理，获得所需要的关键曲线、图形等结果信息,这一过程对显示能力要求较高，一般在工作站1数据上服务器11！高性能计算平台1应用服务器一陈晓明等上开展。舰船设计中的CAE仿真分析的流程,如图1所示。求解计算（流体模型前处理建模（网格划分、清理）数据后处理分析图1舰船设计中的CAE仿真分析流程2混合云架构的高性能计算平台设计2.1混合云架构的高性能计算平台架构混合云架构的高性能计算平台由本地的私有计算资源和公有云上的计算资源组成，构成一个混合架构的高性能计算集群，通过高速网络专线实现数据互通和计算资源的联合调度。本地的计算资源和公有云上均部署了计算集群、图形服务集群和存储，计算集群用于求解计算，图形服务集群用于模型的前后处理，存储用于计算过程中的数据保存和求解后的数据结果保存。数据上传服务器、平台门户服务器、软件License服务器、HPC管理节点采用共享的方式，部署于本地集群。混合云架构的高性能计算平台架构,如图2 所示。本地计算资源本地图形服务器虚拟应用服务器本地存储服务器HPC管理节点计算、噪声分析、强度分析）获取计算结果公有云1云上图形服务器111高速网络1本地计算集群云上NAS文件存储云上HPC集群AD服务器License服务器/图2 混合云架构的高性能计算平台架构80-一基于混合云的舰船高性能计算仿真平台研究用户可通过高性能计算平台门户，首先将线2.2混合云架构的舰船高性能计算统一作业下处理好的有限元模型数据提交至数据服务器，系统选择提交的作业类型和求解器，选择本地或者公混合云的高性能计算资源，既存在本地的计有云上的计算队列，根据作业任务配置好CPU、算资源、储存资源、图形服务资源，也存在公有云内存等需求，提交至本地的计算集群或者公有云的计算资源、存储资源、图形服务资源，但对用户的计算集群进行求解计算，求解计算后，用户可选来说，不需要了解后台资源的物理组成，用户的目择将计算结果下载至本地进行后处理，也可通过的是提交作业完成计算，因此需要一个统一作业集群上的图形服务在线进行后处理，这样减少了系统，满足其通过同一个人口提交计算作业、查看下载数据的环节,CAE求解计算的结果数据往往作业进度的需求，提高其使用体验。非常大，极大地提高了工作效率。混合云架构的舰船高性能计算统一作业系本地的计算资源相对固定，以满足相对内容统，包括系统门户、业务功能层、软件资源层、硬件敏感的高性能计算作业，远程公有云上的计算资资源层。用户通过统一身份认证系统登录后，进源可弹性扩充或回收8 ，在仿真计算高峰期，可人系统门户，用户可提交计算作业、查看作业进快速扩充公有云上的计算资源，在计算低峰期，可度、下载仿真计算结果等。业务功能层主要包括快速回收公有云上的计算资源。利用公有云资源作业任务提交、计算结果回传、计算作业监控与调自动伸缩的优势，在合理设置集群负载阈值的前度、在线后处理、软件许可证管理、计算资源统计提下,既能满足了本地计算的刚性需求和数据安报表等功能模块。通过资源权限控制与调度模全，又提供了云计算的成熟管控、弹性资源优势，块，实现硬件资源、软件资源的权限控制，可按部实现分钟级的交付，无需等待采购或数据中心机门、按项目组设置最大可用资源，同时提供临时特房规划/安装部署等琐碎问题，满足了舰船科研院殊资源申请功能，满足项目组临时计算资源的需所不同时间周期不同的仿真计算资源需求。求。软件资源层主要是舰船CAE计算中需要使由于求解计算的结果数据量巨大，下载数据用的计算软件，包括结构计算软件Ansys、Na s t r a n t进行后处理将花费大量的时间，特别是远程公有等,噪声计算软件Abaqus等，流体计算软件Flu-云由于带宽的限制，数据下载的时间周期更长。ent等。硬件资源层包括集群计算群、图形资源为了解决计算结果的下载问题，提高作业效率,本池、存储资源池等。硬件资源池包括本地的计算地集群和公有云集群均配置用于远程数据后处理资源、存储资源和远端云上的计算资源、存储资的图形服务器,通过应用远程调用技术和GPU显源、可视化资源。混合云架构的舰船高性能计算卡共享技术9 ，整合图形服务器资源集群并集成统一作业系统，如图3所示。前后处理软件,实现CAE计算结果远程显示交3平台实现与应用效果互，用户可直接在图形服务集群上调用后处理软3.1平台实现件进行数据结果的后处理，后处理后只需下载关高性能计算平台的使用对一般用户，特别是键数据结果，大大提高了作业的效率和用户体验。非计算机专业的用户来说应用门槛仍然较高10 该平台应用CPU显卡共享技术，实现图形服务器本文实现了基于Web 的高性能计算平台门户和资源并发共享调用，从而大幅提升计算软硬件资功能模块,用户可以通过浏览器开展高性能计算源利用率。的各种功能操作,大大降低了用户的使用难度,为本地计算集群和远程公有云上的计算集群，用户提供了良好体验的高性能计算服务。均部署了高速存储和低速存储，高速存储用于求3.1.1作业管理解计算过程中的临时数据保存，低速存储用于保用户可直接通过内部单点登录系统直接登录存用户的计算结果数据,既提高了计算的效率,又高性能计算平台门户，进入门户可进行计算作业均衡了投资成本。和计算结果的管理。进入功能模块，用户可选择一8 1一一陈晓明等基于混合云的舰船高性能计算仿真平台研究提交作业至公有云计算集群或本地的计算集群；可下载计算结果数据；可实时查看作业的计算进度，同时针对部分作业，用户可暂停计算作业，并用户端仿真研究人员用户认证平台门户一陈晓明等对已形成的结果进行分析，如结果符合预期,可继续计算；如不符合预期，可终止计算作业，提高了计算的效率。作业提交计算的功能，如图4所示。船舶设计人员IT运维人员我的计算任务我的计算结果计算作业提交功能层在线后处理计算结果回传软件许可证管理资源权限控制与调度计算作业监控与调度计算资源统计报表Ansys软件资源层FluentNastrantDynaAbaqus硬件资源层业lLinud6.10.1二abaquthpenwoiksstarcmnatranO-R口3.1.2资源配额和闲时抢占调度平台基于部门、项目组进行资源配额约束，既可保证部门、项目组的刚性计算需求，也可满足各部门的弹性资源调度要求。平台针对用户计算业务场景，设计并实现了闲时抢占调度策略，在规定时段可突破预定资源配额约束，最大化利用计算资源。同时系统实现了资源的统计功能，可按部门、按软件、按项目进行资源的统计。3.1.3用户数据统一视图平台可同时管理本地存储与公有云存储的数一8 2 一本地计算资源池（计算、存储、图形）图3混合云架构的舰船高性能计算统一作业系统H3.1.5在线后处理图4作业提交计算功能用户在接收到计算作业完成的信息后，可直接对计算后的结果调用后处理软件,进行在线后处理，如计算结果理想，可形成计算关键结果报告，如计算结果不理想，可修改模型后再次提交计算作业，避免了下载数据的过程。3.2应用效果经过测算，按照五年的时间计算，混合云架构的高性能计算平台至少可比舰船科研院所自建高性能计算平台节约一半的成本,更重要的是通过这种弹性的资源，可满足舰船科研院所高低峰期公有云计算资源（计算、存储、图形）据，为了保障用户数据管理体验，特别设计并实现了用户数据统一视图。3.1.4许可证高级调度机制平台针对工业软件许可证特点，设计并实现了一系列高级调度机制，可以为设备节点组、用户组进行许可证资源预留控制。软件允许管理员用户实时监控商业软件许可证状态，包括许可证到期时间、最大许可数量、当前占用数量、当前用户及占用数目、占用的计算节点和开始时间。基于混合云的舰船高性能计算仿真平台研究的高性能计算需求,对用户而言，作业排队时间也业装备与车辆工程，2 0 0 8（10）：3 1-3 4.明显缩短，工程师可以在工作时间段做更多的模2王玮,李薛剑,俞肤豪,等.面向移动APP的高性能计算作业监控系统 J.计算机应用软件,2 0 17,3 4(7)：型优化,提升工作效率。由于可以将仿真数据保171 175.留在后台，利用远程可视化技术开展计算结果后3王刚.云计算的分析与研究 J.信息技术,2 0 13（6)：处理，节省了数据下载的时间,大大提高了工作的137144.效率，整体仿真计算效率提升了2 5%，使设计开4王希忠，王建立，黄俊强.云计算环境下的等级保护发人员更加专注于产品设计和性能优化，打造出J.信息技术,2 0 15(7):18 4-18 6.高质量的产品。5王岳,鞠理杨,蒋志勇，等.基于并行协同理论的船舶4结束语设计过程研究 J.船舶工程，2 0 13,3 5（5）：96-99.本文基于船舶设计企业在船舶设计中开展6章志兵,林洋,王丽荣，等.基于NX的船舶有限元前CAE分析工作对高性能计算的需求,设计了一种处理系统研究 J.江苏船舶,2 0 18,3 5（3）：8-12.混合云架构的高性能计算平台，该平台既满足了7章志兵,林洋,王丽荣，等.基于CAD模型的船舶有限元建模方法 J.船海工程,2 0 18,4 7（5）：2 7-3 1.企业对高性能计算的刚性需求和数据安全，又满8余战秋.混合云资源调度模型与算法研究 J.佳木足了不同设计阶段CAE分析工作的弹性需求。斯大学学报：自然科学版,2 0 19,3 7（1）：6 0-6 2.平台通过提供作业管理、资源调度、远程可视化处9王小宁，肖海力，曹荣强.面向高性能计算环境的作理技术等,为用户提供了体验良好的高性能计算业优化调度模型的设计与实现 J.计算机工程与科服务，降低了投资成本,提高了高性能计算的效学,2 0 17,3 9(4):6 19 -6 2 6.率，可为其他行业高性能计算平台的建设提供10纪连恩,赵妮,梁适宜,等.支持多用户的三维地震参考。体远程可视化关键技术J.系统仿真学报，2 0 18，参考文献：30(7):2540-2549.1朱颜.CAE技术在汽车轻量化设计中的应用 J.农一陈晓明等(责任编辑：丁玥)（上接第7 8 页）5张立果，黎向锋,左敦稳，等.求解多目标柔性作业车间调度问题的两层遗传算法 J.计算机应用,2 0 2 0，40(S1):14-22.6 Li J Q,Pan Q K,Tasgetiren M F.A discrete artificialbee colony algorithm for the multi-objective flexible job-shop scheduling problem with maintenance activitiesJ.Applied Mathematical Modelling,2014,38(（3):1111-1132.7 Pezzella F,Morganti G,Ciaschetti G.A genetic algo-rithm for the flexible job-shop scheduling problem J.Computers&Operations Research,2008,35(10):3202-3212.8 Imed K,Slim H,Pierre B.Approach by localization andmultiobjective evolutionary optimization for flexible job-shop scheduling problems.J.IEEE Trans.Systems,Man,and Cybernetics,Part C,2002,32(1):1-13.9 Brandimarte P.Routing and scheduling in a flexible jobshop by tabu search J.Annals of Operations Research,1993,41(3):157-183.10】孟冠军,杨大春,陶细佩.基于混合人工蜂群算法的多目标柔性作业车间调度问题研究 J.计算机应用研究,2 0 19,3 6(4):9 7 2-9 7 4,9 7 9.11 Wang S Y,Wang L,Xu Y,et al.An effective estimationof distribution algorithm for the flexible job-shop sched-uling problem with fuzzy processing time J.Interna-tional Journal of Production Research,2013,51(12):37783793.12喻明让，陈云，张志刚.离散粒子群优化算法求解多目标柔性作业车间调度问题 J.制造技术与机床，2019(1):159-165.（责任编辑：丁晓清）一8 3 一