船舶与海洋大数据算法模型资源共享系统.pdf

第45 卷第18 期2023年9 月舰船科学技术SHIP SCIENCEANDTECHNOLOGYVol.45,No.18Sep.,2023船舶与海洋大数据算法模型资源共享系统石刘，杨镇宇，赵泽学，王佳奇（中国舰船研究院，北京10 0 19 2)摘要：为了解决船舶与海洋大数据算法模型资源共享问题，本文构建船舶与海洋大数据算法模型资源共享系统，系统具备研制、优化、集成船舶行业和海洋领域专用算法模型资源能力，以源代码或二进制库方式对船舶行业和海洋领域专用算法模型资源进行集成，通过RestfulAPI接口方式为外部授权应用系统提供模型算法计算服务。性能测试结果表明，船舶与海洋大数据算法模型资源共享系统具备多用户并发算法模型资源共享服务能力和性能可扩展性。关键词：船舶与海洋大数据；算法模型资源共享；性能测试；可扩展性中图分类号：TP391文章编号：16 7 2-7 6 49(2 0 2 3)18-0 143-0 4Ship and ocean big data algorithm model resource sharing system(China Ship Research and Development Academy,Beijing 100192,China)Abstract:In order to solve the problem of resource sharing of ship and ocean big data algorithm model,this paper con-structs a resource sharing system of ship and ocean big data algorithm model.This system has the ability to develop,optim-ize,and integrate resources of ship industry and ocean domain specific algorithm model.It integrates ship industry and oceandomain specific algorithm model resources in the form of source code or binary library,and provides algorithm model com-puting services for external authorized application systems through Restful API interface.The performance test results indic-ate that the ship and ocean big data algorithm model resource sharing system has the ability to provide multi user concurrentservices and scalability.Key words:ship and ocean big data;algorithm model resource sharing;performance test;scalability0引言海洋大数据的使用管理涉及国内十多个国家部委、央企集团和军队等，海洋大数据领域资源共享是个公认的难题!。海洋大数据智能分析系统 2 由多源异构引接汇聚子系统、异构数据存储子系统、海洋大数据治理子系统、海洋大数据分析子系统、可视化分析子系统、统一访问门户子系统等 3 组成，整合多源异构数据引接、超融合共享存储 4-5 、高通量实时流数据处理 6 、海量动态目标高效染及实时展示等技术，实现海洋大数据引接、存储、分析、可视化等功能。船舶与海洋大数据算法模型资源共享系统基于海洋大数据智能分析系统构建。船舶与海洋大数据算法模型资源共享系统以通用大数据分析架构 7 为基础，研制船舶与海洋大数据应用相关的领域专用算法模收稿日期：2 0 2 3-0 6-30作者简介：石刘（19 8 2-），男，高级工程师，研究方向为船舶与海洋电子信息体系、系统与算法。文献标识码：ASHI Liu,YANG Zhen-yu,ZHAO Ze-xue,WANG Jia-qidoi:10.3404/j.issn.1672-7649.2023.18.025型，推动形成良好的船舶行业与海洋领域算法模型资源共享 8 生态环境，系统以对外提供RestfulAPI编程接口的方式，支撑基于云服务的船舶与海洋外部智慧应用系统快速高效研制。1系统构建船舶与海洋大数据算法模型资源共享系统基于海洋大数据智能分析系统的“统一访问门户子系统”和“行业分析子系统”进行构建，如图1所示。船舶与海洋大数据算法模型资源共享系统主要使用海洋大数据智能分析系统的接口2 1、接口2 2 进行数据访问交互，2 个接口数据传输规则如表1所示。在海洋大数据智能分析系统的基础上，设计了海洋环境综合观测 9 、海洋目标识别跟踪 10-16 、风机故元数据管理：数据目录144(21)Rest接口转发（模型创建/运行）行业分析子系统海冰检测模型溢油检测模型船舶图像目标检测模型(17)Rest接口(18)Rest接口（数据和模型参数）（返回模型结果）大数据分析子系统大数据分析服务舰船科学技术统一访问门户子系统分析任务交互标准接口及API(22)Rest接口转发(23)Rest接口转发（训练预测和分析）（算子调用）整机状态监测模型高性能计算服务第45 卷数据统一查询(24)数据统一查个（2 5）元数据询(hue组件)统一查询多维可视化子系统数据治理子系统三维全球可视化基于组件图表动态监视可视化(19)Rest接口(20)Rest接口（数据和模型参数）（返回模型结果）可视化分析服务数据态势(11)结构化数据超融合共享存储子系统MPP空间信息内存NewSql数据库(缓存)(结构化数据）(12)结果持久化(13)非结构化数据（14)结果持久化海量栅格数据库时空轨迹数据库关系型数据库分布式文件系统（半结构化数据）（流式数据）（15)可视化数据（16)结果持久化（元数据）（非结构化数据）(10)全量数据(9）元数据数据质量（质量报告）(1)热点数据多源异构引接汇聚子系统数据引接(2)近期目标数据(3)瓦片数据数据转接(4)全量目标数据(5)元数据数据预处理(6)影像等非结构化数据(7)收集录入数据标准(8)sdk实现图1船舶与海洋大数据算法模型资源共享系统结构Fig.1 Structure of ship and ocean big data algorithm model resource sharing system表1接口数据传输规则Tab.1 Interface data transmission rules接口序号发送方统一访问门户行业分析子模型参数与结果Restful21子系统统一访问门户行业分析子模型参数与结果Restful22子系统障诊断等3类10 个示范性对外服务模型的RestfulAPI接口，为外部应用系统提供智能分析计算及数据访问服务，如表2 所示。服务模型接口的具体互联网地址，可配置为互联网公网IP地址或内部局域网IP地址。外部船舶与海洋应用系统可通过互联网远程调用云端API的方式访问船舶与海洋大数据算法模型资源共享系统的算法模型资源，实现船舶行业和海洋领域专用算法模型资源高效共享。接收方接口数据系统（创建与运行）系统（训练与预测）接口格式接口接口共享的算法模型资源，可通过跨域资源集成方式，按需扩展到整个船舶行业和海洋领域。对于已共享的算法模型资源，也可由不同的领域专家提供不同的优化版本，由船舶与海洋算法模型资源共享系统集成后供不同用户选择使用。2性能测试及分析2.1系统部署海洋大数据智能分析系统的硬件部署架构如图2所示，采用防火墙、VPN、访问程序权限控制等方式解决安全保密问题。第45 卷表2 船舶与海洋算法模型资源共享系统服务列表Tab.2 List of services for ship and ocean algorithmmodel resource sharing system模型序号模型名称1海冰检测模型2溢油检测模型3风资源玫瑰图模型4船舶图像目标检测模型5视频流船舶目标检测模型6风机齿轮箱运行状态异常检测模型7风机齿轮箱温控阀异常诊断模型8风机发电机绕组温度异常预测模型9风机主轴前轴承温度异常预测模型10风机整机状态监测模型院内用片院内用户88统一访问门户统一访间门户肉网结构化大数据共享服务年群超融合共享存储集群（不单独配置硬件节点）(船舶动力数据）数据源发送端图2 海洋大数据智能分析系统部署架构Fig.2 Deployment architecture of ocean big dataintelligent analysis system系统共部署了10 36 TB的磁盘存储空间，包括结构化和非结构化共享服务集群2 个部分，共有36 0 个CPU物理计算核心、10 块TeslaV100显卡，CPU采用虚拟化技术管理，典型的CPU型号包括IntelXeonGold6248R等。船舶与海洋大数据算法模型资源共享系统性能测试基于图2 的部署架构开展。2.2系统结构化性能测试及分析船舶与海洋大数据算法模型资源共享系统结构化性能测试采用的软件环境为Centos7.7、M y Sq 15.7、Tomcat8，使用Java自定义脚本作为测试工具进行测试，测试硬件资源如表3所示。测试方法为设计编写一个独立的Java脚本，通过多线程实现随机的API调用，根据实际情况模拟多个用户、多种语言案例和不同的时间间隔。测试调用案石刘，等：船舶与海洋大数据算法模型资源共享系统模型类别海洋环境综合观测海洋环境综合观测海洋环境综合观测海洋目标识别跟踪海洋目标识别跟踪风机故障诊断风机故障诊断风机故障诊断风机故障诊断风机故障诊断院外用户院外用户8Q统一访间门户L联网VPN专线防火墙乡源异构数据引接汇聚集群非结构化大数据共享服务集群五联网/VPN专线（水下装备运行效能数据）数据源发送端145表3系统结构化性能测试硬件资源Tab.3Hardware resources for structured performancetest of system主机名IPMaster192.168.137.161Slavel192.168.137.160例为5 种语言集成案例：Java语言海流预测、Py-thon语言航迹预测、R语言测试案例、C语言测试案例、Scala语言风速案例5 种。测试时记录每次API调用时返回的日志信息，包括用户名、调用时间、调用案例、返回结果等。多编程语言模型共享服务间隔6 0 s、9 0 s、12 0 s、150s，分别进行1h并发性能测试，每隔10 min记录一次CPU使用率。多编程语言模型共享服务并发稳定性测试，连续测试2 4h，记录CPU平均使用率。测试结果表明，船舶与海洋大数据算法模型资源共享系统在提供结构化数据算法模型服务时CPU运行统一访间门户稳定未过载，具备提供船舶行业和海洋领域专用结构化数据算法模型的共享服务能力，且结构化数据算法模型共享服务性能稳定。2.3系统非结构化性能测试及分析船舶与海洋大数据算法模型资源共享系统非结构化性能测试采用的软件环境为Centos7.7、D o c k e r 19.0 3、Kubernetes1.17、Ra n c h e r 2.2、Po s t g r e s q l 12.3，使用Jmet-er5.4测试工具进行测试，测试硬件资源如表4所示。非结构化性能测试案例为YOLOV5-GPU，在单个副本包含6 核CPU和1个GPU的情况下，进行10、20、30、40 个并发案例测试，记录CPU、G PU 的使用（船舶日标数据）数据源发送端虚拟机CPU核数内存/G硬盘空间/T2012520125（海洋环境数据）数据源发送端（风力发电设备运行数据）数据源发送端1.81.8率情况。在并发数为10、间隔6 0 s的典型负载情况下，非结构化模型共享服务的吞吐量与GPU数量的关系如图3所示。可以看出，系统非结构化数据算法模型的共享服务能力具有可扩展性。非结构化共享服务稳定性测试，使用1个节点训练（K8s3）及5 个节点模型预测服务的混合模式，在所有节点均使用最大资源2 4核CPU和1个GPU的情况下，连续测试2 4h，记录CPU、G PU 平均使用率。测试结果表明，船舶与海洋大数据算法模型资源共享系统在提供非结构化数据算法模型服务时，CPU和GPU运行稳定、负载均衡未过载，具备提供船舶和海洋领域专用非结构化数据算法模型的共享服务能力，且非结构化数据算法模型共享服务性能稳定。3结语本文构建了船舶与海洋大数据算法模型资源共享系统，解决海洋领域跨域算法模型资源共享的问题。146主机名K8s1K8s2K8s3K8s4K8s5K8s63503002502001501001GPU图3非结构化共享服务吞吐量与GPU数量关系Fig.3 The relationship between the throughput of unstructuredshared services and the number of GPUs该系统支持船舶和海洋领域专用算法模型资源的跨域集成和共享，对外提供RestfulAPI接口供外部应用系统远程高效编程调用，支持多用户访问，可同时为结构化与非结构化数据算法模型资源提供常态化服务，极大提升了船舶行业和海洋领域应用系统关键模块的研制效率。该系统中的算法模型资源可扩充，可以通过源代码或二进制库等方式进行持续集成，在达成算法模型资源共享服务目标的前提下，较好地保护了模型算法原有的知识产权。测试结果表明，船舶与海洋大数据算法模型资源共享系统在并发性能测试、可扩展性测试及稳定性测试中都取得了很好的表现，系统服务算法模型种类、数量可扩充，并发服务用户性能可扩展，并可连续长时间稳定提供船舶行业与海洋领域专用算法模型资源共享服务。参考文献：1洪阳，侯雪燕.海洋大数据平台建设及应用 .卫星应用，2016(6):2630.2杨镇宇，石刘，高峰，等.海洋大数据智能分析系统 .舰船科学技术,2 0 2 1,43(S1):92-100.舰船科学技术表4系统非结构化性能测试硬件资源Tab.4 Hardware resources for unstructured performance test of system类型虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机Throughput comparison at 40 concurrent2GPUGPU nums第45 卷IPCPU192.168.101.939核192.168.101.1031核192.168.101.1131核192.168.101.1231核192.168.101.1331核192.168.101.1439核【3刘振宇.利用Nginx实现网站负载均衡 1.中国管理信息化,2 0 12,15(16):9 6 9 6.4 NECHITAYLO A A,VASILCHUK O I,GNUTOVA A A.Description and formation of the database perimeter for sys-tematisation and storage of multi-structured dataJ.Informa-tion Technology and Nanotechnology,2019.5 HUANG D,DU Y,HE Q,et al.Migration Algorithm for BigMarine Data in Hybrid Cloud StorageJ.Journal of Computer4GPU6GPU内存125G62G62G35G35G125GResearch and Development,2014.【6 夏俊鸾，邵赛赛.SparkStreaming：大规模流式数据处理的新贵 J.程序员,2 0 14(2):44-47.【7】侯雪燕，郭振华，崔要奎，等.海洋大数据：内涵、应用及平台建设 J.海洋通报,2 0 17,36(4):36 1-36 9.【8 何子明.关于海洋大数据平台数据共享技术研究 1.计算机产品与流通，2 0 2 0(2)：15 0-15 0.9】种劲松，朱敏慧.SAR图像舰船及其尾迹检测研究综述 .电子学报,2 0 0 3.9,31(9):135 6-6 0.10F陈科圻，朱志亮，邓小明，等.多尺度目标检测的深度学习研究综述 .软件学报,2 0 2 1,32(4):12 0 1-12 2 7.11王瑶，胥辉旗，姜义，等.基于深度学习的舰船目标检测技术发展综述 .飞航导弹,2 0 2 1.12 袁明新，张丽民，朱友帅，等.基于深度学习方法的海上舰船目标检测 J.舰船科学技术,2 0 19,41(1):111-115+12 4.13 REN S,HE K,GIRSHICK R,et al.Faster r-cnn:Towards real-time object detection with region proposal networksCJ/In:Proc.of the Neural Information Processing Systems.2015:91-99.14 CAI Z,VASCONCELOS N.Cascade R-CNN:Delving intoHigh Quality Object DetectionC/2017.15 HE K,ZHANG X,REN S,et al.Deep Residual Learning forImage RecognitionJ.IEEE,2016.16 LIN TY,DOLLAR P,Girshick R,et al.Feature pyramid net-works for object detectionCJ/In:Proc.of the Computer Vi-sion and Pattern Recognition.2017:2117-2125.GPUTesla v100Tesla v100Teslav100Tesla v100Tesla v100Tesla v100磁盘2.0T2.0T2.0T2.0T2.0T2.0T