福建省多源遥感影像云服务平台设计与实现_王慧民.pdf

福建省多源遥感影像云服务平台设计与实现摘要：基于云计算、大数据、对象存储、免切片等技术，依托数字福建云计算中心政务云环境搭建多源遥感影像云服务平台。在分析用户需求和云平台研究现状的基础上，结合福建省陆海卫星遥感影像统筹业务需求，设计了平台总体架构、数据架构和功能模块，探讨了平台关键技术。平台构建了多源遥感影像自动识别、实时处理、动态发布、主动推送等一体化在线服务链路，实现了遥感影像数据“即收、即处、即发布”的一站式服务，对福建省卫星影像数据和遥感技术的应用和推广具有重要意义。关键词：遥感影像；云服务平台；一体化服务；数据共享中图分类号：P208文献标志码：B文章编号：1672-4623（2023）03-0102-04Design and Implementation of Multi-source Remote Sensing Image CloudService Platform in Fujian ProvinceWANG Huimin1(1.Fujian Provincial Geomatics Center,Fuzhou 350003,China)Abstract:Based on cloud computing,big data,object storage,slice-free and other technologies,we designed a multi-source remote sensing im-age cloud service platform based on the governmental cloud environment of Digital Fujian Cloud Computing Center.In this paper,based on theanalysis of user requirements and the current situation of cloud platform research,we designed the overall platform architecture,data architec-ture,functional modules,and discussed the key technologies of the platform,in combination with the business requirements of land and sea satel-lite remote sensing image coordination in Fujian Province.The platform has built an integrated online service chain of automatic identification,real-time processing,dynamic release and active push of multi-source remote sensing images,realizing the one-stop service of“instant receipt,in-stant processing and instant release”of remote sensing image data,which is of great significance to the application and promotion of satellite im-age data and remote sensing technology in Fujian Province.Key words:remote sensing image,cloud service platform,integrated service,data sharing收稿日期：2022-09-29；修回日期：2022-11-02。项目来源：福建省测绘地理信息发展中心测绘地理信息科技创新资助项目（FZZX-2022XMK-32）。作者简介：王慧民（1987），硕士，工程师，主要从事遥感影像生产、管理与共享应用方面的研究工作，E-mail：。引文格式：王慧民.福建省多源遥感影像云服务平台设计与实现J.地理空间信息,2023,21(3):102-105.doi:10.3969/j.issn.1672-4623.2023.03.022Mar.,2023Vol.21,No.3地 理 空 间 信 息GEOSPATIAL INFORMATION2023 年 3 月第21卷第 3 期（1.福建省基础地理信息中心，福建 福州 350003）王慧民1随着航空航天事业的飞速发展，影像数据规模爆炸性增长，已上升至TB级，甚至向PB级发展1-2，给存储管理、快速处理、高效共享带来巨大挑战。面对多星、多源、多时相和多尺度的海量影像数据，存在“既多又少”的矛盾，数据多到无法即时处理、发布，终端用户却又无即时数据可用3。因此，如何有序与高效地存储、组织和管理海量影像数据，如何快速定位并获取数据，实现共享与发布具有重要意义4。针对上述问题，本文以福建省遥感影像资源为基础，根据用户和业务需求建立了多源遥感影像云服务平台，以实现数据自动化实时处理、快速发布与共享。1平台研究现状目前，国内外对遥感影像云服务平台的研究已取得很大进展，如2010年ESRI基于亚马逊弹性计算云EC2快速部署自定义的地理信息系统，用户可将ArcGIS10直接部署在云计算平台上；随后Spatial Cloud、ERDAS 的 APOLLO on the Cloud、GeoEye 的 EarthWhere、Google Earth以及移动服务平台Sensor ServiceGrid等都基于云环境实现了数据的管理与发布；Golpayegani N5等利用云计算技术进行遥感数据的并行处理，以提高处理效率。在国内，国家层面各行业部委先后打造了自然资源卫星遥感云服务平台、陆地观测卫星数据服务平台、中国卫星数据海洋服务系统等，实现了辐射31个省份、多个行业、若干国家的“1+31+M+N”服务体系，在线共享级影像数据；各省份也陆续通过平台建设来解决数据共享和社会化应用问题，湖北、湖南、海南、上海、北京等省市已实第21卷第3期王慧民：福建省多源遥感影像云服务平台设计与实现现影像数据在线存储、快速生产和共享分发6-10。上述平台大多侧重于数据的存储管理、服务发布或快速处理，缺少从基础数据、数据管理、数据处理、数据发布到终端服务的全流程产品，且数据共享以提供初级产品（级）或瓦片数据服务模式为主，存在数据发布周期长、应用处理成本高等不足。本文采用分布式存储、CPU/GPU协同并行计算技术，通过搭建自动化批处理流程模型，无需人工干预，即可实现影像数据的自动识别、快速批量化处理；同时采用栅格动态渲染技术，无需切片，可快速发布影像服务，实现卫星影像“即收即处、即发即用”的便捷在线应用服务。2平台业务分析2.1需求分析随着卫星中心的组建，可常态化获取高分系列、资源系列、海洋系列卫星数据，且每年固定投入专项经费采购商业卫星数据，数据资源丰富、更新频率高，卫星数据对各行业的支撑作用显著。面对海量的数据资源以及日益旺盛的应用需求，在数据管理与共享服务方面还存在以下问题：数据缺乏规范有序的组织模式集中管理，难以满足海量数据高效检索、快速调用的应用需求；缺乏有效的存储体系，数据大量冗余；数据处理周期长、成本高，更新时效性难以满足业务需求；数据孤立分散，各类监测专题影像共享困难，信息化程度不高。因此，迫切需求构建一套集影像数据高效管理、有序存储、快速处理、实时发布与共享于一体的服务系统来支撑“纵向到底、横向到边”的业务需求和应用需求。2.2业务流程分析以全省卫星影像统筹管理为出发点，综合考虑从数据接收到应用服务全过程的数据流转问题，本文将总体业务流程划分为需求统筹、数据接收、数据处理、数据管理、服务发布、数据分发等环节，需求统筹包括数据需求填报、需求审核、分析与汇总，为数据统筹获取与分发服务提供参考；数据接收是根据需求汇总结论统筹获取公益和商业卫星数据，实现数据自动监控与实时入库；数据接收后自动启动生产任务，实时处理生产标准产品，做到“日清日结”，保证数据的时效性；标准产品自动进行入库管理，提供日常数据查询、检索、浏览、分析统计和可视化展示等功能；服务发布包括矢量、栅格瓦片服务发布以及免切片服务发布（日新图），以满足高时效应用需求；数据分发提供实体数据在线下载、自动推送和查询展示等。上述6个环节囊括了卫星影像从需求到分发的全过程，解决了数据快速处理、即时发布等问题，构建了数据资源全流程自动化流转链路，可实现数据的快速、准确服务。业务流程模型如图1所示。全球卫星元数据汇聚数据接收汇集数据接收需求统筹预处理数据处理数据管理矢量数据服务发布服务发布服务管理栅格瓦片服务发布过程监控需求分析数据入库需求填报数据获取资源管理需求审核查询检索数据分发数据展示查询浏览数据在线下载自动化生产统计分析免切片服务发布数据推送需求目录发布任务下达数据质检影像浏览图1业务流程模型3平台设计3.1平台总体架构设计基于业务流程，将平台总体架构划分为基础设施层、数据资源层、平台服务层和应用层，如图2所示。基础设施层即基础设施云环境层，能为用户提供云端宿主的工作环境，通过底层统一云管理平台，将计算机硬件、软件、存储、网络等资源整合成动态、可扩展的虚拟资源池，再搭建分布式对象存储系统，实现对存储资源的管理。数据资源层由遥感影像大数据资源池、数据接收系统、数据快速处理系统和影像数据管理系统构成，其中数据快速处理系统采用C/S模式，数据接收后按生产机制自动启动生产任务，生产成果自动汇聚到资源池和数据管理系统，实现数据的自动入库管理和动态发布。平台服务层是在基础设施层和数据资源层的基础上，对数据资源、平台资源进行深度整合，提供数据需求统筹、影像与矢量数据发布和可视化、影像103地理空间信息第21卷第3期查询浏览、数据分发、影像分析统计等一系列服务功能。应用层利用平台的数据资源和服务能力，为用户提供三维轨道仿真与预测、大屏展示以及影像服务App等。三维轨道仿真与预测影像服务App大屏展示分发服务系统首页数据检索影像浏览信息公告应用服务开发者资源控制台应用层平台服务层数据统筹系统需求模板需求上报需求审核统筹目录任务管理进度监控标准规范体系运维管理系统服务管理服务监控统计分析用户管理服务发布系统影像大数据服务引擎矢量服务引擎统一用户认证系统平台更新体系数据资源层基础设施层数据快速处理系统数据管理系统基础硬件统一云计算环境/统一云存储环境云计算资源池数据交换工具数据自动接收系统云存储资源池原始卫星影像数据库 低精度正射影像成果数据库数据接收系统地图瓦片数据库遥感影像大数据资源池正射配准融合裁切镶嵌.查询检索影像管理数据处理数据统计系统管理影像入池图2平台总体架构3.2数据架构设计将平台内数据划分为原始影像数据、影像产品数据和业务数据，原始影像数据涵盖平台汇聚接收的各类原始数据文件，影像产品数据包括正射影像数据、影像瓦片数据和中间过程数据等，业务数据主要包括平台运行数据。为满足海量数据高效存取与检索的需求，采用分布式存储架构、对象存储和集群技术，针对遥感数据的空间特性构建基于数据对象的存储组织模型，形成数据高效共享的分布式集群化遥感大数据存储体系。其中，空间矢量数据库采用 PostGIS 存储，影像数据采用S3对象存储进行分布式存储管理，非空间元数据采用关系型数据库存储，利用混合数据库管理模式实现空间数据、属性数据、非结构化数据的统一集中管理、展示、应用。数据存储架构如图3所示。原始影像数据影像产品数据业务数据元数据、矢量空间数据属性数据与图片数据等小文件数据实体PostgreSQLMySQLS3对象存储图3数据存储架构3.3平台功能设计围绕数据汇聚、管理、处理、发布到终端服务的全业务流程，将平台划分为需求统筹系统、数据接收系统、数据处理系统、数据管理系统、数据发布系统、分发服务系统、运维管理系统和应用系统等8个业务系统。从需求统筹出发，全面了解用户数据和应用服务需求，确定数据获取与分发服务计划，数据汇聚后自动执行生产任务，生产成果自动化实时在线发布，同时自动启动数据分发推送任务，实现遥感影像数据全流程无人值守自动化处理。平台主要功能如图4所示。4平台关键技术与实现4.1关键技术1）实时自动化批处理流程模型架构。分析多源卫星数据文件、存储结构、元数据信息、格式等差异，搭建对应的控制点选取、区域网平差、正射纠正、影像融合、匀光匀色等模块化插件式的影像产品生产流程，通过卫星类型自动识别，与流程适配，自动创建生产任务，引导数据进入生产流程并进行动态调配，以实现影像数据自动化、批量化、实时化生产，解决传统影像生产流程复杂、自动化程度不高、生产周期长等问题。2）高效数据处理技术。影像数据处理具有数据吞吐密集和计算密集的特点，频繁地读取、计算、写入，造成大量的I/O开销，消耗大量的处理时间和存储容量。针对数据计算瓶颈和I/O瓶颈问题，采用分布式计算、协同并行计算以及算法并行处理技术实现高效数据处理。基于内存分布式计算的影像实时处理框架：面向海量影像数据快速生产需求，采用轻量级扩展性强的数据组织与存储方式，融合多节点计算与内存并行计算模式，基于弹性分布式计算数据集处理算法，提高迭代密集型大数据处理运算效率。CPU与GPU协同作业模式：基于GPU零开销的线程切换特性，CPU/GPU协同并行计算可保证计算负载平衡，降低各种交互开销，形成像素级处理链，减少中间过程对I/O的损耗，降低存储需求，形成影像处理各环节的流式计算模式，实现实时/近实时的影像标准产品生产。算法并行处理：通过 GPU 同时对多个渲染管道和 R、G、B、A四个颜色通道进行计算，在一个时钟周期内获取两个甚至更多副纹理，利用顶点程序的多个渲染管道实现多个顶点与像素程序的并行处理，并采用多线程技术将任务拆分成多个子模块，通过一条指令同时处理多个数据，以提升处理效率。104第21卷第3期（下转第117页）王慧民：福建省多源遥感影像云服务平台设计与实现3）海量遥感影像数据快速显示技术。传统影像服务需经过镶嵌、匀色、切片等生产过程，且数据存储与显示相分离，后端影像数据更新，前端显示层无法联动更新，需重新构建瓦片，效率低下、服务发布周期长；另外，影像数据一旦被栅格化便失去了数据属性标签，无法动态控制图层。本文采用栅格动态渲染技术，无需切片，即可快速发布影像服务，将影像实体文件存放于分布式对象存储中，地图服务引擎从云存储中读取文件，将原始的单个大范围浏览请求按照查询范围动态拆分为多个小范围，以切图图层的形式进行浏览，达到动态快速展示的目的。4.2设计实现平台基于OpenLayers开源框架，采用分布式云存储、并行计算、影像快显等技术，对遥感影像数据进行快速存取、处理、发布和展示，建立了从数据获取、生产、发布到共享的全流程无人值守自动化管理体系。同时，平台对自动化处理情况、影像数据存储情况、影像发布的服务运行与访问情况建立了统一的监控体系，以保障平台的稳定运行。平台服务端支持面向分布式SOA架构的RESTful数据和功能服务，基于统一业务入口、统一用户管理和集中权限管控，实现影像数据的管理、检索、分发以及在线服务的访问等核心业务功能。平台试运行阶段已汇聚管理30.7 TB影像数据，且数据量在持续增加。平台部分界面效果如图5、6所示。图5自动化流程监控界面图6在线服务浏览界面5结语福建省多源遥感影像云服务平台的建立实现了影像数据实时在线自动处理、发布与推送，解决了影像数据处理人为度高、耗时长等问题，突破了反复切片等冗余环节对数据实时应用带来的障碍。同时，全省数据的统一处理、管理与分发，有助于形成标准统一、质量可控、务实高效的数据产品体系，用户无需投入大量技术人员、专业软件，即可快速获取标准化数据处理系统生产过程监控数据预处理云盘客户端数据交换工具自动化生产数据入库查询检索矢量服务发布数据质检数据接收系统影像数据管理与共享服务平台数据管理系统需求统筹系统数据发布系统需求上报需求审核需求分析需求汇总需求目录发布免切片服务发布瓦片服务发布服务管理资源管理统计分析数据推送应用系统三维轨道预测影像服 App大屏展示数据资源检索应用服务开发者资源控制台运维管理系统服务管理服务监控统计分析用户管理首页分发服务系统 务图4平台主要功能模块105第21卷第3期面位置精度总体略优于通航分区。4.2对遗留问题的建议目前空三加密软件自动化程度较高，出现偶然误差的可能性较低，因此样本空三加密区内符合精度得到较好控制，但整个市域范围内的外符合性仍必须通过布设外业检查点进行质量控制，当以空三加密区为抽样单元开展位置精度检测时，每个检查点均反映出该点所在加密区局部的外符合性，即与湖北省地理空间时空坐标基准的一致性程度。平面、高程中误差达标，但个别检查点误差超限的异常情况尤其需要注意，应通过增加外业控制点、检查点重新解算的方式提升外符合精度。例如，本文中个别卫星影像空三加密区高程检查点存在超两倍中误差的情况，由于卫星影像幅面较宽，图幅内部成图几何畸变相较于无人机或机载量测相机不可控，且成图范围位于山地等困难地区，在超限点所在卫星影像范围内，应通过增加外业控制点、检查点等形式，重新开展空三加密计算，以达到提升位置精度质量的目的。本文提出了统一的检测数据采集标准，明确了检查点的选取对象、数量、分布和格式等要求。检测点数据采集具有代表性、随机性，能客观反映成果位置精度水平。内业预先的路径规划能指导外业人员快速导航定位到实地点位，提升数据采集效率。通过复用平面、高程点可节省检验时间和人力成本。以荆门、襄阳空中三角测量成果质量检验为例，在9个抽样区共采集219个平面控制点、291个高程控制点，其中部分点为平高点，两个地市空三加密范围采集外业检查点不足500个，位置精度检测任务在两周内完成，以较快的时间周期实现了两个地市全域范围空中三角测量成果的质量检验，满足了新型基础测绘对质量检验的时效性要求，达到了质量检验效果，为后续全省新型基础测绘同类项目验收积累了经验。参考文献1湖北省自然资源厅.湖北省基础测绘“十四五”规划Z.武汉:湖北省自然资源厅，20212测绘成果检查与验收:GB/T 24356-2009S.北京:中国标准出版社，2009:29-303空中三角测量成果检验技术规程:CH/T 1039-2018S.北京:测绘出版社，2018:141 500 1 1 000 1 2 000地形图航空摄影测量外业规范:GB/T7931-2008S.北京:中国标准出版社，2008:2-55王瑜，周松，高文涛，等.低空GPS辅助空中三角测量精度分析J.测绘与空间地理信息，2019，42(12):190-1926康荔，蔡磊，王薇，等.空中三角测量对无人机航测成图精度影响分析J.测绘与空间地理信息，2018，41(2):84-867廖玉祥，吴洪宪.不同像控布设方案在航片DOM生产中的应用研究J.地理空间信息，2022，20(6):106-109（上接第105页）曹俊等：空中三角测量成果位置精度检测创新方法与实践影像产品，从而降低遥感数据应用门槛，将卫星遥感数据从有用、好用推向善用、足用。平台正式上线后，将针对不同业务场景、不同用户需求，提供多级别影像产品、地图服务等数据资源以及数据分析、数据应用服务，能更快、更精准地支撑自然资源领域以及其他行业在卫星数据应用方面的需求，从而全面提升全省卫星影像数据的管理与应用服务水平。参考文献1国家测绘地理信息局关于印发 测绘地理信息科技发展“十二五”规划 的通知:国测科发20122号S.2吕雪锋，程承旗，龚健雅，等.海量遥感数据存储管理技术综述J.中国科学:技术科学，2011，41(12):1 561-1 5733李德仁.论21世纪遥感与GIS的发展J.武汉大学学报(信息科学版)，2003，28(2):127-1314王恺.遥感影像数据时空云服务系统建设研究J.地矿测绘，2021，37(2):30-345Golpayegani N，Halem M.Cloud Computing for SatelliteData Processing on High End Compute ClustersC/Pro-ceedings of the 2009 IEEE International Conference onCloud Computing.USA:IEEE Computer Society，2009:88-926任伏虎，王晋年.遥感云服务平台技术研究与实验J.遥感学报，2012，16(6):1 331-1 3467王宇翔，廖通逵，马海波，等.时空遥感云服务平台(PIE-En-gine)研发及应用J.中国科技成果，2021，22(21):76-778刘异，呙维，江万寿，等.一种基于云计算模型的遥感处理服务模式研究与实现J.计算机应用研究，2009，26(9):3 428-3 4319武云龙，王思勇，李新楼.基于云计算的遥感数据处理模型的设计与实现J.电脑知识与技术，2010，6(14):3 646-3 64810梁思，厉芳婷，谢宝发，等.浅谈自然资源卫星应用技术现状与发展J.地理空间信息，2021，19(9):38-40117