星上遥感影像在轨处理进展研究.pdf

第 卷 第 期 年 月空 间 电 子 技 术 .收稿日期:修回日期:基金项目:装发重点实验室基金项目(编号:)引用格式:杨宁朱其星伍攀峰等.星上遥感影像在轨处理进展研究.空间电子技术():.():.:./.星上遥感影像在轨处理进展研究杨 宁朱其星伍攀峰王允森安 剑孙福磊(山东航天电子技术研究所烟台)摘 要:从星地数传、高时敏任务等对星上遥感影像在轨处理的需求出发本文对美国、欧洲以及国内主要的星上遥感影像在轨处理进展进行了研究以此为基础结合星上遥感影像在轨处理框架与深度学习等智能处理技术分析了高性能星上智能处理平台构建、基于深度学习的遥感影像在轨智能处理、多源遥感影像数据在轨融合处理、星地协同数据处理及在轨更新等星上遥感影像在轨处理关键技术最后对星上遥感影像在轨处理未来发展趋势进行了总结为进一步提升遥感卫星在轨应用效能提供参考关键词:遥感影像在轨处理人工智能深度学习信息融合中图分类号:文献标志码:文章编号:()():.:引言 近年来星上遥感技术不断发展遥感成像卫星分辨率越来越高、重访周期越来越短在国土、海洋、交通等各个领域发挥着越来越重要的作用 当前遥感成像卫星应用模式还是在轨获取影像数据然后通过星地链路下传进而再由地面处理中心进行处理与分发最后用于交通运输、国防安全等专业领域 然而随着星上数据量的急剧增长星上海量数据与星地数传链路间的矛盾日益突出并且传统的卫星应用流程复杂繁琐空间电子技术 年第 期难以满足火灾监测、目标搜索等高时敏任务的应用要求 星上遥感影像在轨处理是解决上述问题的一条有效途径 在星上遥感影像在轨处理方面国内外高校、科研院所、商业公司等开展了大量工作包括在轨辐射校正、几何定标、数据压缩等 随着以深度学习为代表的人工智能技术的快速发展使得遥感影像目标在轨自动检测识别成为一个重要发展方向 未来遥感成像卫星将朝着智能服务的趋势发展直接在轨生成用户所需的数据信息并进行分发实现端到端的实时传输本文首先对星上遥感影像在轨处理国内外进展进行分析在此基础上结合星上遥感影像在轨处理框架梳理星上遥感影像在轨处理关键技术并对其未来发展趋势进行分析从而为进一步提升遥感成像卫星在轨应用效能提供参考 星上遥感影像在轨处理国内外进展.星上遥感影像在轨处理国外进展.美国星上遥感影像在轨处理进展美国一直对星上遥感影像在轨处理领域十分关注并按照既定计划持续推进星上在轨处理技术的快速发展 年年中发射的 卫星搭载了美国海军研究所研制的星上处理载荷()能够实时进行星上超光谱数据的特征提取、数据压缩等处理并将处理结果直接下行地面应用 核心为由多个 处理器构成的图像并行处理阵列如图 所示图 卫星星上处理载荷 构成.年 月美国国家航空航天局发射 卫星主要任务是对预先设定的目标进行自主观测在轨对高光谱数据进行云判、感兴趣区域提取以及区域变化检测等处理缩短星上数据下传耗时如图 所示图 卫星高光谱影像在轨处理架构.年 月美国空军发射的战术卫星 加装了星上自主处理器具备自主规划星上超光谱成像仪采集方式、图像数据实时处理及存储等功能 通过星上自主处理器对超光谱图像的实时处理可在星上透过伪装发现地面隐藏目标从而获得战场周边更多信息为飞机降落点的选择、地面车辆行动路线的规划等提供更多支撑如图 所示图 卫星直接支援战场作战的概念图.年第 期杨宁等:星上遥感影像在轨处理进展研究美国“国防支援计划”的天基预警卫星搭载了星上数据处理器可有效去除影像中的冗余背景数据实现感兴趣目标的检测跟踪及切片数据下传 美国天基红外系统()在“国防支援计划”卫星系统的基础上发展而来具备弹道导弹、战术导弹等多种目标的高置信度提取能力并且可直接向战术端分发应用如图 所示图 星上影像在轨处理示例.年 月美国国防高级研究计划局启动“黑杰克”低轨卫星星座项目充分利用人工智能、低成本商业卫星平台及载荷、在轨大规模分布式计算等技术通过星上自主分布式决策处理器实现卫星数据在轨自主处理在无地面运营中心支持的情况下卫星可独立运行 个月以满足全球范围内情报监视与侦察、指挥控制以及战术作战等多任务需求 “黑杰克”卫星整体架构如图 所示图 “黑杰克”卫星架构图.“”.欧洲星上遥感影像在轨处理进展在欧洲德国空间中心的 卫星、欧洲空间局的 卫星、卫星和法国空间中心的 卫星等也都在一定程度上对遥感数据的在轨处理进行了探索在特征提取、数据压缩和分析等方面取得了一定的成果德国空间中心研制的 卫星于 年 月成功发射其星上处理载荷由、等处理器组成可对可见光、中波红外、热红外图像数据进行辐射校正、几何校正、特征提取、图像分类等在轨处理 如图 所示图 卫星星上遥感影像在轨处理流程.欧洲空间局早在 年左右就启动了 项目并在 年 月发射了 卫星其上高分辨率成像光谱仪的处理系统是一个 处理系统具有星上光谱通道可编程能力可以根据需要进行光谱通道的合并和在轨数据处理法国空间中心研制的高分辨率光学卫星 和 分别于 年 月和 年 月发射星上图像处理器利用 实现星上图像数据的采集、校正、压缩等在轨处理 欧洲空间局从 年开始对 的 开展了相应的空间应用研究该芯片作为一款嵌入式智能处理单元核心是 个 内核加上一个神经网络加速器 欧洲空间局将 用于星载成像仪 的云判等在轨图像数据处理如图 所示并搭载 卫星于 年 月发射升空空间电子技术 年第 期图 装入成像仪中的 处理板.星上遥感影像在轨处理国内进展针对星上遥感影像在轨处理国内众多高校和科研院所也开展了大量研究工作 中科院软件所于 年发射的“天智一号”卫星是我国首颗在轨软件定义卫星其主要载荷包括 台超分相机、台大视场相机以及云计算平台 通过云计算平台智能调配计算节点“天智一号”卫星可以在轨完成大部分数据处理工作并将处理结果下传地面 年 月长光卫星技术有限公司发射的“吉林一号”光谱 和 星搭载了遥感影像在轨实时智能处理系统具备云雾检测、舰船识别等功能并支持处理程序在轨上注更新 武汉大学正在研制的“珞珈三号”星主要任务是对星上遥感影像数据实时获取、高效压缩、智能处理等关键技术进行验证探索天基遥感信息服务新模式在星上遥感影像在轨处理平台研制方面西安空间无线电技术研究所利用大规模 与多核 设计了星上处理平台支持基于深度学习模型的目标检测与识别平台架构如图 所示图 基于 与 的星上处理平台架构.西安交通大学面向星上遥感影像在轨处理任务设计了一种 可重构异构计算单元通过分时加载的方式支持 类 程序和 类 程序进行重构从而实现辐射校正、云判、感兴趣区域提取等不同任务功能如图 所示图 可重构异构计算单元架构.山东航天电子技术研究所利用国产商用高性能神经网络加速器寒武纪创智 号采用 /的处理架构研制了星上图像实时处理器并进行了专门的抗辐照加固与散热设计以满足空间环境应用要求平台架构如图 所示图 星上图像实时处理器架构.星上遥感影像在轨处理关键技术星上遥感影像在轨处理框架如图 所示主要包括图像预处理、区域图像提取、目标检测识别、模型在轨优化更新等 随着深度学习等技术的快速发展星上遥感影像在轨处理逐步呈现出智能化的特点 因此本节结合星上遥感影像在轨处理框架与深度学习等智能处理模型对星上遥感影像在轨处理关键技术进行分析 年第 期杨宁等:星上遥感影像在轨处理进展研究图 星上遥感影像在轨处理框架.高性能星上智能处理平台构建目前星上智能处理平台可应用的处理器主要有、等 其中 主要用于指令调度并不适合于深度学习等智能处理模型的计算加速 主要实现矩阵乘加运算但其运算核数量往往较少通常需要将多个 与其他处理器配合使用 具有丰富的逻辑单元可以通过硬件逻辑高效实现深度学习等处理模型的并行加速计算但其算法实现难度较大对开发人员提出了较大挑战 通过多核集群的方式提供大规模并行计算能力能够很好地满足深度学习等模型的高度并行计算需求但其底层架构并非专门针对智能处理设计功耗较高 是针对深度学习等进行了特殊加速设计的智能专用处理器能够很好地满足遥感影像智能处理需求然而市场上已有的高性能智能专用处理器都不是针对星载环境设计的若要应用于星载环境必须做特殊的加固处理 不同处理器应用特点比对如表 所列表 不同处理器应用特点比对.处理器应用特点主要用于指令调度不适合于深度学习模型等的并行加速运算核数量较少单核最大算力 算力偏弱具有较强的并行计算能力但开发难度较大可提供大规模并行计算能力通用性强功耗较高定制架构适用特定的智能处理模型通用计算能力较弱 综上所述高性能星上智能处理平台是集成了嵌入式、等一种或几种处理单元的异构系统利用高性能商用处理器件通过高效的可靠性管理技术为星上不同载荷数据处理提供大算力支撑在提高星上处理能力的同时实现星上智能处理平台的高可靠、高性价比设计 同时平台支持可重构和信息共享采用标准化接口及协议具有通用性、兼容性和可扩展性根据空间应用环境、算力、国产化等不同要求星上智能处理平台通常采用不同架构 如高轨应用为了保证可靠性通常采用 架构而低轨卫星星座为了满足大算力需求则倾向于 /架构 在器件选型方面国产高性能处理器主要有飞腾、复旦微电子 系列、国防科大 、华为 智能处理模组等高性能 则主要是国外 公司的、等.基于深度学习的遥感影像在轨智能处理较早的遥感影像处理算法均是基于手工设计特征的方式相对于手工特征提取深度学习直接将候选区域提取、特征学习和分类器整合在一起实现了端到端的检测 然而不同于自然场景图像卫星遥感影像数量相对较少这给深度学习模型的训练、测试带来了极大挑战因此需要对小样本学习、迁移学习 等少样本条件下的星上遥感影像智能处理技术进行研究另外遥感影像的语义信息较为复杂地表上空的拍摄角度所带来的问题有:目标方向以及尺寸多变、目标密集排列出现、复杂的背景区域占据整空间电子技术 年第 期幅影像的较大区域等 因此完全照搬自然场景图像上成功应用的深度学习网络并不合适需要有针对性地开展多尺度学习网络、多任务学习网络以及多类目标混合学习网络等深度学习网络的研究 最后综合考虑星上智能处理平台硬件资源配置利用模型剪枝、知识蒸馏、量化等 方法对星上遥感影像深度学习处理模型进行轻量化设计在兼顾处理精度的同时降低模型复杂度实现星上遥感影像在轨高效高精度智能处理 模型经剪枝处理后性能参数比对如表 所列表 模型经剪枝处理后性能参数比对./.卷基层剪枝.通道剪枝.通道剪枝.多源遥感影像数据在轨融合处理目前世界各国都在积极发展低轨卫星星座项目如美国太空探索计划公司的“星链”项目、美国国防高级研究计划局的“黑杰克”项目等 低轨卫星星座包含光学、等多种不同类型遥感卫星可以从不同时间、不同高度、不同谱段对同一场景的目标信息进行获取因而可以利用信息融合技术对多源遥感影像数据进行在轨融合处理从而提高星上处理结果的准确性和可靠性信息融合技术按照数据抽象层次可以分为数据级融合、特征级融合与决策级融合 数据级融合主要是对多源遥感影像进行像素级融合从而实现对遥感影像的超分辨重建特征级融合则是对已经提取的遥感影像特征进行融合可以利用深度学习网络提取多源遥感影像不同层次的特征(如低层空间特征、中层语义特征以及高层抽象特征)并进行融合从而提高影像中感兴趣目标的跟踪、识别精度决策级融合是根据不同遥感影像的多个决策结果利用随机集理论、证据理论等对其进行融合从而获得最终决策 相比于数据级融合特征级融合与决策级融合数据量得到有效降低更适合在轨处理国防科大唐聪等提出一种基于深度学习的红外与可见光决策级融合检测模型测试结果表明双波段融合目标检测的 为 比单独使用可见光检测和红外检测分别提高了.和.星地协同数据处理及在轨更新相比于星上数据处理平台地面数据处理系统具有更高的算力以及更加丰富的模型库、知识库因此建立星地协同数据处理机制 地面处理系统根据星上检测识别结果利用海量遥感影像数据进一步优化星上智能处理模型并通过星地链路上注到星上智能处理平台从而完成模型的优化更新实现星上智能处理的在线学习提高星上目标检测识别模型的鲁棒性以及对突发事件、异常事件的自主处理能力星上智能处理平台以 形式采用容器化的虚拟机引擎对星上智能处理模型进行更新管理在地面对星上智能处理 充分验证后将 与运行依赖包打包成容器 然后通过地面测控系统将 容器拆分成符合星上遥控格式的数据包并发送由星上综合电子通过数据总线接收、缓存并转发至星上智能处理平台 星上智能处理平台的管理软件负责将容器拷贝到平台内部的处理模块中并通过命令控制 容器运行状态 发展趋势分析星上遥感影像在轨处理是未来遥感卫星发展的重要方向然而其在发展过程中仍然面临在轨处理数据量大、处理精度要求高、实时性强等需求与星上计算、存储等资源受限之间的矛盾以及高低温、热真空、强辐射等空间环境带来的挑战 针对上述问题现阶段星上遥感影像在轨处理技术的主要发展趋势如下:)在星上智能处理平台方面当前仍以 架构为主难以满足星上海量数据的实时处理需求需积极推进自主可控的国产高性能大算力商用处理器件(、等)的在轨应用同时完善星上处理平台软件框架实现平台应用软件与底层硬件之间的解耦支持多方应用软件透明化互联)智能化是未来遥感影像在轨处理的重要发展方向然而完全照搬自然场景图像上成功应用的深度学习模型并不合适需针对卫星遥感影像数据特点、任务特点研究适合卫星遥感影像在轨处理的深度学习模型并解决稀少样本条件下模型的训练与测试问题以及模型的轻量化设计问题)目前星上遥感影像在轨处理以可见光、影像为主主要实现远洋、港口舰船、机场飞机等准 年第 期杨宁等:星上遥感影像在轨处理进展研究静态目标的检测与识别后续需充分利用红外等不同成像手段实现对空中飞机、导弹等高速运动目标的检测与跟踪并积极推进基于高/超光谱图像的目标检测识别研究以及加强面向星上信息处理应用的多源异构数据融合研究)建立完善的星地协同处理机制利用星上处理直接在轨生成用户所需的数据信息并进行分发满足高时敏应用需求在此基础上地面处理系统接收到解译数据后进行更加精细全面的态势评估并根据评估结果进一步优化星上处理模型和参数然后通过星地链路上注到星上处理平台以完成模型优化更新不断提升星上在轨处理的准确性、可靠性以及应对突发事件、异常事件的处理能力 结论为了有效缓解星上海量载荷数据与星地数传链路间日益突出的矛盾以及满足火灾监测、目标搜索等越来越多的高时敏任务的实时应用需求未来遥感卫星将对星上获取的海量影像数据进行在轨智能实时处理直接生成用户所需的数据信息实现端到端的传输 本文对美国、欧洲以及国内星上遥感影像在轨处理进展进行了梳理在此基础上结合星上遥感影像在轨处理框架与深度学习等智能处理技术对星上遥感影像在轨处理关键技术及发展趋势进行了总结为进一步促进星上遥感影像在轨处理技术发展、提升遥感卫星在轨应用效能提供参考参考文献:王兆魁方青云韩大鹏.成像卫星在轨智能处理技术研究进展.宇航学报():.杨芳刘思远赵键等.新型智能遥感卫星技术展望.航天器工程():.王密杨芳.智能遥感卫星与遥感影像实时服务.测绘学报():.():.武红宇白杨王灵丽等.吉林一号宽幅 星宽幅相机在轨几何定标及精度验证.光学精密工程():.王明伟韩宇张波等.图像压缩算法发展概述.空间电子技术():.().():.():.():.():.高昆刘迎辉倪国强等.光学遥感图像星上实时处理技术的研究.航天返回与遥感():.乔凯智喜洋王达伟等.星上智能信息处理技术发展趋势分析与若干思考.航天返回与遥感():./.:./().廖育荣王斌蔡洪亮.美国快速响应空间试验分析.装备指挥技术学院学报():.韩晋山邢建平张浩等.美国导弹预警系统的发展现状与趋势分析.科技导报():.毛艺帆张多林王路.美国 卫星预警能力分析.红外技术():.:.胡旖旎钟江山魏晨曦等.美国“下一代太空体系架构”分析.航天器工程():.何友姚力波李刚等.多源卫星信息在轨融合处理分析与展望.宇航学报():.().():./空间电子技术 年第 期 :.:/.:.:/.:./.李丹潘晏涛张衡.天智星云应用开发者平台设计与实现/软件定义卫星高峰论坛会议摘要集.北京:.贺小军李竺强秦小宝等.吉林一号光谱卫星技术创新与应用成果.卫星应用():.徐伟陈彦彤朴永杰等.基于吉林一号遥感图像的星载目标快速识别系统.光学精密工程():.李德仁王密杨芳.新一代智能测绘遥感科学试验卫星珞珈 三 号 星 .测 绘 学 报():.璩泽旭方火能肖化超等.一种基于深度学习的光学遥感影像在轨目标检测方法.空间控制技术与应用():.王元乐杨玉辰方火能等.一种可重构的星载高性能智能异构计算系统.空间控制技术与应用():.伍攀峰吴宝林王允森等.一种星载图像智能处理装置设计与实现.空间控制技术与应用():.文鹏程白林亭高泽等.适用于机载环境的智能计算处理器分析研究.航空科学技术():.璩泽旭王鹏孙钰林.一种高可靠的星载多核 加载方式及实现.空间电子技术():.():.赵凯琳靳小龙王元卓.小样本学习研究综述.软件学报():.潘崇煜黄健郝建国等.融合零样本学习和小样本学习的弱监督学习方法综述.系统工程与电子技术():.陈俊夫皮德常张强.一种基于迁移学习的遥测数据异常检测方法.宇航学报():.宋杰.基于深度模型的零样本迁移学习.杭州:浙江大学:.():.:.():.():.:.徐嘉荟.基于模型剪枝的深度神经网络压缩和加速方法研究.南京:东南大学:.黄震华杨顺志林威等.知识蒸馏研究综述.计算机学报():.龚成卢冶代素蓉等.一种超低损失的深度神经网络量 化 压 缩 方 法 .软 件 学 报 ():.:.():.:.:.唐聪凌永顺杨华等.基于深度学习的红外与可见光决策级融合检测.红外与激光工程():.薛武赵玲王鹏.星地协同光学遥感影像目标识别技术验证研究.航天返回与遥感():.作者简介:杨宁()山东青州人博士高级工程师 主要研究方向为遥感技术:.