星载的单像素运动成像影响分析与补偿_于跃.pdf

第 52 卷第 2 期2023 年 2 月Vol.52 No.2February 2023光子学报ACTA PHOTONICA SINICA02110021星载的单像素运动成像影响分析与补偿于跃1，杨照华1，余远金2（1 北京航空航天大学 仪器科学与光电工程学院，北京 100191）（2 北京理工大学 自动化学院，北京 100081）摘要：单像素成像具有高灵敏度，抗干扰等特点，但得到一张高质量图像需要多次采样，因而在卫星对地观测应用时，由于卫星姿态变化使得指向抖动从而造成参考光场与探测器信号之间关联性丢失，使得重构出的图像质量严重退化。针对这一问题，本文设计一种光场追踪补偿方案以补偿卫星姿态对成像带来的影响，结合卫星工具包生成卫星数据分别进行滚动角，俯仰角的运动补偿验证和偏航角的运动补偿验证。结果表明进行滚动角和俯仰角运动补偿后成像的峰值信噪比提升 28.8 dB，进行偏航角运动补偿后成像的峰值信噪比提升 7.25 dB，同时考虑滚动角，俯仰角和偏航角对典型场景进行运动补偿后的成像结果峰值信噪比提升至少 4.7 dB，仿真结果证明了补偿方案有效提高了成像质量，为星载单像素成像提供了一条有效技术途径。关键词：单像素成像；图像重构；差分关联成像；星载成像；追踪补偿中图分类号：O436 文献标识码：A doi：10.3788/gzxb20235202.02110020 引言单像素成像1又称鬼成像，具有非视域、超分辨、抗干扰等特点，自二十世纪九十年代初被提出以来，引起了广泛的关注。随着工程化和实用化研究的不断深入，单像素成像技术在光学遥感、医学显微、视觉传感等多领域发挥其独特优势，同时，在国防军事及生命科学领域具有极高的潜在应用价值。单像素成像技术最早可追溯到利用光场强度的二阶关联特性完成恒星角距和恒星半径的测量。在单像素成像研究的初始阶段，认为纠缠光子对2是单像素成像的必要条件，后来有学者质疑这一条件，并通过实验验证最终证实赝热光甚至热光3也可以实现单像素成像。纠缠光单像素成像中存在光源制备困难的问题，热光、赝热光双光臂单像素成像实验中必须满足物臂和参考臂等距，在实际应用中很难满足这一要求，因此有学者提出计算关联成像4-5，实现单光臂关联成像。此后，国内外在单像素成像领域的研究发展迅速，在纠缠光成像、赝热光成像、计算量子关联成像等方面取得了极大进展6-13，这些研究成果将推动和促进单像素成像技术的应用。单像素成像包括主动成像（或称基于结构化照明）和被动成像（或称基于结构化探测）两种实现形式，其中利用激光作为光源的主动成像方式在远距离成像探测中更有价值14。光场强度调制的质量和速度是影响成像的关键。而且需要调制后照射到物体的光场和收集到的光强保持精准的同步，否则物体与调制光的时空关联性丢失，将难以重构出清晰的像，甚至导致成像失败。研究运动对单像素成像的影响对于远距离遥感、目标探测与识别、生物医疗诊断等具有极大的现实意义和潜在的应用价值，基于此本文研究星载应用下的单像素成像方案，考虑卫星姿态角变化，补偿卫星指向抖动对单像素成像的影响，实现相对运动下的目引用格式：YU Yue，YANG Zhaohua，YU Yuanjin.Motion Analysis and Compensation of Space-borne Single Pixel ImagingJ.Acta Photonica Sinica，2023，52（2）：0211002于跃，杨照华，余远金.星载的单像素运动成像影响分析与补偿 J.光子学报，2023，52（2）：0211002基金项目：国 家 自 然 科 学 基 金(Nos.61973018,61975229,62173039)，国 家 民 用 航 天 计 划(No.D30401)，国 防 基 础 科 研 计 划(No.JCKY2021602B036)第一作者：于跃，yuyue_通讯作者：杨照华，；余远金，收稿日期：2022 09 09；录用日期：2022 11 03http:/光子学报02110022标图像高质量重构。1 单像素成像理论基础1.1单像素成像光路如图 1所示，计算关联成像方案采用可人为设计参考光场的空间光调制器件进行光场调制，代替传统关联成像的激光照射毛玻璃方案产生参考散斑光场，从而可只利用物臂来实现对物体图像的关联重构。其最大特点在于单光臂测量操作简便、约束较少，从成像光路结构上，更具有实用性。综合以上优点，实际工程广泛采用计算关联成像方案。1.2单像素成像基本原理在计算关联成像方案中，空间光调制器件对二维光场进行时空强度调制，t时刻其光场强度分布表示为It(x，y)，同时It(x，y)也是 t时刻空间光调制器件中所被加载的调制矩阵，其中(x，y)表示光场的二维空间位置坐标。空间光调制器、成像透镜和物体三者之间满足薄透镜成像高斯公式1L1+1L2=1f（1）式中，L1为空间光调制器到成像透镜之间的距离，L2为成像透镜到物体之间的距离，f为成像透镜的焦距。假设物体的空间透过率函数用T(x，y)表示，则 t时刻单像素桶探测器的光强响应信号为Bt=It(x，y)T(x，y)dxdy（2）根据二阶关联成像理论，经过N次测量后的强度关联函数为G(x，y)=1Nr=1N()Br-BIr(x，y)=BrIr(x，y)-BI(x，y)（3）式中，B=1Nr=1NBr代表数据的系综平均。整个测量过程需要参考臂记录散斑光场分布用以重构图像，而重构出的图像中每个像素点的强度值是进行系综平均运算后的计算结果，也就是光场分布对应光强信号相乘相加最后求平均的过程。差分关联成像（Differential Ghost Imaging，DGI）多用面阵单元对参考光场进行记录，其后端往往要 伴 随计算单元进行累加求和操作，以获取差分信号，相较于直接关联算法成像可以一定程度上消除图像的噪声。物体的瞬时透过率函数为T=AsI(x)T(x)d2xAsI(x)d2x（4）图 1计算关联成像光路图Fig.1Computational correlation imaging scheme于跃，等：星载的单像素运动成像影响分析与补偿02110023此时，经过差分计算后的光强信号S-应为S-=AsIB(xB)T(xB)d2x（5）式中，T(x)=T(x)-T利用S-代替原有的桶探测器信号SB，可得 DGI的数学表示为G2(x)DGI=S-IR(x)=SBIR(x)-SBSRSBIR(x)（6）1.3评价指标峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）是一个信号的最大可能功率与影响它的表示精度的破坏性噪声功率的比值，是经常用于图像压缩等领域中信号重建质量的测量方法。峰值信噪比定义为PSNR=10 lg()MAX2i1MNi=1Mj=1NT0(i，j)-T(i，j)2（7）通过计算原图和关联重构后的成像结果间的误差关系来评价图像还原程度，不仅适合传统图像，而且完全符合单像素成像的质量评价标准，本文后续内容均以此为基础进行图像重构质量评估。2 星载的单像素运动成像影响分析静态目标单像素成像可以保证桶探测器所探测到的总光强与照明散斑之间的关联性，由此进行关联重构可以重构出高质量图像。然而进行星载单像素成像时，由于卫星本身存在指向抖动，使卫星的滚动角，俯仰角和偏航角时刻发生改变，因此在星载单像素成像过程中散斑光场和成像物体之间发生偏移，当单像素成像过程中卫星姿态角变化大于单像素成像的角分辨率时，桶探测器所探测到的总光强与照明散斑之间的关联性丢失，直接进行关联重构所重构出的图像质量会大大降低。如图 2 所示，令星载单像素成像的视场角为，成像数字分辨率为N N，地心惯性坐标系表示为oxiyizi，卫星轨道坐标系表示为oxoyozo，此时卫星的姿态角表示为滚动角，俯仰角和偏航角。星载单像素成像可直接重构的条件为图 2卫星探测地球示意图Fig.2Diagram of satellite exploration of the earth光子学报02110024 tNtNtN（8）式中，t是卫星滚动角，t是卫星俯仰角，t是卫星偏航角。当卫星姿态角变化不符合直接单像素成像条件时，可以通过恢复桶探测器所探测到的探测信号与散斑光场之间的关联性以恢复物体高质量图像，根据卫星姿态运动设计光场追踪补偿的单像素成像方法。假设卫星位于地球静止轨道，且不存在指向抖动，则探测器收集到的光强值应为Si=Ii(x，y)T(x，y)dxdy（9）式中，Si是第 i次采样的桶探测器值，Ii(x，y)为由哈达玛矩阵第 i行或第 i列变形成为的第 i个光场序列，T(x，y)代表物体的透过率函数。实际星载探测过程中，卫星的滚动角、俯仰角和偏航角均会因指向抖动而改变，这导致每次采样时物体的有效信息不断改变，当仅考虑滚动角和俯仰角的改变时，桶探测器的探测值可以表示为Sip=Ii(x，y)T()x+(i)，y+(i)dxdy（10）式中，(i)是第 i次采样过程中的卫星滚动角，(i)是第 i次采样过程中的卫星俯仰角。当仅考虑偏航角的改变时，桶探测器的探测值可以表示为Sir=020rIi(，)T()，+(i)dd（11）式中，(i)是第 i次采样过程中的卫星偏航角。由于卫星滚动角、俯仰角和偏航角的变化，导致桶探测器的探测值和经空间光调制器调制的参考光场失去关联性，这是造成重构图像质量下降的根本原因。因此，星载的单像素运动成像的关键是对卫星的姿态运动进行补偿，恢复探测值与参考光场的关联性。3 基于卫星姿态信息的星载单像素运动成像补偿针对星载的单像素运动成像采用一种光场追踪补偿单像素成像方案，主要思路是：桶探测器探测的光强值是一组数值，当卫星指向发生抖动时，若将可控的散斑光场按照卫星的指向运动方式进行对应的运动补偿，可以使得每次对目标物体采样时桶探测器收集到的光强值与对静止物体采样获得的探测结果大致相同，再进行二阶关联运算就可以有效提升星载成像质量。基于上述思想，在计算关联成像重构图像的过程中，将人为设定的散斑光场Ii(x，y)按照卫星的指向运动方式进行对应补偿，就可以得到同样的强度信号序列Sip=Ii()x+(i)，y+(i)T()x+(i)，y+(i)d()x+(i)d()y+(i)=Ii()xp，ypT()xp，ypdxpdyp （12）Sir=020rIi()，+(i)T()，+(i)dd()+(i)=020rIi(，r)T(，r)ddr（13）式中，xp=x+(i)，yp=y+(i)，r=+(i)。式（12）和式（10），式（13）和式（11）在实施光场追踪补偿方案后数学表达形式均相同。滚动角和俯仰角运动的光场追踪补偿原理图如图 3所示，图 3（a）为静态物体，图 3（b）为静态物体对应参考光场，图 3（c）为卫星姿态变化过程中某一时刻物体所处位置，图 3（d）为与姿态变化对应的补偿参考光场。目标物体相对于卫星发生(，)的指向抖动，使得物体在视场中的位置由图 3（a）位置变化到图 3（c）位置，将可控的散斑光场根据卫星姿态运动进行对应的运动补偿，可以获取同静止状态相同的桶探测器光强信号。图 4 用来描述偏航角运动的光场追踪补偿方案，其中图 4（a）为静态物体，图 4（b）为静态物体对应参考光场，图 4（c）为卫星姿态变化过程中某一时刻物体所处位置，图 4（d）为与姿态变化对应的补偿参考光场。于跃，等：星载的单像素运动成像影响分析与补偿021100254 基于 STK 的星载单像素运动成像仿真4.1卫星数据生成卫星工具软件包（Satellite Tool Kit，STK）可生成航天器的轨道和姿态数据，是卫星计算机仿真分析中常用的工具。利用 STK 仿真地球静止轨道卫星的飞行，所生成的卫星轨道如图 5所示。卫星轨道六要素分别为半长轴（Semi-major Axis）42 152.139 604 km，偏心率（eccentricity）0.000 396，轨道倾角（inclination 图 3滚动角和俯仰角指向抖动光场追踪补偿原理Fig.3Schematic diagram of light field tracking compensation for roll angle and pitch angle图 4偏航角指向抖动光场追踪补偿原理图Fig.4Schematic diagram of light field tracking compensation for yaw angle光子学报02110026angle）0.464，右 旋 升 交 点 赤 经（the right ascension of ascending node）12.451，真 近 点 角（true anomaly）322.316，近地点辐角（argument of perigee）34.529。利用卫星工具包输出卫星滚动角、俯仰角和偏航角的数据。4.2基于 STK 卫星数据的滚动角与俯仰角运动补偿为了验证星载的单像素运动补偿方案的可行性，针对卫星滚动角和俯仰角的变化进行如下仿真实验，运动目标为小飞机，运动场景大小为 128128，空间光调制器频率为 1 kHz。由于卫星滚动角和俯仰角不断改变，小飞机位置对应每次采样过程其相应的数学表达为xp=x+(i)yp=y+(i)（14）式中，(i)为每次采样过程中的滚动角，(i)为每次采样过程中的俯仰角。(i)和(i)均随采样数 i改变，变化特性如图 6所示。进行星载滚动角和俯仰角运动补偿单像素成像仿真，对散斑光场区域投影 16 384张空间及时间上变化的散斑光场，对应仿真过程是 Hadamard矩阵与运动物体所处区域的内积运算，重构结果如图 7所示，分别计算峰值信噪比来比较运动补偿前后图像还原质量，其中，图 7（c）为运动补偿前的重构结果，峰值信噪比为9.68 dB，图 7（d）为运动补偿后重构结果，峰值信噪比为 38.48 dB。仿真结果表明，光场追踪补偿策略适用于基于 STK卫星数据的滚动角与俯仰角运动补偿，可以有效提升图像重构质量。图 5卫星轨道Fig.5Satellite orbit图 6滚动角和俯仰角随采样数的变化特性Fig.6Characteristics of roll angle and pitch angle with sampling number于跃，等：星载的单像素运动成像影响分析与补偿021100274.3基于 STK 卫星数据的偏航角运动补偿为了验证卫星偏航角运动补偿方案的可行性，针对卫星偏航角的变化进行如下仿真实验，实验条件均与上述仿真相同。由于卫星偏航角不断改变，小飞机位置对应每次采样过程其相应的数学表达为r=+(i)（15）式中，(i)为每次采样过程中的偏航角，随采样数 i改变，变化特性如图 8所示。进行星载偏航角运动补偿单像素成像仿真，对散斑光场区域投影 16 384张空间及时间上变化的散斑光场，对应仿真过程是 Hadamard矩阵与运动物体所处区域的内积运算，重构结果如图 9所示，分别计算峰值信图 7基于 STK卫星数据的滚动角与俯仰角运动补偿成像结果Fig.7Reconstruction results of object with roll angle and pitch angle motion based on STK satellite data图 8偏航角随采样数的变化特性Fig.8Characteristics of yaw angle with sampling number光子学报02110028噪比来比较运动补偿前后图像还原质量，其中，图 9（c）为未补偿重构结果，峰值信噪比为 31.35 dB，图 9（d）为补偿后重构结果，峰值信噪比为 38.60 dB。仿真结果表明，光场追踪补偿策略适用于基于 STK 卫星数据的偏航角运动补偿，可以提升图像重构质量。4.4典型场景的星载单像素运动成像补偿在上述仿真结果的基础上继续对卫星探测的实际图像进行卫星指向抖动的运动补偿仿真分析。运动目标分别为卫星观测的大坝，海岸线，公路和树木，运动场景即散斑光场覆盖范围为 128128，综合考虑由于卫星指向抖动引起的滚动角，俯仰角和偏航角的变化，进行 16 384次采样，对应每次采样过程其运动相应的数学表达为 xp=x+(i)yp=y+(i)r=+(i)（16）对应仿真过程是 Hadamard矩阵与运动物体所处区域的内积运算，重构结果如图 10所示，可以看到运动补偿方案有效地避免了由于桶探测器所探测到的总光强与照明散斑之间的关联性降低而造成的图像质量下降。进一步分别计算峰值信噪比来比较运动补偿前后图像还原质量，其中，大坝场景运动补偿前后的峰值信噪比由 13.30 dB提升至 20.52 dB；海岸线场景运动补偿前后的峰值信噪比由 12.89 dB提升至 17.61 dB；公路场景运动补偿前后的峰值信噪比由 13.39 dB 提升至 21.03 dB；树木图场景运动补偿前后的峰值信噪比由 18.25 dB提升至 23.23 dB。仿真结果表明，光场追踪补偿策略同样适用于基于 STK 卫星数据综合考虑滚动角，俯仰角和偏航角的运动补偿，可以有效提升图像重构质量。图 9基于 STK卫星数据的偏航角运动补偿成像结果Fig.9Reconstruction results of object with yaw angle motion based on STK satellite data于跃，等：星载的单像素运动成像影响分析与补偿021100295 结论本文研究应用于卫星对地观测的单像素成像方法，设计的光场追踪补偿方法可以有效解决由于卫星滚动角，俯仰角和偏航角变化所造成的参考光场与探测器信号之间关联性丢失的问题，使重构图像峰值信噪比提升明显。运用 STK 软件仿真地球静止卫星数据，根据卫星的滚动角，俯仰角和偏航角对物体进行单像素成像追踪补偿，分别对卫星观测的大坝，海岸线，公路和树木进行运动补偿仿真，与未进行补偿的成像结果作对比，峰值信噪比提升了至少 4.7 dB，有效提高了成像质量，为星载单像素成像的运动补偿提供了一条有效技术途径。参考文献1 LI Mingfei，MO Xiaofan，ZHANG Anning.The key technics in quantum imaging and its researching status J.Navigation and Control，2016，15（5）：1-9+16.李明飞，莫小范，张安宁.量子成像关键技术及研究进展 J.导航与控制，2016，15（5）：1-9+16.2 SHIH Y H，SERGIENKO A V.Two-photon entanglement in type-II parametric down-conversion J.Physical Review.A，1994，50（1）：23-28.3 BENNINK R S，BENTLEY S J.Two-photon coincidence imaging with a classical source J.Physical Review Letters，2002，89（11）：113601.4 SHAPIRO J H.Computational ghost imaging J.Physics Review A，2008，78（6）：061802.5 BROMBERG Y，KATZ O，SILBERBERG Y.Ghost imaging with a single detector J.Physics Review A，2009，79（5）：053840.6 ZHANG Da，ZHAI Yanhua，WU Lingan，et al.Correlated two-photon imaging with true thermal lightJ.Optics Letters，2005，30（18）：2354-2356.7 LUO Kaihong，HUANG Boqiang，ZHENG Weimou，et al.Nonlocal imaging by conditional averaging of random reference measurements J.Chinese Physics Letters，2012，29（7）：074216-074222.8 LIU Xuefeng，CHEN Xihao，YAO Xuri，et al.Lensless ghost imaging with sunlight J.Optics Letters，2014，39（8）：2314-2317.图 10基于 STK卫星数据的实际图像运动补偿仿真Fig.10Tracking compensation results of actual image based on STK satellite data光子学报0211002109 SONG Shuchun，SUN Mingjie，WU Lingan.Improving the signal-to-noise ratio of thermal ghost imaging based on positivenegative intensity correlation J.Optics Communications，2016，366：8-12.10 ZHANG Aixin，HE Yuhang，WU Lingan，et al.Tabletop X-ray ghost imaging with ultra-low radiationJ.Optica，2018，5（4）：374-377.11 LIU Baolei，YANG Zhaohua，LIU Xia，et al.Coloured computational imaging with single-pixel detectors based on a 2D discrete cosine transform J.Journal of Modern Optics，2017，64（3）：259-264.12 YANG Zhaohua，SUN Yuzhe，QU Shaofan，et al.Noise reduction in computational ghost imaging by interpolated monitoring J.Applied Optics，2018，57（21）：6097-6101.13 SUN Mingjie，EDGAR M P，GIBSON G M，et al.Single-pixel three-dimensional imaging with time-based depth resolution J.Nature Communications，2016，7（1）：12010.14 LI Wang，YANG Zhaohua，CHEN Xiang，et al.Research on super-resolution anti-interference detection system based on active and passive quantum correlation imaging J.Navigation and Control，2020，19（1）：34-39+96.李旺，杨照华，陈香，等.基于主被动量子关联成像的超分辨抗干扰探测系统研制 J.导航与控制，2020，19（1）：34-39+96.15 SONG Zhengyan，YANG Zhaohua，YU Yuanjin，et al.Tracking compensation in computational ghost imaging of the moving targets J.Optical Technique，2019，45（3）：343-347.宋政言，杨照华，余远金，等.基于追踪补偿的运动物体计算关联成像方法 J.光学技术，2019，45（3）：343-347.16 WANG Le，ZHAO Shengmei.Fast reconstructed and high-quality ghost imaging with fast Walsh-Hadamard transformJ.Photonics Research，2016，4（6）：240-244.Motion Analysis and Compensation of Space-borne Single Pixel ImagingYU Yue1，YANG Zhaohua1，YU Yuanjin2（1 School of Instrumentation Science&Optoelectronics Engineering，Beihang University，Beijing 100191，China）（2 School of Automation，Beijing Institute of Technology，Beijing 100081，China）Abstract：Single-pixel imaging is a new type of imaging technology which uses a non-scanning single-pixel detector to image objects and has attracted much attention from the public since it was produced.It has forged ahead from theory research to experiment exploration and industrial appliance after nearly thirty years of development.What s more，it has profound potential value in micro-medicine，remote sensing，statement detection，and other aspects.Single-pixel imaging projects objection via speckle light field of consecutive projection.Light intensity is detected by a single-pixel detector rather than a traditional area detector and image restoration requires correlation calculation between speckle light field and detection information.Single-pixel imaging can be divided into forward and backward modulation modes according to the different modulation modes.In the forward modulation mode，speckle light field is created by the spatial light modulator or light source array and used to illuminate the object，then the reflected light intensity is collected by a non-scanning single-pixel detector.In the backward modulation mode，the image of the object is sampled by the spatial light modulator，and the corresponding light intensity is detected by a non-scanning single-pixel detector.Forward modulation is more valuable in remote imaging detection，therefore，it is applied in this study.Since single-pixel imaging uses a non-scanning single-pixel detector to obtain spatially resolved information，it requires a large amount of different modulation information from spatial light modulator or light source array at different times.Therefore，single-pixel imaging sacrifices temporal resolution in exchange for spatial resolution.Generally，to restore high-quality object images with single-pixel imaging，a large number of speckle light patterns are needed to illuminate the object and the corresponding intensity are measured sequentially.This mode is effective in the static object imaging.However，when applying single-pixel imaging to handle a moving object directly，the images restored are likely to be disturbed by motion blur.This is mostly because the position of the moving object is changing while measuring the reflected light intensity，which is different from the case in static object.The 于跃，等：星载的单像素运动成像影响分析与补偿021100211 Foundation item：National Natural Science Foundation of China（Nos.61973018，61975229，62173039），the Civil Space Project of China（No.D30401），National Defense Basic Scientific Research Program of China（No.JCKY2021602B036）traditional imaging system can make moving object in a relatively static state and record a clear object image by shortening the single exposure time.The existing high-speed camera can shorten the single exposure time to less than 1/10 000 seconds.It can photograph the crack propagation at the moment of glass breakage or a bullet in flight.However，single-pixel imaging is different from traditional imaging.The single-frame imaging time of it is difficult to shorten to this level while requiring high imaging quality.If the single-pixel imaging is used in satellite detection，the correlation between reference light field and detector signal will be lost due to the orientation dither caused by the change of satellite attitude，which seriously degrades the reconstructed image quality.Therefor we propose a tracking compensation scheme which can extend single-pixel imaging from continuous exposure sampling imaging of static objection to single-pixel imaging of moving objection.There are two studies in this paper，impact analysis of high quality spaceborne single-pixel motion imaging reconstruction and compensation of spaceborne single-pixel motion imaging based on it.First of all，to solve the above two problems，single-pixel imaging system and its theory are introduced in detail，which lays a theoretical and experimental foundation for the further introduction of solutions and verification.The known series of structured speckles and the measured light intensity can be combined and inverted using a variety of algorithms to yield a good estimated image of the object.Differential ghost imaging is used to complete our research because of its good denoising ability.Second，a tracking compensation scheme in light field was proposed to solve the influence of the satellite orientation dither on the imaging.By analyzing the influence of the roll，pitch and yaw angles on correction imaging，it is clear that the reason of image quality degradation is lower connectively between the speckle light field and the detection value of single-pixel