大视场相机最优投影模型识别及星光标定方法.pdf

第 45 卷 第 1 期2024 年 1 月仪器仪表学报Chinese Journal of Scientific InstrumentVol.45 No.1Jan.2024DOI:10.19650/ki.cjsi.J2312117收稿日期:2023-11-05 Received Date:2023-11-05基金项目:国家自然科学基金(51175047,51475046)项目资助大视场相机最优投影模型识别及星光标定方法刘其林1,2,3,董明利2,3,孙 鹏2,3,燕必希2,3,祝连庆1,2,3(1.长春理工大学光电工程学院 长春 130022;2.北京信息科技大学仪器科学与光电工程学院 北京 100192;3.北京信息科技大学光电测试技术及仪器教育部重点实验室 北京 100192)摘 要:针对在轨摄影测量中近距离大尺寸测量需求,提出利用星光约束的大视场角摄影测量相机最优投影模型识别及标定方法。首先,构建了具备调节系数的星光几何投影分段函数模型。随后,针对分段星光投影模型开发多站位自标定光束平差算法。通过将光束平差算法与北方苍鹰寻优策略相结合,对投影模型调节系数、相机内方位参数、相机外方位参数及镜头畸变系数同步优化,直到星点像面重投影均方根误差达到全局最小,得到最优投影模型及其参数。实测实验表明,大视场角相机星光标定后,星点像面坐标的重投影均方根误差为 1/9 pixel。在连续帧星光标定实验中,通过卡尔曼滤波算法对相机参数随机误差进行了有效消除。该方法可在相机星光标定过程中识别最优投影模型并标定全部成像参数,具备连续帧标定及参数校准能力。关键词:在轨摄影测量;大视场角相机;最优投影模型识别;星光标定方法中图分类号:TH89 文献标识码:A 国家标准学科分类代码:420.40Optimal projection model identification and starlight calibration method for large field of view camerasLiu Qilin1,2,3,Dong Mingli2,3,Sun Peng2,3,Yan Bixi2,3,Zhu Lianqing1,2,3(1.School of Optoelectronic Engineering,Changchun University of Science and Technology,Changchun 130022,China;2.School of Instrument Science and Opto-Electronics Engineering,Beijing Information Science&Technology University,Beijing 100192,China;3.Key Laboratory of the Ministry of Education for Optoelectronic Measurement Technology and Instrument,Beijing Information Science&Technology University,Beijing 100192,China)Abstract:In response to the close-range large-scale measurement requirements in on-orbit photogrammetry,we propose an optimal projection model identification and calibration method for large field-of-view photogrammetric cameras using starlight constraints.First,a piecewise starlight geometric projection model with an adjustable coefficient is formulated.Subsequently,a general multi-station self-calibration bundle adjustment algorithm is developed for the piecewise starlight projection model.By combining the bundle adjustment algorithm with the northern goshawk optimization,we synchronously optimize the projection model adjustment coefficient,camera intrinsic and extrinsic parameters,and lens distortion coefficients.This optimization process continues until the star image points reprojection root mean squared error reaches the global minimum,resulting in the optimal projection model and its parameters.Experimental measurements show that,after calibrating the camera with a large field of view using starlight,the reprojection root mean squared error of star image coordinates is 1/9 pixel.In consecutive frame starlight calibration experiments,random errors in camera parameters using the Kalman filter are effectively eliminated.This method can identify the optimal projection model and calibrate all imaging parameters during the camera starlight calibration process,with the ability for consecutive frame calibration and parameter correction.Keywords:on-orbit photogrammetry;large field-of-view camera;optimal projection model identification;starlight calibration 第 1 期刘其林 等:大视场相机最优投影模型识别及星光标定方法159 0 引 言随 着 空 间 技 术 的 不 断 进 步,摄 影 测 量(photogrammetry,PG)已经很好地应用于一系列大型空间结构(如空间天线、太阳帆、空间望远镜)的地面或在轨测量任务中1-3。但地面测试无法完全复现航天器在轨运行环境条件及工况。因此,对大型空间结构进行在轨测量的需求日益增长4。在 PG 在轨应用中,相机站位受航天器本身结构限制,通常在近距离下对大范围目标进行测量。大视场角相机成为了近距离 PG 测量任务中的关键设备。其投影模型及标定方法是在轨测量任务中急需解决的关键问题。大视场角相机的投影模型和标定方法已有许多研究。2006 年,Kannala 等5提出了一种高阶多项式投影模型,可用于常规相机、广角相机和鱼眼相机的标定。但该模 型 存 在 过 参 数 化 和 欠 参 数 化 问 题。2009 年,Schneider 等6将相机投影模型分为 5 类并分别进行标定实验,但该研究并未考虑多种模型之间的数学关联性。2012 年,Zheng 等7利用目标入射角建立成像畸变模型。采用混合畸变模型函数进行畸变校正,计算复杂度较高。2015 年,Zhang 等8利用球面投影外切平面建立投影方程,并通过能量最小化求解相机内方位参数和畸变系数。然而,在考虑畸变影响的情况下,鱼眼图像并不能简单地通过透视校正到单个成像平面上。2015 年,Wei 等9采用正交投影将图像投影到基于水平和垂直经纬度坐标的正方形平面上。但该方法无法获得等效焦距,不利于后续的目标重建。2016 年,Ramalingam 等10建立了单(多)主点(平面)球面透视成像相机的统一标定模型,但只能求解相机外方位参数。2023 年,Ma 等11提出了一种基于图像校正的相机参数迭代标定方法。但其迭代式多组参数标定结果不能代表完整的相机投影模型。2023年,Liang 等12提出了一种使用两个共面圆作为校准模板的相机线性校准方法。但该方法仅适用于针孔相机模型标定。2023 年,Zhang 等13通过降维变量法建立了变焦相机投影模型。然而,未对不同焦距下相机投影模型的变化进行深入讨论。上述研究涉及到相机标定的多种模型及方法。但均旨在通过实测实验来对某些由研究人员专门设计或由制造商预先标注的投影模型进行标定验证。但在相机标定过程中,除投影模型参数的标定精度外,投影模型类型选择不当也会直接导致标定结果不准确。因此自动确定不同相机中的最佳投影模型形式和参数对于提高相机标定精度十分重要。PG 在轨应用方面,1993 年,在哈勃太空望远镜的第1 次维修任务中,美国航空航天局(National Aeronautics and Space Administration,NASA)使用航天飞机携带 4 台相机对哈勃太空望远镜的太阳能面板进行三维特征点测量,三 维 测 量 均 方 根 误 差(root mean squared error,RMSE)为 25 mm14。1996 年,在航天飞机与俄罗斯和平号空间站对接任务期间,NASA 利用航天飞机携带的6 台相机组建 PG 系统对和平号空间站太阳能面板进行型面与模态检测,三维测量 RMSE 为 35 mm15-16。2022 年,由 NASA 兰利研究中心与约翰逊航天中心合作,采用国际空间站 5 台相机组建在轨 PG 系统。对滚转展开式太阳能阵列的阵列形状、振动模态、结构轴向振动速度及加速度等结构运动参数进行测量,三维测量 RMSE 为 15 mm17-20。上述在轨 PG 技术应用中,均采用常规视场角相机及小孔投影模型,在发射前对相机内方位参数及畸变系数进行地面预标定。入轨后,相机外方位参数定向则利用多种已知空间参考信息进行计算,如航天器特定结构节点的设计坐标等。由于空间参考物和 PG 系统在航天器发射、在轨部署和工作期间将经历多种力、热环境剧烈变化21-22,导致相机预标定参数及已知空间参考物约束信息发生变化,进而降低上述案例的在轨测量精度。因此,PG 系统入轨后,在开展在轨测量前,其各参数需采用更加稳定的空间参考信息来完成系统现场标定及定向,对地面预标定及定向所得系统参数进行修正补偿。且方法需具备可在轨重复实施能力,通过周期性标定以修正长时间运行下空间环境变化、设备老化等问题对系统参数的影响。恒星在天球坐标系下是一种具有高精度矢量指向的空间已知观测信息。星敏感器以恒星为参考基准,其在轨标定及定向精度可达角秒级23-24。由于其视场角小、焦距长、通光孔径大、传感器敏感度高等特点,星敏感器投影模型比 PG 相机更为简化。为克服在轨 PG 相机站位受限、测量距离近、测量范围大等难点,本文建立了星光几何投影分段函数模型,针对多段模型设计了具备标定能力的多站位自标定光束平差算法(bundle adjustment,BA)。将 BA 算法与北 方 苍 鹰 寻 优 策 略(northern goshawk optimizer,NGO)相结合(NGO-BA),对最佳投影模型及参数进行全局寻优。实现最优投影模型全参数自动化星光标定。最终,在大视场角摄影测量相机连续帧星光标定中,通过卡尔曼滤波(Kalman filter,KF)算法实现对相机参数的准确估计。1 数学原理及算法架构1.1 星光几何投影分段函数模型设计 随着相机硬件的发展和成像要求的不断提高,相160 仪 器 仪 表 学 报第 4 5 卷机视场角范围和传感器尺寸进一步增大。演化出了传统、广角、超广角、鱼眼等相机类型。相机镜头的光学系统设计不再简单地符合小孔成像原理,而是演变为多种投影模型25。经典几何投影模型主要分为如下5 类26:r=ftanr=2ftan(/2)r=fr=2fsin(/2)r=fsin()(1)式(1)由上至下分别为透视投影、立体投影、等距投影、等立体角投影及正交投影模型。其中,为相机光轴与入射光线之间的夹角;r 为像面目标点与主点之间的距离;f 为镜头主距。但实际使用中,镜头投影模型很可能会符合上述 5 类经典模型之间的某些过渡区间。于是,将上述多种投影模型统一构建为一种分段函数模型,以覆盖镜头可能涉及的各类投影模型区间。具体函数形式如下:r=fqtan(q)for 0 q 1(Model 1)ffor q=0(Model 2)fqsin(q)for-1 q 0(Model 3)(2)其中,q 为投影模型调节系数。根据 q 取值范围的不同,分段模型可分为3 类(Model 13)。当 f 为1 mm 且 q在-11 范围内变化时,式(2)的模型函数曲线可视化分布如图 1 所示。天球坐标系下恒星矢量方向可用赤经及赤纬(,)进行表示。参考星敏感器投影模型,相机视场内第 n 颗恒星在天球系下的矢量方向为(wn,wn),该星的天球系下单位矢量坐标 uwn如式(3)所示。天球坐标系下与相机坐标系下的恒星单位矢量坐标转换关系如式(4)所示。图 1 分段投影模型函数曲线分布Fig.1 Piecewise projection function curve distributionuwn=coswncoswnsinwncoswnsinwn(3)XmnYmnZmn=Rm11Rm12Rm13Rm21Rm22Rm23Rm31Rm32Rm33coswncoswnsinwncoswnsinwn(4)其中,Rm表示第 m 个相机站位在天球坐标系中的姿态矩阵,由(m,m,m)定义27;(Xmn,Ymn,Zmn)为相机系下星点单位矢量坐标。由于实际成像过程中,图像畸变不可避免,需在式(2)的分段投影模型基础上,针对相机系下星点单位矢量坐标,分别设计包含畸变修正参数的星点像面坐标投影模型。第 n 颗恒星坐标在第 m个相机站位下的投影模型具体形式如式(5)所示:Model 1:xmn=-fq()sin(qmn)XmnX2mn+Y2mn()+xp-xmnymn=-fq()sin(qmn)YmnX2mn+Y2mn()+yp-ymn(-1 q 0)Model 2:xmn=-fmnXmnX2mn+Y2mn()+xp-xmnymn=-fmnYmnX2mn+Y2mn()+xp-ymn(q=0)第 1 期刘其林 等:大视场相机最优投影模型识别及星光标定方法161 Model 3:xmn=-fq()tan(qmn)XmnX2mn+Y2mn()+xp-xmnymn=-fq()tan(qmn)YmnX2mn+Y2mn()+yp-ymn(0 q 1)(5)其中,(xmn,ymn)为恒星像面投影坐标;(xp,yp)为像面主点坐标;xmn,ymn 表示真实投影像面星点与理想投影像面星点之间的坐标畸变量。第 m 个相机站位下,第 n 颗恒星入射角 mn计算如式(6)所示。mn=arctanX2mn+Y2mnZmn()(6)式(5)中,星点像面畸变量xmn,ymn 由式(7)定义。Model 1-3:xmn=xmn(k1r2mn+k2r4mn+k3r6mn)+p1(2x2mn+r2mn)+2p2xmnymn+b1xmn+b2ymnymn=ymn(k1r2mn+k2r4mn+k3r6mn)+p2(2y2mn+r2mn)+2p1xmnymnxmn=xmn-xpymn=ymn-yprmn=x2mn+y2mn(7)其中,k1、k2、k3表示径向畸变参数;p1、p2表示切向畸变参数;b1、b2表示仿射畸变参数。式(5)中,不同投影模型类型(Model 13)均由相同相机成像参数类别进行定义。相机内方位参数包括(f,xp,yp),畸变参数包括(k1,k2,k3,p1,p2,b1,b2),相机外方位参数包括(,)。1.2 多站位自标定光束平差算法 为保证相机内方位参数、畸变系数及外方位参数能够完全解耦并达到全局最优解,需纳入不同相机站位下的大量星点观测及参考数据,采用 BA 算法对 Model 13的内方位参数及畸变系数进行标定。针对式(5),根据像面重投影(reprojection,RP)误差计算方法,设计相应大型误差方程(BA-Model 13),BA-Model 13 误差方程具体形式如式(8)所示。BA-Model 1-3:v11v1nvmn+l11l1nlmn=JE100JI10000JEmJImE1EmIBA-Model 1-3:JEm=Fxm1mFxm1mFxm1mFym1mFym1mFym1mFxmnmFxmnmFxmnmFymnmFymnmFymnm BA-Model 1-3:JIm=Fxm1fFxm1xpFxm1ypFxm1k1Fxm1k2Fxm1k3Fxm1p1Fxm1p2Fxm1b1Fxm1b2Fym1fFym1xpFym1ypFym1k1Fym1k2Fym1k3Fym1p1Fym1p2Fym1b1Fym1b2FxmnfFxmnxpFxmnypFxmnk1Fxmnk2Fxmnk3Fxmnp1Fxmnp2Fxmnb1Fxmnb2FymnfFymnxpFymnypFymnk1Fymnk2Fymnk3Fymnp1Fymnp2Fymnb1Fymnb2BA-Model 1-3:Em=mmmTBA-Model 1-3:I=fxpypk1k2k3p1p2b1b2T(8)162 仪 器 仪 表 学 报第 4 5 卷 其中,vmn表示第 m 个相机站位中第 n 个像面星点的RP 残余误差,由无误差像面星点坐标与观测像面星点坐标之间的偏差定义;lmn表示第 m 个相机站位中第 n 个像面星点的模型计算误差,由观测像面星点坐标和使用近似相机投影模型计算的像面星点坐标之间的偏差定义;F为式(5)中 Model 13 的投影模型函数,由相机内方位参数、畸变系数、相机外方位参数和星点空间矢量坐标定义;Em是第 m 个相机站位的外方位参数;I 代表相机内方位参数及畸变系数;Em、I 分别表示相应参数的修正值。通过排列不同投影模型函数中对相机内方位参数、畸变系数及外方位参数的偏导数来构造雅可比矩阵JEm和 JIm。式(8)的隐式表达式可表示为式(9):vall+lall=Hallall(9)其中,vall表示所有相机站位内所有像面星点的 RP残余误差向量;lall表示所有相机站位内所有像面星点的计算误差向量;雅可比矩阵 Hall由雅可比矩阵 JEm和 JIm构成,包含式(5)全部投影模型函数对各个相机参数的偏导数;all为所有待标定相机参数的校正值。由式(9)可得全部相机参数的修正方程如下:all=(HTallHall)-1HTalllall(10)由于该光束平差模型涉及多个不同量级的观测数据和相机参数,Hall各元素之间的数量级差异较大,易引发矩阵病态问题。为了缩小迭代过程中 Hall矩阵元素的量级差异,通过逐列计算 Hall矩阵元素二范数,对 Hall矩阵进行归一化操作,如式(11)所示。Hnorm=HallN-1norm=(HTnormHnorm)-1HTnormlall(11)式中:N 是由 Hall逐列计算出的二范数所构建的对角矩阵。all=N-1norm(12)根据式(12),可得正确比例的参数修正矩阵 all。修正方程(式(10)更新如下:all=N-1(HTnormHnorm)-1HTnormlall(13)最后,利 用 列 文 伯 格-马 夸 尔 特 法(Levenberg-Marquardt,LM)算法对所有相机成像参数进行迭代修正,直至所有相机站位中全部像面星点坐标的 RP 误差达到最小,此时相机内方位参数、畸变系数及外方位参数为全局最优解,即可完成相机标定。1.3 多投影模型自动寻优策略 到目前为止,本文已经构建了 3 个投影模型(Model 13)及其相应的多站位自标定光束平差模型(BA-model 13)。通过使用同一台相机对天空星区进行单姿态或多姿态拍照,每个模型均可独立完成相机标定。由于Model 13 可通过调整 q 参数实现投影函数曲线渐变,为了快速准确地找到 Model 13 范围内的最佳 q 值和最贴合相机成像规律的投影函数,将 NGO 寻优策略与 BA 算法相结合来自动逼近最优相机投影模型。构成 NGO-BA投影模型优化算法。NGO 优化算法有着快速的全局和局部最优逼近能力28。适合与计算量较大的 BA 算法相结合。NGO-BA 算法流程如图 2 所示。图 2 NGO-BA 算法流程Fig.2 NGO-BA algorithm flow chart如图 2 所示,F(q)作为 NGO 的目标函数,本质上是由投影模型 Model 1 3(式(5)确定的误差方程 BA-Model 13(式(8)。当苍鹰种群初始化时,将在 q 值范围内形成 Q(q1,qi)系数集。根据 q 值,利用像面星点观测坐标和星点空间矢量坐标进行相应 BA-Model 13 的平差计算。返回所有相机站位下所有星点像面坐标的 RP RMSE ei作为适应度值。利用 NGO 算法对使 ei达到最小值的 q 系数进行全局寻优。最终确定最优投影模型调节系数 q、最优投影模型函数(Model 13)以及其对应的光束平差模型(BA-Model 13)。从而利用多站位下,多个相机视场内的全部星点数据实现最优投影模型的识别及标定工作。1.4 连续帧标定下的成像参数估计方法 为使 PG 相机在轨工作期间可对自身成像参数进行及时标定及修正,需在完成最优投影模型识别及标定的基础上,利用恒星参考信息对相机成像参数进行连续帧标定。由于星点像面坐标采用加权平方灰度重心法计算,其星点光斑定心结果受图像随机噪声干扰,标定参数时序信号同样具有随机误差。参数的随机误差会对后续三维测量等任务带来较大影响。而采用 KF 算法,可对随机误差进行有效抑制,且不需要存储大量历史数据,可为 PG 系统连续提供准确稳定的在轨成像参数信息29-31。PG 相机在轨工作期间通过热控系统及保护装置保证其工作性能稳定,连续帧标定所得相机内方位参数及 第 1 期刘其林 等:大视场相机最优投影模型识别及星光标定方法163 畸变系数在短期内的变化应十分微小。KF 算法预测阶段计算如式(14)所示:xk=xk-1Pk=Pk-1+Q(14)其中,xk为第 k 时刻相机标定所得成像参数(f,xp,yp,k1,k2,k3,p1,p2,b1,b2);xk-1为第 k-1 时刻标定所得对应的成像参数,两者理论上保持一致;Pk表示预测步骤中状态估计误差的协方差矩阵;Pk-1是上一时刻的状态估计误差的协方差矩阵;Q 表示系统噪声方差矩阵,代表不可预测的系统变化或噪声。更新阶段计算如式(15)所示:Kk=PkPk+Rxk-1=xk+Kk(Zk-xk)Pk-1=(1-Kk)Pk(15)其中,K 为卡尔曼增益矩阵;R 为观测噪声方差矩阵,衡量观测噪声的强度;Zk为当前时刻的相机标定参数观测值。更新步骤通过卡尔曼增益 K 来平衡标定参数预测值和标定参数观测值,从而获得更准确的参数状态估计 xk和减小参数状态估计误差的协方差矩阵 P。这使卡尔曼滤波能够根据观测标定参数的数据持续修正参数状态估计,以适应数据的不确定性和噪声。1.5 整体算法架构 整体算法架构由 3 部分组成,分别是多站位图像及数据准备、最优模型识别及标定、最优模型连续帧星光标定。如图 3 所示。图 3 整体算法架构图Fig.3 Overall algorithm architecture diagram 首先,在多站位图像及数据准备部分,通过控制相机对天区进行多站位拍摄,构建星图合集。通过加权平方灰度重心法提取星点像面坐标,使用预标定模型参数对其进行畸变矫正。为了提高星图识别成功率及效率,优先对中央视场区域星点进行识别,通过 ESOQ2 算法解算相机姿态指向,并在星表中筛选该姿态下的理论成像星点,将全视场理论成像的星表星点坐标反投影至像面,与实际观测坐标进行最小距离匹配,完成多站位全视场星点像面坐标及星表参考坐标的数据匹配工作。随后,将匹配好的星点数据集带入最优模型识别及标定模块。将利用分段函数 Model 13(式(5)构造的BA-Model 13(式(8)误差方程作为目标函数。将标定Model 13 得到的星点 RP RMSE 作为适应度值 e。NGO-BA 算法根据星点 RP RMSE 对投影模型调节系数 q 进行164 仪 器 仪 表 学 报第 4 5 卷全局寻优,确定实验相机最优投影模型类型、模型调节系数 q 及模型全部参数。确定最优投影模型及成像参数后,开展最优模型连续帧星光标定工作。在首帧采用星图识别流程进行数据匹配,后续连续帧根据首帧星图识别结果,通过星点最近距离匹配实现星点跟踪识别。采用最优投影模型,将 NGO-BA 算法标定所得参数结果作为连续帧标定中的参数初值。沿用最优投影模型对应的误差方程(BA-Model 1 3),通过 LM 算法,利用单帧星图完成相机参数标定。最终利用 KF 对连续帧标定的各个成像参数进行滤波处理,实现对成像系统参数的跟踪估计。2 测量实验及结果分析2.1 多站位图像及数据准备 实验硬件设备采用Nikon D810相机与 SAMYANG 14 mm F2.8 ED AS IF UMC 镜头,像元尺寸0.004878 mm,CMOS 图像传感器尺寸为 36 mm24 mm,图像分辨率 7 3604 912,视场角 115。实验现场如图 4 所示,通过三脚架支撑相机正对天区进行拍摄,曝光时间 50 ms,增益设置10 dB,通过三脚架云台微调相机姿态角对天区进行多姿态角拍摄,采集相机多站位星图合集,共拍摄 220 张天区图像。图 4 实验设备及实验现场Fig.4 Experimental equipment and experimental scene 采用第谷(Tycho-2)星表构建基础导航星库,恒星坐标基准为 J2000 国际天球参考系。通过暗星剔除、星自行补偿、双星合并及星点均匀化分布等预处理,计算星间角距构建导航特征库。最终星表恒星分布示意图如图 5(a)所示。由于摄影测量相机相对星敏感器视场角较大,为进一步减小角距搜索冗余度和误匹配概率,提高识别速度及准确度,在原有三星三角形星图识别算法基础上,引入第 4 颗星与原有三星之间的 3 个星间角距值作为新增匹配特征,采用四星星图识别技术对 220 张星图依次进行星图识别。某时刻星图识别结果如图 5 所示。通过相机室内预标定成像参数对图像星点坐标进行畸变矫正。在图像中心半径 7 mm 区域内,对星点进行初始时刻星图识别(图 5(b)。识别成功后使用 ESOQ2 算法,计算相机姿态,确定理论成像范围及星等 4.8 以内的星表内星点坐标(图 5(c)。将星表星点坐标根据预标定投影模型反投影至像面,与实拍星图星点坐标进行最近距离匹配,完成全视场星图识别(图 5(d),形成已配准的星点数据集。2.2 最优投影模型识别及标定 实验共从 220 个相机站位下进行图像采集,通过加权平方灰度重心法提取星点像面坐标后,有效星图识别201 张。将星点像面坐标及其对应的天球坐标系下星表参考坐标带入标定系统对相机内方位参数、畸变系数及多站位外方位参数进行标定。图 6 展示了 NGO-BA 模型寻优过程中的分段函数 RP RMSE 完整曲线(图 6(a)、模型调节系数 q 值寻优曲线(图6(b)及模型 RP RMSE收敛曲线(图 6(c)。由图 6(a)可知,在 Model 13 的全部模型标定中,随着 q 值变化,RP RMSE 为连续曲线,且存在全局最 第 1 期刘其林 等:大视场相机最优投影模型识别及星光标定方法165 图 5 某时刻星图识别结果Fig.5 Star map recognition results at a certain time图 6 NGO-BA 模型寻优结果Fig.6 NGO-BA optimization results小值。由图 6(b)可知,在 NGO 对 q 值进行迭代优化的过程中,q 值逐渐逼近 Model 13 中的全局最小 RP RMSE 所对应的 q 值(图 6(a)。最终得到 Model 13 中 RP RMSE 最小的最优 q 值为-0.854 7,最优投影模型类型为 Model 1。在图 6(c)中,Model 1 3 中所得最小的 RP RMSE 收敛至 5.24510-4 mm。因此,该实 验 相 机 的 最 优 投 影 模 型 为 Model 1(q=-0.854 7),标定后,RP RMSE 为 5.24510-4 mm,即1/9 pixel。为更直观的观察全部站位下的星点 RP 误差分布及像面星点 RP 误差趋势,对标定结果进行误差分布及误差趋势可视化展示,如图 7 所示。如图 7(a)所示,全部站位下相机标定后的星点 RP误差分布符合误差均值为-3.17 10-7 mm,RMSE 为166 仪 器 仪 表 学 报第 4 5 卷 图 7 标定误差可视化Fig.7 Calibration error visualization5.24510-4 mm(1/9 pixel)的正态分布。如图 7(b)所示,为某站位下拍摄所得各个像面星点的 RP 误差矢量可视化趋势图,箭头从实际目标成像位置指向最优投影模型计算出的目标理论投影位置。箭头比例放大 10 倍。误差箭头分布及趋势无明显系统误差。相机最优模型识别及标定结果如表 1 所示。表 1 相机最优模型识别及标定结果Table 1 Camera optimal projection model identification and calibration results模型qf/mmxp/mmyp/mmk1k2k3p1p2b1b21-0.854 714.87-0.150.051.4810-3-5.1310-7-4.6210-101.7710-5-1.8110-67.4610-51.6210-52.3 最优投影模型连续帧星光标定 完成多站位相机参数标定后,固定相机对天区进行图像连续采集。首帧图像完成星图识别后,采用星点像面坐标最近距离匹配法,对后续图像星点进行连续跟踪与识别,共采集 100 帧图像。利用星点像面坐标及星 表 参 考 坐 标,对 最 优 投 影 模 型 Model 1(q=-0.854 7)进行连续帧参数标定,通过卡尔曼滤波对连续帧标定所得相机各参数进行实时估计,各参数实时标定数据、全时刻标定参数均值及卡尔曼滤波实时估计值如图 8 所示。第 1 期刘其林 等:大视场相机最优投影模型识别及星光标定方法167 图 8 连续帧星光标定参数及卡尔曼滤波结果Fig.8 Consecutive frame starlight calibration parameters and KF results由图 8 可知,连续帧标定参数受像面星点坐标随机噪声影响较大,导致连续帧标定中参数数值同样存在较大随机误差,会给后续三维重建等高度依赖相机成像参数准确性的测量工作带来较大干扰。在引入 KF 算法后,可见随着连续帧标定的进行,KF 对相机标定参数的估计可以快速靠近全时刻参数平均值,并在后续连续帧参数估计中保持较为稳定的参数预测。参数信号降噪效果明显,较好的抑制了随机噪声带来的标定参数误差。除微量系统误差外,参数实时估计结果与多站位光束平差标定结果相符。KF 算法介入连续帧参数标定后,以全时刻参数平均值为基准,统计连续标定参数的 RMSE 数据,如表 2 所示。表 2 连续帧参数标定 RMSE 数据对比Table 2 RMSE of camera imaging parameters calibrated in consecutive framesRMSEf/mmxp/mmyp/mmk1k2k3p1p2b1b2标定 RMSE1.410-39.410-41.110-32.210-61.310-82.410-111.210-61.510-62.610-52.410-5KF RMSE3.110-42.110-42.510-45.410-73.510-96.710-121.210-72.510-73.010-63.210-6 由表 2 可知,卡尔曼滤波介入后,参数连续帧标定的RMSE 被明显减弱,估计值与全时刻参数平均值之间的误差减小,标定结果更接近真实情况。该方法有助于提高相机参数连续帧标定的精度。168 仪 器 仪 表 学 报第 4 5 卷3 结 论 针对大尺寸高精度在轨 PG 对大视场角相机数学模型的高准确度要求,上述研究建立了一种基于 q 调节系数的星光几何投影分段函数模型,将星光在多种不同镜头投影模型之间的本质成像规律进行数学建模,实现了大视场角相机星光成像特性的准确描述。并针对分段式星光投影模型设计了具备标定能力的 BA 算法架构。通过将 NGO 优化算法与全参数 BA 算法结合,建立以所有星点 RP RMSE 最小为目标的大视场角最优投影模型识别策略。最终实现最优投影模型全参数的自动化星光标定功能。进一步,在连续帧的星光标定工作中,通过引入KF 算法实现对 PG 相机成像参数的连续估计,减少标定过程中由成像噪声引起的参数随机误差。在未来研究中,首先,大视场角相机成像畸变较常规相机畸变程度更为严重,在无预标定参数情况下,星点成像畸变会导致星图识别成功率降低。传统星间角距导航特征库在该类相机的星图识别过程中作用有限。需研究对大视场星点成像畸变具有更强鲁棒性的多星特征构建方法,实现无预标定参数的大视场角相机星图识别技术。其次,目前所提出的投影模型识别及标定方法在该实验中的标定 RP RMSE 为 1/9 pixel。而常规小视场角近景摄影测量相机标定 RP RMSE 可达 1/25 pixel。为提高在轨大视场角 PG 相机标定精度,需要在空间约束利用、投影模型建模、星点高精度定位、星点像差补偿、传感器灰度响应矫正及星运动补偿等方面开展更为深入的研究。最后,在光学系统成像参数随标定景深的变化方面,需对无穷远星光标定及近场目标标定方法、结果及评价体系开展系统研究,探究大视场角相机成像畸变与景深变化之间的准确关系。参考文献 1 ROGNANT M,CUMER C,BIANNIC J M,et al.Autonomous assembly of large structures in space:A technology reviewJ.EUCASS 2019,2019.2 WANG M,LUO J,YUAN J,et al.In-orbit assembly technology:ReviewJ.Acta Aeronautic et Astronautica Sinica,2021,42(1):523913.3 CHENG Z,HOU X,ZHANG X,et al.In-orbit assembly mission for the space solar power station J.Acta Astronaut,2016,129:299-308.4 LIU Q,DONG M,SUN P,et al.All-parameter calibration method of the on