基于红外瞄具的一键自动校枪方法与系统.pdf

第45卷 第8期 红 外 技 术 Vol.45 No.8 2023 年 8 月 Infrared Technology Aug.2023 822 基于红外瞄具的一键自动校枪方法与系统 李江辉，骆 兵（上海热芯视觉科技有限公司，上海 200331）摘要：由于红外图像的夜视显示功能，并且能远距离观测目标，所以常常应用在枪械的狙击瞄具上。但是红外瞄准具首次安装在枪械上时，需要校准零位，把红外瞄准具的十字分化准心与枪械狙击时的目标靶心重合。经过零位校准的红外瞄准具，在狙击时才能准确击中目标，如何进行自动高效的零位校准，是每一台红外瞄准具在初次使用时必须要解决的问题。本文调研了目前主流的零位校准方法，进行了分析对比，并且提出了一种基于单键触发的高效自动校枪的方法和流程，简化了校枪的流程，提升了校枪的效率，在工程应用中解决了红外瞄具在初次使用难以校准，校准慢的问题，同时大大提升了用户使用体验感。关键词：FPGA；单键触发；自动校枪；零位计算；人机交互；红外图像；目标区域 中图分类号：TJ203+.9 文献标识码：A 文章编号：1001-8891(2023)08-0822-06 Method and System of One-key Automatic Gun Calibration Based on Infrared Sight LI Jianghui，LUO Bing(Shanghai Hot Core Vision Technology Co.LTD.,Shanghai 200331,China)Abstract:Due to the night-vision display function of infrared images and their ability to observe targets over long distances,they are often used in sniper sights for firearms.However,when an infrared sight is first installed on a firearm,it is necessary to calibrate the zero position such that the cross-division center of the infrared sight coincides with the target center of the firearm during sniping.A target can only be accurately hit during sniping if the infrared sight has undergone zero calibration.Performing automatic and efficient zero calibration is a problem in that every infrared sight differs when it is first used.This article investigates the current mainstream zero calibration methods,analyzes and compares them,and proposes an efficient automatic calibration method and process based on single-key triggering,which simplifies the calibration process and improves its efficiency.In engineering applications,it solves the problem of difficult and slow calibration of infrared sights during initial use and greatly improves the user experience.Key words:FPGA,single key trigger,automatic gun calibration,zero calculation,human-computer interaction,infrared image,the target area 0 引言 将红外图像应用在枪械瞄准具时，可以实现夜间观察、辅助作战、远距离侦查等，这样的红外瞄准具安装在枪械上，要求图像质量好、体积小巧、重量轻、功耗低，可以长时间稳定工作，例如文献1-4，基于 FPGA（field programmable gate array）的红外图像处理平台是目前首选的工程实现的硬件方案。在FPGA的嵌入式系统中完成红外图像的采集，降噪滤波、非均匀性校正、锐化增强、AGC（automatic gain control）动态调光等等红外图像处理，最后将处理好的红外图像输出显示在小型OLED（organic light-emitting diode）显示屏幕上。如果未经过零位校准的瞄具，直接从OLED显示屏上观测目标靶标，并进行射击，是很难命中靶标的。因为我们的瞄具是通过支座卡槽连接、固定在枪械上的，所以相对于枪管的平行中心在垂直方向是有偏移的，在对准目标靶标进行瞄准时，瞄具上的OLED显示屏显示收稿日期：2022-07-12；修订日期：2022-09-21.作者简介：李江辉（1985-），男，汉族，硕士。主要研究方向：红外图像处理及相关技术。E-mail：。第45卷 第8期 Vol.45 No.8 2023 年 8 月 李江辉等：基于红外瞄具的一键自动校枪方法与系统 Aug.2023 823 的靶标中心并不是枪管对准目标的真正中心，并且由于重力作用，打出去的子弹会经过抛物线落到目标靶面上，随着目标距离越远，抛物线运动越明显。所以红外瞄准具安装在枪械上时，每经过一段距离就需要进行一次系统的零位标定和校准，以保证枪械瞄准的准确度。目前在红外瞄具初次使用时，传统的零位校准方法有激光定标测距方法和图像冻结计算方法，这两种方法要么需要借助其他设备辅助测量，要么校准过程复杂，繁琐，准确度难以保证。而本文提出的零位校准方法，在校准过程中不需要额外的辅助设备，操作简单，一键触发、自动计算，校准准确度高。1 传统的校准算法 1.1 激光定标测距法 激光定标测距法需要专用的校准靶标，以及激光测距仪、标尺，协作测量才能完成红外瞄准具的校准，比较费时费力。在空旷训练靶场，用枪械红外瞄具的十字分化线瞄准目标靶标中心进行实弹射击后，子弹打出去在靶标附近留下弹孔，先用激光测距仪测出靶标与红外瞄具之间的距离，然后利用标尺测出靶标中心与弹孔之间的实际距离，并根据红外瞄具所用镜头的焦距，利用如图 1 所示倒三角光路映射关系，文献5-8中提出该种三角测距法，将弹孔偏移靶标中心的距离映射至红外图像上像素偏移数值。将该偏移数值作为红外瞄准具进行校准调整十字分化线的依据。oAOaOLED 图 1 倒三角光路映射关系图 Fig.1 Inverted triangle optical path mapping relationship diagram 该种方法需要的测量工具较多，测量过程复杂，测量时间长导致校枪的效率低下。1.2 图像冻结计数法 图像冻结计数法需要用枪瞄的十字分划线瞄准靶标射击后，再一次用十字分化线重新瞄准同一靶标，进行准心校准。文献9-15中提出了该种零位偏移计数方法。由于在实弹射击过程中，子弹打出的瞬间产生冲击力，导致枪支晃动或者移动，所以在打出子弹后，需要再一次用十字分化线重新瞄准该靶标中心，进行校准。如图 2(a)所示为实弹射击之前瞄具目标靶标中心的画面，图 2(b)所示为实弹射击之后瞄具目标靶标中心的冻结画面。冻结画面即将图像画面定住，不再因为目标场景的变化而变化。在子弹打出后，由于子弹穿透过靶标，子弹与靶标摩擦发热，产生的弹孔在红外图像中显示为一个高亮的点或者块，红外图像中对应的目标越热越亮。随着时间的延长，弹孔处的热量也会消失，冻结图像的目的就是保持该弹孔处热源高亮的状态。(a)射击之前瞄准画面 (b)射击之后瞄准画面(a)Screen before shooting (b)Screen after shooting 图 2 图像瞄准冻结示意图 Fig.2 Schematic diagram of image aiming freezing 由图 2(b)可知，弹孔在目标靶标中心的右上方（也有可能在左上方、左下方、右下方等情况），表明实际的准心位于瞄准具的十字分化线的中心偏右上的位置。图 2(b)相对于图 2(a)目标靶标相同，距离相同，只是多了一个子弹弹孔高亮的痕迹。并在该冻结画面中，弹孔处高亮的热度不会消失，在该画面下，进行十字分化线偏移数值的调整，即往右上方偏移，让十字分划线的交叉点与弹孔热源的中心重合，并保存该状态，即完成了热瞄准心的校正过程。在该校准过程中，需要两次瞄准目标靶标中心，而且需要手动一个像素一个像素地调整十字分化线的中心，过程相对繁琐，并且在前后两次瞄准该靶标中心的位置是需要完全一样，不能偏移一个像素，否则调整完的十字分化线的中心即准心也是有偏差。这个由于人眼观察误差、瞄准误差，所以较难做到前后两次瞄准的目标中心是完全一致的。2 一键自匹配校准算法 为了实现操作简单、校准精度高、校准效率高的要求，本文在传统校准算法的基础上进行了改进和提升。如图 3 所示为视频处理基本流程框图。在 FPGA嵌入式系统中，用逻辑部分来进行ISP（image signal processing）图像处理，用软核构建CPU（central processing unit）来 做 OSD（on-screen display），比如十字分划线的画线、调整、按键处理都可以在 OSD 中做。在本文中，ISP 部分将图像传感器输出的视频图像按视频流形式一帧一帧地进行ISP 处理，同时针对各算法模块的需求进行视频图像数据的缓存，存储器为外挂的 DDR（double data rate SDRAM）。同时对 OSD 部分要显示的字符、图第45卷 第8期 红 外 技 术 Vol.45 No.8 2023 年 8 月 Infrared Technology Aug.2023 824 片等信息写入外部 DDR 的特定地址空间，ISP 模块将该信息读出并与图像信息进行叠加输出在 OLED 屏幕上显示。在一键自匹配校准算法中，用到自匹配算法和热点追踪算法以及偏移量自动校正算法。ISPOSDsensorOLEDDDRFPGAKEY 图 3 视频处理基本流程 Fig.3 Basic flowchart of video processing 2.1 自匹配算法 用来解决上述传统的图像冻结计数法过程中，前后两次较难瞄准靶标中心的一致性问题。本文采用 SSD（sum of squared differences）误差平方和算法进行模板匹配，考虑模板匹配消耗的硬件资源巨大，并结合一般枪支瞄准具的准心偏移不是特别大的情况，可适当缩小模板的大小，并可在软核构建的 CPU 中完成模板的采集和匹配过程，为了减少存储容量和计算带宽，在 ISP处理完成后的 Y8 灰度图像上实现计算过程。如图 4 所示为模板采集与匹配过程，即用十字分划线完成目标靶标中心的瞄准后，初始的十字分划线的坐标位置通常处于图像区域的中心位置(x1,y1)，启动自匹配算法时，以十字分划线中心的周围区域采集一帧模板，模板的大小为 MN，可在 CPU 的软核开辟一个 MN 大小的二维数组用来存储该模板图像。1 2 323 (a)模板区域 (b)待测区域 (a)Template area (b)Area to be tested 图 4 模板采集与匹配过程 Fig.4 Template collection and matching process 并在射击完成后，再一次用十字分划线来瞄准目标靶标中心，这里其实不用完全瞄准靶标中心，只需要将目标靶标的中心移入图 4(b)外框中即可，图 4 的外框尺寸大小为 2M2N，在该区域内进行模板匹配计算，其中匹配的相似度计算公式如(1)式：211,1,1,MNstD i jS isjtT s t (1)式中：T(s,t)是图 4(a)模板中的 Y8 灰度值，(s,t)是其坐标。S(i,j)为图 4(b)待侧区域的 Y8 灰度值，并且将模板从该区域内逐次移动，从上到下，从左到右，移动遍历求解对应的相似度。并对相似度进行排序，得到最小的相似度对应坐标所在区域即为匹配成功，并将该坐标位置(x2,y2)记录下来。2.2 热点追踪算法 热点追踪算法，对于图像冻结后，在冻结图像画面中寻找弹孔热点，在子弹刚刚射击出去那一瞬间，子弹穿透靶标，留下的弹孔温度高，相对于靶标上其他区域，在灰度图像上显示为更亮的点或者斑块，如图 5 所示。Bullet hole plaques 图 5 弹孔斑块示意图 Fig.5 Schematic diagram of bullet hole plaques 在该冻结画面中找出最热的点或者最热的斑块的中心，可以先将该块最热的区域定位出来，然后进行二值化处理，在二值化后的图像上求质心即可得到最热的斑块的中心坐标。具体步骤为：第一步：先对整幅图像进行初步搜索，找最大灰度值，从左至右，从上至下，依次遍历每个像素点，如果是最大值，将该最大灰度值 GRAY1以及对应坐标(i,j)记录下来。第二步：再对整幅图像进行搜索，并排除第一步得到的坐标的搜索，同理得到最大灰度值 GRAY2以及对应坐标(p,q)，并对第一步与第二步得到的最大灰度值以及对应坐标判别，如下公式(2)、(3)、(4)所示：Abs(GRAY1GRAY2)TH1 (2)Abs(ip)TH2 (3)Abs(jq)TH3 (4)式中：TH1、TH2、TH3为设定阈值，依据多场景测试经验所得，本文中设计为 20、10、10。如果同时满足上述公式，将坐标(i,j)记录下来。该坐标位置只是初步定位出了弹孔斑块处的大概位置，并不是中心位置，为了精准地得到弹孔斑块处的中心位置。ISP FPGA OLED KEY Sensor OSD DDR 第45卷 第8期 Vol.45 No.8 2023 年 8 月 李江辉等：基于红外瞄具的一键自动校枪方法与系统 Aug.2023 825 第三步，以坐标(i,j)处为中心，设定一块矩形区域大小为 WH，本文中设计为 6464，在该块矩形区域内，对区域内的像素点进行二值化处理，二值化的阈值为 GRAY10.7，判断区域内的像素灰度值若大于阈值GRAY10.7，则置为 0 xff，否则置为 0 x00。第四步，对二值化后的图像区域进行质心的求解，如式(5)、(6)所示。11011graygrayWHiijijWHijijXX (5)11011graygrayWHjijijWHijijYY (6)得到区域内的质心坐标后，将该质心坐标转换映射至全局图像上的坐标(x3,y3)。2.3 偏移量自动校正算法 上述方法在实弹射击之前，用瞄具十字分化线的中心坐标(x1,y2)瞄准目标靶标中心，射击后，在冻结图像上特定区域进行模板匹配得到匹配坐标(x2,y2)，最后经过热点追踪算法，得到热源弹孔高亮斑块的中心坐标为(x3,y3)，所以匹配的坐标相对于原十字分化线中心坐标的第一级偏移如下式(7)所示：offset1xx2x1 offset1yy2y1 (7)热源弹孔处高亮的斑块的中心坐标相对于匹配之后图像的中心坐标的第二级偏移为下式(8)所示：Offset2xx3x2 offset2yy3y2 (8)所以最后求得弹孔处中心坐标相对原十字分化线中心的偏移量为下式(9)、(10)所示：offsetxoffset1xoffset2x (9)offsetyoffset1yoffset2y (10)在该算法中经过两级偏移量修正计算后，得到最终的修正偏移量，按最终偏移量去调整十字分划线的位置，可以将瞄具的准心自动地纠正过来。2.4 一键自匹配校准算法执行流程 红外瞄具安装在枪支上，进行实弹射击校枪，按下触发按键启动一键自匹配校枪流程。因为是一键执行操作，所以在OLED显示屏上会进行人机交互，按照显示屏上出现提示信息进行操作。如图6所示为执行流程图。图 6 算法执行流程 Fig.6 Algorithm execution flowchart 按下按键启动一键开始，OLED显示屏出现检测框和提示信息如图7所示。第一步：倒计时15 s用十字分化线瞄准目标靶标中心，瞄准完成后保持枪支不动，在15 s结束后，开始冻结图像，并以十字分划线交叉点为中心区域采集模板，模板大小为MN，可根据实际情况设定，采集模板完成后，解冻图像。第二步：进入下一个倒计时8 s，在该倒计时内，完成单发子弹射击。第三步：进入另一个8 s倒计时，将靶标中心移入检测框内进行检测。第四步：冻结图像，并启动模板匹配算法，找出靶标中心相对射击之前的靶标中心的偏移量。第五步：启动热点追踪算法，在冻结图像上找出弹孔热源处的中心，得到弹孔位置相对于十字分划线中心的偏移量。第六步：启动偏移量自动修正算法，将两级偏移量相加得到最终的偏移量，并以最终偏移量去调整原始的十字分化线的位置，完成准心的校正。Pleasebereadytoshootin15s.图 7 十字分化线和检测框图 Fig.7 Cross differentiation line and detection block diagram 3 分析讨论 本文针对红外图像应用在枪械的瞄具上，对红Please be ready to shoot in 15s.第45卷 第8期 红 外 技 术 Vol.45 No.8 2023 年 8 月 Infrared Technology Aug.2023 826 外瞄具的零位准心的校准操作进行了说明，针对传统的校准算法、流程和工具进行了介绍，传统的激光定标测距法，需要激光测距仪、校准靶标、标尺、协作测量才能完成，费时费量、成本高、效率低下。而图像冻结计算法，需要前后两次瞄准目标靶标中心，并且在前后两次瞄准该靶标中心的位置是需要完全一致，不能偏移一个像素，否则调整完的十字分化线的中心即准心也是有偏差，在实际操作过程中难以保证，而且十字分划线位置的调整，需要手动一个像素一个像素地调节，操作过程繁琐、效率低。最后基于单键触发的自匹配校准算法，是一键触发，按提示操作，自动计算，计算完成后，自动修正准心偏移量的过程，非常方便、快捷、高效，非常适合于工程应用。并且在模板尺寸大小、检测框尺寸大小以及弹孔斑块矩形区域尺寸大小都可以根据子弹大小、射程距离、以及靶标上留下弹孔的大小来适配修改的。可适应于不同的枪支、不同距离、不同靶标的零位准心校准。4 算法验证 基于红外瞄具的一键自动校枪方法与系统算法的验证过程是将红外瞄具固定安装在光轴一致性校准平台底座上如图 8 所示，瞄准前方圆形支架上的十字靶标，该圆形支架在平台上可前后移动，模拟距离的变化。图 8 红外瞄具安装固定示意图 Fig.8 Installation and fixation diagram of infrared sight 固定安装好红外瞄具后，开机观测目标，发现红外瞄具的十字分化中心与前方圆形支架上的十字靶标中心其实不重合的，如图 9 所示，单键按下启动一键校枪匹配算法，经过上述 2.4 节算法计算后，红外瞄具的十字分化中心自动进行修正了，修正后的十字分化中心几乎与十字靶标中心重合，如图 10 所示，经过放大后观测、并测量修正后的十字分化中心与实际十字靶标中心误差在 1 个像素以内。其次我们移动圆形支架距离红外瞄具安装点位距离 3 m、10 m、20 m、50 m 等位置，同时将红外瞄具的十字分化中心调整为与十字靶标中心不重合。再启动算法，观测进行算法修正后的十字分化中心与十字靶标中心的重合度，经过多次调整与测量，发现修正后的十字分化中心与实际十字靶标中心误差都在 1 个像素以内。所以整体来看，该算法校正精度是很高的，完全满足国军标 GJB5815-2006 射效矫正的精度要求。图 9 红外瞄具十字分化与十字靶标不重合示意图 Fig.9 Schematic diagram of infrared sight cross differentiation not overlapping with cross target 图 10 红外瞄具十字分化与十字靶标重合度示意图 Fig.10 Overlap between infrared sight cross differentiation and cross target 第45卷 第8期 Vol.45 No.8 2023 年 8 月 李江辉等：基于红外瞄具的一键自动校枪方法与系统 Aug.2023 827 5 结论 本文对红外瞄具安装在枪支上的准心校准方法进行了介绍，对传统的零位校准方法以及本文提出的新的校准方法的原理、算法、计算过程进行了详细的介绍和对比，本文提出的一键自匹配校准算法解决了传统激光测距定标法的校准过程复杂、校准成本高、效率低的问题，同时也解决了传统图像冻结计数法的前后两次瞄准一致性难的问题。在FPGA的红外图像处理平台上添加了自匹配校准算法，既能完成红外图像的夜视、远距离观测目标，同时又能安装在枪支、枪械等精确瞄准的应用场景，一键自动零位校准，辅助精确打击，具有一定的工程实际应用价值。参考文献：1 李冰,李范鸣.基于 PCI Express 总线的红外图像实时采集与显示系统及其界面设计J.红外,2016,37(9):8-12.LI Bing,LI Fanming.Real-time infrared image acquisition and display system based on PCI Express bus and its interface designJ.Infrared,2016,37(9):8-12 2 李大华,王宇,高强,等.基于细胞免疫的红外图像分割算法及FPGA实现J.红外,2020,41(4):27-35.LI Dahua,WANG Yu,GAO Qiang,et al.Infrared image segmentation algorithm and FPGA implementation based on cellular immunityJ.Infrared,2020,41(4):27-35.3 李强.基于 FPGA 的实时红外图像采集与预处理系统J.红外,2012,33(10):21-24.LI Qiang.Real-time infrared image acquisition and preprocessing system based on FPGAJ.Infrared,2012,33(10):21-24.4 赵立初,周煦潼.模板图像匹配中的亚像元定位新方法J.红外与毫米波学报,1999,18(5):407-411.ZHAO Lichu,ZHOU Xutong.A new algorithm with sub-pixel accuracy in image/model matchingJ.J.Infrared Millim.Waves,1999,18(5):407-411.5 吕明义.红外辐射源的校准方法J/OL.红外与毫米波学报,1984,3(4):http:/ Mingyi.Calibration method of Infrared radiation sourceJ/OL.Journal of Infrared and Millimeter Waves,1984,3(4):http:/ 韩义波,杨新锋,滕书华,等.激光与红外融合目标检测J.红外与激光工程,2018,47(8):804005-0804005(7).DOI:10.3788/IRLA201847.0804005.HAN Yibo,YANG Xinfeng,TENG Shuhua,et al.Detection of laser and infrared fusion targetJ.Infrared and Laser Engineering,2018,47(8):804005-0804005(7).DOI:10.3788/IRLA201847.0804005.7 宋宏,张云菲,吴超鹏,等.水下相位式激光测距定标方法J.红外与激光工程,2019,48(4):406008-0406008(7).SONG Hong,ZHANG Yunfei,WU Chaopeng,et al.Calibration method of underwater phase laser rangingJ.Infrared and Laser Engineering,2019,48(4):406008-0406008(7).8 胡波,张云菲,吴超鹏,等.基于图像的水下三点激光测距方法研究J.红外与激光工程,2019,48(10):1005011-1005011(10).HU Bo,ZHANG Yunfei,WU Chaopeng,et al.Image-based three-beam underwater laser ranging methodJ.Infrared and Laser Engineering,2019,48(10):1005011-1005011(10).9 崔成君,劳达宝,董登峰,等.飞秒激光跟踪仪跟踪脱靶量零位标定方法J.红外与激光工程,2017,46(1):117001-0117001(8).DOI:10.3788/IRLA201746.0117001.CUI Chengjun,LAO Dabao,DONG Dengfeng,et al.Calibration method for initial position of miss distance in femtosecond laser trackerJ.Infrared and Laser Engineering,2017,46(1):117001-0117001(8).DOI:10.3788/IRLA201746.0117001.10 李延风,安志勇,王劲松,等.红外零位走动量测量中的相机姿态自适应补偿J.红外与激光工程,2015,44(5):1500-1505.LI Yanfeng,AN Zhiyong,WANG Jinsong,et al.Camera position adaptive compensation in infrared zero momentum measuringJ.Infrared and Laser Engineering,2015,44(5):1500-1505.11 门涛,杨悦,徐蓉,等.增量式光电轴角编码器零点漂移问题解决J.红外与激光工程,2014,43(2):497-501.MEN Tao,YANG Yue,XU Rong,et al.Resolution of incremental photoelectric angular encoder with reference mark excursionJ.Infrared and Laser Engineering,2014,43(2):497-501.12 王辉,吕瑛洁,林德福,等.扩展弹道成型制导系统脱靶量特性分析J.红外与激光工程,2013,42(5):1322-1329.WANG Hui,LV Yingjie,LIN Defu,et al.Miss distance analysis of the extended trajectory shaping guided systemsJ.Infrared and Laser Engineering,2013,42(5):1322-1329.13 钟昆,苏伟,彭波,等.基于脱靶量的水下目标激光扫描探测模型J.红 外 与 激 光 工 程,2020,49(2):0203004-0203004.DOI:10.3788/IRLA202049.0203004.ZHONG Kun,SU Wei,PENG Bo,et al.Model of underwater target laser scanning detection based on undershoot distanceJ.Infrared and Laser Engineering,2020,49(2):0203004-0203004.DOI:10.3788/IRLA202049.0203004.14 肖瑞兵,李林,李彦生,等.一种测试零位走动量的新方法J.红外技术,2017,39(2):178-183.XIAO Ruibing,LI Lin,LI Yansheng,WANG Guiquan,et al.A new method to measure the zero position offsetJ.Infrared Technology,2017,39(2):178-183.15 王东,周清明,张鹏,等.红外告警系统被动测距方法分析J.红外 技 术,2010,32(8):440-442.DOI:10.3969/j.issn.1001-8891.2010.08.002.WANG Dong,ZHOU Qingming,ZHANG Peng,et al.An analysis on passive ranging measurement of IRST systemsJ.Infrared Technology,2010,32(8):440-442.DOI:10.3969/j.issn.1001-8891.2010.08.002.