基于无镜头成像的目标检测分类方法.pdf

物联网技术 2023年/第12期 全面感知 Comprehensive Perception260 引 言随着信息技术的进步，相机和其他成像设备的使用出现了爆炸式增长，越来越多的成像模块被集成到手机、电脑和其他物联网设备中。随着相机的使用和集成的增加，同时结合神经网络的发展，它们在我们生活中的作用也发生了显著的变化。大多数相机不再仅仅用于拍照，而是作为传感器，为生物识别、目标分类检测、安防监控等应用提供数据支持1-3。虽然现代相机模块的厚度可以达到约 5 mm，且成本低廉。但许多物联网（Internet of Thing,IoT）新兴应用对体积、重量和成本都有着十分严格的限制，这是当今基于镜头成像系统所无法满足的。近些年来，随着人们对新型成像技术的要求和计算成像技术的兴起，无镜头成像取得了显著进展4-6。通过使用特定光学器件代替传统透镜可以将相机的重量和体积减少一个数量级，同时成本也更低廉，比如 FlatCam 无镜头相机的厚度仅有 0.5 mm7，可以更好适配于物联网应用对成像设备的要求。本文分析了编码掩膜无镜头成像的基本原理，并介绍了基于 Tikhonov 正则化的重构方法。同时，联合卷积神经网络，提出了基于无镜头成像的目标检测分类方法。1 编码掩膜无镜头成像编码掩膜无镜头成像技术早期在高能天文学中被广泛研究，主要应用于非可见光波长的成像8-9。其主要思想是使用一个包含多个子孔径的轻型光学器件来代替传统相机中的透镜，实现对空间中光线的调制。该光学器件上子孔径的位置可以被编码，因此也被称为编码掩膜。根据对光线调制作用的不同，编码掩膜可以分为振幅调制器和相位调制器，本节主要研究振幅调制的编码掩膜无镜头成像方法。1.1 成像模型编码掩膜无镜头成像的成像系统主要由数据捕获和计算成像两部分组成，其结构如图 1 所示。来自场景的光线通过编码掩膜调制后，被图像传感器捕获。与传统相机不同的是，无镜头成像系统中传感器的测量值并不是场景点强度的直接测量，而是多个光源通过编码掩膜投影后的叠加。因此，需要在计算成像部分使用相应的重构算法，对传感器测量值进行解码操作，从而实现原始场景的重构。图 1 编码掩膜无镜头成像示意图考虑使用图 2 所示的几何模型来表示编码掩膜系统中传感器测量值与场景中光源的相互作用。为了方便解释，以一维情况为例，设定场景为一维光源阵列，传感器也为一维平面。假设掩膜是无限薄的元件，其折射效应可以忽略。一维场景、传感器与掩膜彼此平行。在这种情况下，光从光源到传感器元件的路径是一条直线。设传感器与掩膜之间的距离为 d，场景平面与传感器之间的垂直距离为 D。从位置 s0的点光源到位置 u 处的传感器像素的光线，根据几何关系计算可知，该光线与掩膜平面基于无镜头成像的目标检测分类方法姜继兴，钱 慧（福州大学 物理与信息工程学院，福建 福州 350116）摘 要：为了适应新型物联网设备对于小体积的要求，提出一种基于无镜头成像的检测分类方法。基于摄像头的计算机视觉处理任务目前已可集成到各种硬件设备中，然而随着物联网技术的快速发展，笨重的镜头已无法满足小体积的要求。无镜头成像技术是一种新型成像技术，其通过编码掩膜取代传统相机镜头而大大减小了相机体积和成本。本文通过分析无镜头成像基本原理与图像重构方法，并将其与神经网络联合，实现了基于无镜头成像的目标检测分类。实验使用 VGG19 网络进行了测试，证明了该方法的可行性。关键词：新型物联网；无镜头成像；目标检测分类；编码掩膜；图像重构；神经网络；VGG19中图分类号：TP391 文献标识码：A 文章编号：2095-1302（2023）12-0026-03DOI：10.16667/j.issn.2095-1302.2023.12.007收稿日期：2023-02-08 修回日期：2023-03-092023年/第12期 物联网技术全面感知 Comprehensive Perception27的交点位置为 u+(s0-u)d/D。使用 x(s)表示位于场景位置 s处的点光源强度，T(s)表示位置 s 处的掩膜透射率函数，使得在该位置处与掩膜相交的光线会在振幅上有不同程度的衰减。忽略噪声影响，对于位置 u 处的传感器像素测量值y(u)，有：y ux s T usudDss()()()=+d （1）图 2 编码掩膜无镜头成像几何光路图式中，积分范围为所有能够到达该位置传感器像素的光线，由传感器视场角决定。将该模型拓展到 2D 模式，可得：y ux s t T usudDvtvdDt sts()(,)(),()=+d d （2）整体上可以将其看作一个线性变换。将传感器测量值 y和场景光源 x 进行离散化并加入噪声，可将式（2）改写成如下形式：yxe=+（3）式中：x RN1表示实际场景强度；y RM1表示图像传感器测量值；e 表示噪声。RMN表示系统传输矩阵，传输矩阵的每一行表示场景各点光源对应点像素测量值的贡献程度，传输矩阵的每一列表示对应位置处点光源的点扩散函数（Point Spread Function,PSF）。如果场景只包含单个光源，则会在传感器上形成对应列所表示的图案。式（3）表明，编码掩膜无镜头成像系统中，单个测量值不再是场景中单个光源的一对一映射，而是来自场景中所有光源的多路复用光。如果使用可分离掩膜10，即使用可分离的 2D 图案作为掩膜，从而产生传感器测量值与实际场景强度之间的可分离关系。此时，2D 掩膜图案矩阵可以表示成两个一维向量的外积。TTT(,)()()LRi jij=（4）式中：TR(i)、TL(j)分别表示左右分离一维向量。式（3）可以改写成如下形式：y u vx s tusudDvtvdDt sts(,)(,)()()LRL=+=TTTd du usudDvtvdDx s ttsst+()()(,)RTdd（5）内部积分对场景的一行进行 1D 的编码掩膜成像，而外部积分则对场景中的一列进行 1D 的编码掩膜成像，形成可分离的场景变换。通过将上述积分离散化并加入噪声，就可以将方程（3）表示成可分离编码掩膜成像模型，即：YX=+LRTE （6）式中：L、R分别表示对应于沿场景的行和列的一维卷积矩阵，即=LR，其中，表示克罗内克积；X 是包含场景辐射的NN矩阵；Y是包含传感器测量值的MM矩阵；E 表示噪声。对于大像素场景和百万像素传感器而言，L和R分别有 106个元素，而 会有 1012个元素，可以极大减少传输矩阵的数据量。1.2 重构方法对于可分离掩膜模型，场景的重构就是公式（6）的逆过程，即从测量值 Y 中恢复出原始场景光强度分布 X，这是逆线性问题的求解。对于这一求解过程，如果可以得到精确的左右变换矩阵 L和 R，则只需进行简单的矩阵逆问题求解即可。然而可分离掩膜模型是一种近似模型，它可能偏离真实的物理系统。这是因为物理 PSF 并不是严格意义上的掩膜图案本身。例如，由于衍射效应和噪声，光可能到达被完全不透明的元素阻挡的像素。因此，二维 PSF 可能不完全是两个一维 PSF 的外积。此外，掩膜若未与传感器完美对准，也会使得物理模型与可分离模型失配。因此，在使用可分离模型时，需要提前进行多次数据标定与校准，使得得到的左右分离矩阵尽可能近似于真实模型，文献 7 中提供了校准过程的详细说明。通过校准测定获得左右变换矩阵 L和 R的近似值后，可以通过求解最小二乘问题，从测量值中实现对原始光强度分布的求解，即：XYX=argminLRX 22 （7）因为测定的左右变换矩阵不一定是良态矩阵，为保证重构算法的可靠性，可以在式（6）中添加 Tikhonov 正则化项来提高重构质量，即：XYXX=+argminLRX 2222 （8）上述问题的封闭形式解7可以导出为如下形式：X=+VU YUVLLTLTRRLRTTRT()./()11 （9）式中：L=ULLVLT和 R=URRVRT分别表示左右变换矩阵 L和 R的奇异值分解；L和 R分别为包含 L2和 R2中对角线元素的向量；./表示按元素点除。将重构算法分别应用于彩色图像的每个通道，就可以实现 RGB 图像的重建。2 神经网络联合随着计算机算力的飞速提升以及大数据的发展，神经网络在机器视觉领域展现出巨大的潜力。神经网络可以分为许多种类。其中，卷积神经网络是最具代表性的一类，其在目标检测分类、目标识别、图像重构等任务中发挥了重要作用。物联网技术 2023年/第12期 全面感知 Comprehensive Perception28VGGNet11是牛津大学计算机视觉组提出的一种应用于图像分类的经典网络，其主要由卷积层、池化层和全连接层构成。根据卷积层数量的不同，还可以分为 VGG16 和VGG19，本文将主要利用 VGG19 对无镜头成像后的图像进行检测分类，以验证基于无镜头成像的目标检测分类方法可行性，其整体流程如图 3 所示。对于网络的训练与测试，本文所使用的数据集为经过无镜头方法处理后的ImageNet数据集12，其包含 1 000 个不同种类的图像及相对应无镜头传感器测量值。使用公式（9）重构的图像尺寸为 2562563，将其经过裁剪之后使用 2242243 的尺寸进行网络训练和测试。图 3 基于无镜头成像的目标检测分类流程3 仿真实验结果3.1 无镜头成像仿真结果图 4 所示为使用无镜头相机处理后的 ImageNet 数据集进行场景重构的仿真实验结果。该数据集中的传感器尺寸为1 9201 200，经处理后重构的图像尺寸为 2562563。可以看出，实验对原始场景进行了基本还原，但重构图像还存在一定噪声。同时，重构的图像整体亮度较低，细节信息恢复较少。这是因为本文中的无镜头成像模型只考虑了深度平面的情况，即假设场景中所有点光源深度相同，并未考虑3D 场景成像情况。同时，未使用相关去噪算法对成像后的图像进行处理和矫正。图 4 无镜头图像重构结果3.2 目标检测分类仿真结果本文使用 VGG19 网络进行了基于无镜头成像的目标检测分类仿真实验。实验测试数据分为三组，分别包含 100、500 和 1 000 张不同类别的图像。对比对象分别为使用原始图像进行测试的 VGG19 预训练网络，使用无镜头重构图像进行测试的 VGG19 预训练网络以及使用无镜头重构图像进行测试的 VGG19 再训练网络。只考虑网络的 Top1 准确率，实验结果见表 1 所列。可以看出，对于未经重新训练的 VGG19 网络使用无镜头重构图像的分类准确率较低，这是因为无镜头重构图像丢失了较多细节信息，使得预训练网络的卷积层未能提取到有用的细节信息，导致分类失败。而使用无镜头重构图像进行重新训练后的网络，在分类准确率上已经接近 VGG19 对正常图像进行分类的准确率，这验证了基于无镜头成像方法进行目标检测分类的可行性。表 1 目标检测分类 Top1 准确率验证图片数量/张使用原始图像测试的预训练网络准确率/（%）使用无镜头重构图像测试的预训练网络准确率/（%）使用无镜头重构图像测试的再训练网络准确率/（%）10071.0026.0069.0050071.2027.3069.601 00070.3025.4068.804 结 语本文介绍了一种基于无镜头成像的目标检测分类方法，通过分析无镜头成像的基本原理，实现了基于 Tikhonov 正则化的图像重构。同时，将无镜头成像与传统神经网络进行联合，实现了基于无镜头成像的目标检测分类。通过使用VGG19 网络进行实验测试，发现其分类准确率接近原始预训练网络的准确率，证明使用无镜头成像数据进行目标检测分类是可行的。参考文献1 ZHAO Z Q，ZHENG P，XU S，et al.Object detection with deep learning：A review J.IEEE transactions on neural networks and learning systems，2019，30（11）：3212-3232.2 ZHANG H，HONG X.Recent progresses on object detection：a brief review J.Multimedia tools and applications，2019，78（19）：27809-27847.3 DU G，WANG K，LIAN S，et al.Vision-based robotic grasping from object localization，object pose estimation to grasp estimation for parallel grippers：a review J.Artificial intelligence review，2021，54（3）：1677-1734.4 STORK D G，GILL P R.Lensless ultra-miniature CMOS computational imagers and sensors J.Proc.sensorcomm，2013：186-190.5 OZCAN A，MCLEOD E.Lensless imaging and sensing J.Annual review of biomedical engineering，2016，18：77-102.6 BOOMINATHAN V，ROBINSON J T，WALLER L，et al.Recent advances in lensless imaging J.Optica，2022，9（1）：1-16.（下转第35页）2023年/第12期 物联网技术全面感知 Comprehensive Perception35 图 32 APP 地图数据显示 2 图 33 消息提示5 结 语针对当前国内电线杆塔需人工巡查，存在无法满足全天检修的要求、费时费力、检测过程易受环境影响等问题，本文设计并实现了一种基于 NB-IoT 的电线杆倾倒报警定位系统。文中首先对国内电网线路检测的现状进行了了解与分析，还结合了当前的新兴技术NB-IoT 设计了通信模块，主控 MCU 选取 STM32F103RCT6，结合外围电路实现了系统的硬件设计，并实现了设备与云平台的对接。基于 Android系统进行上位机 APP 开发，实现了下位机多节点数据可视化。本系统改善了传统电线杆塔检测的不足，实现了在新技术下基于 NB-IoT 的电线杆倾倒报警系统的设计。参考文献1 邓庆红，谢彬，沈锋.基于北斗卫星导航系统的输电线杆塔倾斜监测算法研究与实现 J.湖南电力，2019，39（2）：7-11.2 王涛，郝悍勇，郭江涛，等.基于北斗卫星技术的电力铁塔状态监测预警平台研究与应用 J.电力信息与通信技术，2018，16（2）：74-78.3黄秀超.基于物联网技术的配电线路在线监测系统研究与实现D.长春：吉林大学，2019.4 黄秀超，钟建伟，张建业，等.基于 ZigBee 技术的输电杆塔倾斜在线监测系统设计 J.现代电子技术，2019，42（5）：95-99.5 郭昊坤.一种输电线路杆塔倾斜在线监测装置的研究与设计 J.时代农机，2019，46（10）：25-27.6 李明.一种基于 NB-IoT 的低功耗多模定位方法及系统 J.科技信息技术，2020，44（15）：101-103.7 何 平，韩 雷，陈 爽.一 种 基 于 NB-IoT 的 低 功 耗 通 信 系 统：CN208460176U P.2019-02-01.8 何成林，王文超，丁芹，等.NB-IoT 模组低功耗研究 J.移动通信，2018，42（12）：26-31.9 高明，赵振刚，李英娜，等.基于光纤传感的输电线路杆塔倾斜监测研究 J.电子测量与仪器学报，2018，32（12）：56-64.10 杨征.基于 ZigBee 和 GSM 技术输电线路杆塔倾斜监测系统的研究 D.福州：福州大学，2018.11 周旭东.输电杆塔倾斜监测系统的设计与应用 D.郑州：郑州大学，2018.12 黄春林，张利平.光栅传感技术在输电杆塔倾斜监测中的应用 J.电力系统通信，2009，33（10）：28-31.13肖瑶.架空输电线路运行维护中存在的问题及对策J.电子世界，2018，40（3）：185-186.14 石道云.架空输电线路运行维护中存在的问题及对策研究 J.广东科技，2014，23（12）：49-50.15 志钢王，松杨，功平吴.边境地区复杂环境下输电线路智能巡检机器人系统研用一体管理模式创建 J.财经与管理，2019，3（3）：5-11.16 吴立远，毕建刚，常文治，等.配网架空输电线路无人机综合巡检技术 J.中国电力，2018，63（3）：15-17.作者简介：郑洪庆（1983），男，副教授，研究方向为机器视觉、人工智能。7 ASIF M S，AYREMLOU A，SANKARANARAYANAN A，et al.Flatcam：Thin，lensless cameras using coded aperture and computation J.IEEE transactions on computational imaging，2016，3（3）：384-397.8 EISEBITT S，LNING J，SCHLOTTER W F，et al.Lensless imaging of magnetic nanostructures by X-ray spectro-holography J.Nature，2004：885-888.9 CAROLI E，STEPHEN J B，DICOCCO G，et al.Coded aperture imaging in X-and gamma-ray astronomy J.Space science reviews，1987，45（3）：349-403.10 DEWEERT M J，FARM B P.Lensless coded-aperture imaging with separable Doubly-Toeplitz masks J.Optical engineering，2015，54（2）：023102.11 SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition J.arXiv preprint arXiv：1409.1556，2014.12 KHAN S S，SUNDAR V，BOOMINATHAN V，et al.Flatnet：Towards photorealistic scene reconstruction from lensless measurements J.IEEE transactions on pattern analysis and machine intelligence，2020，44（4）：1934-1948.作者简介：姜继兴（1998），男，湖南人，硕士研究生，研究方向为计算成像。钱 慧（1977），女，湖北人，博士，副教授，研究方向为信号处理、压缩感知。（上接第28页）