基于卷积神经网络的摄像机姿态感知系统设计.pdf

设计创新科技创新与应用Technology Innovation and Application2023 年 25 期基于卷积神经网络的摄像机姿态感知系统设计刘毅，蔡文浩，王文钶，王明晖，李彬（中国矿业大学（北京），北京 100083）随着监控设备在日常生活中的不断普及和应用，摄像机在公共安全、工厂、交通和矿山等领域发挥着重要作用。监控摄像机包括固定式和可转动式两种形式，固定式摄像机的水平角度和俯仰角度锁定，所以监控范围小，只能获取固定视野范围内的图像信息；带有云台的可转动式摄像机（包括枪机、球机等）可以大大提高监控范围，然而由于云台采用基于 RS485 总线或LAN 网络通信的单向开环控制方式，监控中心可人工或通过系统自动控制云台转动，但无法获得监控摄像机的实时角度，即使采用特殊的具有闭环控制的云台，当摄像机被现场工作人员强制手动转动或受其他外力作用改变角度时，监控中心同样无法获得监控摄像机准确的实时角度，因此监控中心就无法准确判定所采集图像的监控区域。现有公共交通道路监控的图像识别技术已经成熟，包括违章车辆车牌识别和位置识别技术等，然而这些技术均是基于固定摄像机的应用，对于可转动摄像机，由于无法确定摄像机的姿态及摄像机的拍摄区域，因此无法对监控目标进行位置识别，限制了可转动摄像机的功能扩展，严重制约着监控技术的发展与应用。所以，急切需要研究开发可对转动式摄像机实时姿态感知的方法与系统。磁力传感器可获取静态绝对方向数据，将其安装到摄像机上，可以获取摄像机的静态绝对位姿，但磁力传感器数据更新较慢，在没有其他辅助传感器的支持下，无法准确获取动态方向数据。为获得摄像机动态的实时位姿数据，本文作者研究了基于孪生卷积神经网络模型的识别方法，通过识别图像变化可以获得摄像机的动态相对姿态变化，但此方法仍存在累积误差的缺点，如果长时间不进行校准，累积误差将越来越大。为进一步解决这一问题，本文设计了一种基于深度学习的摄像机姿态感知系统，采用磁力传感器获取摄像机的绝对方向与姿态，通过孪生卷积神经网络模型获取摄像机动态相对位姿变化，结合摄像机运动前的初始绝对姿态数据，进而得到摄像机动态条件下的实时基金项目：国家重点研发计划课题（2016FC0801806）第一作者简介：刘毅（1973-），男，博士，副教授，硕士研究生导师。研究方向为矿井通信、矿井监控。摘要：该文设计一种基于卷积神经网络的摄像机姿态感知系统，运用深度学习方法结合传感器技术，获取摄像机实时姿态数据，特别是摄像机运动过程中的姿态数据。系统采用孪生卷积神经网络，通过摄像机采集的环境图像对孪生卷积神经网络进行训练获得摄像机姿态感知模型，在使用时通过将摄像机采集的视频图像输入摄像机姿态感知模型获得摄像机的位姿数据。系统解决可转动式摄像机的实时姿态感知问题，可在公共安全、工厂、交通和矿山等领域广泛推广应用。关键词：卷积神经网络；深度学习；摄像机；姿态感知；公共安全中图分类号院TP391.9文献标志码院A文章编号院2095-2945渊2023冤25-0119-04Abstract:This paper designs a camera posture perception system based on convolution neural network.Using deep learningmethod and sensor technology,real-time camera posture data,especially during camera motion,is obtained.The system usesSiamese convolution neural network to train the twin convolution neural network through the environment image collected by thecamera to get the camera posture perception model.When using the system,the camera posture data is obtained by inputting thevideo image collected by the camera into the camera posture perception model.The system solves the real-time posture perceptionproblem of rotatable cameras and can be widely used in public safety,factories,transportation,mining and other fields.Keywords:convolution neural network;deep learning;camera;posture perception;public safetyDOI：10.19981/j.CN23-1581/G3.2023.25.029119-2023 年 25 期设计创新科技创新与应用Technology Innovation and Application绝对姿态数据。当摄像机静止时，及时根据磁力数据更新摄像机绝对姿态数据，避免累积误差。所述基于深度学习的摄像机姿态感知系统，既发挥了磁力传感器在获取静态绝对方向数据方面的优点，又发挥了孪生卷积神经网络模型在图像变化识别方面的优势，并克服和解决了累积误差问题。该系统具有实时性强、数据准确、易于安装实施的特点，系统的应用可将位置识别技术的应用范围从单一的固定摄像机扩展到可转动摄像机，极大地扩展了监控区域，在动态目标跟踪监控和图像定位领域有着广泛的应用前景。1总体设计基于卷积神经网络的摄像机姿态感知系统主要包括：摄像机、云台、磁力传感器、数据处理单元、辅助电路和通信单元。系统实施方案 1 总体功能结构如图 1 所示。图 1系统实施方案 1 总体功能结构图磁力传感器：用于获取摄像机静态磁力数据，与摄像机主体刚性连接安装，可采用 GY-511 LSM303DLHC磁力传感器模块，通过 I2C 通信接口连接数据处理单元，将磁力数据传输发送给数据处理单元。数据处理单元：负责磁力数据和视频图像数据接收与处理，通过数据处理获得摄像机的实时位姿数据，将实时位姿数据以字幕形式加入视频图像，并将经处理后视频图像和实时位姿数据通过通信单元传输给监控控制中心。数据处理单元通过 I2C 通信接口连接磁力传感器，通过 USB 直接连接数字摄像机，嵌入孪生神经网络模型。可采用英伟达嵌入式 GPU 的 Jetsonnano 模 块，搭 载 四 核 ARM A57 处 理 器，12 核MAXWELL GPU，4 G LPDDR 内存，可满足本系统应用所需的孪生卷积神经网络运行计算能力。摄像机：负责采集环境视频流格式的图像，将采集的图像通过通信接口发送给数据处理单元，在具体实施方式的示例中，采用 USB 通信接口与数据处理单元连接通信。如采用模拟摄像机，则需在摄像机视频输出端口与数据处理单元的 USB 接口之间添加视频采集卡，视频采集卡可采用天创恒达 U100pro。云台：负责带动摄像机进行转动，使摄像机能够采集更大的图像范围，转动方向包括水平方向和垂直方向。标准云台一般采用 RS485 总线接口接收控制指令，控制协议包括 PELCO-D、PELCO-P 等。在本实施示例中，云台通过通信单元接收云台控制数据，通过内置的 LAN-RS485 接口将通过网络传输来的控制数据转换成 RS485 数据，进而实现云台转动控制。通信单元：负责视频图像数据、摄像机姿态数据的发送，以及摄像机设置数据、云台控制数据的接收。采用有线网络通信接口，也可包括但不限于采用 Wifi、蓝牙、2G、3G、4G 和 5G 移动通信等无线通信接口，以及工业现场总线等有线通信接口。通信单元的传输速率应满足视频传输要求。辅助电路：负责为磁力传感器、数据处理单元、摄像机、云台和通信单元分别提供所需电源，如采用直流供电，可直接采用多个 AMS1117 系列稳压器芯片实现DC/DC 转换。如果采用交流供电，还需在 DC/DC 前端增加 AC/DC 转换模块，进行交/直流转换。系统实施方案 2 总体功能结构如图 2 所示，实施方案 2 与实施方案 1 组成基本相同，区别在于用通用性更强的网络摄像机（包括有线网络或无线网络）替换USB 接口摄像头，网络摄像机通过网络接口和通信单元将视频图像数据传输给数据处理单元。为实现系统功能，保证数据传输速率，实施方案 2 的通信单元仅限使用支持网络通信的设备。图 2系统实施方案 2 总体功能结构图120-设计创新科技创新与应用Technology Innovation and Application2023 年 25 期2工作流程设计2.1系统初始化系统在使用前需要进行初始化，具体步骤如图 3所示，包括以下内容。1）通过摄像机采集图像 M1。2）通过磁力传感器采集磁力数据，处理磁力数据确定 M1对应的绝对位姿数据 琢1、茁1；琢1、茁1分别为用欧拉角表示的水平旋转角度和垂直旋转角度。3）云台带动摄像机转动，同步采集图像 Mi和磁力数据，处理磁力数据得到 Mi对应的绝对位姿数据 琢i、茁i；琢i、茁i分别为用欧拉角表示的水平旋转角度和垂直旋转角度。4）存储 M1、琢1、茁1、Mi、琢i、茁i。5）将 琢1、茁1、琢i和 茁i处理为用四元数表示的绝对位姿数据 q1、qi，其中 qi=si+xia+yib+zic。a，b，c 分别表示四元数的虚数部分，si表示四元数的实数部分系数，xi、yi、zi表示四元数虚数部分系数，其计算公式为si=cos琢i2cos茁i2，xi=sin琢i2cos茁i2，yi=cos琢i2sin茁i2，zi=-sin琢i2sin茁i2。6）判断是否采集了设定数量的带有位姿标签的数据，如果是则执行初始化过程步骤 7），否则继续执行初始化过程步骤 3）及其以下步骤。7）数据预处理得到图像对 Mij和相对位姿数据 qij。8）存储 Mij和 qij作为训练集。图 3系统初始化流程示意图9）数据处理单元加载孪生神经网络。10）数据处理单元用步骤 8）得到的训练集训练孪生神经网络，获得具有最优网络参数的孪生神经网络模型。11）存储孪生神经网络模型。上述步骤 7）为数据处理单元对摄像机所采集数据预处理，该预处理的具体流程如图 4 所示，包括以下内容。1）采集图像 Mi，将 Mi裁剪到设定的大小，裁剪方式为中心裁剪。2）对 Mi对应的用欧拉角表示的绝对位姿数据 琢i和 茁i转换为用四元数表示的绝对位姿数据 qi=si+xia+yib+zic，其中 a，b，c 分别表示四元数的虚数部分，si表示四元数的实数部分系数，xi、yi、zi表示四元数虚数部分系数。3）间隔帧数 n 采集图像 Mj，将 Mj裁剪到设定的大小。4）对 Mj对应的用欧拉角表示的绝对位姿数据 琢j和 茁j转换为用四元数表示的绝对位姿数据 qj=sj+xja+yjb+zjc。5）将 Mi和 Mj配对成图像对 Mij，并用四元数表示其相对位姿数据 qij=qjqi-1，其中 qi-1为 Mi的绝对位姿数据 qi的逆运算qi-1=si-xia-yib-zicsi2+xi2+yi2+zi2姨。在三维情况下旋转用单位四元数来表示即si2+xi2+yi2+zi2姨=1，可以得到qi-1=si-xia-yib-zic，qij=qjqi-1=sjsi+xjxi+yjyi+zjzi+xjsi+zjyi-sjxi-yjzia+xjzi+yjsi-sjyi-zjxib+yjxi+zjsi-sjzi-xjyic。图 4数据预处理流程示意图121-2023 年 25 期设计创新科技创新与应用Technology Innovation and Application2.2系统工作流程系统工作流程如图 5 所示，步骤如下。1）云台受控带动摄像机进行转动，摄像机同步采集图像。2）数据处理单元获取实时摄像机位姿数据。3）数据处理单元将实时摄像机位姿数据以字幕形式加入视频图像中。4）数据处理单元通过通信单元输出带有实时摄像机位姿数据字幕的视频图像，以及所述位姿的原始数据。5）判断摄像机是否转动完毕处于静止状态，如果是则执行步骤 6），否则返回步骤 1）。6）根据磁力数据更新摄像机绝对位姿数据。图 5系统工作流程示意图2.3摄像机姿态感知流程图 6 为数据处理单元获取实时摄像机绝对位姿数据流程示意图，步骤如下。1）采集摄像机采集初始图像 Ma，并裁剪 Ma到设定大小。2）采集终止图像 Mb，并裁剪 Mb到设定大小。3）将 Ma和 Mb配对成图像对 Mab。4）将图像对 Mab送入孪生神经网络模型。5）得到该图像对的四元数表示的摄像机相对位姿数据 qab。6）将得到的 qab转换为欧拉角形式的摄像机相对位姿数据 琢ab、茁ab；琢ab为欧拉角形式相对水平旋转角度，茁ab为欧拉角形式相对垂直旋转角度，其中 qab=sab+xaba+yabb+zabc，其计算公式为琢ab=arctan2（sabxab+yabzab）1-2（x2ab+y2ab），茁ab=arcsin2（sabyab-xabzab）。7）将摄像机相对位姿数据转换为实时摄像机绝对位姿数据。图 6获取实时摄像机绝对位姿数据流程示意图3结束语本文设计了一种基于卷积神经网络的摄像机姿态感知系统，运用孪生卷积神经网络结合传感器技术，既发挥了磁力传感器在获取静态绝对方向数据方面的优点，又发挥了孪生卷积神经网络模型在图像变化识别方面的优势，克服和解决了长时间工作的位姿累积误差问题，可获取准确的摄像机实时姿态数据，特别是摄像机运动过程中的姿态数据，解决了可转动式摄像机实时姿态感知问题，只需要视频监控中的图像信息就可以获取摄像机的实时姿态信息，为动态目标跟踪监控和图像定位技术的发展与应用提供有力的技术支撑。该系统具有实时性强、数据准确、易于安装实施的特点，可在公共安全、工厂、交通和矿山等监控领域广泛推广应用。参考文献院1 孙继平.煤矿安全生产监控与通信技术J.煤炭学报，2010，35（11）：1925-1929.2 刘毅.基于三向加速度数据的井下移动通信设备定位J.工矿自动化，2016，42（4）：70-73.3 孙志军，薛磊，许阳明，等.深度学习研究综述J.计算机应用研究，2012，29（8）：2806-2810.3 许贺.基于 3D 模型和深度学习的井下视觉方位感知方法研究D.北京：中国矿业大学（北京），2021.4 高翔，张涛，等.视觉 SLAM 十四讲：从理论到实践M.北京：电子工业出版社，2019.5 CHOPRA S，HADSELL R，LECUN Y.Learning a similaritymetric discriminatively，with application to face verificationC/2005 IEEE Computer Society Conference on ComputerVision and Pattern Recognition（CVPR05）.IEEE，2005.6 LASKAR Z，MELEKHOV I，KALIA S，et al.Camera Relocal原ization by Computing Pairwise Relative Poses Using Convolu原tional Neural NetworkC/2017 IEEE International Confer原ence on Computer Vision Workshop（ICCVW）.IEEE，2017.7 冈萨雷斯，伍兹.数字图像处理（英文版）M.北京：电子工业出版社，2010.122-