深度学习在口岸场所视频智能监管中的框架设计.pdf

SOFTWARE2023软 件第 44 卷 第 7 期2023 年Vol.44,No.7基金项目：福建省科技计划项目（2021R0112）作者简介：余泽辉（1975），男，安徽黄山人，本科，高级工程师，研究方向：信息化规划与系统设计。深度学习在口岸场所视频智能监管中的框架设计余泽辉 黄传恭 王震 何露华（福州海关信息中心，福建福州 350015）摘要：本项目利用深度学习对口岸场所视频监控采集数据流进行目标识别、分离，行为分析、标定，规则判定、预警等，分析从周界警戒、堆场运提、仓储管理、检查验核、卡口监控等各环节相关的目标及行为，从而满足不同监管要求的智能管理与决策，最终实现口岸场所全封闭、全天候作业，监管部门全链条、全方位监管。关键词：深度学习；场所视频；智能监管中图分类号：TP391.41;TP18 文献标识码：A DOI：10.3969/j.issn.1003-6970.2023.07.014本文著录格式：余泽辉,黄传恭,王震,等.深度学习在口岸场所视频智能监管中的框架设计J.软件,2023,44(07):057-060Framework Design of Videos Intelligent Supervision of Port Sites with Deep LearningYU Zehui,HUANG Chuangong,WANG Zhen,HE Luhua(Fuzhou Customs Information Center,Fuzhou Fujian 350015)【Abstract】：This project uses deep learning to conduct object identification,separation,behavior analysis,calibration,rule determination,early warning,etc.on the video surveillance data stream of the port sites,and analyze the objects and behaviors of the perimeter alert,container-yard transportation,storage management,inspection and verification,gate monitoring and other related processes,so as to meet the intelligent management and decision-making of different regulatory requirements.Finally,the department shall supervise the whole chain and all directions in port sites,while them are in the closed and all-weather operation.【Key words】：deep learning;venue video;intelligent supervision基金项目论文1 研究背景及目的利用深度学习在场所各类行为如周界警戒、堆场运提、仓储管理、检查验核、卡口监控等作业环节的智能监管能力，实现车辆、货物、数据的信息化、可视化，以及数据自动预警分析，运用信息化智慧监管手段对场所实施监管，使其在不使用物理围网对监管货物和非监管货物实施隔离的前提下，实现严密监管和高效运作的有机结合。进一步分析设计场所智慧监管需求，通过物联网、视频 AI 技术、数据集成等前沿科技的应用，将结构化数据和非结构化数据进行有效整合，与相关监管数据实施交叉校验，实现口岸场所“全封闭作业、全链条监管、全方位监控、全天候预警”监管新模式。深度学习1也可以说是一种机器学习，而机器学习主要研究人工智能，机器如何通过经验数据的处理以不断改善运行其上的算法性能，使得其好像会学习一样；机器上通过模拟人脑神经建立的一些神经网络算法，能像人脑一样来解释数据，做出学习、判断和决策，而且这些神经网络包含了越来越多层感知器，似乎有了深度一样，因此这类机器学习方法就称为深度学习。深度学习对于人类最本能的视觉、听觉、思考方面自然大有裨益，如自然语言处理、视频图形解析、机器翻译等，具体如目标检测、车辆识别、行为判断更是广泛应用。深度学习算法的应用需要两大基础：首先是需要用海量的综合数据进行自学习、自归纳，在这方面，以视频监控系统每天所产生的海量视频监控数据，已足够支撑深度学习算法所需的样本数量；其次是需要依托 GPU 强大的图像并行处理性能。GPU 又称显示核心、视觉处理器、显示芯片，是一种专门从事图像运算工作的微处理器，在浮点运算、并行计算等方面可以提供比 CPU 性能高数十、上百倍的性能，更适合深度学习算法的大规模计算处理。58软 件第 44 卷 第 7 期SOFTWARE深度学习通过视频智能训练平台实现，通过对素材模型标定、训练、校验、算法下发到前端设备，使得前端设备具有智能算法，用户使用过程中，出现的识别错误，可以把错误标定素材提供给厂家，进行再次标定训练，以逐步提升算法精准度。本项目研究视频智能监管平台需求，借助港区内的泊位、堆场、查验场、卡口通道视频监控设备相结合，设计从装卸船、堆场运提、仓储管理、检查验核、卡口监控等作业环节的智能监管要求，通过深度学习进行目标识别、行为标定、规则判别等，实现现场操作与调度管理协同合作，保证各环节的简单操作要求符合整个监管场所资源配置的全局统筹，使整个监管业务流程更加规范化、标准化，使船舶监管、港区装卸、堆场管理、卡口监控等业务管理更加协调、科学和高效。2 国内外研究现状与分析深度学习由大数据处理的神经网络（CNN、RNN等）发展而来，从感知器、多层感知器的不断引入，到深度算法模型的推陈出新，特别是在 2012 年，Hinton G、Bengio Y、LeCun Y 等提出神经网络模型 AlexNet，在参加 ImageNet 竞赛中获得碾压成绩，由此深度学习进入了爆发式的发展阶段，可以说是深度学习的迅速发展助推了人工智能进入新的时代2。近几年，我国在平安中国、智慧城市、智能交通等方面的建设蓬勃发展，金融、社区、地产等各行业用户的自动化识别、智能化预警需求的大量涌现，视频监控市场取得快速发展。数据显示，20102020 年期间，我国视频监控市场由 242 亿元增长到 2000 多亿元，年均复合增长率达 24.53%。如何让视频智能监控从“看得见”向“看得清”“看得懂”不断进化，利用计算机视觉、图像处理、深度学习等人工智能技术为用户提供智能视频监控方案，助力实现各行业“无人化、智能化”。目前，利用计算机视觉、图像识别、深度学习等技术，针对港口无人化、自动化发展方向，上海、深圳等港口完成了国内首套港口无人化远控的视频系统，并在多个港口推广实施。能够提供箱号识别、车顶号识别、箱门朝向识别、箱体残损、RTG 自动避障控制、远程视频操控等功能。3 场所视频智能监管框架设计3.1 设计思路视频智能监管主要进行受监管货物堆存区、卡口通道等现场视频图像数据的采集工作，结合场所现有重要区域部分已建摄像机视频流，提供监管货物运输车辆车牌号码、车辆过卡通行记录、越界入侵报警等分析数据传输到场所智慧监管模块和数据综合分析模块，为场所智慧监管提供信息支撑，使场所监管工作人员能实时掌握场所各重点区域发生的情况3。通过口岸场所实际区域实景或地图资源，建立面向场所各类管理服务应用的全景可视化监管平台，实现口岸场所统一的区域管理和各类重点敏感货物管理要求，便于以时间、空间、作业规范、操作标准等方面实现各方运行、管理、监管部门资源的有效整合与共享共用，并可以展示现场工作实时画面、车辆运行情况、具体货物单证数据等信息，通过与现场实时视频信息进行比对，预警事件的分析处理，既可以实时核对场所存放货物数据与现场实货信息一致，还可以结合场所规范、标准来发现各类异常情况，作出相应处理。利用口岸场所运营数据信息特征、云存储和计算服务资源以及智能视频监控平台，建立场所区域、区域划分、通道、人员、车辆、货物、数据流、视频流等资源的可视化，实现虚实结合的监控与展现，对口岸场所运营情况建立具备深度学习算法模型训练加持的视频智能监控和预警，满足场所各业务运营、管理、监管部门要求，保障口岸场所生产、物流、商务等各方面系统有效对接联动。3.2 视频图像解析在对智能监控中的视频画面、截取图片中呈现出来的物体、车辆、人员、数字、颜色等特征属性，运用目标检测、对象识别、特征提取等深度学习的分析方法，提取出核心信息，并描述出文本的语义，进而可被计算机读取、检索、理解的文本信息。视频图像解析的一般流程如图 1 所示。视频智能监控会产生海量的视频与图片，这些原始视频或图片均为非结构化数据，传统上要先由人工进行内容信息的标注、提取，而半结构化视频或图片，则是让计算机先提取部分信息，再由人工开始内容信息的标注、提取。因此，不管是非结构化还是半结构化的视频或图片，都不能有效满足场所视频智能监管的数据核验车辆、货物监管业务，将视频或图片中的内容信息进行结构化解析，是场所视频智能监管设计首先需要考虑的问题。3.3 视频智能分析框架设计智能视频分析是利用计算机图像分析技术，进行视频画面的结构化解析，还要将场景中的背景与目标区别出来，分析理解在摄像机场景内出现的目标后进行追踪，如果目标在特定场景中出现了违反某些预先设置了规则的行为，监控系统就会启动预先设置的关联响应规59余泽辉 黄传恭 王震等：深度学习在口岸场所视频智能监管中的框架设计则，以达到主动预警、自动提示的效果4。视频智能分析的框架设计主要有三种方式：（1）是前端分析，现在的智能分析摄像机具有 GPU 芯片及运行的智能算法，可以在现场进行实时分析，但是，其硬件性能限制，使其复杂算法难以适用；（2）是后端分析，采用后端服务器加智能分析软件的运行方式，可以借助强大的计算能力进行复杂算法的加载应用；（3）是前后端融合分析，前端作为辅助手段，提取视频内容结构化数据，后端服务器对数据进行运算，同时对目前前端设备内置的智能算法尚不能独立识别的行为进行补充分析，从而提炼出对系统预警有用的关键信息。考虑不同口岸场所的视频监控智能分析应用场景复杂，根据视频智能分析技术的发展方向，并从保护投资的角度来说，视频智能分析应采用后端分析与前端分析并存的模式。在口岸场所各作业环节过程中，主要分析周界警戒、堆场运提、仓储管理、检查验核、卡口放行等中出现的视频智能分析要求，包括视频基础应用、车辆人员入侵预警、人工开启箱门预警、车辆识别异常预警、车辆轨迹与货物属性不符预警、车辆停车位置与堆场属性不符预警、场所周界越界预警、预警事件管理等功能设计。视频智能分析框架如图 2 所示。3.3.1 视频基础应用视频基础应用通过流媒体转发服务器对数据源申请数据流和多线程网络分发，在地图上显示各类视频监控点、位置、报警事件，实现监控报警的可视化。远程控制前端镜头旋转、扫描、变倍变焦、预置位设置和启动、巡航轨迹设定和启动等。自动轮巡视频画面，按照事先设定的触发条件和时间间隔轮流显示相应的监控画面，或者任意挑选轮巡的画面和顺序。远程控制指定设备在设定时间内执行特定操作，处理或发出相应提醒、警示类信息。3.3.2 车辆人员入侵预警以重点区域周边的监控摄像机为基础，通过对画面中设置警戒线，防止重点区域的人员或车辆入侵。如果有目标跨越警戒线，系统会自动锁定目标并触发报警，同时将预警信息、报警相机 ID 与报警时间和预警切片视频传送给场所智慧监管模块和数据综合分析业务模块，以根据设定生成相应的预警信息。支持大范围内部署穿越警戒线、区域入侵、进入区域、离开区域共 4 种模式的入侵规则。3.3.3 人工开启箱门预警以覆盖堆场堆存区域的监控摄像机为基础，在相机视野能够完整覆盖检测区域的情况下，利用大量的箱门开启集装箱图片，经过神经网络的学习，实现对箱门开启状态的检测。通过行人检测技术，可准确识别出开启箱门的集装箱旁边是否有人存在。当检测结果显示：检图 1 视频图像解析的一般流程Fig.1 General flow of video image analysis图 2 视频智能分析框架示意图Fig.2 Schematic diagram of video intelligent analysis framework视 频图 像非结构化数据物体车辆人员周界操作轨迹其他身体穿戴车牌车体形状颜色位置时间通道环境周界环境操作流程轨迹定义其他解析目标特性信息集装箱人工开启箱门预警重点区域车牌识别异常检测车辆轨迹与货物属性不符预警场所周界越界预警车辆停车位置与堆场属性不符预警车辆人员入侵预警STOP60软 件第 44 卷 第 7 期SOFTWARE测区域内有人员存在，并且集装箱门由关闭状态变为开启状态后，即可判定手工开启箱门。预警信息产生后，将预警信息、报警相机 ID 与报警时间和预警切片视频传送给场所智慧监管模块和数据综合分析业务模块，以根据设定生成相应的预警信息。3.3.4 车牌识别异常预警在触发车牌识别方面，采用由视频检测作为触发条件，当检测到有车辆时，触发车牌识别任务的开启，对相机监控范围内的车牌进行识别分析，并将分析结果进行上报。车牌自动识别可对符合“GA36-2014”标准的民用车、警用车、使领馆车及 2012 式军车、武警部队车的牌照进行自动识别，如车牌号码、车牌颜色识别，车辆图像信息能够准确记录识别捕获的通行车辆信息，还关联识别的结构化信息，如捕获日期、精确时间、精准地点、行驶方向、车牌号码颜色、车辆颜色、行驶速度等，车辆图片及关联信息保存到数据库，同时将相关识别确认的文本信息标注在图片上。3.3.5 车辆轨迹与货物属性不符预警以在重点区域和通道架设的监控摄像机为基础，对往来车辆的动态车牌信息进行抓拍。将车牌识别结果与结果对应的时间戳推送给场所智慧监管平台的数据综合分析业务模块，由数据综合分析业务模块对车辆到达预定区域与货物的属性是否相符，到达预定区域是否超时，发现异常则产生预警。3.3.6 车辆停车位置与堆场属性不符预警以在重点区域和通道架设的监控摄像机为基础，利用视频智能分析对“车辆停止”行为进行检测，在车辆保持停止一定时间后，即可确认车辆并非为“临时停靠”，随即触发车牌识别功能，由前端摄像机抓拍车牌，进行车牌识别。在识别完成后，将车牌信息与结果对应的时间戳推送给场所智慧监管平台进行数据综合分析，判断车辆停车位置是否符合堆场属性等。可根据实际管理要求调整最长停车时限，如果车辆在不符合停车的区域停车超过限定时间，启动车牌抓拍，并自动放大跟踪所停车辆，自动记录车辆的停车信息，提醒监管人员立即采取适当处置措施或者其他自动处置预案等。3.3.7 场所周界越界预警以架设在场所周界的监控摄像机为基础，实现越界侦测。在需要监控的周界上绘制单条、多条绊线，当有物体越过绊线时，即可发出报警。当发生周界入侵行为时，系统将即刻生成报警指令，将预警信息、报警相机 ID 与报警时间和预警切片视频传送给场所智慧监管平台的数据综合分析业务模块，以根据设定生成相应的预警信息。3.3.8 预警事件管理在场所视频智能监管中，需要实时处理各类实时预警事件，视频智能监控在地图上改变基础监控点颜色并闪烁，监控人员查看实时事件详细情况，包括事件级别、实际状况、时间点、所在区域/位置、事件源头，事件类别、处理规则及联动应对措施等；监控人员可以按照事件类别、事件等级、处理规则来区分报警事件，过滤掉可能出现的误报；监控人员也可以按照所在区域/位置、事件源头、事件级别、事件类别、起始/结束时间、处理规则、处理结果等条件查询、统计有关预警事件，查看历史某个具体预警事件详细情况，在场所地图上某个区域/位置查看事件的历史预警记录等。4 结语本研究将强化监管部门在场所周界警戒、堆场运提、仓储管理、检查验核、卡口监控等 5 个重点作业环节的监管能力，实现车辆、货物、数据的信息化、可视化，实现数据自动预警分析，运用信息化智慧监管手段对部门监管货物实施监管，在口岸场所实现不使用物理围网对监管货物和非监管货物实施隔离的前提下，实现监管部门的严密监管和场所的高效运作的有机结合。参考文献1 LECUN Y,BENGIO Y,HINTON G.Deep LeaningJ.Nature,2015(521):436-444.2 鲍天龙.基于深度学习的监控视频中的异常事件检测和对象识别D.合肥:中国科学技术大学,2019.3 王瑞,李霄峰,史天运,等.基于视频深度学习的铁路周界入侵检测算法研究J.交通运输系统工程与信息,2020,20(2):61-68.4 云旭,宋焕生,梁浩翔,等.基于深度学习的关键岗位人员行为分析系统J.计算机工程与应用,2021,57(6):225-231.