用大数据技术挖掘视频监控数据的价值.docx

用大数据技术挖掘视频监控数据的价值

　　随着数据量的增加，哪怕对TB级别的视频数据进行对视频内容的数据分析和检索，传统技术模式下可能需要花费数小时的计算，已远远不能胜任时效性的要求。用户希望能够对海量数据进行有效管理和使用，快速辨别有效数据，提高数据利用价值。
　　得益于IT信息技术的快速进步，人类可以随时随地记录下产生的各类数据，同时数据存储的成本也正以前所未有的速度下降，大数据时代正悄然来临。在视频监控领域，高清化，大联网数据汇聚推动视频大数据形成，业务实战化推动大数据分析需求。
　　一、视频监控业务的大数据特征
　　在视频监控领域，大数据的特点，可用Volume、Variety、Velocity、Value这4个V来概括(如图1)。大数据的特点包括以下几点：

    第一，数据体量巨大(Volume)。高清化带来单个监控点数据量即以指数级增长，例如单个1080PIPC30天就会产生2T数据;IP化大联网后，各平台实现互联，平安城市网内摄像头数量达数万数十万级别，其数据量之巨大可想而知。
　　第二，数据类型繁多(Variety)。视频监控领域的视频编码格式包括：H.264、MPEG-4、MJPEG等多样化的编码方式。而同时随着各类物联网技术的融入到视频监控业务，汇聚了包括各种传感器、IT、CT系统产生的多样的数据。业务系统需要把结构化与非结构化数据相互关联，统一存储。
　　第三，处理速度快(Velocity)。视频数据随时间快速增长，并以持续顺序到达。在视频监控领域，视频分析的效率决定价值，更低的延迟、更准确的分析是平安城市这类客户的普遍需求。随着数据量的增加，哪怕对TB级别的数据进行视频内容的数据分析和检索，采用串行计算模式都可能需要花费数小时的计算，已远远不能胜任时效性的需求。
　　第四，价值密度低(Value)，效率要求高。在视频监控业务中，价值密度的高低与数据总量的大小成反比。一小时的视频监控内容，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题。
　　二、视频监控业务的大数据应用需求
　　随着数据量的增加，哪怕对TB级别的视频数据进行对视频内容的数据分析和检索，传统技术模式下可能需要花费数小时的计算，已远远不能胜任时效性的要求。用户希望能够对海量数据进行有效管理和使用，快速辨别有效数据，提高数据利用价值。
　　分析大数据产生小数据。摄像头7×24小时工作，如实记录镜头覆盖范围内发生的一切，仅仅记录信息是不够的，因为对于客户来讲可能大部分信息是无效，有效信息可能只分布在一个较短的时间段内，按照数学统计理论，信息是呈现出幂律分布的，或称之为信息密度，往往密度越高的信息对客户价值越大。实时涌入的海量数据容易产生大量的休眠数据，浪费大量存储资源。对海量数据进行智能分析，提取出价值数据片段。建立摘要信息，减少用户需要面对处理的数据量，形成元数据信息库。
　　提纯小数据产生价值数据，例如在公安系统中希望能集中分析过去和现在的犯罪数据和视频图片，整合所有信息，能提供对犯罪趋势更全面的看法。这就需要针对海量历史数据实现快速检索，并对貌似非关联的数据进行关联，并在可视化平台进行呈现，总结出数据规律，为决策者提供参考和预测未来业务走向。
　　三、视频监控大数据分析所需的关键能力
　　因为视频监控中大体量数据带来了很多现实中的难题，我们需要在视频监控解决方案中引入大数据技术。基于视频监控业务的特点，我们认为四类关键技术发挥至关重要的作用。
　　智能分析能力。基于计算机图像识别算法，对视频图像内容进行理解和分析，生成图像内容和行为的描述信息，并以结构化或半结构化语言描述，为视频大数据分析与应用提供基础;
　　大数据处理能力。基于大数据并行或分布式处理技术，如Hadoop，Hbase等，形成面向大数据的分布式存储与数据管理框架;提供实时和批处理ETL，实现数据清洗/转换/装载，以形成价值信息汇聚;
　　数据挖掘与分析能力。对智能分析元数据的检索、数据挖掘与分析能力，即对视频数据的高效利用能力;与非视频数据整合分析，挖掘事件关联及产生模式，提升视频数据价值的能力;
　　可视化展现能力。对视频内容的高效检索、比对和呈现能力;与GIS平台、情报分析平台、应急处理平台等地方平台视图整合展现，提升视频数据实用性的能力。
　　通过大数据技术，进一步挖掘海量视频监控数据背后的价值信息，快速反馈内涵知识辅助决策判断将是未来视频监控应用的发展方向。
　　四、视频智能大数据分析架构
　　视频监控业务的核心就是数据，数据就是业务本身，笔者公司的视频监控大数据架构平台可以给大型的视频监控项目带来诸多的裨益。
　　该智能大数据架构灵活，伸缩弹性更大。实现计算、存储资源云化部署，设备自组网、自管理，业务永不中断，按需弹性扩容。支持分布式检索引擎，通过分布式数据库MongoDB，支持海量数据存储，10亿条记录，秒级即可完成数据检索和呈现。
　　开放架构，智能分析插件化、可扩展，ISV定制开发简单快捷。开放架构，第三方智能分析插件可无缝集成;提供智能算法、智能分析应用服务REST标准接口，支持ISV定制开发。
　　丰富的智能分析能力，支持可视化操作管理和图形化研判分析。实现可疑行为自动报警、全网点实时布控、人/车精准识别、视频内容高效检索、案件智能分析、以及设备故障自诊断。
　　从大数据架构图(图2)可以看到：

    DAU(分布式分析单元)：支持流式计算，可分布式部署，对含视频在内的媒体内容进行智能分析;通过媒体数据预处理，支持插件业务框架，可引入各类第三方算法插件，基于ONVIF/PSIA数据封装器，对协议进行适配;
　　DPU(数据处理单元)：提供包括第三方数据接入适配，进行数据的汇聚，并对非结构化数据归档，通过数据转换引擎，实现数据的清洗和转换，另外根据规则引擎下发实时告警规则上报实时告警信息;
　　DMU(数据挖掘单元)：规则模型管理，采用可视化界面定义业务规则(Schema);为加快数据处理实时性，引入高效率的内存数据库技术。经过前面数据处理层处理后的数据，以关系型数据形式进行存放;
　　AE(应用环境)：业务应用及呈现，提供业务生成框架，用户可进行灵活的业务配置。统一数据访问接口，应用开发环境，便于第三方合作伙伴进行整治业务应用开发。
　　五、大数据视频监控构架带来的价值
　　大数据视频架构是革命性的技术，特别在实时智能分析和数据挖掘方面，让视频监控从人工抽检，进步到高效事前预警、事后分析，实现智能化的信息分析、预测，为视频监控领域业务带来深刻的变革(如图3)：

    平安城市领域，实时汇总并综合分析各种公共安全数据和资料，为执法人员快速准确应对提供科学依据：如实时调阅现场视频录像、犯罪嫌疑人记录、同一地区的相似案件资料;进行地理、时间和空间的比较分析，揭示其犯罪模式和行为模式;追踪嫌疑人与其车辆的位置等。指挥人员也可以参照各种数据对不同来源的资料进行综合分析，制作指挥图。
　　智能交通行业，可以轻松监控摄像覆盖范围内的所有车辆的行驶状态、运行轨迹，快速分析出其是否违章，通过对海量交通数据的比对、分析和研判，实现指定车辆行驶路径、道路拥堵研判等功能。
　　云服务领域：实现基于大数据的视频监控云服务，让摄像机仅通过互连网就能连接云端的视频监控托管服务，通过快速、智能地分析部署在云端的大数据，为小型企业、零售商店、餐馆酒店等提供实时的监控视频和潜在的风险管理，甚至能提供收费的基于视频内容的分析报告，如日常的客户数，平均队列长度等，创造新的商业模式。
　　大数据技术和视频监控的结合，把孤立的视频内容通过大数据技术的加工，形成可视化结果呈现，这种转变可为视频监控业务创造更加智能高效的使用方式，让用户从繁重的观看视频监控劳动中解脱出来，能轻松自如地通过视频监控进行高效准确的决策。
　　六、总结
　　视频监控进入网络化时代以后，越来越多融入IT新兴技术，大数据技术在视频监控领域的广阔发展路径已经显现，笔者公司正致力于把大数据技术和视频监控业务实现完美的融合，以打造出大数据时代的视频监控解决方案。