弱电安防--大数据与视频监控.docx

大数据与视频监控
大数据的背景就是“信息爆炸"，随着物联网、电子商 务、视频网站、平安城市视频监控、微博、等应用的迅速发 展，数据信息呈爆炸性增长。据统计，2012年，全球的电 脑用户平均每天创造200多亿GB数据；沃尔玛仅每小时处 理的客户交易就超过100万次；每天亚马逊上将产生600万 笔订单；Twitter上每天发布5千万多条消息；Facebook 上的照片有400亿张；YouTube网站用户每分钟上传50小 时时长的视频；Google每天处理的搜索量超过30亿次；安 装有20万高清摄像头的平安城市，每天至少产生1P的视频 数据。这些被学术界分为结构化、非结构化以及半结构化的 海量的各类数据，统称“大数据”(BigData)。
大数据是指无法在一定时间内用传统数据库软件工具对 其内容进行抓取、管理和处理的数据集合，大数据技术被设 计用于在成本可承受(Economically)的条件下，通过非 常快速(Velocity)的采集、发现和分析，从大量化 (Volume)、多类别(Variety)的数据中提取出价值 (Value),大数据融合云计算是IT领域新一代的技术与架 构。
大数据的应用分以下几个步骤： 数据采集、核实与过滤;在数据仓库内的分类和储存；数据挖掘以找到数据所隐含的规律和数据间的关联；数据模型建立和参数调整；基于数据的应用开发和决策支持。
行业一般认为，云计算的核心是业务模式，本质是数据 处理技术。数据是资产，云为数据资产提供了保管、访问的 场所和渠道。如何挖掘数据资产，使其为商业经营、企业决 策乃至公共安全服务，是大数据的核心议题，也是云计算内 在的灵魂和必然的发展方向。大数据技术将是IT领域新一 代的技术与架构，他将帮助人们从大体量，高复杂的数据中 提取价值。简言之，从各种各样类型的数据中，快速获得有 价值信息的能力，就是大数据技术。
目前看，通过用户行为分析实现精准营销是大数据的典 型而比较成功的应用
目前看，通过用户行为分析实现精准营销是大数据的典 型而比较成功的应用，但是大数据在各行各业特别是公共服 务领域具有广阔的应用前景，包括安全、气象、医疗甚至军 事。
高清监控目前存在的问题海量数据存储&扩展问题海量数据智能计算&分析问题系统高可靠性&冗余问题大数据视频监控的优势
以Hadoop为主的大数据技术，核心特点是分布式存储 架构(HDFS)及分布式计算框架(Map-Reduce) , Hadoop架 构非常适合一次写入，多次读取、高效计算、海量数据的存 储及分析计算，而高清网络视频监控应用正好契合这些特 点，视频监控资源通过网络进行分布存储(到不同节点)， 视频数据一旦写入，很少需要修改，但是可能需要多次读取 (录像回放)，并有高效计算需求(视频实时分析及二次分 析，检索等需求。
结合视频监控业务特点，引入Hadoop的架构，以实现 大数据网络视频监控系统，将会解决很多目前视频监控系统 存在的问题，当然，也有一些新问题需要克服。
大数据的监控应用探讨基于云计算的视频监控架构基于Hadoop的视频存储架构基于Hadoop的视频分析基于Hadoop的大规模视频分析应用
利用Hadoop平台的HDFS架构实现算法的多节点并行 化分析处理是提高视频分析处理速度的关键。首先HDFS系 统将海量视频分布存储在集群的所有数据节点中，在客户端 提交了任务后，Hadoop遵循了 "移动计算比移动数据更经 济”的原则将任务分发到集群的各个DataNode节点的 TaskTracker中；每个TaskTracker将运行各自的任务，调 用本地DataNode上的视频进行处理。由于Hadoop利用了 集群的处理能力，因此大大加快了海量视频的处理。
基于Hadoop的视频转码
视频转码(VideoTranscoding)是指将已经压缩编码 的视频码流转换成另一个视频码流(格式、分辨率、帧 率)，以适应不同的网络带宽、不同的终端处理能力和不同 的用户需求。视频转码技术主要应用于视频广播转码、媒体 网管、多媒体会议、医疗影像和视频监控等企业级应用中， 也被用于包括数字媒体适配器、高清视频会议终端、高级数 字机顶盒、IP视频电话和高清网络摄像机等消费类产品 中。转码本质上是一个先解码，再编码的过程，因此转换前 后的码流可能遵循相同的视频编码标准，也可能不遵循相同 的视频编码标准。视频转码过程需要大量的计算资源，因此 比较适合分布式存储及计算架构的Hadoop系统实施。
总结
Hadoop作为一个重量级的分布式开源框架已经在大数 据处理领域有所作为，企业希望利用Hadoop来规划其自身 未来数据处理的蓝图。从EMC、Oracle到Microsoft几乎 所有高科技厂商都宣布了自己以Hadoop为基础的大数据战 略，而安防行业的一些领导级企业，也开始了大数据在雪亮 工程、城市智能交通管理等方面的部署。