资源描述
大数据与视频监控
大数据的背景就是“信息爆炸",随着物联网、电子商 务、视频网站、平安城市视频监控、微博、等应用的迅速发 展,数据信息呈爆炸性增长。据统计,2012年,全球的电 脑用户平均每天创造200多亿GB数据;沃尔玛仅每小时处 理的客户交易就超过100万次;每天亚马逊上将产生600万 笔订单;Twitter上每天发布5千万多条消息;Facebook 上的照片有400亿张;YouTube网站用户每分钟上传50小 时时长的视频;Google每天处理的搜索量超过30亿次;安 装有20万高清摄像头的平安城市,每天至少产生1P的视频 数据。这些被学术界分为结构化、非结构化以及半结构化的 海量的各类数据,统称“大数据”(BigData)。
大数据是指无法在一定时间内用传统数据库软件工具对 其内容进行抓取、管理和处理的数据集合,大数据技术被设 计用于在成本可承受(Economically)的条件下,通过非 常快速(Velocity)的采集、发现和分析,从大量化 (Volume)、多类别(Variety)的数据中提取出价值 (Value),大数据融合云计算是IT领域新一代的技术与架 构。
大数据的应用分以下几个步骤: 数据采集、核实与过滤;在数据仓库内的分类和储存;数据挖掘以找到数据所隐含的规律和数据间的关联;数据模型建立和参数调整;基于数据的应用开发和决策支持。
行业一般认为,云计算的核心是业务模式,本质是数据 处理技术。数据是资产,云为数据资产提供了保管、访问的 场所和渠道。如何挖掘数据资产,使其为商业经营、企业决 策乃至公共安全服务,是大数据的核心议题,也是云计算内 在的灵魂和必然的发展方向。大数据技术将是IT领域新一 代的技术与架构,他将帮助人们从大体量,高复杂的数据中 提取价值。简言之,从各种各样类型的数据中,快速获得有 价值信息的能力,就是大数据技术。
目前看,通过用户行为分析实现精准营销是大数据的典 型而比较成功的应用
目前看,通过用户行为分析实现精准营销是大数据的典 型而比较成功的应用,但是大数据在各行各业特别是公共服 务领域具有广阔的应用前景,包括安全、气象、医疗甚至军 事。
高清监控目前存在的问题海量数据存储&扩展问题海量数据智能计算&分析问题系统高可靠性&冗余问题大数据视频监控的优势
以Hadoop为主的大数据技术,核心特点是分布式存储 架构(HDFS)及分布式计算框架(Map-Reduce) , Hadoop架 构非常适合一次写入,多次读取、高效计算、海量数据的存 储及分析计算,而高清网络视频监控应用正好契合这些特 点,视频监控资源通过网络进行分布存储(到不同节点), 视频数据一旦写入,很少需要修改,但是可能需要多次读取 (录像回放),并有高效计算需求(视频实时分析及二次分 析,检索等需求。
结合视频监控业务特点,引入Hadoop的架构,以实现 大数据网络视频监控系统,将会解决很多目前视频监控系统 存在的问题,当然,也有一些新问题需要克服。
大数据的监控应用探讨基于云计算的视频监控架构基于Hadoop的视频存储架构基于Hadoop的视频分析基于Hadoop的大规模视频分析应用
利用Hadoop平台的HDFS架构实现算法的多节点并行 化分析处理是提高视频分析处理速度的关键。首先HDFS系 统将海量视频分布存储在集群的所有数据节点中,在客户端 提交了任务后,Hadoop遵循了 "移动计算比移动数据更经 济”的原则将任务分发到集群的各个DataNode节点的 TaskTracker中;每个TaskTracker将运行各自的任务,调 用本地DataNode上的视频进行处理。由于Hadoop利用了 集群的处理能力,因此大大加快了海量视频的处理。
基于Hadoop的视频转码
视频转码(VideoTranscoding)是指将已经压缩编码 的视频码流转换成另一个视频码流(格式、分辨率、帧 率),以适应不同的网络带宽、不同的终端处理能力和不同 的用户需求。视频转码技术主要应用于视频广播转码、媒体 网管、多媒体会议、医疗影像和视频监控等企业级应用中, 也被用于包括数字媒体适配器、高清视频会议终端、高级数 字机顶盒、IP视频电话和高清网络摄像机等消费类产品 中。转码本质上是一个先解码,再编码的过程,因此转换前 后的码流可能遵循相同的视频编码标准,也可能不遵循相同 的视频编码标准。视频转码过程需要大量的计算资源,因此 比较适合分布式存储及计算架构的Hadoop系统实施。
总结
Hadoop作为一个重量级的分布式开源框架已经在大数 据处理领域有所作为,企业希望利用Hadoop来规划其自身 未来数据处理的蓝图。从EMC、Oracle到Microsoft几乎 所有高科技厂商都宣布了自己以Hadoop为基础的大数据战 略,而安防行业的一些领导级企业,也开始了大数据在雪亮 工程、城市智能交通管理等方面的部署。
展开阅读全文