大数据介绍PPT课件.pptx

,1,2,3,大数据概述,大数据,4V,特性,相关领域应用,.,4,相关技术架构,目录,.,1,大数据概述,.,大数据产生的背景,什么是大数据,大数据时代,数据量级变化,大数据产生背景,数据量级不断增加|,根据IDC 监测，人类产生的数据,量正在呈指数级增长，大约每两年翻一番，这个速度在2020,年之前会继续保持下去。,数据结构日趋复杂,|,大量新数据源的出现则导致非结构化、,半结构化数据爆发式的增长,TB,PB,ZB,EB,地球上至今的数据量,.,：,在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；,在2011 年，这个数字达到了1.8ZB。,而有市场研究机构预测：到2020 年，整个世界的数,据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）,说明,互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,1GB（Gigabyte）=1024MB,1TB（Terabyte）=1024GB,1PB（Petabyte）=1024TB,1EB（Exabyte）=1024PB,1ZB（Zettabyte）=1024EB,大数据时代,变化,数据,在web 2.0的时代，人们从信息的被动接受者变成了主动创造者,全球每秒钟发送 2.9 百万封电子邮件，,每天会有 2.88 万个小时的视频上传到Youtube，,推特上每天发布 5 千万条消息,量级,每月网民在Facebook 上要花费7 千亿分钟，发送和接收的数据高达1.3EB,Google 上每天需要处理24PB 的数据,数结,多样性,大数据的定义,.,大数据（big data）,，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。,想驾驭这庞大的数据，我们必须了解大数据的特征,。,facebook,社交网络,淘宝、,ebuy,电子商务,微博、,Apps,移动互联,2,大数据的,4V,特性,.,体量Volume,多样性Variety,价值密度Value,速度Velocity,数据结构,海量,存储能力,读写速度,实时,.,大数据,分析,hadoop,hbase,spark,strom,大数据典型特性,存储能力变化,数据量不断增加，存储能力也随之不断增强,存储能力,大数据典型特性,读写速度提升,与云计算相结合的大数据存储速度显著提升,数据体量,读写速度,读写速度,大数据典型特性,多样性发展,数据结构更加复杂，呈多样性发展,数据结构,多样性,1,2,3,4,体量Volume,多样性Variety,价值密度Value,速度Velocity,4V,特,性,从,非结构化数据的超大规模和增长，比结构化数据增长快10倍到50倍，是传统数据仓库的10倍到50倍，总数据量的8090%,大数据的异构和多样性，多种形式（文本、图像、视频、机器数据），无模式或者模式不明显，,不连贯的语法或句义,大量的不相关信息对未来趋势与模式的可预测分析，深度复杂分析，机器学习、人工智能Vs传统商务智能(咨询、报告等）,实时分析而非批量式分析，数据输入、处理与丢弃，立竿见影而非事后见效,3,相关领域应用,.,军事,建设公共基础设施应该如何选址？,怎样有效提高公众生活安全水平？,人口土地、资源利用如何优化？,自然灾害、雾霾情况怎样最大化去改善？,城市交通拥堵情况怎么去解决？,合理规划很重要,食品安全,消费行业,金融服务,电子商务,气象,交通环保,医疗卫生,军事,食品安全,消费行业,金融服务,电子商务,气象,交通环保,医疗卫生,VS,优化,城市,实时交通信息,：,利用社交网络和天气数据来,优化,最,新的交通情况,智能城市系统,：,自动通知消防、公安、医院等，迅速,到达现场处理,自然灾害预测,：,实时监测、对潜在危机做出快速响应，,通过卫星和遥感技术,远程获取灾区情况，制定合理,救援计划,智慧城市建设,：宏观调控人口、环境、土地,资源利用等，做高效的城市规划建设,正确,方式,VS,改善,生活,穿戴的装备,：根据睡眠模式、热量消耗、心率等,时刻监控健康状况,提高医疗和研发,：迅速解码,DNA,，结合海量病例,迅速制定,最优,治疗方案,改善安全和执法,：国家实时监控恐怖主义，企业,防御网络攻击，警察利用社交、公共资源数据来匹,配犯罪人员信息，捕捉罪犯,正确,方式,用户行为数据,用户消费数据,用户社交等UGC数据,培,亚马逊、SMG、淘宝,信用卡中心、蚂蚁金服,谷歌地图、大众点评、美团等APP的自动定位系统,互联网金融数据,支付宝、陆金所,用户地理位置数据,互联网大数据,简单罗列几个行业,fackbook、新浪,合理使用大数据,大数据之提高经济策略,金融服务,电子商务,消费行业,根据用户的喜好、交易记录并制定权重匹配商品，提供准确的推送,根据不同地域、不同年龄段的人群的消费情况及生活习惯，,制定提供最优服务的计划,结合热点、题材、政策和历史数据及趋势分析，制定良好的方向,4,相关技术,.,云计算,列数据库,实时分析,hadoop,生态集群,数据库,数据灵活,低价格,高性能,数据灵活,非关系型（列）,性,能,对,比,优点,缺点,优点,缺点,易理解,使用方便,支持,sql,易于维护,价格昂贵,不能自动切片,固定表结构,读写性能差,高并发读写需求,读写性能高,基于键值对无耦合,数据存储格式丰富,价格低大多免费,不提供,sql,支持,学习成本高,BI,支持弱,关系型数据库,非关系型数据库NoSql,场景不同效果也不同，目前,NoSql,是最为合适大数据发展的,关系型数据库：,Mysql,、,Oracle,、,SQserver,等,非关系型数据库：,Hbase,、,MongoDB,、Redis等,云,计,算,移动电话,PCs,TVs,PDAs,GPS,导航,汽车电子设备,智能家电,iPhone,DCs,传感器,。,我们已经进入一个无处不网、无时不网的时代！,云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。,云是网络、互联网的一种比喻说法，用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。,大数据与云计算,云计算与大数据的关系是静与动的关系，,前者强调的是计算、存储能力；,大数据需要处理大数据的能力,（数据获取、清洗、转换、存储、分析、统计等能力），,其实就是强大的计算能力和数据存储能力。,大数据必须采用云端分布式架构对海量数据进行分布式存储、分布式处理。,云计算为大数据资源、大数据挖掘提供技术设施,大数据挖掘为云计算建设和运作提供决策,相互关联性,大数据之,实时分析,是指对规模巨大的数据进行分析，利用大数据技术高效的快速完成分析，达到近似实时的效果，更及时的反映数据的价值和意义。,近实时的数据分析，是传统架构的50-1000倍,高效的响应速度在当今互联网显得极为重要,实时大数据分析,spark,实时分析框架,共性,：开源的分布式系统，具有低延迟、可扩展和容错性诸多优点,流式实时分析框架,storm,Hadoop,集群,.,什么是,hadoop?,集群又是什么？,是编程语言吗？,作用？,设计理念？,跟大数据有什么关系？,H,adoop,是开源平台,本身不是数据库,但可处理非结构化数据,这点关系数据库很难做到,java、android,等程序是用来做交互的，而,hadoop,是用来做计算的,哪些公司在使用,Hadoop,为什么使用,Hadoop,小型机,小型机,VPS,VPS,VPS,VPS,存储阵列,数据移动,EMC存储,Oracle,IBM,磁盘IO瓶颈,带宽瓶颈,计算瓶颈,cpu,cpu,基于共享存储和高性能计算的架构。,大型机和小型机的差别,存储阵列和普通硬盘的差别,IO,稳定性。,IO能力和机器数量成非正比,计算能力和机器数量成正比,scale-up(纵向扩展),集群思路引入,.,一户人家，家里有很多的田，他需要牛来耕地，他要怎么来决策耕田的问题呢？,一只普通的牛体力有限，很快就不行了,换一只昂贵的身材健硕的牛呢？,还是体力有限，很快就又不行了,最后他想到一个办法：如果找一群普通的牛，事实不会又便宜又高效呢？,集群的概念就是这么得来的,特,性,HDFS:Hadoop Distributed File System,分布式文件系统,MapReduce：分布式运算框架,YARN:Yet Another Resource Negotiator 资源管理调度系统,生,态,圈,问题：怎样存储海量数据？,HDFS,分布式文件系统,两个思想十分重要,1.,切分,2.,分装,MapReduce 介绍,MapReduce=Map（拆分）+Reduce（合并、排序）,大数据时代,来临,.,一切真相将会展现在我们面前,MOMODA POWERPOINT,Lorem ipsum dolor sit amet,consectetur adipiscing elit.Fusce id urna blandit,eleifend nulla ac,fringilla purus.Nulla iaculis tempor felis ut cursus.,感谢您的观看,专家告诉,