关于大数据你必须要了解的知识PPT.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2,*,大数据,什么是大数据,大数据原理和构成,大数据应用,大数据价值,Big Data,目录,1,2025/3/26 周三,什么是大数据,2,2025/3/26 周三,Big Data,什么是大数据,Hadoop,IBM,英特尔,HP,数据,商业智能,数据库,服务器,SAP HANA,NoSQL,SQL,HDFS,预测,数据流,运算节点,机器学习,并行计算,磁盘阵列,甲骨文,AMD,内存计算,Google,Map reduce,可视化,Gb,Pb,Tb,Zb,3,2025/3/26 周三,Big Data,什么是大数据,由多个软件、硬件部分组成的一个,数据系统,一个执行体系,有别于传统企业数据中心，用来应对现代,海量数据,化的生活，商业环境。,不是一个行业，而是一种新的数据处理方法,是关于,数据,的运输和处理，以及最后有效使用的体系,与云计算一样 都是一种新的生产组织形式,Web 2.0,时代的解决方案,大数据,(big data),，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯,4,2025/3/26 周三,Big Data,什么是大数据,大数据的目的,原始,数据的处理,和分类存储,将存储的数据调取并分析,最终提供决策依据,归类数据类型,有效分析组合,大数据的特点,4V,海量,高速,多样,精确,5,2025/3/26 周三,Big Data,什么是大数据,1 KB=1024,字节,存储单位,1 MB=1024 KB,1 GB=1024MB,1 TB=1024GB,1 PB=1024TB=1,048,576 GB,1 EB=1024PB=1,073,741,824 GB,1 ZB=1024EB=1,099,511,627,776 GB,100,万,G,10,亿,G,1,万亿,G,22,亿台,215,万台,2100,台,500G,硬盘电脑,15,寸电脑排成行可以往返一次月球,6,2025/3/26 周三,Big Data,什么是大数据,Volume,海量,1 PB=1024TB=1,048,576 GB,1 EB=1024PB=1,073,741,824 GB,1 ZB=1024EB=1,099,511,627,776 GB,Intel,：人类文明开始到,2003,年 地球共产生了,5EB,数据,.,2012,年全年，全球产生数据,2.7ZB,是,2003,年以前的,500,倍,2015,年，全球估计产生数据,8ZB,，等于,1800,万个美国国会图书馆,44%,35 ZB,2000,年 数字信息占全球数据量的,25%75%,都在报纸 胶片 磁带等媒介,2013,年 数字信息98%,非数字信息,2%,7,2025/3/26 周三,Big Data,什么是大数据,商业数据现状,Twitter,2007,年,5000,条微博更新,/,天,2008,年,30,万条微博更新,/,天,2009,年,250,万条微博更新,/,天,2010,年,3500,万条微博更新,/,天,2011,年,2,亿条微博更新,/,天,2013,年,4,亿条微博更新,/,天,2013,年 上传时长,12,年的视频,/,天,2013,年 用户分享,25,亿条信息,/,天,我国一个一线城市的健康档案数据,5PB/,年,我国一个智慧城市的数据,800 PB/,年,一个单数据表几亿,-,几百亿条记录,下线商品,14,亿件，在线商品,8,亿件,淘宝数据库存了,20PB,数据,平均每月增加,1.5PB,智能移动终端设备的巨量增长,8,2025/3/26 周三,Big Data,什么是大数据,Velocity,高速,6000,万用户登录,/,天,20,亿次 页面访问,/,天,每天,1.2,亿次网站访问 响应时间小于,100,毫秒,大数据的惊人不止是在数量上，同时数据还是巨量具有动态分析价值的数据。,访问响应时间的加快，数据库读写速度的加快，对电商企业来说就等于多成交。,对于很多情况下，动态的数据价值远大于静态数据，比如气象预测，灾难预测，快消行业等。,由于输入速度加快，所以要求输出速度也要加快,92025/3/26 周三,Big Data,什么是大数据,Variety,多样,数据：,结构化数据,半结构化数据,非结构化数据,指关系型数据表,指关系结构与内容混合在一起的数据类型,文档、视频、音频、图片,20%,结构化,80,非结构化,企业数据,2012,年互联网产生的数据,25%,结构化,75,非结构化,50%-70%,源于人与人的互动,10,2025/3/26 周三,Big Data,什么是大数据,Veracity,准确,大数据的核心思想之一,准确源自于对全部数据的处理分析,基础数据的真实准确性，才能保证结果的有效性。,11,2025/3/26 周三,Big Data,什么是大数据,大数据,VS,云计算,两者都是生产方式改变为主，生产资料改变为辅，提高生产效率。,云计算是将计算和存储，由本地转移到了云端。,大数据则是提供了一套新的计算和存储工作原理。,二者有本质的不同，但却是一个完整的体系。大数据可以是云计算的心脏，云计算是大数据服务的通路。,12,2025/3/26 周三,Big Data,什么是大数据,大数据,VS,物联网,物联网是大数据的流程中的第一层,采集层,物联网网关以上就进入了大数据工作范畴。,局部域内的物联网应用解决方案等同于这个域内的大数据系统,13,2025/3/26 周三,大数据原理和构成,14,2025/3/26 周三,大数据的核心工作思路,大数据系统颠覆了传统数据中心的工作逻辑,传统数据系统工作逻辑：,运算系统调动数据库的数据，数据的移动。,大数据系统工作逻辑：,运算系统直接部署至数据处，数据仅架构内移动。,Big Data,大数据原理和构成,15,2025/3/26 周三,Big Data,大数据原理和构成,传统数据系统工作原理,客户,客户,客户,客户,客户,客户,互联网,路由器,访问请求,负载均衡,服务器集群,DB,DB,DB,DB,数据库集群,数据调用请求,数据移动,结果反馈,16,2025/3/26 周三,Big Data,大数据原理和构成,Hadoop,软件框架,大数据系统核心组件,Mapreduce,HBase,HDFS,Hadoop,核心子项目,17,2025/3/26 周三,Big Data,大数据原理和构成,Hadoop,系统工作原理,18,2025/3/26 周三,Big Data,大数据原理和构成,Hadoop,系统构架,19,2025/3/26 周三,Big Data,大数据原理和构成,存储与数据库的比较,传统数据中心,Hadoop,JOBD RAID,存储系统,HDFS,容错性,扩展性,某已分配任务出错，该计算必须重新执行,节点灵活调整,节点相对固定，扩展时会造成无法访问,在任务执行中任何时候可任意添加节点,SQL,NoSQL,数据类型,平行计算系统,Map Reduce,RAID,出现坏盘后，重建阵列需要十多个小时，这在大数据时代是无法接受的,20,2025/3/26 周三,Big Data,大数据原理和构成,SAP HANA,Hadoop,的升级,内存计算技术,真正的海量数据瞬间分析,内存数据库,实现任何地点、任何时候、可以查看实时的动态数据，任何时候都可以知道正在发生着什么。并且做出应对。,利用高性能的大数据一体机服务器，将数据库直接植入大容量内存中进行实时处理。,Hadoop,Mapreduce HDFS,HBase,21,2025/3/26 周三,Big Data,大数据原理和构成,大数据的硬件,32,颗处理器、每颗处理器,12,核,=384,核,X 96,个线程,32TB,的内存 很多中型企业的数据库也只不过几,TB.,可以完美运行内存计算数据库,大数据一体机,服务器,+,存储,+,网络,=,融合基础架构,SeaMicro SM15000,64,颗处理器、每颗处理器,8,核,=512,核心,4TB,的内存,5PB,本地存储,10U,的空间,万兆以太网,System x3650 M4,机架式,2U,2,颗处理器,8,核心,内存最大,768GB,本地存储,9TB,2.6,万,换算成,10U,的空间,80,核心,22,2025/3/26 周三,大数据的软件,数据存储管理,数据处理,数据分析,Hadoop,数据库软件,Big Data,大数据原理和构成,提取 转换 归类,可视化,BI,商业智能,大数据的核心价值,高附加值阶段,23,2025/3/26 周三,大数据应用,24,2025/3/26 周三,Big Data,大数据应用,大数据应用的意义,巨量数据的产生,对所有复杂数据格式的归类管理分析,20%,结构化数据的分析利用,80%,非结构化的没有发挥作用，商业洞察力的资源浪费。,找出最优解决方案,应用的核心,大数据分析,25,2025/3/26 周三,Big Data,大数据应用,数据质量和数据管理,可视化分析,语义引擎,数据挖掘算法,预测性分析能力,大数据应用的分析方法,高质量的数据处理和管理是输出高质量结果的前提,深入数据内部，用机器去做人工做不到的数据价值发现,从非结构化数据中提取信息的方式,展示数据分析结果，供使用者决策,根据可视化和数据挖掘的结果做出预测,26,2025/3/26 周三,Big Data,大数据应用,大数据应用的分析逻辑,Descriptive,Predictive,Prescriptive,发生了什么？为什么,?,还会发生什么,?,还会发生什么？，如果发生了，如何应对？,27,2025/3/26 周三,Big Data,大数据应用,大数据应用的假想一,给某总办公室、汽车、家里装上烟感。,发现某总在办公室的抽烟数量最大，在车里和在家基本不抽。,那么就可以知道，某总在工作期间香烟以及与香烟有关的产品消费多。,那在家期间的消费习惯又是什么，根据人的行为习惯，不抽烟但需要其他事情分散注意力。,吃东西？看电视？看书？,。,。,。,这样就可以深入了解一个人的消费行为习惯，从而提前做出应对或者积极的主动应对。,28,2025/3/26 周三,Big Data,大数据应用,大数据应用的假想二,通过对某人淘宝购物的跟踪分析，挖掘出他的消费趋势。,某男，在电子商务网站上长期买衣服，内衣等商品。通过消费记录可以预知其单身。,用百度联盟，把世纪佳缘，花田等交友网站的广告推送给他。,某男开始买女士消费品了比如衣服，鞋帽等。则说明该男找到女朋友了。,通过信用卡记录可以分析出其关系进展情况。,发现其买房，装修了。则该男快结婚了。,之后就是孕婴用品的推荐。,29,2025/3/26 周三,Big Data,大数据应用,大数据的大应用,城市智能交通,智能电力照明能源管理系统,智能健康医疗体系,政府财政管理综合信息系统,工商企业信息系统,。,。,30,2025/3/26 周三,大数据价值,31,2025/3/26 周三,Big Data,大数据价值,大数据市场价值,IDC,预测 中国的大数据服务市场,2011,年,7760,万美元 增长到,2016,年,6,亿美元,IDC,预测,2016,年全球市场规模,238,亿美元,31.7%,服务器市场,21.1%,存储市场,53.4%,基础设备,40%,趋势,增值服务,软件,32,2025/3/26 周三,Big Data,大数据价值,大数据市场价值,33,2025/3/26 周三,谢谢,34,2025/3/26 周三,