大数据的起源和发展优质课件专业知识讲座.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不当之处，请联系本人或网站删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不当之处，请联系本人或网站删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不当之处，请联系本人或网站删除。,大数据特征,2,大数据构成,3,大数据起源及定义,1,大数据面临的机遇和挑战,4,1.1,大数据起源及定义,1.,大数据起源,半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、,GPS,、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,全球每秒钟发送,2.9,百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读,5.5,年,每天会有,2.88,万个小时的视频上传到,Youtube,，足够一个人昼夜不息的观看3.3,年,推特上每天发布,5,千万条消息，假设,10,秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览,16,年,每天亚马逊上将产生,6.3,百万笔订单,每个月网民在,Facebook,上要花费,7,千亿分钟，被移动互联网使用者发送和接收的数据高达,1.3EB,Google,上每天需要处理,24PB,的数据,数据量增加,TB,PB,ZB,EB,根据,IDC,监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在,2020,年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。,数据结构日趋复杂,大量新数据源的出现则导致了,非结构化,、,半结构化数据爆发式的增长,这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴,大数据时代正在来临,1.,大数据起源,20,世纪,90,年代，数据仓库之父的,Bill Inmon,就经常提及,Big Data,。,2011,年,5,月，,在,“云计算相遇大数据”,为主题的,EMC World 2011,会议中,，,EMC,抛出了,Big Data,概念,。,1.,大数据起源,2.,大数据在计算机科学中处于最前沿,定义一：,大数据指的是那些大小超过标准数据库工具软件能够收集、存储、管理和分析的数据集。,摘自麦肯锡,定义二：,在信息技术中，“大数据”是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。其挑战包括采集、管理、存储、搜索、共享、分析和可视化。,摘自,WIKI,定义三：,大数据,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，,大数据,指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。,摘自,Gartner,定义四：,大数据本质上是数据交叉、方法交叉、知识交叉、领域交叉、学科交叉，从而产生新的科学研究方法、新的管理决策方法、新的经济增长方式、新的社会发展方式等等。,摘自复旦大学朱扬勇教授,3.,大数据定义,1.2,大数据特征,大数据的,4V,特征,大体量,(Volume),、,多样性,(Variety),、,快速化,(Velocity),、,价值密度低,（,Value,）”就是“大数据”的显著特征，简称,4V,特征。,大体量（,Volume),数据基本单位换算：,1B(byte,字节）,=8b,（,bit,位）,1KB(Kilobyte,千字节,)=1024B,1MB(Megabyte,，简称“兆”,)=1024KB,1GB(Gigabyte,，,简称“吉”，又称“千兆”,)=1024MB,1TB(Trillionbyte,，简称“太”,)=1024GB103GB,1PB(Petabyte,，简称“拍”字节）,=1024TB106GB,1EB(Exabyte,，简称“艾”字节）,=1024PB109GB,1ZB(Zettabyte,，简称“泽”字节,)=1024EB1012GB,大体量（,Volume),在,2006,年，个人用户才刚刚迈进,TB,时代，全球一共新产生了约,180EB,的数据；在,2011,年，这个数字达到了,1.8ZB,。而根据知名市场研究机构,IDC,的预测，到,2020,年，整个世界的数据总量将会增长,44,倍，达到,35.2ZB(1ZB=10,亿,TB),。,多样性（,Variety),互联网、移动互联网、物联网、车联网等等各种数据来源大数据的数据结构更加多样化：,图像、视频、微博,评价、邮件,PDF,、,office,文档（,word,excel,ppt,）,手机呼叫、短信,网页点击,搜索（,html,搜索行为）,地图,gps,非结构化数据增长率就达,80%,，而传统的数据样式：多半是数据库表和,xml,。,快速化,(Velocity),每秒钟，人们发送,290,封电子邮件；,每分钟人们在,youtube,上传,20,小时的视频；,人们每月在总共在,facebook,上浏览,7000,亿分钟；,移动互联网网用户发送和上传的数据量达到,1.3exabytes,，相当于,10,的,18,次方；,每秒淘宝商城成交,178,笔订单,实时股票分析（过期无用）,实时路况信息（过期无用）,数据的快速产生和实时响应是一大特征,价值密度低（,Value,）,挖掘大数据的价值类似沙里淘金比如用户评价分析，几百万的评价记录，真正有借鉴意义的就几句比如视频监控，每天产生,24,小时的视频数据，真正有价值的就几秒钟。,1.3,大数据的构成,大数据,=,海量数据,+,复杂类型的数据,大数据包括：,交易数据和交互数据集在内的所有数据集,大数据的构成,海量交易数据：,企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。,海量交互数据：,源于,Facebook,、,Twitter,、,LinkedIn,及其他来源的社交媒体数据构成。它包括了呼叫详细记录,CDR,、设备和传感器信息、,GPS,和地理定位映射数据、通过管理文件传输,Manage File Transfer,协议传送的海量图像文件、,Web,文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。,海量数据处理：,大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的,Apache Hadoop,。,1.4,大数据面临的机遇和挑战,机遇一：如何使用数据资产？,包括个人信息、消费记录在内的海量数据当中，蕴含着大量有价值的信息，可以为企业经营、管理提供参考,互联网最为本质的一点，就是网民真实的展示了个人的想法，并能迅速为人所知。心理学家说人类的细微行为，直接暴露内心的想法。挖出真正有价值的“钻石”,数据挖掘和预测性分析，成为了决定组织在新时代成败的关键,如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，是“大数据”时代的核心问题,机遇二：大数据赋予我们洞察未来的能力？,马云成功预测,2008,年经济危机,“,2008,年初,阿里巴巴平台上整个买家询盘数急剧下滑,欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据,;,而我们提前半年时间从询盘上推断大数据带来的机遇判断出世界贸易发生变化了。”,挑战一：大数据中有用信息的准确提取,数据收集,（,1,）利用大数据的开放性，全面收集各种多源异构数据集；,（,2,）从数据质量角度分析数据源的准确性、一致性、及时性、相关性等特性，以获取高质量的数据。,数据存储,（,1,）用冗余配置、分布化和云计算技术对数据进行预处理；,（,2,）存储时对数据进行分类，通过过滤和去重，减少存储量，并加入便于检索的标签。,数据处理,大数据的复杂性使得难以用传统的方法描述与度量，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态及可能模棱两可的数据中综合信息，并导出可理解的内容。,可视化呈现,（,1,）可视化目的是使结果更直观以便于洞察。,（,2,）目前计算机只能针对小规模、结构化或类结构化的数据进行分析，无法深层次数据挖掘。,（,3,）现有的数据挖掘算法在不同行业中难以通用。,挑战二：大数据的信息安全,隐私泄露风险加剧,（,1,）大量数据的集中存储增加了其泄露的风险；,（,2,）一些敏感数据的所有权和使用权并没有清晰界定。,现有存储与安防措施带考验,（,1,）复杂的数据存储在一起，可能造成企业安全管理不合规；,（,2,）安全防护手段更新升级慢，存在漏洞。,数据本身成为攻击手段,（,1,）黑客可收集更多有用信息，大数据分析让攻击更精准；,（,2,）大数据为黑客发起攻击提供了更多机会。,挑战三：大数据分析人才紧缺,专业人才匮乏,（,1,）数据分析行业在国内还处于起步阶段；,（,2,）缺少创新型、多学科交叉型、优秀,IT,人才；,（,3,）我国每年人才缺口达,12,万，远远不能满足市场需求。,人才培养,（,1,）在各高校建立面向大数据的人才培养体系；,（,2,）加强对数学、统计学、数据分析、商业分析和自然语言处理的学习，培养数据科学家。,（,3,）加强校企业合作，联合培养人才，以解人才之急。,