大数据技术和应用培训.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,采集,分析,输出,整理,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,采集,分析,输出,整理,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,采集,分析,输出,整理,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,采集,分析,输出,整理,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,项目背景,项目建设的目标,项目建设的规划,大数据时代税收风险管理及应对,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,广州市舆情研判中心信息化建设（二期）,项目汇报,项目背景,二期工程进展,系统界面,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,项目背景,二期工程进展,系统界面,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,采 集,分 析,2,3,输 出,4,整 理,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,采 集,分 析,2,3,输 出,4,整 理,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,采 集,分 析,2,3,输 出,4,整 理,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,采 集,分 析,2,3,输 出,4,整 理,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,采 集,分 析,2,3,输 出,4,整 理,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,采 集,分 析,2,3,输 出,4,整 理,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,采 集,分 析,2,3,输 出,4,整 理,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,采 集,分 析,2,3,输 出,4,整 理,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,大数据技术和应用培训,1,2,3,大数据应用,目 录,大数据时代,大数据技术,大数据时代,大数据时代,生活、工作与思维的大变革,Living,working and thinking big changes,一场生活、工作与思维的大变革,大数据开启了一次重大的时代转型。就想望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发,大数据，变革生活,大数据，变革商业,大数据，变革思维,大数据，开启重大的时代转型,预测是大数据的核心,第一个故事，百货公司知道女孩怀孕,第二个故事，搜索热词里的商机,第三个故事，阿里知道谁需要贷款,第四个故事，中移动挽留流失客户,第五个故事：每天，我们借助大数据完成微信上的互动,第六个故事：大数据解救每一位“路盲”,第七个故事：大数据协助大闸蟹养殖,大数据时代,大数据时代,国家电网大数据案例，基于,PMS(,电力生产系统,),系统数据，构建基于,词云图分析的文本信息挖掘及可视化,实现对电网设备的家族缺陷信息的快速分析。,6,设备类型,设备型号,断路器,查询,LW25-126,信息查询,:,高压开关设备缺陷统计分析结果,一次系统其他,二次系统其他,数据挖掘分析,流程应用,大修技改流程,厂家设计改进流程,物资采购流程,供应商评估流程,检修计划流程,详细记录信息,厂家,西安西开高压电器股份有限公司,河南平顶山高压电器股份有限公司,设备类型,断路器,断路器,设备型号,LW25-126,lw25-126,投运日期,2007-12-1,2008-3-1,额定电压,252KV,252KV,额定电流,630A,630A,.,西安西电高压开关有限责任公司,断路器,Lw25-126,2008-3-20,252KV,630A,.,.,.,.,大数据时代,大数据时代,西安公交集团大数据案例,公交司机驾驶行为直接影响到乘客的安全，如全国公交一样，西安公交集团在每辆公交车上安装了监控设备，每日审核监控视频，对开车过程中出现违章行为的司机进行罚款处理，但由于公交车多，视频数量极大，这给分析处理视频的工作人员带来了很大的工作压力，因此公交集团希望能够建立一种快速视频识别分析手段，以缓解当前这种情况。,如何能让,20,多名工作人员从每天,10,个小时的视频审核工作中解脱出来？,大数据时代,违章类型：,吸烟,违章时间：,2014-01-16,违章视频时间：,10:57-10:58,违章车辆：,陕,A XXXXX,违章人：,张,XX,通过数据挖掘，使工作人员从每天长达数千小时视频违章信息筛选工作中脱离出来，将原来需要,数十小时,的视频审核工作，缩短为,几个小时,完成,，大大提高了工作效率。且可以有效避免人为舞弊的情况。,大数据时代,数据,：,2014,年,10,月纳税人,A,申报营业额为,10,万。,信息,：,2014,年,10,月纳税人,A,申报营业额比去年同期减少了,25%,。,知识,：原因是纳税人,A,在华东地区的渠道销售不利，或其产品,B,进入了衰退期，还是公司整体营销活动落后，竞争者强力促销导致？或是其它原因。针对这一问题公司应对的策略是什么？,智慧,：应对的行动方案可能有多种，但,(,战略,),选择哪个靠智慧。行动则又会产生新的交易数据。,大数据时代,大数据时代的思维变革,“更多”,-,不是随机样本，而是全体数据,当数据处理技术已经发生翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本总体”。,让数据“发声”,小数据时代的随机采样，最少的数据获得最多的信息,全数据模式，样本总体,大数据时代,“更杂”,-,满足精确性，包容混杂性,执迷于精确性是信息缺乏时代和模拟时代的产物。只有,5%,的数据是有框架且能适用于传统数据库的。如果不能接受混乱，剩下,95%,的非框架数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。,允许不精确,大数据的简单算法比小数据的复杂算法更有效,纷繁的数据越多越好,混杂性，不是竭力避免，而是标准途径,新的数据库设计的诞生,大数据时代的思维变革,大数据时代,“更好”,-,不是因果关系，而是相关关系,知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。,关联物，预测的关键,“是什么”，而不是“为什么”,改变，从操作方式开始,大数据，改变人类探索世界的方法,大数据时代的思维变革,大数据时代,大数据时代的商业变革,“数据化”,-,一切皆可“量化”,大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见，但是如今信息技术变革的重点在“,T,”（技术）上，而不是在“,I”(,信息）上。现在，我们是时候把聚光灯打向“,I,”，开始关注信息本身了数据，从最不可能的地方提取出来,数据化，不是数字化,量化一切，数据化的核心,当文字变成数据,当方位变成数据,当沟通成为数据,一切事物的数据化,大数据时代,大数据时代的商业变革,“价值”,-,“取之不尽，用之不竭”的数据创新,数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而绝大部分都隐藏在表面之下。,数据创新,1,：数据的再利用,数据创新,2,：重组数据,数据创新,3,：可扩展数据,数据创新,4,：数据的折旧值,数据创新,5,：数据废气,数据创新,6,：开放数据,给数据估值,大数据时代,大数据时代的商业变革,“角色定位”,-,数据、技术与思维的三足鼎立,微软以,1.1,亿美元的价格购买了大数据公司,Farecast,，而两年后谷歌则以,7,亿美元的价格购买了给,Farecast,提供数据的,ITA Software,公司。如今，我们正处在大数据时代的早期，思维和技术是最有价值的，但是最终大部分价值还是必须从数据本身来挖掘。,大数据价值的,3,大构成,大数据掌控公司,大数据技术公司,大数据思维公司和个人,全新的数据中间商,专家的消亡与数据科学家的崛起,大数据，决定企业的竞争力,大数据时代,大数据时代的管理变革,“风险”,-,让数据主宰一切的隐忧,我们时刻都暴露在“第三只眼”之下：亚马逊监视着我们的购物习惯谷歌监视着我们的网页浏览习惯，而微博似乎什么都知道，不仅窃听到了我们心中的“,TA,”，还有我们的社交关系网。,无处不在的“第三只眼”,我们的隐私被二次利用了,预测与惩罚，不是因为“所做”，而是因为“将做”,数据独裁,挣脱大数据的困境,大数据时代,“掌控”,-,责任与自由并举的信息管理,当世界开始迈向大数据时代时，社会也将经历类似的地壳运动。在改变人类基本的生活与思考方式的同时，大数据早已在推动人类信息管理准则上重新定位。然而，不同于印刷革命，我们没有几个世纪的时间去适应，我们也许只有几年时间。,管理变革,1,：隐私保护，从个人许可到让数据使用者承担责任,管理变革,2,：个人动因,VS,预测分析,管理变革,3,：打破黑盒子，大数据程序员的崛起,管理变革,4,：企业和行业应用突破,大数据时代的管理变革,大数据时代,正在发生的未来,大数据并不是一个充斥着算法和机器的冰冷世界，人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案，只是参考答案，帮助是暂时的，而更好的方法和答案还在不久的未来。,1,2,3,大数据应用,目 录,大数据技术,大数据时代,大数据技术,认知,初识,大数据算法与理论,大数据系统与实践,NoSQL,Hadoop,大数据带来的思维变化,大数据带来的价值链,大数据发展现状与未来,大数据,vs,人类,什么是大数据,大数据的特性,大数据与传统技术的关系,大数据与其他新兴技术的关系,深入,大数据技术,什么是大数据,百度百科,：大数据,(big data),，或称巨量资料，指的是所涉及的资料量,规模巨大,到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的,资讯,。,维基百科,：,大数据是由数量巨大、结构复杂、类型众多数据构成的,数据集合,，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用形成的,智力资源,和,知识服务,能力。,学术观点,：大数据是由大量异构的数据组成的,数据集合,，它是可以应用合理的数学算法或工具从中找出有价值的信息，为人们带来利益的一门,新兴学科,。,大数据技术,2009,年，甲型,H1N1,流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大努力，但得到的数据仍然滞后一两周，而,Google,对人们的搜索的历史记录进行处理，建立合理的数学模型后，得到的预测结果与官方的数据,相关性高达,97%,，能够立刻判断出流感是从哪里传播出来的，没有一两周的滞后。,Google,处理了,5000,万条,历史记录、,4.5,亿个,不同的数学模型。,什么是大数据,大数据技术,Farecast,是一个对机票价格进行预测的公司，帮助消费者抓住最佳购买机票的时机，使乘客节省很多钱。,最初预测系统建立在,41,天之内的,12000,个价格样本基础上，数据是从旅游网站上抓取的，如今已经拥有超过,2000,亿,条飞行记录。,系统只,推测,机票的价格何时最便宜，,同时分析是什么原因,导致的价格下降。,Farecast,Bing,什么是大数据,大数据技术,大数据,的特性,更关注,相关性,主要用,于预测,数据量,巨大,实时性,要求高,大数据的特征,大数据技术,大数据是在传统数据库学科的分支,-,数据仓库与数据挖掘的基础上进一步发展起来的。但有两点比较主要的不同：,结构化程度,传统数据库保存的是结构化或者半结构化的数据，以二维表或者标准,XML,文件的方式存储数据，由于结构清晰，处理相对容易；,大数据面向的是一切计算机可以存储的数据格式，包括互联网上的各种网页、图片、音频、视频，包括办公文档、报表，包括人们在搜索引擎中输入的关键词、在社交网络中的留言、喜好，也包括各种传感器自动收集的监控结果等等，显然不同的格式处理起来更加困难。,异常数据的处理,传统数据库通常把异常数据先剔除，应用在需要高精确度的领域，如银行对每个账户的管理；,大数据则允许异常数据存在，更多应用在预测方面，找出大量数据中隐藏的关联关系，少量异常数据不会对总体结果产生影响。,大数据与传统数据库的区别,大数据技术,大数据、物联网、云计算、移动通信等都是近年涌现出来的新兴概念，彼此之间不是孤立的，而是存在着内部联系。,大数据与其他新兴技术的关系,大数据技术,处理的对象往往是全部数据，而不是部分数据的采样,采样的不合理会导致预测结果的偏差，在大数据时代，依靠强大的数据处理能力，应该去处理全部的数据。,不再执迷于精确性,精确的、规范化的、可以被传统数据库处理的数据只占全部数据的,5%,，必须接受不精确性才能处理另外,95%,的数据。,错误的数据是客观存在的，竭力避免它就失去了应有的客观性和公平性。,大数据的简单算法比小数据的复杂算法更有效。,更加关注相关性，而不是因果性,预测依靠的是相关性。,很多情况下知道“是什么”即可，不必知道“为什么”。,大数据带来思维方式的变化,大数据技术,数据,数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据给其他公司。技术,技术供应商或者分析公司。掌握了从海量数据中分析出有用信息的技能或者工具，但本身不一定拥有数据。,思维,有创新思维的人或者公司。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。,大数据的价值链,大数据技术,大数据,=,海量数据,+,复杂类型的数据,海量交易数据,:,企业,/,机构的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。,大数据包括,:,交易数据和交互数据集在内的所有数据集,海量交互数据,:,源于互联网的社交媒体数据构成,(,日志和非结构化数据,),；源于物联网的设备和传感器采集数据,(,日志和非结构化数据,),；,源于,GPS,和地理定位映射数据；,医疗,/,监控产生的海量图像文件；,科学计算,/,电子邮件等等。可以告诉我们未来可能会发生什么。,海量数据处理,:,大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如在商用硬件群中运行的各种数据挖掘和分析系统。,大数据处理,大数据技术,分析技术,:,数据处理,:,自然语言、视频图像处理技术,抽样统计分析,:A/B test;top N,排行榜；地域占比；文本情感分析,数据挖掘,:,关联规则分析；分类；聚类,模型预测,:,预测模型；机器学习；建模仿真,大数据技术,:,数据采集,:ETL,工具,数据存取,:,关系数据库；,NoSQL,；,SQL,等,基础架构支持,:,云存储；分布式文件系统等,计算结果展现,:,云计算；标签云；关系图等,多元数据,:,结构化数据,:,海量数据的查询、统计、更新等操作效率低,非结构化数据,图片、视频、,word,、,pdf,、,ppt,等文件存储,不利于检索、查询和存储,半结构化数据,转换为结构化存储,按照非结构化存储,存储计算框架,:,Hadoop(MapReduce,技术,),分布式文件系统,大数据处理,大数据技术,行业应用逐渐趋向大数据处理,2.,传统的信息平台无,法实现,海量数据面临存储和,处理的瓶颈,大数据处理,大数据技术,过去,现在,高性能计算,企业,中小企业,万亿字节,千兆字节,兆字节,千万亿字节,万亿字节,千兆字节,面临的新难题,-,如何处理大规模数据,大数据技术,采用完全无共享,(Share-Nothing),系统架构,大数据技术,应用程序通过分布式系统访问数据,所有计算,/,存储节点间自由交换数据,每一个计算,/,存储节点运行独立的数据库,查询,海量并行处理结构,(MPP),大数据技术,传统并行运算架构,运算,存储,传统,存储,架构,海量数据高性能计算与存储,传统存储架构,共享存储访问模式；,计算与存储分离；,仅适合于计算相关数据量较小的高并发、计算密集型应用,大数据环境下,:,存储将成为访问的性能瓶颈；,海量文件的管理、访问难题；,传统盘阵数据冗余保护机制不能满足高性能要求。,大数据技术,计算存储节点,=,并行,式,运算,+,分布式存储,大数据并行计算架构,分布式文件系统,计算与存储一体，计算向数据,集中,，高效专用,计算,存储,节点,完全解决应用、,并发、同步与一致性等问题,处理和计算,任务之间,实现,无依赖，具有高系统延展性,(,S,cale-,O,ut),分布式文件系统，提供高效的海量数据存储访问与管理,应用,:,地质勘探,生命科学,非线编,媒资管理,动画渲染,等高性能运算,海量数据高性能计算与存储,大数据技术,40GE Infiniband,或者,160GB,万兆,SureCloud,分布数据库,(,计算能力,),SureCloud,分布式分布式存储,(,存储能力,),设计超大规模数据的关联计算,使用节点高速缓冲区,支持连续复杂计算,大容量的海量数据存储,高性能,IO,全冗余平滑扩容,数据服务,获取复杂的大数据处理结果,开放的应用,开放的应用,开放的应用,直接数据提取,大数据数据仓库,大数据技术,分布式数据库,分布式物理节点,自动部署,节点监控,资源监管,动态调度,分布式文件系统,QFS,HDFS,SDFS,NoSQL SDDB,Cacendra,大数据挖掘,应用,Map/Reduce,统一智能管理,大数据接口,访问权限管理,大数据存储,自动化部署配置,监控与资源管理,大数据管理,大数据采集,辅助工具,Hbase,Mango DB,大数据计算应用,医疗云,政务云,物联网,行业应用,金融,电信,政府,大数据技术,应用,1,应用,2,应用,N,大数据处理平台,大数据技术,泛互联网数据,机器数据,行业内容数据,焦点,挖掘价值,面向行业,关键技术,基于泛互联网内容的,准实时,舆情监测,和,用户行为分析,基于机器设备数据的,生产状态实时监测,和,统计分析,基于行业内容数据的,海量分布式存储,和,查询,各级,/,地政府,;,舆情监测,个人消费品制造,/,零售,;,精准营销、电商、客服、反向创新,金融,/,电信,;,精准营销、客服,电力,/,电网,/,石油,;,设备、管线状态和故障监测,自动化工业制造,;,设备状态监测以管控产品质量,复杂设备运营,;,状态监测,公安,/,海关,;,人脸,/,指纹识别身份,医疗,/,交通,;,影像,/,图片提取价值数据,卫星,/,基因科研,;,复杂内容计算,税务数据仓库,新华社与媒体,政府,公安,电信客户、基地中心,电力、电网,中石油、中石化,电信,大型制造业,气象局,交通研究院,Smart City,银行历史库,用户行为分析,NoSQL-,分布式存储和查询,查询和搜索,实时过滤和聚合,业务分析,SureSaveBDP,用户行为分析,NoSQL-,分布式存储和查询,实时过滤和聚合,业务分析,SureSaveBDP,NoSQL-,分布式存储和查询,SureSaveBDP,大数据技术,采集,/,挖掘,分析,数据访问接口,决策,导入的是数据，取出的是价值,存储,计算,访问,结构化数据的导入,非结构化数据的导入,ETL,结构展现,数据访问接口,数据访问接口,数据访问接口,App,App,App,App,分析决策模型,分析决策工具,分布存储,数据挖掘,大数据技术,非结构化数据,音频、视频、工程、科学数据,分布式文件存储,分布式结构化数据存储,数据处理技术,分布式计算框架,分布式索引,查询,检索,分析,挖掘,结构化数据,数据存储技术,数据索引技术,数据计算技术,数据访问技术,数据智能技术,可扩展的体系结构,数据采集技术,大数据解决的不是单一的一个产品能够解决的，它需要一整套的解决方案，它要,融合,很多传统的、新的技术，包含了很多不同的,产品和功能模块,大数据技术,大数据系统,大数据技术,大数据存储问题,文件存储,千万级的大文件存储：如视频,亿级的中等文件存储：如文档,十亿级的小文件存储：如图片缩略图,不同文件存储对于系统需求不同,结构化数据,亿级的结构化数据存储,查询、统计、更新等操作效率低,大数据系统,-,存储,大数据技术,大数据存储的最主要的论文,CAP Theorem,Consistency,Availability and Partition Tolerance,Google,的,GFS,和,BigTable,GFS,一种存储海量大文件的存储系统,BigTable,提出了一种,Schemaless,的表数据模型,Amazon,的,Dynamo,Dynamo,的模型更简单，它将数据按,key,进行,hash,存储，,K-V Store,Gossip protocol(discovery and error detection),Distributed key-value data store,Eventual consistency,大数据技术,C,A,P,Relational,Key-Value,Column-Oriented,Document-Oriented,RDBMS(Oracle,MySQL),Aster Data,VerticaMongoDB,Terrastore,HyperTable,Hbase,Redis,Berkeley DB,Scalaris,Dynamo,Voldemort,TokyoCabinet,Cassandra,CouchDB,Riak,所有的客户端有统一的数据视图,网络出现分区时仍能够正常运行,客户端在任意时间都可以读写,大数据技术,NoSQL,NoSQL,是,Not Only SQL,的缩写，而不是,Not SQL,，它不一定遵循传统数据库的一些基本要求，比如说遵循,SQL,标准、,ACID,属性、表结构等等。,大数据技术,NoSQL,系统,提高数据服务的交付能力，解决了数据集中与共享的问题，数据存储的高可扩展性，即使数据量达到,PB,级别，存储仍然可以在一定的成本范围内拥有良好的可扩展性,支持大量的并发执行和高效的分析型处理,大数据技术,大数据计算问题,海量数据带来计算快速性难以保证,结构变化导致计算模式变更,大数据处理解决方案,MapReduce,技术,流计算技术：,twitter,的,storm,和,yahoo,的,S4,大数据技术,MapReduce,是一种常用的分布式编程模型，用于大规模数据集,(,通常大于,1TB),的并行运算。,map,map,reduce,reduce,Local FS,Local FS,HTTP GET,大数据技术,On-line MapReduce,使用,Map-Reduce,的流水线执行机制，进行,Map,和,Reduce,任务的动态调度,HDFS,Write Snapshot,Answer,HDFS,Block 1,Block 2,Read,Input File,map,map,reduce,reduce,大数据技术,大数据上的统计分析：,Hive,建立在,Hadoop/MapReduce,上的数据仓库系统,提供,HQL,语句实现对,Hadoop,上的数据查询和分析机制,大数据技术,统计分析套件,基于,Hive,及辅助索引技术，实现快速的数据统计分析,微博日志分析,50,亿条,/,天,统计登陆人数,/5,分钟,大数据技术,分析结果应用,大数据技术,大数据存储,分布式文件系统：,GFS,、,HDFS,NoSQL,系统,Key/Value Store:Amazon S3(Dynamo),、,Voldemort,、,Scalaris,Schema-less,：,Bigtable,、,Hbase,、,MongoDB,、,Neo4j,大数据处理,MapReduce/Spark/Sworm,RDB,NoSQL,Log,NoSQL,谢 谢,