大数据概念技术与应用.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,大数据概念技术与应用,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,大数据概念技术与应用,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,大数据概念技术与应用,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,大数据概念技术与应用,目录,大数据的定义理解,相关技术与应用,机遇与挑战,大数据概念技术与应用,大数据的定义理解,一,大数据概念技术与应用,什么是,大数据,Dada,大,大数据的构成,1,2,3,大数据的定义理解,大数据的“,4V”,特征,大数据时代的背景,大数据概念技术与应用,大数据时代的背景,21,世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。,互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、,GPS,、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,“,大数据”的诞生：,半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。,大数据概念技术与应用,20,世纪,90,年代，数据仓库之父的,Bill Inmon,就经常提及,Big Data,2011,年,5,月，,在,“云计算相遇大数据”,为主题的,EMC World 2011,会议中,，,EMC,抛出了,Big Data,概念,Big Data,名词由来,大数据概念技术与应用,全球每秒钟发送,2.9,百万,封,电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读,5.5,年,每天会有,2.88,万,个小时,的视频上传到,Youtube,，足够一个人昼夜不息的观看,3.3,年,推特上每天发布,5,千万,条,消息，假设,10,秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览,16,年,每天亚马逊上将产生,6.3,百万,笔,订单,每个月网民在,Facebook,上要花费,7,千亿,分钟,，被移动互联网使用者发送和接收的数据高达,1.3EB,Google,上每天需要处理,24PB,的数据,新的时代，人们从信息的被动接受者变成了主动创造者,大数据时代到来,大数据概念技术与应用,TB,PB,ZB,EB,大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长,根据,IDC,监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在,2020,年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量,数据量增加,数据结构日趋复杂,这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴,大数据时代正在来临,.,大数据时代到来,大数据概念技术与应用,大数据的,4V,特征,“大量化,(Volume),、多样化,(Variety),、快速化,(Velocity),、价值密度低（,Value,）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。,体量,Volume,多样性,Variety,价值密度,Value,速度,Velocity,非结构化数据,的超大规模和增长,总数据量的,8090%,比结构化数据增长快,10,倍到,50,倍,是传统数据仓库的,10,倍到,50,倍,大数据的异构和多样性,很多不同形式（文本、图像、视频、机器数据）,无模式或者模式不明显,不连贯的语法或句义,大量的不相关信息,对未来趋势与模式的可预测分析,深度复杂分析（机器学习、人工智能,Vs,传统商务智能,(,咨询、报告等）,实时分析,而非批量式分析,数据输入、处理与丢弃,立竿见影而非事后见效,大数据概念技术与应用,大数据的构成,大数据,=,海量数据,+,复杂类型的数据,海量交易数据：,企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。,大数据包括：,交易数据和交互数据集在内的所有数据集,海量交互数据：,源于,Facebook,、,Twitter,、,LinkedIn,及其他来源的社交媒体数据构成。它包括了呼叫详细记录,CDR,、设备和传感器信息、,GPS,和地理定位映射数据、通过管理文件传输,Manage File Transfer,协议传送的海量图像文件、,Web,文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。,海量数据处理：,大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的,Apache Hadoop,。,大数据概念技术与应用,大数据要解决的问题,Volume,海量的数据规模,Variety,多样的数据类型,Value,Velocity,快速的数据流转,巨大的数据价值,大数据概念技术与应用,相关技术与应用,二,大数据概念技术与应用,大数据怎么用,大数据时代的背景,相关技术,云计算与大数据,大数据领的应用,1,2,3,相关技术,相关技术,大数据概念技术与应用,大数据技术将被设计用于在成本可承受（,economically,）的条件下，通过非常快速velocity,）的采集、发现和分析，从大量化（,volumes,）、多类别（,variety,）的数据中提取价值（,value,）,，,将是,IT,领域新一代的技术与架构,企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合,什么是,Big Data,技术,大数据概念技术与应用,分析技术：,数据处理：自然语言处理技术,统计和分析：,A/B test;top N,排行榜；地域占比；文本情感分析,数据挖掘：关联规则分析；分类；聚类,模型预测：预测模型；机器学习；建模仿真,大数据技术：,数据采集：,ETL工具,数据存取：关系数据库；,NoSQL,；,SQL,等,基础架构支持：云存储；分布式文件系统等,计算结果展现：云计算；标签云；关系图等,一些相关技术,存储,结构化数据：,海量数据的查询、统计、更新等操作效率低,非结构化数据,图片、视频、,word,、,pdf,、,ppt,等文件存储,不利于检索、查询和存储,半结构化数据,转换为结构化存储,按照非结构化存储,解决方案：,Hadoop,（,MapReduce,技术）,流计算（,twitter,的,storm,和,yahoo,！的,S4,）,大数据概念技术与应用,技术领域的挑战,1,、对现有数据库管理技术的挑战,传统的数据库部署不能处理数,TB,级别的数据，也不能很好的支持高级别的数据分析。急速膨胀的数据体量即将超越传统数据库的管理能力。,如何构建全球级的分布式数据库,(Globally-Distributed Database),，可以扩展到数百万的机器，数已百计的数据中心，上万亿的行数据。,2,、经典数据库技术并没有考虑数据的多类别（,variety,）,SQL,（结构化数据查询语言），在设计的一开始是没有考虑非结构化数据的。,3,、实时性的技术挑战：,一般而言，像数据仓库系统、,BI,应用，对处理时间的要求并不高。因此这类应用往往运行,1,、,2,天获得结果依然可行的。但实时处理的要求，是区别大数据应用和传统数据仓库技术、,BI技术的关键差别之一。,网络架构、数据中心、运维的挑战：,技术架构的挑战：,人们每天创建的数据量正呈爆炸式增长，但就数据保存来说，我们的技术改进不大，而数据丢失的可能性却不断增加。,如此庞大的数据量首先在存储上就会是一个非常严重的问题，硬件的更新速度将是大数据发展的基石。,大数据概念技术与应用,大数据与云计算,云计算的模式是业务模式，本质是数据处理技术。,数据是资产，云为数据资产提供存储、访问和计算。,当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。,大数据概念技术与应用,白云下面数据跑,蓝蓝的天上白云飘,如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀！,大数据与云计算,大数据概念技术与应用,2012,云计算，,2013,大数据？,美国：,美国政府在,2012,年,3,月,29,日宣布投资两亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家意志。,中国：,中国商业联合会：副会长刘建沪介绍说，随着互联网的快速发展，中国的电子商务企业纷纷组建了数据分析部门。,2011,年,10,月，工信部确认京沪深杭等,5,城市为“云计算中心”试点城市。而真正的问题或许不在于怎样建设“云计算中心”。国家信息中心常务副主任杜平直言不讳：“应对大数据的到来，需要不断建基础设施，但是建了干什么，有些数据需要存储，也有很多数据可能不需要储存。”,大数据的市场有多大？中央财经大学中国经济管理研究院博士张永力说，国外大数据行业约有,1000,亿美元的市场，而且每年都以,10%,的速度在增长，增速是软件行业的两倍。,大数据概念技术与应用,行业拓展者，打造大数据行业基石：,大数据的应用,企业在投入,IBM,：,IBM,大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平台）,;,业务事件处理；,IBM Mashup Center,的计量，监测，和商业化服务（,MMMS,）,IBM,的大数据产品组合中的最新系列产品的,InfoSphere bigInsights,，基于,Apache Hadoop,。,该产品组合包括：,打包的,Apache Hadoop,的软件和服务，代号是,bigInsights,核心，用于开始大数据分析,软件被称为,bigsheet,，软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息,为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案,微软：,2011,年,1,月与惠普（具体而言是,HP,数据库综合应用部门）合作目标是开发了一系列能够提升生产力和提高决策速度的设备。,EMC,：,EMC,斩获了纽交所和,Nasdaq,；,大数据解决方案已包括,40,多个产品。,Oracle,：,Oracle,大数据机与,Oracle Exalogic,中间件云服务器、,Oracle Exadata,数据库云服务器以及,Oracle Exalytics,商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。,大数据概念技术与应用,政府职能变革,重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程，改造成智慧工程；,在安防领域，应用大数据技术，提高应急处置能力和安全防范能力；,在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门；,解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析；,政府投入将形成示范效应，大大推动大数据的发展。,大数据的应用,政府,大数据概念技术与应用,大数据的应用,热点：智慧城市,美国奥巴马政府在白宫网站发布,大数据研究和发展倡议,，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式”；,中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效，随着智慧城市的建设，社会将步入“大数据”时代。”,难点：,1,、在最初就合理规划智慧城市（深度思考哪些领域能够运用）；,2,、在城市发展基础设施和“云产业”的同时，更多重视“数据”的价值；,3,、在大数据处理领域的核心技术不足，需要政府更大的投入。,大数据概念技术与应用,大数据的应用,未来，改变一切,数据的再利用：,由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。,大数据价值链的,3,大构成：数据本身、技能与思维,其中三者兼具的又谷歌公司，谷歌在刚开始收集数据的时候就已经有多次使用数据的想法。比方说，它的街景采集车手机全球定位系统数据不光是为了创建谷歌地图，也是为了制成全自动汽车以及谷歌眼镜等与实景交汇的产品。,未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。,大数据时代,传统行业最终都会转变为大数据行业，无论是金融服务也、医药还是制造业。,大数据概念技术与应用,机遇与挑战,三,大数据概念技术与应用,大数据赋予我们洞察未来的能力,机遇,马云成功预测,2008,年经济危机,“,2008,年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。”,通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。,人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。,大数据时代,大数据概念技术与应用,挑战,诸多领域的问题亟待解决，最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这正是我们所担忧的信息安全隐患！,更多的隐私、安全性问题：我们的隐私被二次利用了,多少密码和账号是因为“社交网络”流出去的？,2011,年,4,月索尼的系统漏洞导致,7700,万用户资料失窃,2011,年,4,月，,iOS,被发现会按照时间顺序记录用户的位置坐标信息,2011,年,CSDN,密码泄露事件,眼下中国互联网热门的话题之一就是互联网实名制问题，我愿意相信这是个好事。毕竟我们如果明着亮出自己的身份，互联网才能对我们的隐私给予更好保护。,大数据概念技术与应用,数据汇集传统解决方案,卫生信息平台,定义接口,联调测试,数据校验,卫生信息平台,医疗机构,设备采购,业务开发,实施部署,医疗机构,大数据概念技术与应用,业务厂商开发周期长,标准变更，频繁调试,无工具支撑，厂商能力有限，数据质量难以保证,公共卫生信息平台,数据上不来，建档率低,活档率低，数据质量不合格,异常情况发现不及时,卫生局的困惑,医疗机构的无奈,?,?,?,面临现状,大数据概念技术与应用,锐易特数据采集与交换解决方案,大数据概念技术与应用,服务共享,数据交换,集中监管,数据同步,双向转诊,标准交互,服务部署,服务管理,服务维护,核心服务,协同服务,外部服务,发布,/,订阅,协同医疗,服务监控,安全保障,企业服务总线（,ESB,）,大数据概念技术与应用,卫生数据采集与交换一体机,(,卫生一体机,),软硬件一体机,ESB,内核,安全监管,业务模板,硬件、网络（有,/,无线）,操作系统、防火墙、中间件,信息交换（多协议）,数据集成（数据,/,服务）,远程集中管理、多种认证模式,安全审计、实时监控统计,13,大类、,67,小类,3500,项全集业务数据,大数据概念技术与应用,功能架构,A,医院（,HIS/LIS/PACS,）,配置管理,数据上报,调度中心,数据抽取,安全认证,数据缓存,数据集成,/,交换网关,配置管理,安全审计,消息路由,服务监控,企业服务总线（,ESB,）,服务调度规则,业务接口,业务校验,业务监控,数据中心,数据转换,消息分发,发布订阅,流程调度,流程监控,安全认证,远程升级,业务扩展,共享库,数据集成/,交换网关,B,医院（,HIS/LIS/PACS,）,WS,WS,FTP,JDBC,数据传输通道,(JMS/MQ,FTP,，,SOAP/HTTP),服务治理,配置管理,数据上报,调度中心,数据抽取,安全认证,数据缓存,数据转换,远程升级,业务扩展,综合统计分析库,日志采集,WS,FTP,JDBC,大数据概念技术与应用,采集与交换,异构数据源抓取,多厂商应用适配,数据及语义转换,结构映射,数据校验,安全保障,访问安全,传输安全,数据安全,安全审计,传输模式,手动,/,自动,实时,/,定时,主动,/,被动,统一监管,集中管理,远程监控,流程跟踪,卫生一体机核心功能,大数据概念技术与应用,数据采集过程,数据质量,数据来源,数据标准,数据汇集,数据汇合,大数据概念技术与应用,传统前置,VS,卫生一体机,传统前置,卫生一体机,软硬一体，发挥最优性能,整体部署、统一维护,设备,+,防火墙,+,业务开发,/,部署,+,兼容性差，异常定位难,出问题易出现扯皮情况,高度集成,仅映射环节需要厂商配合,转换,+,校验,+,上报均为平台标准模版,约：分析,/,配置,/,部署,/,上线,0.5,人月,由业务厂商主导，开发程序,映射,+,转换,+,上报 全开发,约：开发,1,人月,+,测试,1,人月,由业务厂商配合,模版式配置,统一监控管理,/,安全保障,异常实时监控,无监控、安全能力,如需开发需额外投入不同医院无法实现统一,内置统一安全、监控模块,减轻平台压力,提高数据质量,无校验环节,质量无法保障,校验业务下沉,大数据概念技术与应用,工作内容对比,方式,1,：提供数据视图,方式,2,：提供数据接口,方式,3,：映射数据至卫生一体机中间库,方式,4,：调用卫生一体机协议接口提供数据,无缝衔接,卫生一体机,主动监控各机构数据采集情况,卫生一体机方案,按平台标准、,协议提供合格的数据,提供上报接口,逐个医院联调,进行数据校验,等待业务汇报,传统前置方案,对比情况,卫生局,平台,医院,注：卫生一体机提供安全、监控、管理工具，内置映射、转换、校验、上报模版。,大数据概念技术与应用,应用收益,卫生局的收益,建档率、活档率提高,统一监管、统一安全保障,异常实时监控，质量实时报告,平台压力减小,医疗机构的收益,仅需配合映射，压力减小,标准变更时，仅需调整映射,内置校验，数据问题早发现早解决,大数据概念技术与应用,解决方案核心优势,RES,区域信息平台智能,前置解决方案,全局,监管,安全,可靠,业务,联动,规范,便捷,数据采集“最后一公里”,多业务（采集、交换、互认）,业务管理,运行监控,在线升级,异常获取,软硬一体机,防火墙,认证授权,压缩加密,出错重传,/,续传,标准传输协议,标准数据格式,基于模版开发,即插即用,通过配置完成实施,大数据概念技术与应用,