·大价值·.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,大数据,大价值,大智慧,徐宗本,(,西安交通大学,),Email:,zbxu,主页,:,目录,第一部分,什么是大数据,第二部分,大数据能干什么,第三部分,如何应用大数据解决问题,第四部分,大数据核心技术,第五部分,大数据关键科学问题,什么是大数据？,数据,历史的记录、交易的轨迹、过程的监控、,经验的累积,数据,:,以编码形式存在的信息载体,记录,文件,报告,表格,视频,图片,歌曲,ZB,（,10,21,）,EB,（,10,18,）,PB,（,10,15,）,TB,（,10,12,）,GB,（,10,9,）,MB,（,10,6,）,数据的常见形式,什么是大数据？,内涵,大数据,是指无法在容许的时间内用常规的,软件工具对其内容进行抓取、管理和处理,的数据集合，大数据规模的标准是持续变,化的，当前泛指单一数据集的大小在十几,TB和PB之间。,（维基百科）,具有,数量大、增长快、类型多、价值密度低,”,等,4V,特征的,数据集,。,泛指,一个时代、一项技术、一种文化、一个挑战。,Volume,PB,ZB,量级,不可能集中存储,不可能集中处理,动态增长、时变,以数据流呈现，有时,效性,形式、来源多样,容余、不完全并存,非结构化,存在大价值,但,依赖整体,价值密度低,Velocity,Variety,Value,Big data is high volume,high velocity,and/or high variety information assets that require new forms of processing to enable enhanced decision making,insight discovery and process optimization,（,Laney Douglas,The Importance of,Big Data,:A Definition.Gartner.June 2012,）,需要新的处理思维和技术才能取得更强的决策力、洞察力和流程优化能力的海量、高增长和多样化的信息资产,.,（,L.Douglas,2012),大数据,=,现有数据处理技术难以处理的超大规模数据,什么是大数据？,内涵,什么是大数据？,时代特征,从各移动终端和通讯网络获取的数据,金融,大数据,电信,大数据,互联网,大数据,医疗,大数据,电网,大数据,气象,大数据,由银行等金融机构收集的市场活动数据,由地面和高空观测站不断传回的数据,社交网络产生的文字、图片、视频等数据,由医疗机构保存 的记录和标本构成的数据,电网运行和设备监测数据；交易电价、售电量等企业营销数据,数据感知与,存储技术,大数据是新一轮信息技术革命与人类社会经济活动交汇融合的必然产物,（,Digitization,Datafication,）,拥有大数据是时代特征、解读大数据是时代任务、应用大数据是时代机遇！,目录,第一部分,什么是大数据,第二部分,大数据能干什么,第三部分,如何应用大数据解决问题,第四部分,大数据核心技术,第五部分,大数据关键科学问题,互联网产业、云服务产业、电商电玩产业、数据服务产业,提供,科学研究的新范式,:,支持基于数据的科学发现,通过数据的系统收集、挖掘与分析,实现让事实说话。,实验,理论,模似,(,计算,),数据,决策支持、政策评估、,风险评估、事件预测,提供,社会科学的方法论,:,实现基于数据的决策，支持管理科学,与实践的革命,形成高,新科技的新领域,:,推动行业深化发展并形成大数据产业,智慧医疗、智慧交通、智慧教育、,电子政务,/,商务管制,形成,社会进步的新引擎,:,深刻改变人们的思维、生产、生活方式,推动社会进步,大数据能干什么？,意义与价值,大数据能干什么？,纸牌屋的制片方是美国影视租赁网站Netflix。在2011年，Netflix网络电影销量占据美国用户在线电影总销量的45%，Netflix在美国拥有2700万订阅用户，,每天在Netflix上产生3000多万个行为,，比如暂停、回放或者快进等，并且用户每天还会给出,400万个评分，以及300万次搜索请求,。通过分析这些数量惊人的数据，Netflix邀请作品点击量领先的导演大卫,芬奇和男演员凯文,斯派西担任主创，并根据数据，确定了,“,政治惊悚,”,的主题。,Google公司通过分析5000万条美国人最频繁检索的词语，成功预测了2009冬季流感的传播。,火锅店的经营策略,分析出观众群体中80%为女性，从而确定了老爸和萌娃的阵容。,联合国发布行动计划“大数据与人类发展：挑战与机遇”（,2012,年,5,月）,科学界聚焦：,Nature,、,Science,出,专辑，新杂志如雨后春笋,发达国家均将其列为国家战略优先发展领域,成为企业界的投资热点,大数据能干什么？,世界关注大数据,Gartner,报告,(2012),目录,第一部分,什么是大数据,第二部分,大数据能干什么,第三部分,如何应用大数据解决问题,第四部分,大数据核心技术,第五部分,大数据关键科学问题,如何用大数据解决问题？,目标确定与数据需求分析,01,定向的数据收集与数据预处理,02,数据存储与管理方式选择,03,选择平台与方法实施数据分析与挖掘,04,领域相关的数据分析结果解释,05,应用、,决策、,返馈、,修正,06,明确目标是前提、拥有数据是基础、计算平台是支撑、,分析技术是核心、产生效益是根本,目录,第一部分,什么是大数据,第二部分,大数据能干什么,第三部分,如何应用大数据解决问题,第四部分,大数据核心技术,第五部分,大数据关键科学问题,数据,获取技术,数据资源,管理技术,数据,存取技术,数据挖掘,与分析技术,大数据,计算技术,数据,可视化技术,大数据核心技术：,数据获取技术,遥感技术,雷达技术,互联网技术,物联网技术,传感器技术,数据,获取技术,数据资源,管理技术,数据,存取技术,数据挖掘,与分析技术,大数据,计算技术,数据,可视化技术,质量,标准,共享,安全,隐私,定价,大数据核心技术：,数,据资源管理技术,数据,获取技术,数据资源,管理技术,数据,存储技术,数据挖掘,与分析技术,大数据,计算技术,数据,可视化技术,云存储,数据中心,搜索算法,排序算法,大数据核心技术：,数,据存取技术,数据,获取技术,数据资源,管理技术,数据,存取技术,数据挖掘,与分析技术,大数据,计算技术,数据,可视化技术,预测预报,聚类,分类,相关性分析,因果分析,数据分析,大数据核心技术：,数,据挖掘与分析,数据,获取技术,数据资源,管理技术,数据,存取技术,数据挖掘,与分析技术,大数据,计算技术,数据,可视化技术,预测预报,聚类分析,相关性分析,类别判定,简化表示,大数据核心技术：,数,据挖掘与分析,数据,获取技术,数据资源,管理技术,数据,存取技术,数据挖掘,与分析技术,大数据,计算技术,数据,可视化技术,分布计算,云计算,增量计算,实时计算,大数据核心技术：,大数据计算技术,数据,获取技术,数据资源,管理技术,数据,存取技术,数据挖掘,与分析技术,大数据,计算技术,数据,可视化技术,词云图,社交网络图,热力图,交通流量图,大数据核心技术：,大数据计算技术,目录,第一部分,什么是大数据,第二部分,大数据能干什么,第三部分,如何应用大数据解决问题,第四部分,大数据核心技术,第五部分,大数据关键科学问题,如何研究大数据？,（高度多学科综合）,数据获取与数据管理,1,数据存储与处理,数据分析与理解,2,3,结合领域的大数据应用,4,从数据到价值形成大数据产业链,领域科学问题一：,大数据资源管理与公共政策,领域科学问题二：,支持大数据高效获取、存储、调用与处理的信息技术,领域科学问题三,大数据分析与处理的统计学与计算基础,领域科学问题四,大数据工程（结合领域的大数据应用,),数据质量、共享、可用、定价、隐私、安全、生态治理等,数据传输、存储策略、软硬件基础、计算架构、编程模型等,大数据工程（目标定位、数据准备、先验建模、评估准则等）,大数据表示、挖掘与分析、建模与计算、评估与优化、大数据算法等,分析与处理关注哪些科学问题？,数据表示问题,统计学基础问题,非结构化信息处理问题,可视分析问题,大数据分析,与挖掘,计算复杂性问题,大数据算法问题,计算模式问题,大数据关键科学问题,:,大,数,据表示问题,数据表示：,选择一种数学结构使数据以该结构形式去存储、分析与处理,。,基本科学问题,如何选择表示使在该表示下数据易于存储、传送、分析与挖掘，解释性好等,如何表示数据的复杂结构，特别是隐结构,异构数据的统一表示,抽象,结构,向量、矩阵、张量、树、图、,自然结构,导出结构,数组、,DNA,、,if-then,、文本，图像,/,视频，,类、主成份、低维近似、,Hash,表示,当前热点研究：,稀疏表示,Deep Learning,随机,Hash,表示,结合字典的随机分布表示,大数据关键科学问题,:,统计学基础问,题,统计学基础问题：,大数据不满足传统统计学的一些基本假设，导致传统统计分析与,推断的理论与方法失效！必须重建统计学基础。,基本科学问题,相关与伪相关问题,(,破坏基的无关性假设,),高维与超高维问题（破坏,及解的存在唯一性,),内生性问题（破坏,endogeneity),稳定性问题,(,变维、流数据,),统计推断的真伪性问题,当前热点研究：,高维统计推断、稀疏建模（压缩感知）,经典统计学：,np;,高维问题：,pn;,超高维问题：,p=O(exp(n),大数据关键科学问题,:,计算复杂性,问题,计算理论：,大数据背景下有关一个计算问题是否可解与能解的理论。,计算复杂性：,一个问题能否，以及以多大的代价在给定的计算环境中得到求解？,基本科学问题,大数据问题的可解性理论,大数据问题的难解性理论,(,难和易如何定义,?),如何度量 计算复杂性,?,(,时间十存储十通讯十能耗,?),流数据,:,容易,=,处理速度快于数据更新速度,分布式数据,:,容易,=,交互速度快于数据处理速度,大数据关键科学问题,:,计算模式问题,分布、并行,是大数据分析与处理的基本计算模式。大数据分析是数据,+,计算密集,型共存问题，应用现代超算系统或许是重要的选择，如何建立相应的,计算环境、,编程模型与相应算法,仍是,重大挑战。,基本科学问题,支持分布并行的计算架构与编程模型,问题可分解性判定与解的可组装性,异构计算环境下的计算优化（资源调度）,多粒度分布式并行环境下的编程模型,天河二号：,32,000,颗,CPU,和,48,000,块,MIC,计算卡,IBM,的,TrueNorth,（,百万神经元网络,）,大数据关键科学问题,:,算法设计问题,大数据算法：,通过数据集的分解与变量分组实现计算过程的分解与组装，并可,在分布式计算环境下实现、能支持大数据分析与处理的算法。,基本科学问题,大数据算法设计与分析方法学,分布式计算的可行性理论,流数据分析与处理算法,分布数据（网络数据）高效处理算法,超高复杂性数据的分析、挖掘与学习,大数据分析与挖掘基础算法,热点问题,：,The Big Data Bootstrap.Kleiner et.al.2012 ICML,X,1,X,2,X,3,X,n,随机机制,D,1,D,k,D,m,.,.,聚合,机制,大数据关键科学问题,:,非结构化信息处理,非结构化信息问题：,不能用有限规则完全表征与刻画，并不能在可接受时间内形式,化处理的大数据。主要挑战来自数据的异构性、信息的不相容性与认知的不一致性,。,基本科学问题,异构数据的统一表示与分析方法,非结构化数据处理的统一框架（特别是机器学习算法）,多源异构数据的信息融合,溶入认知的分析与处理,(,结构化大数据,85%,:,文本、图像、时空数据、基因与蛋白质、视频）,非结构化,数据,文本,图像,视频,统一机器学习框架,决策：,大数据关键科学问题,:,可视分析问题,可视分析：,运用与人类视认知相一致的图形或者图像方式生动展示高维数据,的内在结构与规律性。是大数据研究与应用的重要途径。,数据空间,特征提取,可展示的几何空间,基本科学问题,高维数据的本质特征提取,形象的结构化表征（可表达几何空间的构造）,从数据特征空间到可表达几何空间的映照设计,基于不变量（几何，代数）的高维数据展示；,Facebook,Wordle,Microsoft T-drive,Yuan et al.,2010,大数据的发展预测,31,技术成熟周期：技术萌芽期,期望膨胀期,泡沫化的谷底期,稳步爬升的光明期,实质生产的高峰期,Gartner,对大数据,“,技术成熟周期,”,的预测（,2012,）,如何应对机遇与挑战？,清醒认识,:,重大的机遇（科研新范式、管理新理念、,产业新机遇）,巨大的挑战（认识,?,管 理,?,技术,?,如何切入,?),积极应对：,政府搭台、政策引领、企业投入、科技支持,合理布局,:,定位要准、投入要实、示范带动,有所作为,:,必有大贡献、但必须脚踏实地,!,谢 谢,