大数据的产业价值.ppt

大数据的产业价值（上）大数据的产业价值（上）汪东升汪东升 清华大学教授清华大学教授目目 录录1 12 23 3大数据及其相关概念理解大数据及其相关概念理解大数据的产业价值大数据的产业价值技术发展趋势、问题与建议技术发展趋势、问题与建议大数据概念及其特点大数据概念及其特点相关概念与关系分析相关概念与关系分析一、大数据及其相关概念理解一、大数据及其相关概念理解（一）大数据概念及其特点（一）大数据概念及其特点 数据数据知知知知识识决策决策决策决策n关关联n模式模式n趋势n相关相关n分分类n市市场定位定位n资金分配金分配n产品品选择n广告广告营销n时机机选择n位置位置选择n行行业细化化n数字化数字化n多媒体多媒体n多多维度度n大大规模模n细粒度粒度1、大数据概念的、大数据概念的发展脉展脉络200820102011Nature推出了推出了 Big Data 专刊；刊；2008首次列入首次列入“维基百科基百科”条目；条目；2010.4Science 推推出出专刊，刊，说明大数据明大数据对于科学研究于科学研究的重要性；的重要性；2011.2“大数据是指无法在一定大数据是指无法在一定时间内内用常用常规软件工具件工具对其内容其内容进行抓行抓取、管理和取、管理和处理的数据集合。理的数据集合。”20112012麦肯麦肯锡全球研全球研究院究院发布一份布一份报告告大大数据：数据：创新、新、竞争和生争和生产力力的下一个新的下一个新领域域；2011.5IBM在在产品品发布会上主布会上主推大数据概推大数据概念；念；2011.11美国国家科学基美国国家科学基金金发布大数据指布大数据指南，指出大数据南，指出大数据是海量、多是海量、多样、分布的、异构的分布的、异构的数据。数据。2012“大数据是指具有以下三个特征大数据是指具有以下三个特征的数据：大数据量、快速增的数据：大数据量、快速增长及及多数据来源及多数据来源及类型的数据。型的数据。4V特性：特性：大大规模、多模、多样化、快化、快速增速增长、潜藏价潜藏价值。2、大数据的构成、大数据的构成大数据包括交易数据和交互大数据包括交易数据和交互数据集在内的所有数据集。数据集在内的所有数据集。大数据大数据=海量数据海量数据+复复杂类型的数据型的数据海量交易海量交易数据数据海量交互海量交互数据数据海量数据海量数据处理理海量交易数据海量交易数据企企业内部的内部的经营交易信息，主交易信息，主要包括要包括联机交易数据和机交易数据和联机分机分析数据，是析数据，是结构化的、通构化的、通过关关系数据系数据库进行管理和行管理和访问的静的静态、历史数据。通史数据。通过这些数据，些数据，我我们能了解能了解过去去发生了什么。生了什么。海量交互数据海量交互数据源于源于Facebook、Twitter及其他来及其他来源的社交媒体数据构成。包括呼叫源的社交媒体数据构成。包括呼叫详细记录CDR、设备和和传感器信息、感器信息、GPS和地理定位映射数据、通和地理定位映射数据、通过管管理文件理文件传输Manage File Transfer协议传送的海量送的海量图像文件、像文件、Web文文本和点本和点击流数据、科学信息、流数据、科学信息、电子子邮件等等，可以件等等，可以预测未来。未来。海量数据处理海量数据处理大数据的涌大数据的涌现已已经催生出催生出了了设计用于数据密集型用于数据密集型处理的架构，例如具有开放理的架构，例如具有开放源源码、在商品硬件群中运、在商品硬件群中运行的行的Apache Hadoop。3、大数据的基本概念、大数据的基本概念大大数数据据是是一一种种数数据据，具具有有可可扩展展性性、多多样性性、复复杂性性的的特特点点，需需要要一一种种新新的的架架构构、新新的的技技术、新新的的算算法法以以及及新新的的分分析析工工具具去去管管理理这些些数数据据，同同时从从中中抽抽取取隐含含在在内内的的重重要要信信息息。（“Big Data”is data whose scale,diversity,and complexity require new architecture,techniques,algorithms,and analytics to manage it and extract value and hidden knowledge from it.）“大数据大数据”是指数据海量、是指数据海量、计算复算复杂的数据集合，其在一定的数据集合，其在一定时间内内难以依以依靠已有数据靠已有数据处理技理技术来来进行有效的采行有效的采集、管理和分析。大数据通常集、管理和分析。大数据通常满足以足以下下“4V”特点：特点：规模模巨大巨大产生生高速高速形式形式多多样信息信息价价值4、大数据的特点、大数据的特点形式多形式多形式多形式多样样（VarietyVariety）信息价信息价信息价信息价值值（ValueValue）产产生高速生高速生高速生高速（VelocityVelocity）规规模巨大模巨大模巨大模巨大（VolumeVolume）非非结构化数据的超构化数据的超大大规模，比模，比结构化构化数据增数据增长快快10倍到倍到50倍。倍。实时分析而非批量式分析而非批量式分析，数据分析，数据输入入、处理与理与丢弃，立竿弃，立竿见影影而非事后而非事后见效。效。异构性（异构性（文本、文本、图像、像、视频、机器数、机器数据据），模式不明），模式不明显，语法法语义不不连贯。大量的不相关大量的不相关信息，信息，对未来未来趋势与模与模式的深度复式的深度复杂分析。分析。规模巨大规模巨大互互联网数据网数据2011年全球数据年全球数据产生量达到生量达到1.8ZB，以每本，以每本书10MB计算，相当于七百万个中国国家算，相当于七百万个中国国家图书馆的容量。的容量。医医疗保健数据保健数据海洋气象数据海洋气象数据基因工程基因工程美国国立基因美国国立基因组研究所宣布，研究所宣布，“千人基因千人基因计划划”所所产生的数据生的数据总量已达到量已达到200TB，成，成为世界上最大的人世界上最大的人类基因基因变异数据集。异数据集。数据的度量数据的度量尺度尺度:1KB=103B B1MB=1MB=106B B1GB=101GB=109B B1TB=101TB=1012B B1PB=101PB=1015B B1EB=101EB=1018B B1ZB=101ZB=1021B B1YB=101YB=1024B B产生高速产生高速电信运信运营数据数据中国中国联通上网通上网记录每秒每秒83万条，每月万条，每月1万万亿条（条（300TB）。）。天文数据天文数据美国大口径望美国大口径望远镜每两周每两周对太空太空观测一遍，每天一遍，每天产生生16TB数据，数据，5年年总数据量将达到数据量将达到15PB。企企业运行数据运行数据2000年全球新年全球新产生的数据量生的数据量为1000PB到到2000PB，到，到2010年年仅仅全球企全球企业一年新存一年新存储的数据量就超的数据量就超过了了7000PB。形式多样形式多样各种数据各种数据类型型现在的数据在的数据类型不型不仅是文本形式，是文本形式，90%是文字、是文字、图片、音片、音频、视频、地理位置信息等非、地理位置信息等非结构化数据，个性化数据占构化数据，个性化数据占绝对多数。多数。文字文字音音频视频地理信息地理信息图片片Internet上上1分分钟内内发生了：生了：639TB IP流量；流量；2亿 封封邮件；件；70万万 Facebook更新；更新；30小小时 YouTube新增新增视频；70万万 Google搜搜索。索。信息价值信息价值信息价信息价值以以视频为例，例，7X24小小时的全城的全城监控控视频中，可能有用的数中，可能有用的数据据仅仅只有一两秒。可用信息在数据只有一两秒。可用信息在数据总量中的比例低，但其量中的比例低，但其潜在价潜在价值巨大。巨大。从从视频中中发现犯罪嫌疑人周克犯罪嫌疑人周克华2011年-2016年中国大数据市场规模全球未来全球未来5年年58%的的增速，增速，2017年达到年达到500亿美元。美元。中国中国2013年增速年增速为138%，2016年市年市场将达到将达到100亿。（二）相关概念与关系分析（二）相关概念与关系分析维基百科定义：云计算是一维基百科定义：云计算是一种基于互联网的计算方式，种基于互联网的计算方式，通过这种方式，共享的软硬通过这种方式，共享的软硬件资源和信息可以按需提供件资源和信息可以按需提供给计算机和其他设备。给计算机和其他设备。我们认为：云计算是指服务我们认为：云计算是指服务的交付和使用模式，用户通的交付和使用模式，用户通过网络以按需、易扩展的方过网络以按需、易扩展的方式获得所需的服务。式获得所需的服务。云云计算算海海计算算框框计算算风计算算。神神计算？算？不是不是 概念概念不是不是 操作操作不是不是 口号口号不是不是 超超级计算算不是不是 网格网格计算算是是 新的新的创新模式新模式是是 新的商新的商业模式模式是是 新的运新的运营模式模式是是 成本、效用、成本、效用、应用至上用至上是是 大众参与的舞台大众参与的舞台是是不是不是网网络虚虚拟化化27数据中心虚数据中心虚拟化（化（vDC)云云计算算虚虚拟化化资源源数数据据中中心心物物理理资资源源存存储虚虚拟化化计算虚算虚拟化化中国家庭金融中国家庭金融调查报告告中国的住房自有率是中国的住房自有率是89.68%；世界平均住房自有率是世界平均住房自有率是60%；瑞士是瑞士是31%,紧随其后的是瑞典和德国；随其后的是瑞典和德国；住房自有率最高是住房自有率最高是亚美尼美尼亚,在在1998年年时高达高达96.3%。住房自有率水平高的国家住房自有率水平高的国家,几乎都是经几乎都是经济水平发展比较低的转轨国家济水平发展比较低的转轨国家,而住房而住房自有率低的国家则大多为经济发达的自有率低的国家则大多为经济发达的国家。国家。发达国家人口流动性强发达国家人口流动性强,为了减少住房为了减少住房买卖的麻烦买卖的麻烦,很多人宁愿租房住而不是很多人宁愿租房住而不是买房。相反买房。相反,落后国家人口流动性较差落后国家人口流动性较差,拥有自有住房的家庭拥有自有住房的家庭,反而更可能居反而更可能居住在自己拥有的住房中。住在自己拥有的住房中。北京北五北京北五环买房：房：120平方米平方米600万万投投资理理财：5%-10%利率（利率（30-60万）万）租房：租房：租金租金1万万/月月房子房子质量好量好无无须物物业费、维修修维护、折旧、折旧、可能的房可能的房产税税住住宾馆（30-60万）：万）：未必每天都住；未必每天都住；弹性，按需性，按需；客房服客房服务、卫生、餐生、餐饮；拎包入住。拎包入住。云云计算之算之PaaS、SaaS。云云计算的基算的基础设施、施、安全安全设施非常完施非常完备。安全是把安全是把双刃双刃剑放在云里面的数据，放在云里面的数据，对云的管理云的管理而言又而言又是不安全的。是不安全的。虚拟化虚拟化安全安全去重去重-压缩压缩可靠可靠保密保密绿色绿色节能节能数据数据保护保护云云计算面算面临的安全的安全问题关关键技技术视角角使用者使用者视角角虚虚拟化化技技术带来来全新安全威全新安全威胁数数据据集集中中存存储引引发的安全的安全问题云云服服务的的管管理理和和调度度产生生的的安安全全问题传统安安全全威威胁的的新特点新特点隐私保私保护和和数据安全数据安全运行运行环境的境的安全安全内容安全内容安全重重设施，施，轻应用；用；行行业、地域特色要求云、地域特色要求云计算算发展模式展模式的差异化；的差异化；花花钱买服服务和服和服务意意识有待加有待加强；安全安全隐私是大私是大问题，安全意，安全意识、技、技术和立法方面有所欠缺；和立法方面有所欠缺；云云计算个性化和算个性化和标准化矛盾。准化矛盾。智慧城市智慧城市带动行行业云云发展展智慧城市需要智慧城市需要数据融合数据融合 智慧城市要求物智慧城市要求物联网和云网和云计算的算的结合：合：云云计算是物算是物联网的基网的基础，物，物联网是一种网是一种应用；用；云手机、云云手机、云电视是是终端多端多样化的体化的体现；云服云服务器、虚器、虚拟化是一种成本化是一种成本结构；构；大数据的收集、存大数据的收集、存储、管理、分析离不开云、管理、分析离不开云计算。算。商商业模式模式驱动应用需求用需求驱动“云云”、“物物”的核心是的核心是“数据数据”：云云计算算计算算/业务模式模式物物联网网应用模式用模式大数据大数据财富、富、资产和和隐性性货币