大数据时代讲座讲义.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,大数据时代讲座,大数据时代讲座,大数据发展史,大数据时代讲座,大数据时代讲座,前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。它在满足你需求的同时，也在创造新的需求。前者的代表是,Google,，后者的典型则是,Facebook,。,谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的行为、喜好等信息也免费的送给了,Google,。因此,Google,的产品线越丰富，他对用户的理解就越深入，他的广告就越精准。广告的价值就越高。,这是正向的循环，谷歌好用的、免费得软件产品，换取对用户的理解；通过精准的广告，找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。,互联网越来越智能,Google,精确掌握用户行为、获取需求,大数据时代讲座,微博为新浪带来巨大价值,马云的判断来自于数据分析,“,2008,年初,阿里巴巴平台上,整个,买家,询盘数急剧下滑,，,欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据,;,而我们提前半年时间从询盘上推断出世界贸易发生变化了,。”,马云对未来的预测，是建立在对用户行文分析的基础上。,通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。,腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；新浪推出企业微博产品，提供精准的数据分析服务。,大数据时代讲座,Gartner 2011,年技术成熟度曲线,大数据处于高速发展期,大数据时代讲座,技术进化史揭示未来是大数据驱动的智慧型经济模式,大数据时代讲座,什么是大数据,大数据时代讲座,指数型增长的海量数据,海量数据就是大数据吗,?,大数据时代讲座,大数据就是云计算嗎,?,大数据时代讲座,大数据的4V特性,体量,Volume,多样性,Variety,价值密度,Value,速度,Velocity,非结构化数据,的超大规模和增长,总数据量的,8090%,比结构化数据增长快,10,倍到,50,倍,是传统数据仓库的,10,倍到,50,倍,大数据的异构和多样性,很多不同形式（文本、图像、视频、机器数据）,无模式或者模式不明显,不连贯的语法或句义,大量的不相关信息,对未来趋势与模式的可预测分析,深度复杂分析（机器学习、人工智能,Vs,传统商务智能,(,咨询、报告等）,实时分析,而非批量式分析,数据输入、处理与丢弃,立竿见影而非事后见效,大数据时代讲座,Value,价值,挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息,.,价值密度低,是大数据的一个典型特征,.,大数据时代讲座,Variety 多样性,企业内部的经营交易信息,;,物联网世界中商品,物流信息,;,互联网世界中人与人交互信息,位置信息等是大数据的主要来源,.,能够在不同的数据类型中,进行交叉分析的技术,是大数据的核心技术之一,.,语义分析技术,图文转换技术,模式识别技术,地理信息技术等,都会在大数据分析时获得应用,.,大数据时代讲座,Velocity 速度,1s,是临界点,.,对于大数据应用而言,必须要在,1,秒钟内形成答案,否则处理结果就是过时和无效的,.,实时处理的要求,是区别大数据引用和传统数据仓库技术,BI,技术的关键差别之一,.,大数据时代讲座,Volume 数据量,PB,是大数据层次的临界点,.,KB,-,MB,-,GB,-,TB,-,PB,-,EB,-,ZB,-,YB,-,NB,-,DB,大数据时代讲座,对大数据的進一步理解,大数据时代讲座,大数据比云计算更为落地,商业模式驱动,应用需求驱动,云计算本身也是大数据的一种业务模式,大数据时代讲座,大数据不仅仅是“大”,多大？,PB,级,比,大,更重要的是,数据的复杂性,，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值,大数据时代讲座,软件是大数据的引擎,和数据中心（,Data Center,）,一样，软件是大数据的驱动力,.,软件改变世界,!,大数据时代讲座,大数据生态:软件是引擎,大数据时代讲座,大数据的应用不仅仅是精准营销,通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景,消费行业,金融服务,食品安全,医疗卫生,军事,交通环保,电子商务,气象,大数据时代讲座,管理大数据“易”,理解大数据“难”,目前大数据管理多从架构和并行等方面考虑，解决高并发数据存取的性能要求及数据存储的横向扩展，但对非结构化数据的内容理解仍缺乏实质性的突破和进展，这是实现大数据资源化、知识化、普适化的核心,.,非结构化海量信息的智能化处理：自然语言理解、多媒体内容理解、机器学习等,.,大数据时代讲座,大数据为什么重要,大数据时代讲座,更高一层数据层面整合企业内外部,更高数据层面整合,大数据时代讲座,利用用户,”,行为指纹,”,创造新商机,用户在线的每一次点击，每一次评论，每一个视频点播，就是大数据的典型来源。互联网企业之所以取得令人瞩目的成绩，其核心的本质就是包括用户网络操作的大数据，进行记录和分析，形成用户“行为指纹”，从而洞悉用户的潜在的、真实的需求，形成预判。,这是传统企业花费重金都难以企及的梦想。所有传统的产品公司都只能沦为这种新型用户平台级公司的附庸。,大数据时代讲座,大数据组成和展現方式,大数据时代讲座,基于,oracle,语言,:,面对,OLAP,的传统行和列,不基于,SQL,或,map-reduce,的,:,由谷歌率先发起,数据流,:,基于运行商数据直接生成任意图形,新平台技术,数据入口,/,汇聚,数据平台,分析,不同范围的服务,传统交付模式,-,单片或基于设备的解决方案,云,:,能够充分利用物理设施的弹性，以实现处理快速增长数据的能力,“数据库将演变成一个虚拟的，基于云计算，超级可扩展的分布式平台。”,-Forrester analyst Jim Kobielus,新的传输方案,新模式和新技术,大数据时代讲座,展现方式,：大型控制中心、移动终端,在多样性、体量、速度三大主要特征的指引下，大数据将有新型的展现方式：大型控制中心和移动终端，实现数据的实时处理和快速决策。,大数据时代讲座,谢谢,大数据时代讲座,