大数据时代简介讲义.ppt

大数据时代简介,大数据时代简介,01,02,认识大数据时代,大数据的应用领域,大数据时代简介,一、认识大数据时代,假如给你一天的大数据生活，大家想想会是什么样的？,9,：,00,，今天你要带朋友到观前街逛逛，你打开某大数据产品，看看观前街今天预计会有多少人，再看看苏州今天的交通预测。大数据分析系统会根据以往用户定位请求信息建议你乘地铁前往。,12,：,00,，逛了一圈，你和朋友都累了，想找个地方吃饭。你打开大数据软件，寻找附近的餐馆。通过该软件，你可以提前看到餐馆的视频环境，看看是否人多。大数据还可以把你脸的部分打成马赛克，你不用担心个人信息泄露。,7,：,00,，你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉的。这个设备连接着你手机里的一款大数据的,APP,，你打开它就可以看到你昨晚睡觉时翻身次数、心跳和血压状况。根据测量结果，它建议你今天出门之前多喝点橙汁类的饮品来补充维生素。,大数据时代简介,一、认识大数据时代,16,：,00,，你正在公园里休息，收到了催缴电话费的短信。你很好奇自己过去三年每个月的消费记录。但过去运营商只能让你查到六个月以内的消费信息。因为中国移动至少有,5,亿用户，每天至少能产生,10,次计费记录。每天,50,亿的计费记录，一年下来就是,1800,亿条记录。这是一个大数据的存储和归纳技术难题。但在大数据时代，过去几年的电话通讯信息都可以查到了。,18,：,00,，你回到了家，你的可穿戴设备告诉你，今天你在室内和室外的时间分别都是多少，你一天内吸入了多少雾霾。,14:00,，吃过午饭，你想去附近的公园玩玩，但你不知道应该去苏州公园还是去观前公园。你又打大数据分析系统，希望它帮你分析一下，哪个公园相对不太拥挤。根据结果，你去了苏州公园。,22,：,00,，晚上睡觉的时候，你家的孩子哭闹起来。你把孩子的哭声录入一个大数据软件中。软件能告诉你孩子为什么哭。是饿了，还是哪里不舒服，还是说只是想撒撒娇,大数据时代简介,一、认识大数据时代,大数据时代的生活令人神往，你对客观世界的认识更进了一步，所做的决策也不再仅仅依赖主观判断。甚至于你的一个习惯动作你的一次消费行为、你的一份就诊记录，都正在被巨大的数字网络串联起来。移动互联网风潮汹涌。大数据正悄悄包围着我们。甚至连世界经济格局也在酝酿着巨大变革！,大数据时代简介,一、认识大数据时代,随着一系列标志性事件的发生和建立，人们越发感觉到大数据时代的力量。因此,2013,年被许多国外媒体和专家称为,“大数据元年”。,当今社会,三分技术，七分数据，,得数据者得天下,。,大数据时代简介,7,硬件成本的降低,网络带宽的提升,云计算的兴起,网络技术的发展,智能终端的普及,电子商务、社交网络、,电子地图等的全面应用,物联网,大数据时代到来的必然性：,一、认识大数据时代,大数据时代简介,一、认识大数据时代麦肯锡给,出的大数据定义是：大数据指的是大小,超出常规,的数据库工具获取、存储、管理和分析能力的数据集。但它同时强调，并不是说一定要超过特定,TB,值的数据集才能算是大,数据；,国际数据公司（,IDC,）从大数据的,四个特征,来定义，即,海量的数据规模,（,Volume,）、,快速的数据流转和动态的数据体系,（,Velocity,）、,多样的数据类型,（,Variety,）、,巨大的数据价值,（,Value,）；,亚马逊（全球最大的电子商务公司）的大数据科学家,John Rauser,给出了一个简单的定义：,大数据是任何超过了一台计算机处理能力的数据,量,；,维基百科中只有短短的一句话：“,巨量资料,(big data),，或称大数据，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的,资讯；,什么是大数据？,什么是大数据,？,大,大数据时代简介,1B=8 bit,1KB=1024 Bytes byte=1000 byte,1MB=1024 KB byte=1 000 000 byte,1GB=1024 MB byte=1 000 000 000 byte,1TB=1024 GB byte=1 000 000 000 000 byte,1PB=1024 TB byte=1 000 000 000 000 000 byte,1EB=1024 PB byte=1 000 000 000 000 000 000 byte,1ZB=1024 EB byte=1 000 000 000 000 000 000 000 byte,1YB=1024 ZB byte=1 000 000 000 000 000 000 000 000 byte,1,个汉字,=2B,1,本红楼梦,=87,万字,1EB=6626,亿部红楼梦,预计,2015,中国互联网数据总量,=8.2EB,预计,2015,年全球数据量,=7.9ZB,一、认识大数据时代,大,的概念,大数据时代简介,一、认识大数据时代,大就是大数据？答案是否定的,发现规律,预测未来,核心能力,大数据时代简介,任何行为，皆有前兆。但在现实世界中，缺少实时记录的工具，许多行为看起来是“人似秋鸿有来信，事如春梦了无痕”。在互联网世界则完全不同，是“处处行迹处处痕”。要买商品，必先浏览、对比、询价；要搞活动，必先征集、讨论、策划。互联网的“请求”加“响应”机制恰恰在服务器上保留了人们大量的前兆性的行为数据，把这些数据搜集起来，进一步分析挖掘，就可以发现隐藏在大量细节背后的规律，依据规律，预测未来。收集分析海量的各种类型的数据，并快速获取影响未来的信息的能力，就是大数据技术的力所在。,一、认识大数据时代,大数据时代简介,一、认识大数据时代,大数据技术会给我们带来什么好处？,可能大家都有一些共同的体会，最近几年房价一直在涨，大家都在后悔一件事，那就是早知道房价现在涨这么厉害，应该多买几套的，早知道，其实就是对于未来的一种渴望，希望对于未来即将发生的事能够未卜先知。通过利用大数据技术，可以预测预测自然、天气的变化，预测个体未来的行为，甚至预测某些社会事件的发生。,决策不再盲目,生活更加从容,社会运行更加高效,大数据时代简介,爱在那儿！,爸爸去哪儿,大数据解读,新华社新媒体中心联合数托邦创意分析工作室抓取了新浪微 博上提及“爸爸去哪儿”,45.5,万条原创微博，并对,36.7,万独立原发作者用户（去除疑似水军账户）、,1300,余万条用户微博及近,1,亿的关系进行数据分析。,结果发现：,爸爸去哪儿,不仅成为名副其实的“口碑王”，还使娱乐节目发生了很多微妙变化。,二、大数据的应用领域,大数据时代简介,粉丝性别比例：,“,爸爸粉”女性占到八成。难道是因为星爸太帅？当然，这与微博中女性用户占比较高和她们更爱分享转评的习惯也有关。,用户年龄分布：,覆盖适龄婚育群体，观众气质更显成熟,。不少适龄青年发微博称，“看到某某，我也好想结婚，想有个这样的儿子女儿。”,地区偏好排行：,爸爸去哪儿,的观众明显向,GDP,高地聚集。对湘派娱乐节目免疫力极强的京、沪、苏、蜀等地罕见上榜。,爸爸去哪儿,偏好度前十省份中，有个,GDP,十强省份，涵盖,3,个直辖市。这是否能说明，一部分“先富起来”的人，对亲子关系有更深的焦虑和更多的期待？,二、大数据的应用领域,大数据时代简介,明星关注度：,数据来自于每期节目播出后一周内,5,对父子的原发微博提及量（含昵称）。张亮父子低调亮相，关注度逐期上升，成功实现实现“逆袭”。,赞助商热度：,主冠名赞助商强势冒出，在几乎没有社交媒体营销配合下，微博热度强劲增长。英菲尼迪从第三期开始广告植入，话题增量立竿见影。思念水饺配合“爸爸吃神马”等互动促销，参与度有所增加。只是不知，三大赞助商的投入是否与这一结果完全契合？,二、大数据的应用领域,大数据时代简介,赞助商,潜在赞助商,明星,同类节目竞争者,节目组,观众,大数据解读的受益者,满足了自己“八卦”的需求。对这个节目有了深入的了解。,从,爸爸去哪儿,的成功中可以学到什么？,本次赞助是否成功？成功在哪里？为以后广告的投放提供了经验。,了解了自己及孩子在观众心中的“热度”，为下一步转型及孩子未来的规划提供参考。,根据之前的数据分析，大胆推出了低成本同名电影并大获成功！第二季的拍摄紧锣密鼓地进行着,为决策提供支持。若自己的目标客户与该节目的观众一致，可以考虑下一季的赞助。,二、大数据的应用领域,大数据时代简介,大数据应用案例之电视媒体,对于体育爱好者，追踪电视播放的最新运动赛事几乎是一件不可能的事情，因为有超过上百个赛事在,8000,多个电视频道播出。,而现在市面上开发了一个可追踪所有运动赛事的应用程序,RUWT,，它已经可以在,iOS,和,Android,设备，以及在,Web,浏览器上使用，它不断地分析运动数据流来,让球迷知道他们应该转换成哪个台看到想看的节目,，在电视的哪个频道上找到，并让他们在比赛中进行投票。对于谷歌电视和,TiVo,用户来说，实际上,RUWT,就是让他们改变频道调到一个比赛中。,该程序能基于赛事的紧张激烈程度对比赛进行评分排名，用户可通过该应用程序找到值得收看的频道和赛事。,二、大数据的应用领域,大数据时代简介,大数据应用案例之医疗行业,Seton Healthcare,是采用,IBM,最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。,在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过,3000,次的数据读取。通过这些数据分析，,医院能够提前知道哪些早产儿出现问题,并且有针对性地采取措施，避免早产婴儿夭折。,它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类,App,。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是,检测到你的血液中药剂已经代谢完成会自动提醒你再次服药,。,Express Scripts,就是这么一家处方药管理服务公司，目前它正在通过一些复杂模型来检测虚假药品这些模型还,能及时提醒人们何时应该停止用药,。,Express Scripts,能够解决该问题的原因在于所有有关数据。因为它每年管理着,1.4,亿处方，覆盖了一亿美国人和,65,000,家药店，虽然该公司是能够识别潜在问题的信号模式，但它也使用数据来尝试解决某些情况下之前曾经发现的问题。,同时，,Express Scripts,还着眼于一些事情，如他们所开处方的药物种类，甚至有人在网上谈论医生。如果一个医生的行为被标记为红色的旗帜，那么他在网络上是个好人的形象，更是你所需要的医生。,二、大数据的应用领域,大数据时代简介,大数据应用案例之能源行业,智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集，每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来,预测客户的用电习惯等，从而推断出在未来,23,个月时间里，整个电网大概需要多少电,。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。,维斯塔斯风力系统，依靠的是,BigInsights,软件和,IBM,超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足,1,小时便可完成。,二、大数据的应用领域,大数据时代简介,大数据应用案例之总统竞选,许多人通过,Facebook,更新个人状态、分享图片以及他们,喜欢,的内容。奥巴马的总统竞选运动也通过使用社交网络的各种数据功能完成了竞选，他们不仅通过社交网络寻找支持者，而且还通过社交网络召集了一批志愿军。,早在,2006,年，,Facebook,联合创始人，克里斯,休斯就建议扎克伯格在网站上推出相关服务，帮助总统候选人在,Facebook,上建立个人主页，以便他们进行形象推广。,2006,年,9,月，,Facebook,全面开放，用户数量爆炸式增长，在年底达到,1200,万。这一过程恰好有利地推升了奥巴马的知名度。此后，在克里斯的辅佐下，奥巴马掀起了一系列的网络活动，在,Facebook,、,MySpace,等社交网站上发表公开演讲、推广施政理念，赢得大量网民支持，募集到,5,亿多美元的竞选经费。,最终，,黑人平民,战胜了实力雄厚的对手，成为美国历史上第一位黑人总统，之后，在第二次的选举中更获得连任。此次选举被认为是美国民主的巨大进步，而互联网则提供了前所未有的实施手段，其中尤以,Facebook,代表的社交网站最为突出，以至于有人戏称之为,Facebook,之选,。,二、大数据的应用领域,大数据时代简介,2014,年世界杯，德国足协和,SAP,公司通过联合创新引入,SAP Match Insights,解决方案，该方案基于,SAP HANA,平台运行处理海量数据，可以为球员和教练提供一个简明的用户界面，帮助双方开展互动性更强的对话，分析球队训练、备战和比赛情况，从而提升球员和球队的成绩。,10,个球员用,3,个球进行有球训练，,10,分钟就能产生超过,700,个数据点，而,SAP HANA,可以实时处理这些数据，在,SAP,的协助下，球队可以实时分析这些海量数据，从而,制定培训计划并备战下场比赛,。,大数据应用案例之体育赛事,二、大数据的应用领域,大数据时代简介,大数据应用案例之零售业,明尼苏达州一家塔吉特门店被客户投诉，一位中年男子指控塔吉特将,婴儿产品,优惠券寄给他的女儿,一个高中生,。但没多久他却来电道歉，因为女儿经他逼问后坦承自己真的怀孕了。塔吉特百货就是靠着分析用户所有的购物数据，然后通过相关关系分析得出事情的真实状况。,二、大数据的应用领域,大数据时代简介,好了，听了这么多案例，感觉似乎很玄妙，大数据不就是,算命先生,么？大数据有时候就像是一个侦探家，能够拨开重重迷雾，找到问题的本质以及解决方案，而关键在于，你是否真的懂得如何去驾驭它，让它为你服务。,二、大数据的应用领域,大数据时代简介,大数据时代简介,