大数据时代.ppt

BIG DATA,大数据时代,目,录,01,05,04,03,02,背景及概述,大数据的发展,大数据的应用,利与弊,未来发展趋势,背景,工业革命以后，以文字为载体的信息量大约每十年翻一番，,1970,年以后，信息量大约每三年翻,-,番,;,如今，全球信息总量每两年就可以翻一番,;,2011,年全球被创建和复制的数据总量为,1.8ZB(1ZB=103EB=106PB),，其中,75%,来自于个人,;,IDC,认为到,2020,年，全球所有,IT,部门拥有服务器的总量将会比现在多出,10,倍，全球数据使用量预计将暴增,44,倍，达到,35ZB,。,背景及概述,背景及概述,医疗卫生、地理信息、电子商务、影视娱乐、科学研究等行业，每天都在,创造着大量的数据,;,数据采集成本的下降推动了数据量的剧增,;,新的数据源和数据采集技术的出现大大增加了数据的类型，数据类型的增,加导致数据空间维度增加，极大地增加了大数据的复杂度。,Google:,通过大规模集群和,MapReduce,软件，每个月处理的数据量超过,400PB,。,百 度,:,拥有数百,PB,的数据量，每天大约要处理几十,PB,数据。,淘宝网,:,有,3.7,亿会员，在线商品超过,8.8,亿，每天交易数千万笔，产生约,20TB,数据。,背景及概述,定义：,大数据,(big data),是指无法在,-,定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞,察发现力和流程优化能力的海量、高增长率和多样化的信息资产。,特点：,容量,(Volume):,数据的大小决定所考虑的数据的价值和潜在的信息,;,种类,(Variety):,数据类型的多样性,;,速度,(Velocity):,指获得数据的速度,;,可变性,(Varibility):,妨碍了处理和有效地管理数据的过程；,真实性,(Veracity):,数据的质量；,复杂性,(Complexity):,数据量巨大，来源多渠道,；,价值,(value):,合理运用大数据，以低成本创造高价值；,背景及概述,2016,中国大数据产业生态地图首次提出了大数据生态的三层精准化层次分析定义，对数据服务、基础支撑、融合应用等三层生态结合企业的功能使命进行了梳理归类。,融合应用产业,政务大数据,工业大数据,农业大数据,金融大数据,民生服务大数据,零售大数据,交通大数据、电信大数据,基础支撑产业,大数据存储管理,大数据预处理软件,大数据整体解决方案,大数据硬件,大数据计算,大数据安全产品,大数据可视化产品,背景及概述,2016,中国大数据产业生态地图,首次提出了大数据生态的三层精准化层次分析定义，对数据服务、基础支撑、融合应用等三层生态结合企业的功能使命进行了梳理归类。,数据服务产业,数据交易,数据采集,数据应用服务,数据增值服务,基于大数据的信息服务,目,录,01,05,04,03,02,背景及概述,大数据的发展,大数据的应用,利与弊,未来发展趋势,大数据的发展,近年来，伴随着云计算、大数据、物联网、人工智能等信息技术的快速发展和传统产业数字化的转型，数据量呈现几何级增长，据,IDC,发布,数据时代,2025,的报告显示，,2025,年全球每天产生的数据量将达到,491EB,。,IDC,预测统计图,大数据的发展,那么,175ZB,的数据到底有多大呢？,1ZB,相当于,1.1,万亿,GB,。如果把,175ZB,全部存在,DVD,光盘中，那么,DVD,叠加起来的高度将是地球和月球距离的,23,倍（月地最近距离约,39.3,万公里或者绕地球,222,圈（一圈约为四万公里）。目前美国的平均网速为,25Mb/,秒，一个人要下载完这,175ZB,的数据，需要,18,亿年。,大数据的发展,随着智能手机应用，数据碎片化、分布式、流媒体特征更加明显，移动数据急剧增长。,大数据形成并行计算和分布式系统，为大数据发展的成熟期。,是大数据发展的突破期，社交网络的流行导致大量非结构化数据出现，传统处理方法难以应对，数据处理系统、数据库架构开始重新思考,是大数据的萌芽期，处于数据挖掘技术阶段。随着数据挖掘理论和数据库技术的成熟，一些商业智能工具和知识管理技术开始被应用。,上世纪末,2003,年,-2006,年,2006,年,-2009,年,2010,年,大数据的发展,国务院印发,促进大数据发展纲要,，同年，十八届五中全会升为国家战略。,美国白宫发布了,2014,年全球“大数据”白皮书的研究报告,大数据：抓住机遇，守护价值,。报告鼓励使用数据推动社会进步。,麦肯锡全球研究所发布了一份名为,颠覆性技术：技术改进生活、商业和全球经济,的研究报告，报告确认了未来,12,种新兴技术，而大数据是这其中需求技术的基石。,麦肯锡全球研究院发布,大数据：下一个创新、竞争和生产力的前沿,，,2012,年维克托,舍恩伯格,大数据时代：生活、工作与思维的大变革,宣传推广，大数据概念开始风靡全球。,十三五纲要明确指出实施大数据国家战略。,11-12,年,2013,年,2014,年,2015,年,2016,年至今,目,录,01,05,04,03,02,背景及概述,大数据的发展,大数据的应用,利与弊,未来发展趋势,大数据的应用,通信行业,医疗行业,能源行业,通信行业,零售行业,医疗行业,Seton Healthcare,是采用,IBM,最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。,在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过,3000,次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。,大数据的应用,医疗行业,3.,它让更多的创业者更方便地开发产品，比如,通过社交网络来收集数据的健康类,App,。也许,未来数年后，它们搜集的数据能让医生给你,的诊断变得更为精确，比方说不是通用的成,人每日三次一次一片，而是检测到你的血液,中药剂已经代谢完成会自动提醒你再次服药。,大数据的应用,能源行业,1.,智能电网：即智能电表。在德国，为,了鼓励利用太阳能，会在家庭安装太阳,能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来,23,个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。,大数据的应用,能源行业,维斯塔斯风力系统，依靠的是,BigInsights,软件和,IBM,超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足,1,小时便可完成。,大数据的应用,通信行业,XO Communications,通过使用,IBM SPSS,预测分析软件，减少了将近一半的客户流失率。,XO,现在可以预测客户的行为，发现行为趋势，并找出存在缺陷的环节，从而帮助公司及时采取措施保留客户。此外，,IBM,新的,Netezza,网络分析加速器，将通过提供单个端到端网络、服务、客户分析视图的可扩展平台，帮助通信企业制定更科学、合理决策。,电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。,大数据的应用,通信行业,3.,中国移动通过大数据分析，对企,业运营的全业务进行针对性的监,控、预警、跟踪。系统在第一时,间自动捕捉市场变化，再以最快,捷的方式推送给指定负责人，使,他在最短时间内获知市场行情。,4.NTT docomo,把手机位置信息和互,联网上的信息结合起来，为顾客,提供附近的餐饮店信息，接近末,班车时间时，提供末班车信息服,务。,大数据的应用,零售行业,1.,通过从,Twitter,和,Facebook,上收集社交信息，更深入的理解化妆品等,商品的营销模式，从此认识到必须保留两类有价值的客户：高消费者和高,影响者。,Informaticion,技术帮助零售商用社交平台上的数据充实了客户,主数据，使他的业务服务更具有目标性。这是交易数据与交互数据的完美,结合，为业务挑战提供了解决方案。,2.,零售企业通过监控客户的店内走动情况以及与商品的互动。它们将这些数,据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以,及何时调整售价上给出意见，此类方法已经帮助零售企业减少了,17%,的存,货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。,大数据的应用,目,录,01,05,04,03,02,背景及概述,大数据时代的发展,大数据的应用,大数据时代的利与弊,未来发展趋势,更好的决策,提高生产力,降低成本,优点,大数据的优点,在,NewVantage Partners,公司调查中，,36.2%,的受访者表示更好的决策是他们大数据分析工作的首要目标。大数据分析可以为业务决策者提供他们所需的数据驱动的洞察力，以帮助企业开展竞争和业务发展。,现代大数据工具使分析师能够更快地分析更多数据，从而提高个人生产力。此外，从这些分析中获得的见解通常使组织能够在整个公司内更广泛地提高生产力。,通过大数据工具的高效性、快速性和可靠性提高了公司、企业的运营效率，从而降低了各种成本，,欺诈检测,提高创新性,提高灵活性,优点,大数据的优点,依赖于机器学习的大数据分析系统的一大优势是它们在检测模式和异常方面非常出色。这些能力可以让银行和信用卡公司能够发现被盗信用卡或欺诈性购买，并且通常是在持卡人知道出现问题之前发现问题。,创新是大数据的另一个共同利益，通过大数据工具收集竞争对手所没有的见解，从而利用新产品和服务领先于其他企业。,许多组织正在使用其大数据来更好地调整其,IT,和业务工作，并且他们正在使用他们的分析来支持更快、更频繁地更改其业务战略和策略。,大数据的弊端,国民经济,国民经济的利益,堪称智能交通、智慧电网的国民经济运行和智能社会发展高度依赖信息基础，这些重要的信息基础设施、网络化智能化的程度越高，安全也就越脆弱。,网络空间信息安全、问题严重性、迫切性在很大程度上已经远远超过其他的传统安全，当今主权国家所面临的所有非传统安全威胁总是面临着沧海一粟的困境,政府要找的那根针往往沉没在浩瀚的大海中。,社会安全问题,个人隐私,中国网民已经接近,6,亿，每时每刻都产生着大量的数据，也消费着大量的数据，网络的放大效应、传播的速度和动员的能力越来越大，各种社会的矛盾叠加,致使社会群体性事件频发,。,人们可以利用的信息技术工具无处不在，有关个人的各种信息也同样无处不在。在网络空间里，身份越来越虚拟，隐私也越来越重要。根据哈佛大学近期发布的一项研究报告，只要有一个人的年龄、性别和邮编，就能从公开的数据当中搜索到这个人约,87%,的个人信息。,大数据的弊端,在中国数据泄露多少条构成刑事犯罪？,50,条即可入罪。,不久前，有媒体曝光，在网络上，只提供一个手机号码，就能买到一个人的身份信息、通话记录、位置信息等多项关键信息。,根据刑法规定，侵犯公民个人信息罪的入罪要件为“情节严重”。对于这里的“情节严重”，本次出台的司法解释明确了违法所得,5000,元以上等十项认定标准。,值得注意的是，根据不同类型公民个人信息的重要程度，司法解释设置了不同的数量标准。对于行踪轨迹信息、通信内容、征信信息、财产信息，非法获取、出售或者提供,50,条以上即算“情节严重”,;,对于住宿信息、通信记录、健康生理信息、交易信息等其他可能影响人身、财产安全的公民个人信息，标准则是,500,条以上,;,对于其他公民个人信息，标准为,5000,条以上。,大数据的弊端,注意,保护好个人隐私,目,录,01,05,04,03,02,背景及概述,大数据的发展,大数据的应用,利与弊,未来发展趋势,数据资源化,与云计算,深度结合,科学理论,的 突 破,大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。,大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。,与数据挖掘、机器学习和人工智能等相关技术结合，会改变数据世界里的很多算法和基础理论，从而实现科学技术上的突破。,基于数据这个基础平台，将建立起跨领域的数据共享联盟，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环,。,数据共,享联盟,未来发展趋势,催生一批新的工作岗位和相应的专业,多方位改善我们的生活,促进智慧城市发展，为智慧城市的引擎,大数据安全市场,未来的发展趋势,智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力，通过物联网、移动互联网、云计算等新一代信息技术，实现城市高效的政,府管理、便捷的民生服务、可持续的产业发展。,智慧城市相对于之前数字城市概念，最大的区,别在于对感知层获取的信息进行了智慧的处理。,网络和数字化生活使得犯罪的分子更容易获取关于他人的信息，也有更多的骗术和犯罪手段出现，大数据安全是跟大数据业务相对应的，与传统安全相比，大数,据安全的最大区别是安全厂商在思考安全问题,的时候首先要进行业务分析，并且找出针对,大数据的业务的威胁，然后提出有针对性的,解决方案。,大数据的出现也将推出一批新的就业岗位，,如大数据分析师、数据管理专家、大数据,算法工程师等具有有丰富经验的数据分析人才将成为稀缺的资源，数据驱动型工作将呈现爆炸式的增长。,在健康方面：利用智能手环监测，对我们的,睡眠模式来进行追踪，了解睡眠质量；在智,能导航出行方面：利用,GPS,数据了解 交通状况，,并根据拥堵情况进行路线实时调优。在居家生活方面：将成为智能家居的核心，智能家电实现了拟人智能，产品通过传感器和控制芯片来捕捉和处理信息。,演示完毕，感谢您的聆听,31,