大数据分析—安全.ppt

大数据分析安全防御的核武器伴随着伴随着物联网、云计算、移动互联网物联网、云计算、移动互联网等新技术的迅猛发展，等新技术的迅猛发展，数据正以前所未有的速度不断地增长和积累。人们不禁惊数据正以前所未有的速度不断地增长和积累。人们不禁惊呼，大数据时代已经到来！呼，大数据时代已经到来！大数据大数据(Big Data)是继云计算、物联网之后信息技术领域是继云计算、物联网之后信息技术领域的又一次颠覆性变革，同时也拉开了全球网络空间争霸的的又一次颠覆性变革，同时也拉开了全球网络空间争霸的帷幕。各国相继调整信息安全战略，将大数据置于重要地帷幕。各国相继调整信息安全战略，将大数据置于重要地位，以夺取位，以夺取“信息优势信息优势”和和“国际话语权国际话语权”。.21世纪是数据信息大发展的时代，世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据大数据”的诞生：的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据时代的背景.想驾驭这庞大的数据，我们必须了解大数据的特征。地球上至今总共的数据量地球上至今总共的数据量：在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011 年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！）！1PB=250字节1EB=260字节1ZB=270字节大数据时代的爆炸增长1Byte=8 Bit 1 KB=1,024 Bytes 1 MB=1,024 KB=1,048,576 Bytes 1 GB=1,024 MB=1,048,576 KB=1,073,741,824 Bytes 1 TB=1,024 GB=1,048,576 MB=1,073,741,824 KB=1,099,511,627,776 Bytes 1 PB=1,024 TB=1,048,576 GB=1,125,899,906,842,624 Bytes 1 EB=1,024 PB=1,048,576 TB=1,152,921,504,606,846,976 Bytes 1 ZB=1,024 EB=1,180,591,620,717,411,303,424 Bytes 数据量在爆炸式增长近两年所产生的数据量相当于2010年以前整个人类文明产生的数据量总和.“大量化大量化(Volume)、多样化、多样化(Variety)、快速化、快速化(Velocity)、价值密度低（、价值密度低（Value）”就是就是“大数据大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVolumeVelocityVelocityValueValueVarietyVariety大数据的4V特征.大数据=海量数据+复杂类型的数据海量交易数据：海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。大数据包括：交易数据和交互数据集在内的所有数据集海量交互数据：海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。大数据的构成.4、大数据的应用精准营销通过用户行为分析实现精准营销是大数据的典型应用智能电网现在欧洲已经做到了终端，也就是所谓的智智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来户的用电习惯等，从而推断出在未来23个月时间里，个月时间里，整个电网大概需要多少电。有了这个预测后，就可以整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。较贵。通过这个预测后，可以降低采购成本。.大数据应用案例之：通信行业电信业者透过数以千万计的客户资料，能分析出电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。全新的资料经济。NTT docomo把手机位置信息和互联网上的信息把手机位置信息和互联网上的信息结合起来，为顾客提供附近的餐饮店信息，接近结合起来，为顾客提供附近的餐饮店信息，接近末班车时间时，提供末班车信息服务。末班车时间时，提供末班车信息服务。.大数据应用案例之：零售业零售企业也监控客户的店内零售企业也监控客户的店内走动情况以及与商品的互动。走动情况以及与商品的互动。它们将这些数据与交易记录它们将这些数据与交易记录相结合来展开分析，从而在相结合来展开分析，从而在销售哪些商品销售哪些商品、如何摆放货如何摆放货品品以及以及何时调整售价何时调整售价上给出上给出意见，此类方法已经帮助某意见，此类方法已经帮助某领先零售企业减少了领先零售企业减少了17%的的存货，同时在保持市场份额存货，同时在保持市场份额的前提下，增加了的前提下，增加了高利润率高利润率自有品牌商品自有品牌商品的比例。的比例。.大数据分析应用案例之电子书Your E-Book Is Reading You.谷歌如何谷歌如何“嗅嗅”出疫情讯号？出疫情讯号？“谷歌流感趋势谷歌流感趋势”便是谷歌便是谷歌2008年推出，用于预警流感的即时网络服务。该系年推出，用于预警流感的即时网络服务。该系统根据对流感相关关键词搜索进行数据挖掘和分析，创建对应的流感图表和统根据对流感相关关键词搜索进行数据挖掘和分析，创建对应的流感图表和地图，目前可预测全球超过地图，目前可预测全球超过25个国家的流感趋势。个国家的流感趋势。借助大数据，更好地监测医药效果和预测大规模疾病趋势.候鸟迁徙与禽流感病毒之间不可切割的联系 疫情严重的地区与候鸟迁徙路线之间也有重叠情况。譬如，疫情严重的地区与候鸟迁徙路线之间也有重叠情况。譬如，“谷歌流感趋势谷歌流感趋势”中疫情呈中疫情呈“橘红色橘红色”预警状态的俄罗斯，全预警状态的俄罗斯，全球球8条候鸟迁徙路线就有条候鸟迁徙路线就有5条穿过它条穿过它在科技时代，如何构建一个更加完善的疾病疫情监控信息系在科技时代，如何构建一个更加完善的疾病疫情监控信息系统，我们或许可以借鉴下美国的经验。统，我们或许可以借鉴下美国的经验。.大数据赋予我们洞察未来的能力大数据赋予我们洞察未来的能力马云成功预测马云成功预测2008 年经济危机年经济危机“2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。”通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。询盘数据的下降，自然导致买盘的下降。人类从依靠自身判断做决定到依靠数据做决定人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。的转变，也是大数据作出的最大贡献之一。大数据时代大数据带来的机遇.政府职能变革政府职能变革重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程，改造成智慧工程；在安防领域，应用大数据技术，安防领域，应用大数据技术，提高应急处置能力和安全防范提高应急处置能力和安全防范能力能力；在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门；解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析；p政府投入将形成示范效应，大大推动大数据的发展。政府投入将形成示范效应，大大推动大数据的发展。大数据的应用 政府.美国奥巴马政府在白宫网站发布大数据研究和发展倡议，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国国土安全强化美国国土安全，转变教育和学习模式”；中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效，随着智慧城市的建设，社会将步入“大数据”时代。”难点：难点：1、在最初就合理规划智慧城市（深度思考哪些领域能够运用）；2、在城市发展基础设施和“云产业”的同时，更多重视“数据”的价值；3、在大数据处理领域的核心技术不足，需要政府更大的投入。大数据的应用 热点：智慧城市.政府、金融、电信等行业投资建立大数据的处理分析手段，实现综合治理、业务开拓等目政府、金融、电信等行业投资建立大数据的处理分析手段，实现综合治理、业务开拓等目标；应用到制造等更多行业。标；应用到制造等更多行业。更多行业的应用.数据的再利用：数据的再利用：由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。大数据价值链的大数据价值链的3大构成：数据本身、技能与思维大构成：数据本身、技能与思维 其中三者兼具的又谷歌公司，谷歌在刚开始收集数据的时候就已经有多次使用数据的想法。比方说，它的街景采集车手机全球定位系统数据不光是为了创建谷歌地图，也是为了制成全自动汽车以及谷歌眼镜等与实景交汇的产品。未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。大数据时代传统行业最终都会转变为大数据行业，无论是金融服务也、医药还是制造业。大数据的应用 未来，改变一切.结构化数据向非结结构化数据向非结构化数据演进，使构化数据演进，使得未来得未来IT投资重点投资重点不再是建系统为核不再是建系统为核心，而是围绕大数心，而是围绕大数据为核心；据为核心；海量数据可以在各海量数据可以在各个部门创造重大的个部门创造重大的财物价值，未来投财物价值，未来投资倾斜。资倾斜。未来IT投资重心转移.大数据分析安全防御的核武器 互联网行为记录，地理位置记录，互联网行为记录，地理位置记录，消费信息记录等等，人们的行为细节消费信息记录等等，人们的行为细节和隐私无一遗漏。同样，大数据对信和隐私无一遗漏。同样，大数据对信息安全影响深刻，各种网络行为、日息安全影响深刻，各种网络行为、日志都被记录下来，从而发现潜在的安志都被记录下来，从而发现潜在的安全风险。全风险。发觉潜在的威胁发觉潜在的威胁大数据的这种大数据的这种能力对今天的信息安全防范意义重大能力对今天的信息安全防范意义重大 在全球范围内进行相关数据的关联性分析。这样就能克服信息分布孤岛在全球范围内进行相关数据的关联性分析。这样就能克服信息分布孤岛带来的调查取证难的问题，更容易发现攻击。带来的调查取证难的问题，更容易发现攻击。针对具体的网络、系统和应用的运行数据采集分析，捕获、挖掘、修复漏针对具体的网络、系统和应用的运行数据采集分析，捕获、挖掘、修复漏洞；对全球已经发生以及正在发生的网络攻击行为进行记录，并将这些海量洞；对全球已经发生以及正在发生的网络攻击行为进行记录，并将这些海量的数据经过多维度的整合分析，自动生成漏洞库、黑客们行为特征等数据库。的数据经过多维度的整合分析，自动生成漏洞库、黑客们行为特征等数据库。对于具体的网络系统，全球化的安全监测，运用大数据技术，可以提前发现对于具体的网络系统，全球化的安全监测，运用大数据技术，可以提前发现攻击，提前阻止。攻击，提前阻止。.