大数据计算模式和关键技术.ppt

未来，已发生改变未来，已发生改变大数据的关键技术大数据的关键技术.1大数据关键技术大数据关键技术1、数据采集、数据采集2、数据存储与管理、数据存储与管理3、数据处理与分析、数据处理与分析4、数据隐私与安全、数据隐私与安全.1.5大数据关键技术大数据关键技术分布式存储分布式处理大数据两大核心技术.1.5大数据关键技术大数据关键技术分布式存储：解决海量数据的存储问题分布式存储：解决海量数据的存储问题单机无法存储集群分布式存储海量数据的存储.1.5大数据关键技术大数据关键技术大数据技术都是以Google公司技术为代表.1分布式数据库分布式数据库Bigtable分布式文件系统分布式文件系统GFS分布式并行处理技术分布式并行处理技术Mapreduce 1.5大数据关键技术大数据关键技术.正如“不同的锁需要不同的钥匙”企业中不同的应用场景数据不同的计算模式，需要使用不同的大数据技术不同的计算模式需要使用不同的产品不同的计算模式需要使用不同的产品.1大数据关键技术大数据关键技术批处理批处理流数据需要实时处理图计算需要实时处理实时计算实时计算交互式查询分析交互式计算交互式计算不同的计算模式需要使用不同的产品MapReduce批处理计算模式的典型代表.批处理计算MapReduce是批处理计算模式的典型代表可做迭代计算的Spark，实时性更好.10流计算代表技术：Storm、S4、Flume、Streams流数据（网购数据、游戏内玩家活动、社交网站信息、金融交易大厅或地理空间服务，以及来自数据中心内所连接设备或仪器的遥测数据）需要实时处理，给出实时响应，否则分析结果会失去商业价值。.图计算代表技术：Pregel、GraphX、社交网络数据转换成图结构.查询分析计算代表技术：Dremel、Hive、Cassandra、Impala等等.大数据计算模式表1-3 大数据计算模式及其代表产品.分布式存储分布式处理大数据两大核心问题.1.云计算概念云计算概念云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。.云计算的优势企业不需要自建IT基础设施，可以租用云端资源.云计算的优势企业不需要自建IT基础设施，可以租用云端资源.图1-7 云计算的服务模式和类型 云计算的服务模式和类型云计算的服务模式和类型.公有云面向所有公众面向所有公众面向所有公众面向所有公众.私有云面向企业内部面向企业内部面向企业内部面向企业内部.混合云混合云混合云部分给自己，部分给外部部分给自己，部分给外部部分给自己，部分给外部部分给自己，部分给外部.Infrastructure as a ServicePlatform as a ServiceSoftware as a ServiceSaaSPaaSIaaSGoogle Apps,Microsoft“Software+Services”面面向用户（云软件）向用户（云软件）Sina APP Engine,Google App Engine面向应用开发者（搭建开发平台作为服务出租）面向应用开发者（搭建开发平台作为服务出租）Amazon EC2,IBM Blue Cloud,Sun Grid面向网络架构师（基础设施作为服务出租）面向网络架构师（基础设施作为服务出租）ServerStorageServerStorageVisualizationInfrastructurePlatformApplication从一个集中的系统部署软件，使之在一台本地计算机上(或从云中远程地)运行的一个模型。由于是计量服务，SaaS 允许出租一个应用程序，并计时收费 IaaS将基础设施(计算资源和存储)作为服务出租PaaS类似于 IaaS，但是它包括操作系统和围绕特定应用的必需的服务SaaS.云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等云计算关键技术云计算关键技术.云计算数据中心的建设云计算数据中心的建设.阿里全球云计算数据中心部署阿里全球云计算数据中心部署.苹果云计算数据中心部署苹果云计算数据中心部署.思考：云计算数据中心应该选择建在什么位置？云计算数据中心应该选择建在什么位置？云计算数据中心应该选择建在什么位置？云计算数据中心应该选择建在什么位置？.