物联网技术云计算概述.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,云计算,(1),Cloud Computing,北京邮电大学计算机学院,袁燕妮,物联网技术云计算概述,第1页,提要,1.,云计算与大数据,2.,云计算,概念与特征,3.,云计算发展现实状况,4.,云计算关键技术,5.,云计算关键算法,6.OpenStack,与,Docker,7.,云计算几个相关专题,8.,中国云计算发展前景和问题,9.,总结与展望,物联网技术云计算概述,第2页,1.1,云计算起源,1983,年,1.,云计算与大数据,物联网技术云计算概述,第3页,We have a dream,愿景,:,计算机,服务能力,能够作为一个商品进行流通。就像水、电、气一样取之方便，费用低廉,1.,云计算与大数据,物联网技术云计算概述,第4页,云计算愿景,云计算利用分布式计算和虚拟资源管理等技术，经过网络将分散,IT,资源集中起来形成共享,资源池,，以动态、按需和可度量方式向用户提供服务。,用户可使用各种形式终端,(PC,、平板电脑、智能手机等,),经过网络接入云，获取资源服务。,“,云,”,中资源在用户端看来,可无限扩展，随时获取，按需使用，按使用付费,。,1.,云计算与大数据,物联网技术云计算概述,第5页,云计算概念提出,8月9日，Google首席执行官埃里克施密特（Eric Schmidt）在搜索引擎大会（SES San Jose）首次提出“云计算”（Cloud Computing）概念。Google“云端计算”源于Google工程师克里斯托弗比希利亚所做“Google 101”项目。,为何是Google一个企业首先提出呢？,绞尽脑汁降低成本、实现盈利最大化,用廉价集群，而不是昂贵超级计算机支撑大型互联网应用,云是网络、互联网一个比喻说法。,1.,云计算与大数据,物联网技术云计算概述,第6页,虚拟服务,服务器集群和虚拟化,专业服务造成服务器多样化,更多任务由服务器负担,服务器登场,浏览器,/,服务器,客户机,/,服务器,服务器井喷,服务器托管,服务器托管形成市场,搜索服务器,视频服务器,安全服务器,邮件服务器,数据服务器,互联网资源配置变迁,出现了基于云计算各种服务模式,物联网技术云计算概述,第7页,（,1,）数据在云端,不怕丢失,无须备份,（,2,）软件在云端,无须下载,自动升级,（,3,）无所不在云计算,任何设备,登录后就是你,（,4,）无限强大云计算,无限空间,无限速度,云计算时代到来 标志：计算和数据资源日益迁移到云（互联网）上，用户使用资源不在客户端而在网络中。,1.,云计算与大数据,物联网技术云计算概述,第8页,搜索（baidu、谷歌）、网上银行、在线购物（亚马逊、淘宝、京东）、社交网络（微信、微博、,Facebook,、开心网、人人网）、互联网金融、网络云盘、即时通讯（,MSN,、,QQ,）、有道词典、搜狗输入法、,360,杀毒软件、电子邮件（,Gmail,）等等。,触手可及云应用,1.,云计算与大数据,物联网技术云计算概述,第9页,1.2,大数据时代,云计算,第三版配套,PPT,课件,“,大数据,”(Big Data),搜索指数,数据起源：baidu指数,baidu,“大数据”这个词从才引发关注，之后搜索量便迅猛增加。,为何大数据这么受关注？,1.,云计算与大数据,10,物联网技术云计算概述,第10页,(EB),(,年份,),全球数据总量改变图,1.1,大数据时代,云计算,第三版配套,PPT,课件,1.,云计算与大数据,1.2,大数据时代,物联网技术云计算概述,第11页,为何全球数据量,增加如此之,快,？,物联网技术云计算概述,第12页,一：,数据产生方式改变,二：人类活动越来越依赖数据,1.,人类日常生活已经与数据密不可分,2.,科学研究进入了“数据科学”时代,3.,各行各业也越来越依赖大数据伎俩来开展工作,1.1,大数据时代,云计算,第三版配套,PPT,课件,1.,云计算与大数据,4.,技术发展大势所趋,物联网，将深入推进数据大规模增加,1.2,大数据时代,物联网技术云计算概述,第13页,何谓,大数据？,物联网技术云计算概述,第14页,海量数据或巨量数据，其规模巨大到无法经过当前主流计算机系统在合理时间内获取、存放、管理、处理并提炼以帮助使用者决议。,定,义,15,物联网技术云计算概述,第15页,1C,4V,多样（,V,ariety,）,快速（,V,elocity,）,价值密度低（,V,alue,）,复杂度（,C,omplexity,）,数据量大（,V,olume,）,存放数据量巨大，,PB,级别是常态，因而对其分析计算量也大。,数据起源及格式多样，数据格式除了传统结构化数据外，还包含半结构化或非结构化数据，比如用户上传音频和视频内容。而伴随人类活动深入拓宽，数据起源愈加多样。,对数据处理和分析难度大。,数据增加速度快，而且越新数据价值越大，这就要求对数据处理速度也要快，方便能够从数据中及时地提取知识，发觉价值。,在成本可接收条件下，经过快速采集、发觉和分析，从大量、各种类别数据中提取价值体系架构。,1.1,大数据时代,云计算,第三版配套,PPT,课件,1.,云计算与大数据,1.2,大数据时代：大数据特征,16,物联网技术云计算概述,第16页,G=f(x),大数据与云计算关系,我们目标,云计算,大数据,云计算,第三版配套,PPT,课件,1.2,云计算,大数据计算,1.,云计算与大数据,17,物联网技术云计算概述,第17页,提要,1.,云计算与大数据,2.,云计算,概念与特征,3.,云计算发展现实状况,4.,云计算关键技术,5.,云计算关键算法,6.OpenStack,与,Docker,7.,云计算几个相关专题,8.,中国云计算发展前景和问题,9.,总结与展望,物联网技术云计算概述,第18页,广泛被接收定义：美国国家标准与技术研究院，,NIST,）,云计算精简定义,云计算是一个按使用量付费模式，这种模式提供可用、便捷、按需网络访问，进入可配置计算资源共享池（资源包含网络，服务器，存放，应用软件，服务），这些资源能够被快速提供，只需投入极少管理工作，或与服务供给商进行极少交互。,云计算是经过网络 按需提供可动态伸缩廉价计算服务。,2.1,云计算概念,物联网技术云计算概述,第19页,云计算,超大规模,虚 拟 化,高可靠性,通 用 性,高可伸缩性,按需服务,极其廉价,云计算特点,2.2,云计算特征,物联网技术云计算概述,第20页,2.2,云计算特征,资源池,：计算资源汇聚在一起，经过,多租户模式,服务多个消费者。在物理上，资源以分布式共享方式存在，但最终在逻辑上以单一整体形式展现给用户。,按需、自助,：用户能够依据本身实际需求，经过网络方便地进行计算能力申请、配置和调用，服务商能够及时进行资源分配和回收。,物联网技术云计算概述,第21页,2.2,云计算特征,快速弹性,：服务商计算能力能够快速而弹性地实现供给。服务商能够依据访问用户多少，增减对应,IT,资源（包含,CPU,、存放、带宽和软件应用等），使得,IT,资源规模能够动态伸缩，满足应用和用户规模改变需要。,广泛网络访问,：使用者不需要布署相关复杂软硬件基础设施和应用软件，直接经过互联网或企业内部网访问即可获取云中计算资源。,物联网技术云计算概述,第22页,2.2,云计算特征,可度量服务,：云服务系统能够依据服务类型提供对应计量方式，如依据用户使用云资源,时间长短和资源多少,进行服务收费。,所以，云服务平台都让您能够快速访问灵活且成本低廉,IT,资源。透过云计算，您无需先期巨款投入硬件，再花大量时间来维护和管理这些硬件。与此相反，您能够精准配置所需适当类型和规模计算资源，您能够依据需要访问任意多资源，基本是实时访问，而且只需按实际用量付费。,物联网技术云计算概述,第23页,云计算把,IT,资源看成服务来提供,应用程序、计算能力、存放容量、网络、编程工具、通信服务、协作工具等等。,大部分云计算基础构架是由经过数据中心传送可信赖服务和建立在服务器上不一样层次虚拟化技术组成。,人们能够在任何有提供网络基础设施地方使用这些服务。,云计算软件和数据均存放在数据中心，并经过,Web,方式提供通用商业应用服务,用户（云客户端）能够在各类设备上运行,Web,浏览器，访问云计算平台上在线应用服务。,2.3,云计算服务类型,云端：,“,一切即服务,”,（,XaaS,）,物联网技术云计算概述,第24页,将软件作为服务,SaaS,（,Software as a Service,）,将平台作为服务,PaaS,（,Platform as a Service,）,将基础设施作为服务,IaaS,（,Infrastructure as a Service,）,针对性更强，它将一些特定应用软件功效封装成服务,如：,Salesforce online CRM,对资源抽象层次更深入，提供用户应用程序运行环境,如：,Google App Engine,Microsoft Windows Azure,将硬件设备等基础资源封装成服务供用户使用,如：,Amazon EC2/S3,云计算按服务类型大致分为三类：,专用,通用,云服务,2.3,云计算服务类型,物联网技术云计算概述,第25页,“,一切皆服务,”,，,XaaS,物联网技术云计算概述,第26页,“,信息时代核电站”,Google,数据中心,物联网技术云计算概述,第27页,云计算将计算变成了大众用得上和用得起“水和电”,成 本,资源利用率,硬件成本,电价,管理费用,10%15%,80%,57,倍,30,倍,节约总成本,云计算较之传统方式性价比优势,云计算压倒性成本优势,2.4,云计算优势,低成本,物联网技术云计算概述,第28页,从为我全部到为我所用买服务,无需关注是谁提供服务，只关注自己真正需要什么样资源或者得到什么样服务。,最大好处：能提供灵活、个性化、多样化、简单应用和服务。,2.4,云计算优势,灵活,物联网技术云计算概述,第29页,提要,1.,云计算与大数据,2.,云计算,概念与特征,3.,云计算发展现实状况,4.,云计算关键技术,5.,云计算关键算法,6.OpenStack,与,Docker,7.,云计算几个相关专题,8.,中国云计算发展前景和问题,9.,总结与展望,物联网技术云计算概述,第30页,互联网上大量计算资源和服务器井喷,如,Google,Amazon,Hotmail,各自独立提供网络服务,基础设施服务商,如,Amazon Web services,搜索,论坛,邮件,购物,聊天,软件服务商,如,Google map,和,Apple,服务,平台服务商,如,和,Google APP Engine,软件服务商,如,salesforce,软件集成服务商,如,programmable web,著名软件服务商同时也能够成为其它,SaaS,供给商基础平台,云计算中心内部生态链,物联网技术云计算概述,第31页,云层集结,IT,巨头纵向整合产业链,物联网技术云计算概述,第32页,微软紧跟云计算步伐，推出了,Windows Azure,操作系统,亚马逊云计算称为,Amazon Web Services,（,AWS,）,谷歌是最大云计算技术使用者,国外云计算先行者,33,物联网技术云计算概述,第33页,率先在全球提供了弹性计算云,EC2,（,Elastic Computing Cloud,）和简单存放服务,S3,（,Simple Storage Service,），为企业提供计算和存放服务。,收费服务项目包含存放空间、带宽、,CPU,资源以及月租费。,AWS,（,Amazon Web Services,）,服务种类非常齐全,全球用户数量,100,万,+,Machine Image,，,AMI,）是包含了操作系统、服务器程序、应用程序等软件配置模板,当用户使用,EC2,服务去创建自己应用程序时，首先需要构建或获取对应,AMI,四种获取,AMI,路径,无偿使用,Amazon,提供公共,AMI,依据本身需要定制一个或多个私有,AMI,向开发者付费购置,AMI,使用其它开发者分享共享,AMI,1,2,3,4,构建好,AMI,分为,Amaznon EBS,支持和实例存放支持两类,物联网技术云计算概述,第36页,实例（,Instance,）,EC2,中实例由,AMI,开启,，能够像传统主机一样提供服务。同一个,AMI,能够用于创建含有,不一样计算和存放能力实例,。,Amazon,提供了各种不一样类型实例，分别在,计算、,GPU,、内存、存放、网络、费用,等方面进行了优化,Amazon,还允许用户在应用程序需求发生变更时，对,实例类型进行调整,，从而实现按需付费。,Amazon EC2,还为实例提供了许多,附加功效,，帮助用户更加好地,布署和管理应用程序,。,弹性计算云,EC2,物联网技术云计算概述,第37页,例：亚马逊,EC2,按需实例,：使用按需实例，您只需要按小时支付计算容量费用，无需签署长久协议或交纳预付款。您能够依据应用程序需求提升或降低计算容量，而且只需按要求小时费率为所使用实例付费。,按需实例推荐用途：,希望拥有低成本和,Amazon EC2,提供灵活性，而且无法支付预付款或签署长久协议用户,含有短期、难应付或无法预测且不能中止工作负载应用程序,首次在,Amazon EC2,上开发或测试应用程序,38,收费模式,物联网技术云计算概述,第38页,例：亚马逊,EC2,竞价型实例,：,Amazon EC2,竞价型实例让您能够对空闲,Amazon EC2,计算容量进行竞价，与按需实例价格相比，这类实例最多能够节约,90%,成本。,竞价实例推荐用途：,开始时间和结束时间灵活应用程序,只能承受极低计算价格应用程序,含有紧急计算需要，需要获取大量附加容量用户,39,收费模式,物联网技术云计算概述,第39页,例：亚马逊,EC2,预留实例,:,与按需实例定价相比，预留实例可为您提供大幅折扣,(,最高可达,75%),。另外，预留实例在分配给特定可用区后，能够提供容量预留，让您更相信自己能够按需开启实例。,对于使用率稳定或能够预测应用程序，与使用按需实例相比，预留实例可节约大量成本。,预留实例推荐用途：,使用率稳定应用程序,可能需要预留容量应用程序,愿意使用,EC2 1,年或,3,年以上来降低总计算成本客户,收费模式,物联网技术云计算概述,第40页,亚马逊,IaaS应用,经典,案例：纽约时报,使用,亚马逊云计算服务,效果：,在不到,24,个小时时间里处理了,1100,万篇文章（转为,PDF,文件）,费用：,累计花费,240,美元,利用自己服务器,时间：,数月时间,费用：,多得多费用,41,物联网技术云计算概述,第41页,为何成功,Amazon,在云计算方面成功并非其一开始就要成为云计算供给商，而是因为其在电子商务方面出众成就，将庞大闲置资源经过其先进,Web Services,技术提供给需要人们使用。,42,物联网技术云计算概述,第42页,最大云计算技术使用者,谷歌搜索引擎就建立在分布在,200,多个站点、超出,100,万台服务器支撑之上，而且这些设施数量还在迅猛增加,发表学术论文形式公开其云计算三大法宝：,GFS,、,MapReduce,和,Bigtable,，并在美国、中国等高校开设怎样进行云计算编程课程,采取,Google Docs,之类应用，用户数据会保留在互联网上某个位置，能够经过任何一个与互联网相连终端十分便利地访问和共享这些数据,谷歌已经允许第三方在谷歌云计算中经过,Google App Engine,运行大型并行应用程序,https:/cloud.谷歌.com/,43,物联网技术云计算概述,第43页,44,云产品,https:/cloud.谷歌.com/products/,物联网技术云计算概述,第44页,45,收费模式,https:/cloud.谷歌.com/products/,，灵活多样,物联网技术云计算概述,第45页,Google,应用商店,3月9日Google正式宣告Google Apps Marketplace开始运行，从而将应用商店概念引入到云计算领域。,Google Apps Marketplace为Google用户提供各类产品和服务，包含可安装能直接集成GoogleApps应用程序。,这些应用程序非常轻易使用，支持单点登录、Google通用导航、以及能集成用户自己数据特征。,46,https:/developers.谷歌.com/apps-marketplace/,物联网技术云计算概述,第46页,微软于10月推出了Windows Azure操作系统。Azure(译为“蓝天”)是继Windows取代DOS之后，微软又一次颠覆性转型。,微软云平台包含几十万台服务器,.,在中国，微软3月27日宣告由世纪互联负责运行Microsoft Azure公有云服务正式商用，这是国内首个正式商用国际公有云服务平台。,Azure,底层是微软全球基础服务系统，由遍布全球第四代数据中心组成。,微软将为,Windows Azure,用户推出许多新功效，不但能更简单地将现有应用程序转移到云中，而且能够加强云托管应用程序可用服务，充分表达出微软“云”,+“,端”战略。,47,物联网技术云计算概述,第47页,微软云计算服务平台,Windows Azure,属于,PaaS,模式，普通面向是软件开发商。当前版本,Windows Azure,平台包含,4,个组成部分,Windows,Azure,SQL Azure,Windows Azure,AppFabric,Windows Azure,Marketplace,作为微软云计算操作系统，提供了一个在微软数据中心服务器上运行应用程序和存放数据,Windows,环境,它是云中关系数据库，为云中基于,SQL Server,关系型数据提供服务,为在云中或当地系统中应用提供基于云基础架构服务,为购置云计算环境下数据和应用提供在线服务,微软云计算平台,48,物联网技术云计算概述,第48页,Windows Azure,平台体系架构,Windows,Azure,AppFabric,SQL Azure,Windows Azure,应用,Windows,Azure,Marketplace,49,物联网技术云计算概述,第49页,S,客户应用经典代表,提供可灵活定制,CRM,平台,采取了多租户架构，使得全部用户和应用程序共享一个实例，同时又能够按需满足不一样客户要求,50,物联网技术云计算概述,第50页,CRM,和云计算,借助多租户架构（类似于,A,和,Google,），全部客户共享一个通用技术，运行于最新版本之上，并受益于自动升级。所以，它们能够集中精力经营业务，而无须管理技术。,S,是企业级云计算领导者,。,CRM,应用程序（,Sales Cloud,和,Service Cloud,），运行在,F,平台和架构之上，完全基于互联网。,Sales Cloud,：全球首屈一指销售应用程序,F,：是一个,CRM,云平台,51,物联网技术云计算概述,第51页,Sales Cloud,Sales Cloud,：,销售应用程序,Sales Cloud,是最为完善销售应用程序：从潜在客户到投标，再到分析和控制，,Sales Cloud,均可提升并优化全部销售阶段。,这使得用户能够使用更少时间，跟踪更多销售机会，做出愈加准确预测，并实现销售业绩连续增加。,Sales Cloud,含有直观界面，可轻松实现自定义，所以广为众多用户所接收。,52,物联网技术云计算概述,第52页,F,是构建企业应用程序云平台,使用诸如,WebLogic,、,WebSphere,和,Microsoft.Net,等工具开发应用程序和网站通常都会碰到速度低、程序复杂且成本高昂问题。现在，,F,为业务应用程序和网站提供了新一代云平台。,使用,F,平台，开发人员无需购置硬件或安装软件即可快速创建丰富、协作企业应用程序。,构建应用程序速度比原来快,5,倍，而成本仅为原来二分之一,轻松将应用程序布署给任何人、布署到任何位置,让应用程序马上具备协作性和移动性,完善、兼具协作功效和值得信赖开发平台,与传统开发平台相比，在,F,上构建应用程序更加快更简单。,F,包含数据库、安全性、工作流、用户界面和逐步引导您构建功效强大业务应用程序、移动应用程序和网站其它工具。,53,物联网技术云计算概述,第53页,为何成功,S是一家提供商务软件在线软件即服务（SaaS）企业，用户每个月需要支付类似租金费用来使用网站上各种服务。,最著名产品是客户关系管理（CRM），以SaaS模式经过Internet提供业务。服务包括客户关系管理各个方面，从普通联络人管理，产品目录到订单管理，机会管理，销售管理等。,获福布斯杂志选为发展最快速科技企业，排名仅次Google。并成为首家年度收入达10亿美元企业云计算企业。,54,物联网技术云计算概述,第54页,国内,云计算崛起代表企业,存放服务为特色,多处拥有云计算数据中心,游戏托管为特色,国际上,云计算产品最全,提供类似,AWS,服务,专门支撑智能硬件大数据无偿托管,55,物联网技术云计算概述,第55页,提要,1.,云计算与大数据,2.,云计算,概念与特征,3.,云计算发展现实状况,4.,云计算关键技术,5.,云计算关键算法,6.OpenStack,与,Docker,7.,云计算几个相关专题,8.,中国云计算发展前景和问题,9.,总结与展望,物联网技术云计算概述,第56页,4.1,虚拟化,虚拟化是实现云资源共享关键技术,虚拟存放,虚拟机,虚拟网络,虚拟小区,虚拟计算能力,计算设施本身细节和物理位置对用户透明。,57,物联网技术云计算概述,第57页,4.2,分布式任务和分布式数据管理,为满足业界对“大数据”处理需求，需要实现在底层大规模,ICT,资源上进行分布式海量计算，并对大量结构化与非结构化数据进行存放与管理。,分布式计算,分布式文件系统,分布式数据库,58,物联网技术云计算概述,第58页,4.3,分布式计算技术,经典代表：谷歌,MapReduce,。,将,可分解,处理任务分配至多个节点同时完成，提升处理效率。,基本思想：,将一个大规模处理任务分解为同质化较小处理任务，并分散在不一样计算节点中完成，之后对结果进行汇总，得到最终处理结果。,59,物联网技术云计算概述,第59页,MapReduce,这种,并行编程模式,思想最早是在,1995,年,提出。,与传统分布式程序设计相比，,MapReduce,封装了,并行处理、容错处理、当地化计算、负载均衡,等细节，还提供了一个,简单而强大接口,。,MapReduce,把对数据集大规模操作，,分发给一个主节点管理下各分节点,共同完成，经过这种方式,实现任务可靠执行与容错机制,。,产生背景,2.2,分布式数据处理,MapReduce,Google MapReduce,架构设计师,Jeffrey Dean,4.3,分布式计算技术,60,物联网技术云计算概述,第60页,编程模型,Map,Map,Map,Reduce,Reduce,原始数据,1,原始数据,2,原始数据,M,结果,1,结果,R,Map,函数,对一部分原始数据进行指定操作。每个,Map,操作都针对不一样原始数据，所以,Map,与,Map,之间是相互独立，这使得它们能够充分并行化。,Reduce,操作,对每个,Map,所产生一部分中间结果进行合并操作，每个,Reduce,所处理,Map,中间结果是互不交叉，全部,Reduce,产生最终止果经过简单连接就形成了完整结果集,.,2.2,分布式数据处理,MapReduce,4.3,分布式计算技术,61,物联网技术云计算概述,第61页,编程模型,Map:(in_key,in_value),(,key,j,value,j,)|,j,=1,k,Reduce:(key,value,1,value,m,),(key,final_value),Map,输入参数,：,in_key,和,in_value,，它指明了,Map,需要处理原始数据,Map,输出结果,：,一组,对，这是经过,Map,操作后所产生中间结果,Reduce,输入参数,：,（,key,value,1,value,m,）,Reduce,工作,：,对这些对应相同,key,value,值进行归并处理,Reduce,输出结果,：,（,key,final_value,），全部,Reduce,结果并在一起就是最终止果,2.2,分布式数据处理,MapReduce,4.3,分布式计算技术,62,物联网技术云计算概述,第62页,实现机制,4.3,分布式计算技术,物联网技术云计算概述,第63页,实现机制,（,1,）,MapReduce,函数首先把,输入文件分成,M,块,（,2,）分配执行程序中有一个,主控程序,Master,（,3,）一个被分配了,Map,任务,Worker,读取并处理相关输入块,（,4,）这些缓冲到内存中间结果将被定时写到当地硬盘，这些,数据经过分区函数分成,R,个区,（,5,）当,Master,通知执行,Reduce,Worker,关于中间,正确位置时，它调用远程过程，从,Map Worker,当地硬盘上读取缓冲中间数据,（,6,）,Reduce Worker,依据每一个唯一中间,key,来遍历全部排序后中间数据，而且把,key,和相关中间结果值集合传递给用户定义,Reduce,函数,（,7,）当全部,Map,任务和,Reduce,任务都完成时候，,Master,激活用户程序,4.3,分布式计算技术,物联网技术云计算概述,第64页,第一个步骤,对原始数据进行分割（,Split,），,得到,N,个不一样数据分块。,2.2,分布式数据处理,MapReduce,怎样经过,MapReduce,完成排序工作，使其有序（字典序）呢？,4.3,分布式计算技术,物联网技术云计算概述,第65页,第二个步骤,对每一个数据分块都开启一个,Map,进行处理。,采取桶排序方法，每个,Map,中按照首字母将字符串分配到,26,个不一样桶中。,怎样经过,MapReduce,完成排序工作，使其有序（字典序）呢？,4.3,分布式计算技术,66,物联网技术云计算概述,第66页,第三个步骤,对于,Map,之后得到中间结果，开启,26,个,Reduce,。,按照首字母将,Map,中不一样桶中字符串集合放置到对应,Reduce,中进行处理。,怎样经过,MapReduce,完成排序工作，使其有序（字典序）呢？,4.3,分布式计算技术,物联网技术云计算概述,第67页,4.4,分布式文件系统,经典代表：谷歌,GFS,实现了大文件在多个节点上分布式存放，可满足高并发,I/O,访问需求。,基本思想：,将数据分为一样大小（,GFS,中最初为,64M,）文件块，分散存放在不一样服务器之中，由一个元数据服务器来进行统一管理，并为用户提供数据读写块地址。,优点：,支持用户对数据高并发读写，提升了,I/O,能力,实现对数据低成本容错保护,实现存放系统弹性扩展,68,物联网技术云计算概述,第68页,谷歌,GFS,系统架构,应用程序,GFS,客户端,(,文件名，,Chunk,索引,),(Chunk,句柄,Chunk,位置,),GFS,主服务器,文件命名空间,/foo/bar,Chunk2ef0,向数据块服务器发出指令,数据块服务器状态,GFS,数据块服务器,Linux,文件系统,GFS,数据块服务器,Linux,文件系统,(Chunk,句柄，字节范围,),Chunk,数据,标注：,数据信息,控制信息,2.1 Google,文件系统,GFS,4.4,分布式文件系统,物联网技术云计算概述,第69页,GFS,将整个系统节点分为三类角色,Client,（客户端）,Master,（主服务器）,Chunk Server,（数据块服务器）,Client,是,GFS,提供给应用程序访问接口，以库文件形式提供,Master,是,GFS,管理节点，负责整个文件系统管理,Chunk Server,负责详细存放工作,系统节点,GFS,2.1 Google,文件系统,GFS,4.4,分布式文件系统,物联网技术云计算概述,第70页,GFS,实现机制,客户端,首先访问,Master,节点,，获取交互,Chunk Server,信息，,然后访问这些,Chunk Server,，完成数据存取工作。这种设计方法实现了,控制流和数据流分离,。,Client,与,Master,之间,只有控制流，而无数据流,，极大地降低了,Master,负载。,Client,与,Chunk Server,之间直接传输数据流，同时因为文件被分成多个,Chunk,进行分布式存放，,Client,能够同时访问多个,Chunk Server,，从而使得,整个系统,I/O,高度并行，系统整体性能得到提升,。,2.1 Google,文件系统,GFS,4.4,分布式文件系统,物联网技术云计算概述,第71页,4.5,分布式数据库,在互联网应用中，为处理大量文本、图像、声音和视频等非结构化数据，出现了众多可支持非结构化数据数据库（谷歌,BigTable,，,Hadoop,项目中,Hbase,等,),采取了与,GFS,类似架构,含有高可扩展性,支持分布式存放,采取开源方式公布,72,物联网技术云计算概述,第72页,Bigtable,数据存放格式,2.4,分布式结构化数据表,Bigtable,Bigtable,是一个分布式多维映射表，表中数据经过一个行关键字（,Row Key,）、一个列关键字（,Column Key,）以及一个时间戳（,Time Stamp,）进行索引,Bigtable,存放逻辑能够表示为：,(row:string,column:string,time:int64)string,4.5,分布式数据库,物联网技术云计算概述,第73页,2.4,分布式结构化数据表,Bigtable,行,列,时间戳,Bigtable,行关键字能够是任意字符串，不过大小不能够超出,64KB,表中数据都是依据行关键字进行排序，排序使用是词典序,同一地址域网页会被存放在表中连续位置,倒排便于数据压缩，能够大幅提升压缩率,将其组织成所谓列族（,Column Family,）,族名必须有意义，限定词则能够任意选定,组织数据结构清楚明了，含义也很清楚,族同时也是,Bigtable,中访问控制（,Access Control,）基本单元,Bigtable,中时间戳是,64,位整型数，,详细赋值方式能够用户自行定义,Google,很多服务比如网页检索和用户个性化设置等都需要保留不一样时间数据，这些不一样数据版本必须经过时间戳来区分。,4.5,分布式数据库,Bigtable,数据存放格式,物联网技术云计算概述,第74页,4.6,云计算开发技术,开源化,Hadoop：,实际上云计算标准,云计算领域软件开源化趋势十分显著，最具代表性是由雅虎创建，当前由Apache 基金会支持Hadoop 项目。,Hadoop 项目：实现了谷歌MapReduce、GFS 和BigTable 关键功效，是当前业界广泛采取分布式计算系统架构。,IBM、Facebook、Rackspace 等著名企业都在利用Hadoop 开发分布式计算集群系统。,75,物联网技术云计算概述,第75页,Hadoop,生态系统,76,hadoop.apache.org/,物联网技术云计算概述,第76页,77,Spark,生态系统,spark.apache.org/,采取,Scala,语言开发,物联网技术云计算概述,第77页,78,Spark,生态系统,物联网技术云计算概述,第78页,79,Spark,生态系统,实时流式数据采集与处理,基于内存,RDD,、,Dataframe,并行大数据处理编程模式,物联网技术云计算概述,第79页,80,OpenStack,是一个由,NASA,（,美国国家航空航天局,）和,Rackspace,合作研发,并发起，以,Apache,许可证授权,自由软件,和,开放源代码,项目。,OpenStack,是一个云操作系统框架,。,OpenStack,支持几乎全部类型云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一云计算管理平台。,OpenStack,经过各种互补服务提供了基础设施即服务（,IaaS,）处理方案，每个服务提供,API,以进行集成。,OpenStack,是一个意在为公共及私有云建设与管理提供软件开源项目。它小区拥有超出,130,家企业及,1350,位开发者，这些机构与个人都将,OpenStack,作为基础设施即服务（,IaaS,）资源通用前端。,OpenStack,项目标首要任务是简化云布署过程并为其带来良好可扩展性。,4.6,云计算开发技术,开源化,-OpenStack,物联网技术云计算概述,第80页,81,4.6,云计算开发技术,开源化,-,容器开源软件,Docker,Docker 是一个开源应用容器引擎，让开发者能够打包他们应用以及依赖包到一个可移植容器中，然后公布到任何流行 Linux 机器上，也能够实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。,Docker自以来非常炽热，不论是从 github 上代码活跃度，还是Redhat在RHEL6.5中集成对Docker支持,就连 Google Compute Engine 也支持 docker 在其之上运行。,物联网技术云计算概述,第81页,云资源共享关键技术,-,虚拟化,物联网技术云计算概述,第82页,虚拟相对于真实，虚拟化就是将原本运行在真实环境上计算机系统或组件运行在虚拟出来环境中。,虚拟内存,Java,语言虚拟机,虚拟化,83,物联网技术云计算概述,第83页,虚拟化定义,84,物联网技术云计算概述,第84页,虚拟化定义,虚拟化技术是一个调配计算资源方法,将不一样层面,硬件、软件、数据、网络、存放,隔离开来，从而打破数据中心、服务器、存放、网络、数据和应用中物理设备之间划分，实现架构动态化，到达集中管理和动态使用物理资源及虚拟资源,三层含义：,虚拟化对象是各种各样资源,经过虚拟化后逻辑资源对用户隐藏了无须要细节,用户能够在虚拟环境中实现其在真实环境中部分或者全部功效,85,物联网技术云计算概述,第85页,虚拟化常见类型,-,基础设施虚拟化,网络虚拟化：将网络硬件和软件资源整合，向用户提供虚拟网络连接,虚拟局域网,Virtual LAN,虚拟专用网,VPN,存放虚拟化：为物理存放设备提供一个抽象逻辑视图，用户能够经过这个视图中统一逻辑接口来访问被整合存放资源,基于存放设备存放虚拟化,磁盘阵列技术（,RAID,）,基于网络存放虚拟化,网络附加存放（,NAS,）、存放区域网（,SAN,）,86,物联网技术云计算概述,第86页,虚拟化常见类型,-,系统虚拟化,实现操作系统与物理计算机分离，使得在一台物理计算机上能够同时安装和运行一个或多个虚拟操作系统,虚拟机：使用系统虚拟化技术，运行在一个隔离环境中、含有完整硬件功效逻辑计算机系统，包含操作系统和其中应用程序,VMware Workstation,IBM z,系列和,p,系列服务器,87,物联网技术云计算概述,第87页,虚拟化常见类型,-,软件虚拟化,应用虚拟化,将应用程序与操作系统解耦合，为应用程序提供一个虚拟运行环境,高级语言虚拟化,处理可执行程序在不一样体系结构计算机之间迁移问题,88,物联网技术云计算概述,第88页,服务器虚拟化,服务器虚拟化将系统虚拟化技术应用于服务器上，将一个服务器虚拟成若干个服务器使用,服务器虚拟化经过虚拟化软件向上提供对硬件设备