云计算在三网融合中的应用.doc

图文：解放军理工大学教授刘鹏日期：20111115来源：新浪科技 作者：字体：大 中 小 解放军理工大学教授刘鹏（新浪科技 韩连巍/摄）新浪科技讯 由中国广播电视协会和BIRTV组委会共同主办、中广互联承办的第三届三网融合峰会(CNCS2011）于2011年8月25至26日在北京召开,新浪科技全程直播本次会议。图为解放军理工大学教授刘鹏.我的题目是“云计算在三网融合中的应用，首先为什么会有云计算？实际上云计算的产生不是一个自然发展的结果，正是由于我们的数据增长太惊人了，过去这些年里,数据的增长规律是到今天为止所有的数据加在一起，再过18个月就会翻一倍，也就是说世界上所有的西格玛加在一起的，包括家里的废报纸的数据,磁盘上、光盘上的数据，古代岩洞里的壁画和图书馆的信息，这么多信息加在一起再过18个月会double一次，这个成长的速度非常惊人,我们称为数据爆炸，爆炸的结果使你没有办法处理这么多数据，因为每次增加出来的数据，你必须要把它存起来，必须要有能力处理它，所以它对你的春出和处理能力有了新的要求。而我们现在计算机的演进又不能够满足这个要求，计算机的速率符合摩尔定律，计算机的速度会比18个月前的状态，那个点提升一杯，不是历史上所有加在一起提升了一倍，所以默写定律的增长速度比这个速度慢得多。以前在家里上互联网是56K，现在在家里有2M的，有4M的，甚至有20M的，移动互联网手机上也有2M、7M的，网络带宽越来越宽，原来播放的节目只有几百K，现在在天威视讯能播放15M的流量，所以这个数量量的增长是非常快的.这是由于需求的原因导致我们不太可能再用传统的计算机架构去处理我们新增加的数据。我们应该怎么办呢?只能够用网络去连接大量小的节点，把它构成前所未有的平台，用虚拟的大云去取代传统的大云或传统的小云，这就是我们这么多年计算机界在做的努力，（图)这是1995年伯克利做出第一套世界集群计算机，把计算机节点作为数据处理起来,当时叫NOW工作站网络，最开始就有集群，在一个房间里做这个事情，后来不同地点都有集群,构成一个网格计算平台,这是1998年以后.网格技术再演化，到了现在规模非常非常大，变成一个供应商，比如Google、亚马逊一个供应商提供一个或几个机器，全世界共用一个平台,进行前所未有的服务，这种演进就是以这种方式进行的。2003年我们当时意识到这个问题，当时我们写了一个论文，计算与网络化的模型，以前的网格要跨平台，跨系统，集成异构的资源，集成社会共享平台,我们认为很难实现，所以我们提出简化平台,这和现在的云计算平台是一模一样的.要追溯到云计算来源，1984年SUN提出了The network is the computer。网络就是计算机。以前我们把网络当成一个传输通道，我的计算机利用这个网络传输信息，计算机是主体，在1984年Sun意识到这个问题，随着网络带宽增长,每9个月全球带宽增长就会翻一倍,按这个速度增长，未来的网络带宽足够宽，这样我们可以用网络连接大量的计算机，构成一个虚拟的超级计算机，然后我们的计算机接上去我们变成它的终端，以这样的模式在工作，以前我们画网络图的时候总是一朵云，现在把它叫计算机，所以叫云计算。云计算到底是什么呢？就是我们要通过网络来推动可以动态伸缩的廉价计算能力，首先，你访问这种服务它是通过网络服务的,如果上不了网,你的云计算就搞不起来.它的这种服务能力是能够动态伸缩的，你需要多少用多少,你要的多就多付钱，用的少就少付钱，可以按需获取你的能力，就像你在家用电和自来水一样，所以计算变成一种公用服务，而且这种服务价格非常便宜，它采用了全新的服务模式,比传统的计算模式可以大大节省成本。这是我们对云计算的理解。云计算里需要把各种资源管理起来，构成资源池，董事要有网络的分布式软件来管理资源池里所有的东西，比如说要管理里面各种各样的设备，管理用户提交的各种任务,里面会出现大量故障，你要去管理这种故障，要从故障中恢复过来，要给用户提供服务,要管理用户,要管理安全，最后以简单的接口对外提供服务。不同的云计算提供商他们的解决方案是不同的，但本质上讲他们都可以套到这个架构里来。Google的云计算中心，机房都是这样的，放的都是普通、廉价的计算机,而且把南肯的一面对着走廊，因为这个数据中心的机器质量太差，随时都会坏，坏了这个机器就会闪灯,闪灯也没人管，过了两个月,来了一个农民工,这个农民工推着一车子机器，看到机器闪灯就把它拔掉,换着一个机器,所以后面对着走廊使他拔起来非常方便，插之后其它不管,用软件给它装机，之后变成云计算的一个节点，用这种方式把它管理.Google的云数据中心规模已经非常大了,建在荒郊野外,戈壁滩上，非常寒冷的地方，而且微软的云数据中心都是放在集装箱里，每台箱子里放了2200台服务器，他们在节省能源方面采用了很多新的方法。这是Google的数据中心，在比利时，整个数据中心在室外,因为比利时非常冷，但即使如此，一年当中仍然有7天温度比较高，这七天Google的数据中心关掉,全球的访问会自动转到别的地方，这样他在全球范围内提供这种基础设施。Google之所以会在非常冷，非常偏远的地方建立云数据中心，而且这个数据中心旁边一定是有一个很大的电站，他这样做，Google讲根本原因在于传输光子的成本远低于传输电子的成本,如果我们把电力牵引传输到城市里,需要电是庞大的设施，传输过程中有很多的衰减,如果我们用光缆来传输，只要挖一条小沟，光缆的传输容量几乎就可以做到无限，所以,我们对光纤的传输能力要有信心。2000年我在清华，清华有一个老师报告说，同学们，光纤的传输容量几乎可以做到无限，而且九个月可以做到翻一倍，你们以后可以认为传输的带宽可以是无限的，传输的成本接近于零，现在的发展印证了他当时说的话。你在光缆沟里埋一个光缆,这个光缆不用挖出来，过两年技术进步，两端一换，光缆容量又可以提高几十倍。这种模式是非常有效的模式,Google就用这种模式，就地买电，这个电就地供应数据中心，通过光缆把数据传输到城市里。传输信息不传输电力是非常高效的做法。Google现在最大的云数据中心相当于美国的三峡工程，它的电能消耗也是非常惊人的。微软公司在芝加哥数据中心大量使用水管，在水坝上把水引到数据中心,从数据中心的每个机房,每个机架，每个主板上流过去把热量带走，我们国家三读用一度电，散热再用一度电比较符合国家标准。但在我们国内很难做到这个标准，基本上机器用一度电，散热要用两度电，Google是机器用一度电,散热占0。1度电，所以Google、微软在云计算数据中心商做了很多措施,这值得我们学习.这是微软在多柏林建的数据中心，上面有很多水管,每个箱子里有200台服务器，现在规模已经非常大了，现在这样的数据中心正在向全球蔓延，以后我们可以看到有些比较冷的地区,将来你看上去就是一望无际全是这样的东西，云计算的核心理念是在一大堆烂机器上提供高性能的可靠服务，最烂的是Google的第一个云计算机器（图),Google公司创办的时候是两个在斯坦福读书的博士生创办的，他们当时没有钱，从别的实验室捡了很多破烂回来，把这些机器的机箱仍掉，把主板插起来，但这样会短路，他们用机壳板把这些板隔开，最后Google就创办了。Google的服务不可靠吗?它非常可靠。之所以这样可靠是在软件上做了大量容错措施，而且这样做成本非常低。纽约时报把它的所有报纸做了转换，原计划他要做一个转换要几个月，后来有一个工程师讲这不需要,我们把所有的数据放在亚马逊云计算服务器上，租他的服务器转，24小时就完成了,花了240美元,所以云计算是非常便宜的一种设施，而且能带来前所未有的性价比,这是40倍的性价比。李开复讲2008年Google建立云计算中心一共花了16亿美元，获得的计算能力是640亿美元的能力,40倍的差距.我们现在应该向哈尔滨、内蒙进军,在那样的地方建我们的云数据中心，用光缆把数据输送出来,所以我们现在在内蒙做规划，会划出几百平方米的面积出来,规划做全国的云计算设施,所以现在各个运营商有计划到哪里建数据中心，那里的电非常充足，送都送不出来，内蒙的煤炭产量和储量都是世界第一，风电厂在那里建的规模非常大,我有一个同学在那里开车开了4个小时都没有出过风电厂.而且内蒙有些地方一年有7个月都是上冻、结冰的，那里建云计算中心非常方便，唯一不方便的是光纤要铺通，给它提供万兆的带宽。它的政府官员没有转变过来,他不知道这样做有什么好处,所以如果在那里建数据中心成本可以大大降低，需求非常大.去年5月12日,当时我们和张亚勤和雅虎的杨致远一起北京市政府建议，希望把北京建成世界级的云计算基地,北京市政府后来也采纳了我们的建议，后来有了响应工程,有率先推动云计算的发展,去年10月份国务院出台了一个文件就是关于加快培育和发展战略性新兴产业的决定，里面提到要加快发展云计算。而且工信部启动了五个城市的试点，北京、上海、深圳、杭州、无锡五各城市先性开展云计算创新试点，今年之内第二批试点城市也会启动。北京有祥云计划,中关村云计算展业园等，除了试点城市之外，其它城市也十分重视,比如哈尔滨有中国云谷，大连云计算知识产权展览中心，济南有云计算战略产业中心,西部有西安软件园云计算中心，微软西部云计算中心，四川有电信西部信息中心,两江国际云计算中心,据说1000万台机器，划出十平方公里的面积来建云计算中心，我听了之后觉得非常恐怖.1000万台是什么意思呢?不仅是世界第一,相当于Google+微软+雅虎+亚马逊全部加起来也没有1000万台机器，武汉要建中国云计算数据港等等，澳门、香港也都有相应的动作，目前不太有消息的地方是这些（图），云计算产业很快会突破万亿规模，这和物联网产业相比，物联网产业目前花钱比较多，因为我们要撒很多传感器上去,盈利比较难,将来有可能找到很多盈利点,目前它正在培育过程中,云计算不一样,这个产业赚钱很多，大家赚到钱又投入，在金融风暴的时候最赚钱的企业往往是云计算企业，现在国际上的大企业，我们找不出一家企业不做云计算的。微软公司今年是90的员工做云计算,华为公司今年70的研发投入做云计算，所以全球大的企业全部转向的云计算，云计算是一个历史的必然，像互联网时代我不可能不上网。再用传统的小型机和传输局域网做原来的事情做不了，因为数据太大了,必须用廉价的方式去做.现在中国三大运营商都已经转到云计算上，他们不仅要提出技术通道，信息传输的基础设施，还有信息处理的基础设施，在这上面来为移动互联网用户提供前所未有的服务，但服务不是由云计算提供，而是由第三方的软件开发商，去依托他们的平台架构他们的应用，然后移动给他们分成，这是一种新的服务模式，这比起苹果的App Store更好一些，App Store只是一个下载平台,真正的计算资源还是依靠用户的手机做计算，这种计算能力是非常弱的，所以，我们要依托云平台作为计算平台，手机只是一个输入输出的窗口，这时候你的手机的能力，能提供的服务是前所未有,是完全不一样的。国内的像淘宝、万网、腾讯,腾讯现在云计算平台有20万台机器，百度，新浪微博现在发展非常快,新浪微博就是新浪云计算平台在支撑，如果没有这个平台在支撑，我相信新浪微博平台不可能同时支撑这么多用户服务，我们现在经常说有多少网友在关注你，你和另外一个人都关注了相同的用户，所以建议你关注那个用户，这些都是通过数据分析处理的,这种数据处理不可能不通过云计算来处理，因为它的数据量太大了。淘宝的底层如果不用云计算来做，淘宝这家公司早就不可以存在了，如果用传统计算平台.王坚说过,支付宝这家公司如果没有云计算平台支付宝早就垮掉了，如果这个支付交给银行,银行早就垮掉了,因为支付宝上的成交量非常大,每笔交易额非常小,5元、10元一个单子做交易.如果银行做交易,银行买大量的小型机,还要盖一座大楼,还要请很多漂亮的服务员做这个事情,银行每个单子的交易成本,大家用银联就知道，因为你刷卡人家不愿意呢？因为你刷卡，银联从商户里收取费用就是1%，异地取款银行也收你1，就是银行的运作成本太高了，没有办法与云计算平台来比，所以我相信支付宝这种企业,如果发展得顺利的话，支付宝这家阶级就会相当于全世界所有银行的综合。淘宝这一个网站就会相当于全国所有零售企业的总和，未来的世界是他们的世界，所以,阿里巴巴这家公司是非常有远见的公司，马云在十年前就曾经讲过，我建一个网站的目的是要超过沃尔玛,我认为他超过沃尔玛太容易了，未来的世界是他们的世界。我们判断云计算很多，各种云,有各种云，到底什么是真的云,怎么判断它？讲三条标准：1、用户使用的资源部在客户端而在网络中，网站也是这样，通过终端访问这个资源,这是最基础的标准，如果上不了网就不是云计算。2、它提供给你的服务能力要具有分钟级的可伸缩性，如果你是秒级的可能更好，就是我需要的云计算计算能力，需要你大你就给我大，而了在一分钟内大，如果我需要你小，你需要在一分钟内能小，如果不是这样，我认为它不是云计算。为什么需要有这条标准呢?什么叫云计算？对用户来说按需需要多少就用多少,好处在哪儿?我架构一个平台，这个平台平时的服务流量很小，突然有一天这个网站上出来一个芙蓉姐姐，这个网站流量突然暴涨，必须要更多的服务器提供服务，如果不能按分钟级获得更多的服务,这个网站就会被冲垮。如果不是按需的模式,我把机器就要配到最满，按最大容量配置机器，所以机器会有一些闲置,所以全球服务器的利润率只有15,要提高利用率就是全社会共享一个平台,你用多一点，他用少一点，总共平台利用率可以做到80.就像自来水一样，每家每户把自来水打开,自来水厂也受不了。但是我们不可能把所有的自来水龙头全部打开,所以我们认为自来水厂（的水)还是足够用的，云计算平台也是它提供给你这个能力,让你知道你的空间和处理能力是一定的，伸缩空间非常重要。3、在国内我们不能指望30倍、40倍性价比，目前在国内做到5倍的性价比就不错了.现在中国移动能做到7倍，1000台机器，我们要做到这个规模以上，我们认为是云计算，在这个规模以下,达不到性价比的提升就不是云计算,这不一定完全靠机器规模,你的组织方式,机器方式,运作模式，不适用小型机做的,是云计算的概率就更大一些。广电做云计算有什么机遇呢？我们正好遇到了“三网融合”的很好的机会，我们又是移动宽带正在迅速普及的时期,同时我们又是IPTV，通过IP传输视频的模式，所以，我们这几种模式,通过云计算作为他们强大的后台支撑,这是非常好的。这种支撑就是要从传统的承载向IP的承载迁移,从分割的业务体制向广电一体化迁移,从单一的服务向全面的、互动的服务迁移，这是我们希望通过云计算解决的问题。我们做的一些工作也是对这个方向有所支撑。比如我们做的Masscloud云存储系统，这和故够的云架构的存储系统很像,（图）它的性能和机器规模完全成正比，机器数量多它的性能就上去了，机器数量少它的性能就下去了。我们在上面做了超低功耗的硬件，能把能源消耗控制在5W10W之间,这个结点是带四个硬盘8个T，专业硬件做比通用硬件做,通用硬件是200W功耗，这是10W功耗，大大节省能源。它非常可靠,里面随便关掉一台机器,数据不会丢失，把云里面的通信关掉一半，数据不会丢失，但冗余度是1：1，和容灾备份是一样的，冗余度1：1的话，机器关掉一半数据不会丢失.能源减少了，它的散热就少了，我把一个机架的集成度就可以做得很好，所以我们一个机架可以做到1024T，就是1P的容量.现在国际上是360T，我们云存储可以做到接近一堆硬盘的成本,所以要云计算多少钱，算每个盘500元，可以算出多少前，基本上额外的成本可以忽略不计,这样好处非常大，它非常便宜，这么大量的海量数据非常容易使用，而且它非常容易使用，黏到用户机器上，用户机器上多了一个盘，用户可以存任意的东西，可以把Oracle数据库放在这里，这样Oracle数据库就变成一个板子，原来是单机版的,很多人同时访问受不了,这装到我这上面,单机版变成并行板，大家同时访问，数量可以成正比。(图）这是我们做的机器，很多单位在用我们的云。高速传输，在局域网传输数据效果比较好，距离越远效果越差，互联网有一个特性，就是有个回程时间，就是我发包过去它响应给我一个包需要时间，这和光速是成正比的，光速是不可减少的，是最快的.我们发一个信息到拉萨3000公里基本光要十个毫秒，通过互联网需要更长的时间，回程时间长了带来的坏处就是它的性能会下来，TCP/IP要反复握手，网络越远丢包率越高，在局域网速度很快，感觉在广域网速度就慢。我们上新浪网为什么不慢呢？因为新浪网在各地缓存了很多，做CDN，大量的数据在本地，你不觉得慢,所以CDN公司是很重要的公司,专门做推送的，推送到离用户最近的地方。如果把高清的节目分发到另外的地方，距离就比较远,这时候你面对的效率就很低。我们做的这个技术是Ctrans，它的性能提高数倍,带来效率很大,这是我们做的传输软件.我们在国家卫星实验站做的是这样的,1G光缆连到市里,100多公里，这十年里它的传输速率只有十几兆，一兆的带宽只用了百分之一点几的效率，我们去了之后两边什么都没改，就改了一下软件，但和十个几兆相比，我们提升到800兆.我们和天华传媒(天威视讯下面一个单位)做的节目分发到全国各地，以前是把节目装到硬盘里，每天寄硬盘,这样时间比较长,成本也很高.现在用这个分发系统把节目纯属到不同的分发系统，云计算容量很大,用我们的分发软件发，目前我们这套系统已经在中国广播电视有线网络公司做了实验,当时从北京分发到深圳，这个线路有一段是从北京到广州的自己的专线，还有一段是广州到深圳没有专线,所以走的是互联网，就是一个互联网，这个网我们分发节目的效率是85，网络带宽85用来传输数据，这个效果就非常理想。除了分发之外我们要做在线的点播，高清节目点播，我们采用了一个架构，是视频服务云，这是赶时髦改的名字，以前这个架构是国家视频网格，这是2002年我设计的系统,到现在才开始实现，这么多年我们不断推，与上海电信和华为合作，经过这么多年，现在开始能够推广起来,视频服务云这张图是我2002年做的，我们要在不同地点架构视频服务集群。这里面需要节目提供商，比如中央电视台、中国国际电视制作公司，他们有大量的节目,把数字高清化之后把节目放在那里,通过网络连入这平台上来，它就成了一个节目源，这个节目源的节目到我这个平台就成了共享的资源，最后形成一个统一的节目单,版权是通过DIM方法来保护他们的版权，这个节目是他的就是他的，别人拿不走。节目从这个地方进来之后为整个平台所共享，这个节目分享的人越多，收益越高,可以分成。这里面可以架构一些域名的管理设施,比如域名服务、资源调度服务，这时候有用户想连接进来，想看高清电视,会首先浏览目录，这个平台就能确定他能不能看，有没有这个身份，有没有付钱，最后经过资源调度服务器去找合适的资源,离用户最近的资源看。这个电视别的没有,只有中央电视台有,所以中央电视台通过他的平台提供服务，播放电影到用户这里,进行一段时间之后，经常会有人看电影，这个节目就会缓存在这些相应的节点,下次用户看的时候就会从就近的节点来播放，所以它是一个动态优化的过程。整个过程中都是最热的节目缓存在里面，老的节目都是从源端结点看,大家经常看的都是离用户缓存最近的地方.我们做了一套专门的仿真器,当我们这个架构非常复杂的时候,可以把用户点播的画端点出来，我们会调动网络，使网络呈现最好的状态。同时我们编写高清视频编解码，用X86的方式做成本非常高，如果用64核处理器，我们用这样的东西做高清的转马，所以效果就会非常好。我们用这个高速集群去处理。我们用云的方法做监控,能够做到城市几十万个摄像头都是高清摄像头,所有的数据都到云计算平台上来，我仍然可以把它实时存起来,实时转码,实时播放,柔性的，它的摄像头再做对我都没有问题。目前我们与华为公司、中兴通讯、360安全为士、数码视讯建立了非常好的合作关系，比如这是360联合实验室，我们可以给他提供优质的用户服务。这是我们的网站，中国云计算网站www.chinacloud。cn，它是国内最大的免费资源网站，你可以在上面看到大量的自量和PPT.我们还出版了一本云计算书，这也是目前国内销量排名第一的云计算书籍。9月6日、7日将在南京举办中国云计算技术与应用大会，这个会规格比较高，除了院士、专家来参加之外，现在知名的企业，比如Google、IBM、360都会来介绍他们的云计算经验.淘宝网云计算处理能力非常强,这次派了5个人过来，做5个专长，来看淘宝网怎么处理海量数据的情况，淘宝网应用网站，他们特别开放，把所有的技术全部开放出来，他们有一个技术博客大家可以看，淘宝网怎么实现云计算网站，他们把所有东西都开放,因为他并不卖东西给我们，纯粹为了分享技术给大家.谢谢!