CDN平台-项目开发方案.docx

上海交通大学软件学院张艳红教授工作室文档状态：文档编号：Draft Released Modifying编 撰：杨李博编撰日期：20120420保密级别：文档版本：1.0.0CDN平台项目开发方案上海交通大学软件学院张艳红教授工作室修订表编号版本修订人修订章节与内容修订日期11.0.0杨李博2345678审批记录版本审批人审批意见审批日期1.0.0目 录CDN平台项目开发方案11.引言11.1编写目的11.2项目信息11.3术语和缩写词定义12.概述12.1CDN概念12.2CDN的基本特点12.3CDN的优点22.4CDN的作用22.4.1.解决网站高流量、大并发的问题22.4.2.解决南北互联问题22.4.3.网站访问加速32.4.4.提高网站的可用性32.5CDN组成32.5.1.CDN源站32.5.2.CDN缓存服务器32.5.3.智能DNS32.5.4.客户端32.6CDN的工作机制42.7CDN的监控42.7.1.主站资源监控：42.7.2.服务监控:52.8CDN的运维52.8.1.数据备份52.8.2.故障的处理52.8.3.应急处理53.需求描述54.CDN的设计64.1布点选取64.2工具选取64.3CDN结构设计74.3.1.源站74.3.2.智能DNS74.3.3.缓存服务器75.CDN演示模式85.1智能DNS85.2冗余86.总结8- 10 -1. 引言1.1 编写目的编写本项目开发方案旨在指导整个项目开发过程，帮助项目组全体成员更好的理解工作、协调工作，为项目的预期、高质量、低成本的完成奠定基础。1.2 项目信息a) 项目名称：CDN平台项目b) 提出者：上海交通大学软件学院张艳红教授工作室1.3 术语和缩写词定义简写英语全称中文含义CDNContent Delivery Network内容分发网络DNSDomain Name System域名系统TCPTransmission Control Protocol传输控制协议2. 概述1.22.1 CDN概念CDN是Content Delivery Network首字母缩写，就是内容分发网络。内容分发网络(以下简称CDN)是一种新型网络构建方式，它是为能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层；而从广义的角度，CDN代表了一种基于质量与秩序的网络服务模式。2.2 CDN的基本特点CDN的基本特点概括为：内容缓存、就近访问以及以DNS视图方式根据用户来源确定其访问位置。l 内容缓存：缓存服务器从源站点取得数据，然后暂存在本地的硬盘或内存。使用这种缓存机制的好处是：内容自动更新和多个服务器数据相互同步问题。l 就近访问：让用户的访问请求转向到离用户最近或者最容易访问的缓存服务器。l 以DNS视图访问方式根据用户来确定其访问位置，即让电信的用户访问电信的缓存服务器，网通的用户访问网通的缓存服务器。2.3 CDN的优点对于网站，在使用了CDN服务后，用户对网站的访问将直接由分布在全国各地的CDN节点服务器直接响应，网站的原服务器的工作负荷会迅速降低，网站不再需要为应付访问量的不断增加而增加服务器、网络带宽和相关的网络设备，也无需增加人力进行维护。同时，使用CDN服务后，通过智能动态负载均衡技术，可以将用户的访问自动定向到CDN 网络中的不同节点，一个节点或一条路径的故障不会用户的访问造成影响，提高了可用性和网站的服务质量，甚至在原网站因故障不能提供访问的情况下，仍可在一定时间内响应用户访问。 l 将网站的内容发布到更接近用户的地方 l 即时提高用户访问网站响应速度 l 减轻原网站服务器的负荷，减少扩容的需求 l 降低通信风暴的影响，自由选择分布在全国的CDNTECH 节点 l 提高用户访问质量，扩大服务的用户群体 l 减小软硬件投资，大大降低运营成本抗DDOS 攻击，利用CDNTECH充足的全网带宽储备，有效抵抗DDOS 攻击2.4 CDN的作用1.2.2.1.2.2.2.3.2.4.2.4.1. 解决网站高流量、大并发的问题我们知道，任何一个物理设备，其负载都有一个极限。为了应对访问量突增，使用CDN服务是一个好的系统扩容方案。2.4.2. 解决南北互联问题我国的网络是划江而治的格局，因为利益之争，各网络服务商之间并不是通力协作，而是采取各种手段相互限制。这就导致各网之间的互联互通存在很大的问题，具体表现为：电信的用户访问放置在网通机房的服务器，响应时间=特别长，反之亦然。使用CDN技术，可以让电信的用户访问电信的内容缓存服务器，网通的用户访问网通的内容缓存服务器。通过这样一种策略，绕开了网络运营商之间人为设置的障碍。2.4.3. 网站访问加速CDN采用缓存技术，把访问对象缓存起来，有的技术甚至能把对象缓存到内存（如Varnish），这在效果上表现出来的即是访问加速。2.4.4. 提高网站的可用性源站的访问量变得很小，这意味着源站系统有更低的负载，更低的磁盘I/O，防故障的几率大大降低。对于缓存服务器，多个服务器做成集群，保证了整个系统的高可用。2.5 CDN组成CDN是一种组合技术，包括源站、缓存服务器、智能DNS、客户端四个部分。2.5.2.5.1. CDN源站CDN源站指发布内容的原始站点。新增、删除和更改网站的文件，都是在源站上进行的；缓存服务器抓取的对象也全部来自于源站。2.5.2. CDN缓存服务器CDN缓存服务器是直接提供给用户访问的站点资源，有一个或数个服务器组成；当一个用户发起访问时，他的访问请求被智能DNS定位到离他较近的缓存服务器。如果访问所需的内容没有被缓存，则缓存服务器向邻近的缓存服务器或直接向源站抓取内容，然后再返还给用户；如果用户所请求的内容刚好在缓存里面，则直接把内容返还给用户。2.5.3. 智能DNS智能DNS是整个CDN的核心，它负责根据用户的来源，将其访问请求转向到离用户较近或较合适的缓存服务器，如把长沙电信的用户请求转向到长沙电信机房的缓存服务器。2.5.4. 客户端即发起访问的普通用户，一般的访问方式是浏览器。这个不再做说明。2.6 CDN的工作机制以上图为例。场景一：当“A网用户”访问被CDN加速的站点 时，从本地的DNS查询域名，最终可能在全局智能DNS服务器得到域名所对应的IP地址，即图所示“A网的缓存服务器”的IP；接着“A网用户”浏览器向“A网的缓存服务器”发起访问请求，幸运的是所需的默认页面文件index.htm正好被缓存在“A网的缓存服务器”里，于是缓存服务器立即返还数据，完成一次访问请求。场景二：当“B网用户”访问被CDN加速的站点时，从本地的DNS查询域名，最终可能在全局智能DNS服务器得到域名所对应的IP地址，即图7-1所示“B网的缓存服务器”的IP；接着“B网用户”浏览器向“B网的缓存服务器”发起访问请求，但是缓存服务器并没有缓存默认页面文件index.html，它需要先从源站取得这个对象，缓存并把内容返还给“B网用户”。“B网缓存服务器”通过“内部DNS”知道源站在哪里。2.5.42.7 CDN的监控CDN的监控主要分为2个部分：主站资源监控和服务监控。2.6.2.7.2.7.1. 主站资源监控：1) 源站资源监控：CPU负载、磁盘利用率、进程数。2) DNS服务器的资源监控：CPU负载、磁盘利用率、进程数。3) 缓存服务器的资源监控：CPU负载、磁盘利用率、进程数、TCP连接数。2.7.2. 服务监控:1) 所有服务器存活监控。2) 缓存服务器集群VIP存活监控。3) 源站TCP 80服务监控、缓存服务器TCP 80服务监控、缓存服务器集群VIP TCP 80端口监控。4) DNS服务器check_DNS监控。所有监控信息以logo形式存在本地。如发生错误会发出报警信息。因为我们采用的是集群方案，所以如果有一台服务器出问题服务会自动切换至另外一台服务器。2.8 CDN的运维2.8.2.8.1. 数据备份备份数据。需要备份的数据有两部分：配置文件和数据文件。在CDN环境下，只有源站的网站的数据需要备份，其他的备份操作都是针对配置文件的，如DNS区文件。2.8.2. 故障的处理因为整个CDN是基于高可用的架构，即便出现故障也不会导致服务全部停止，因此服务的恢复就不会有什么压力；另外也因为有监控系统的报警，很容易就知道问题出在什么地方。2.8.3. 应急处理 CDN服务运营中，有可能出现某个运营中机房网络不可用的情况，如设备故障或机房维护操作。这样一来，就导致某个区域的用户彻底不能访问。出现这种极端情况时，需要把出现故障的机房资源临时从DNS的转发列表中删除，然后把前往这些机房的访问转发到其他地方。3. 需求描述按照甲方的要求对“绿色无线智能云中心平台”进行网站访问加速，解决ISP运营商互通瓶颈，提供网站负载均和数据冗余功能。4. CDN的设计设计工作包括：布点选取、工具选取、CDN结构设计等几部分。1.31.44.1 布点选取布点包括源站、全局智能DNS和缓存服务器集群。l 局智能DNS选择互联互通性较好的第三方BGH机房；因为使用CDN服务的站点数量有限，故在缓存服务器以主机名的方式寻址源站。l 缓存服务器共4组，选择二线或三线城市的机房托管，能节省大量的资金（北京，上海海等城市带宽价格大概在300 400元/兆/月，而偏远一点二三线城市（如安阳）1G带宽的年总费用才8 10万）。4.2 工具选取工具包括操作系统、DNS软件、缓存服务器软件、负载均衡软件、源站软件以及定制的脚本。l 所有的服务器均使用32位的CentOS6.2。l DNS使用Bind-9.4.0。l 缓存服务器选择Varnishl 载均衡由Ipvsadm和Keepalived两部分组成。定制脚本的主要目的是自动刷新缓存服务，把这个脚本放在某个服务器上，只需执行一次（也可使用Crontab自动调用）就能实现所有缓存服务器的缓存清理。4.3 CDN结构设计3.4.4.1.4.2.4.3.4.3.1. 源站 源站为内容的原始发布，尽管采用CDN技术以后源站的负荷会变得很小，但为了有较高的可用性，可以把它部署成负载均衡集群。4.3.2. 智能DNS 智能DNS是用来实现用户访问转向功能的，即通过建立访问列表，判断用户的访问来源，确定其访问对象的位置。在本案中，建立电信、网通、教育网3个IP地址列表，未在这3个列表中的称为其他；每个列表关联一个Bind的视图View，那么一共有4个视图View。地址列表可以自己收集，也可以花钱购买，地址列表越大，DNS定向准确性越高。4.3.3. 缓存服务器缓存服务器是CDN环境使用量最大的设备。为保证缓存服务本身的高可用，每个布点的服务器都以负载均衡集群的方式存在。根据一般的经验，访问负荷比较重的机器，非常容易损硬盘，因此在设计时，尽可能地缓存内容到内存中，以增加访问的速度和延长机器的寿命。CDN设计汇总角色机器数量总带宽高可用方式放置位置备注源站1100M负载均衡集群第三方BGH机房跟机器服务器共用负载均衡智能DNS1100MDNS主从同步第三方BGH机房缓存服务器2100M*4+1G负载均衡集群电信，网通。每个集群2个负载均衡服务器4.4 CDN网络部署这两种网络部署方案都用采用三层网络架构，分别是核心层、汇聚层和接入层。4.4.4.4.1. 大型CDN网络部署其中大型网络部署架构的中间两台路由器为核心层。 主要负责数据的路由功能，外围4台是汇聚层，主要负责对接入设备的数据交换功能。最外围的四个交换机是汇聚层，主要负责服务器设备的接入。这种设计主要考虑了整体组网的安全性，即任何一个设备的故障都不会照成整体网络的瘫痪。4.4.2. 小型CDN网络部署这种小型网络部署架构的顶层为核心层，主要负责数据的路由功能，下面两个是汇聚层，主要负责对接入设备的数据交换功能。最底层的四个交换机是汇聚层，主要负责服务器设备的接入。这种设计主要考虑了整体组网的安全性，即任何一个设备的故障都不会照成整体网络的瘫痪。在刚开始用户的覆盖还没有这么广的时候，网络的结构可以简化。在随着市场的推广，用户的增多，用户对服务的稳定性和安全性的要求肯定会提高。我们在考虑网络的扩容。5. CDN演示模式最终演示我们将分成2个部分。1.55.1 智能DNS我们将布置1台源服务器，2台缓存服务器和1台智能DNS服务器。2台缓存服务器分布部署在两个网段，模拟成电信和网通2个不同的运营商。然后我们会把一台客户机分别分配到2个网段中，然后访问源站。我们可以实现不同的网段的客户机访问的是和在他同一网段的缓存服务器。5.2 冗余我们将布置2台服务器。让用户访问，然后把其中的一台服务器关闭。模拟成服务器出问题。然后在让用户访问。可以实现用户可以正常访问网站而不出现错误提示。6. 总结随着互联网的快速发展，不论是从带宽、安全性还是稳定性来说，都对服务提供商提出了更高的要求。拥有快速、安全、稳定的网络，将把网络高速发展的机遇，快速发展客户、占领市场的有力保障。而CDN技术包含的就近访问、负载均衡等策略在满足以上要求时无疑有着先天的优势，能以最小的代价建设快速、健壮的网络。同时CDN 技术能够节约骨干网资源，符合国家建设绿色网络的长远计划。而CDN 具备独有的带宽资源和技术优势，能为您的网站保驾护航，将是伴随您发展的最佳伙伴。2010年读书节活动方案一、 活动目的：书是人类的朋友，书是人类进步的阶梯！为了拓宽学生的知识面，通过开展“和书交朋友，遨游知识大海洋”系列读书活动，激发学生读书的兴趣，让每一个学生都想读书、爱读书、会读书，从小养成热爱书籍，博览群书的好习惯，并在读书实践活动中陶冶情操，获取真知，树立理想！ 二、活动目标： 1、通过活动，建立起以学校班级、个人为主的班级图书角和个人小书库。 2、通过活动，在校园内形成热爱读书的良好风气。 3、通过活动，使学生养成博览群书的好习惯。4、通过活动，促进学生知识更新、思维活跃、综合实践能力的提高。 三、活动实施的计划 1、 做好读书登记簿 （1） 每个学生结合个人实际，准备一本读书登记簿，具体格式可让学生根据自己喜好来设计、装饰，使其生动活泼、各具特色，其中要有读书的内容、容量、实现时间、好词佳句集锦、心得体会等栏目，高年级可适当作读书笔记。 （2） 每个班级结合学生的计划和班级实际情况，也制定出相应的班级读书目标和读书成长规划书，其中要有措施、有保障、有效果、有考评，简洁明了，易于操作。 （3）中队会组织一次“读书交流会”展示同学们的读书登记簿并做出相应评价。 2、 举办读书展览： 各班级定期举办“读书博览会”，以“名人名言”、格言、谚语、经典名句、“书海拾贝”、“我最喜欢的”、“好书推荐”等形式，向同学们介绍看过的新书、好书、及书中的部分内容交流自己在读书活动中的心得体会,在班级中形成良好的读书氛围。 3、 出读书小报：