CDN技术介绍专业资料.doc

CDN技术介绍
背景
Internet高速发展, 给大家工作和生活带来了极大便利, 对Internet服务品质和访问速度要求越来越 高, 即使带宽不停增加, 用户数量也在不停增加, 受Web服务器负荷和传输距离等因数影响, 响应速度慢还是常常埋怨和困扰。处理方案就是在网络传输上利 用缓存技术使得Web服务数据流能就近访问, 是优化网络数据传输非常有效技术, 从而取得高速体验和品质保 证。

网络缓存技术, 其目就是降低网络中冗余数据反复传输, 使之最小化, 将广域传输转为当地或就近访问。互联网上传输内容, 大部分为反复Web/FTP数据, Cache服 务器及应用Caching技术网络设备, 可大大优化数据链路性能, 消除数据峰值访问造成结点设备阻塞。Cache服务器含有缓存功效, 所以大部分网页 对象(Web page object), 如html, htm, php等页面文件, gif, tif, png, bmp等图片文件, 以及其她格式文件, 在使用期(TTL)内, 对于反复访问, 无须从原始网站重新传送文件 实体, 只需经过简单认证(Freshness Validation)- 传送几十字节Header, 即可将当地副本直接传送给访问者。因为缓存服务器通常布署在靠近用户端, 所以能取得近似局域网响应速度, 并有效降低广域 带宽消耗。据统计, Internet上超出80%用户反复访问20%信息资源, 给缓存技术应用提供了先决条件。缓存服务器体系结构与Web服 务器不一样, 缓存服务器能比Web服务器取得更高性能, 缓存服务器不仅能提升响应速度, 节省带宽, 对于加速Web服务器, 有效减轻源服务器负荷是非常有 效。
高速缓存服务器(Cache Server)是软硬件高度集成专业功效服务器, 关键做高速缓存加速服务, 通常布署在网络边缘。依据加速对象不一样, 分为用户端加速和服务器加速, 用户端 加速Cache布署在网络出口处, 把常访问内容缓存在当地, 提升响应速度和节省带宽;服务器加速, Cache布署在服务器前端, 作为Web服务器前置 机, 提升Web服务器性能, 加速访问速度。假如多台Cache加速服务器且分布在不一样地域, 需要经过有效地机制管理Cache网络, 引导用户就近访问, 全局负载均衡流量, 这就是CDN内容传输网络基础思想。
什么是CDN?
CDN全称是Content Delivery Network, 即内容分发网络。其目是经过在现有Internet中增加一层新网络架构, 将网站内容公布到最靠近用户网络”边缘”, 使用户可 以就近取得所需内容, 处理Internet网络拥塞情况, 提升用户访问网站响应速度。从技术上全方面处理因为网络带宽小、 用户访问量大、 网点分布不均等 原因, 处理用户访问网站响应速度慢根本原因。
狭义地讲, 内容分公布网络(CDN)是一个新型网络构建方法, 它是为能在传统IP 网公布宽带丰富媒体而尤其优化网络覆盖层;而从广义角度, CDN代表了一个基于质量与秩序网络服务模式。简单地说, 内容公布网(CDN)是一个经策 略性布署整体系统, 包含分布式存放、 负载均衡、 网络请求重定向和内容管理4个要件, 而内容管理和全局网络流量管理(Traffic Management)是CDN关键所在。经过用户就近性和服务器负载判定, CDN确保内容以一个极为高效方法为用户请求提供服务。总来说, 内 容服务基于缓存服务器, 也称作代理缓存(Surrogate), 它位于网络边缘, 距用户仅有”一跳”(Single Hop)之遥。同时, 代理缓存是内容提供商源服务器(通常位于CDN服务提供商数据中心)一个透明镜像。这么架构使得CDN服务提供商能够代表她们 用户, 即内容供给商, 向最终用户提供尽可能好体验, 而这些用户是不能容忍请求响应时间有任何延迟。据统计, 采取CDN技术, 能处理整个网站页面 70%～95%内容访问量, 减轻服务器压力, 提升了网站性能和可扩展性。
与现在现有内容公布模式相比较, CDN强调了网络在内 容公布中关键性。经过引入主动内容管理层和全局负载均衡, CDN从根本上区分于传统内容公布模式。在传统内容公布模式中, 内容公布由ICP 应用服务器完成, 而网络只表现为一个透明数据传输通道, 这种透明性表现在网络质量确保仅仅停留在数据包层面, 而不能依据内容对象不一样区分服务质 量。另外, 因为IP网”尽力而为”特征使得其质量确保是依靠在用户和应用服务器之间端到端地提供充足、 远大于实际所需带宽通量来实现。在这么 内容公布模式下, 不仅大量宝贵骨干带宽被占用, 同时ICP应用服务器负载也变得非常重, 而且不可估计。当发生部分热点事件和出现浪涌流量时, 会产生 局部热点效应, 从而使应用服务器过载退出服务。这种基于中心应用服务器内容公布模式另外一个缺点在于个性化服务缺失和对宽带服务价值链扭曲, 内 容提供商负担了她们不该干也干不好内容公布服务。
纵观整个宽带服务价值链, 内容提供商和用户位于整个价值链两端, 中间依靠网络服务提供商将其串接起来。伴随互联网工业成熟和商业模式变革, 在这条价值链上角色越来越多也越来越细分。比如内容/应用运行商、 托管服务提供商、 骨干网络服务提供商、 接入服务提供商等等。在这一条价值链上每一 个角色都要分工合作、 各司其职才能为用户提供良好服务, 从而带来多赢局面。从内容与网络结合模式上看, 内容公布已经走过了ICP内容(应用)服 务器和IDC这两个阶段。IDC热潮也催生了托管服务提供商这一角色。不过, IDC并不能处理内容有效公布问题。内容位于网络中心并不能处理骨干带 宽占用和建立IP网络上流量秩序。所以将内容推到网络边缘, 为用户提供就近性边缘服务, 从而确保服务质量和整个网络上访问秩序就成了一个显而 易见选择。而这就是内容公布网(CDN)服务模式。CDN建立处理了困扰内容运行商内容”集中与分散”两难选择。无疑对于构建良好互联网价值链 是有价值, 也是不可或缺。
CDN新应用和用户
现在CDN服务关键应用于证券、 金融保险、 ISP、 ICP、 网上交易、 门户网站、 大中型企业、 网络教学等领域。另外在行业专网、 互联网中都能够用到, 甚至能够对局域网进行网络优化。利用CDN, 这些网站无需投资昂 贵各类服务器、 设置分站点, 尤其是流媒体信息广泛应用、 远程教学课件等消耗带宽资源多媒体信息, 应用CDN网络, 把内容复制到网络最边缘, 使内容 请求点和交付点之间距离缩至最小, 从而促进Web站点性能提升, 含相关键意义。CDN网络建设关键有企业建设CDN网络, 为企业服务;IDC CDN网络, 关键服务于IDC和增值服务;网络运行上主建CDN网络, 关键提供内容推送服务;CDN网络服务商, 专门建设CDN用于做服务, 用户经过 与CDN机构进行合作, CDN负责信息传输工作, 确保信息正常传输, 维护传送网络, 而网站只需要内容维护, 不再需要考虑流量问题。
CDN能够为网络快速、 安全、 稳定、 可扩展等方面提供保障。
IDC建立CDN网络, IDC运行商通常需要有分部各地多个 IDC中心, 服务对象是托管在IDC中心用户, 利用现有网络资源, 投资较少, 轻易建设。比如某IDC有10个机房, 加入IDCCDN网络, 托管 在一个节点Web服务器, 相当于有了10个镜像服务器, 就近供用户访问。宽带城域网, 域内网络速度很快, 出城带宽通常就会瓶颈, 为了表现城域网高速体 验, 处理方案就是将Internet网上内容高速缓存到当地, 将Cache布署在城域网各POP点上, 这么形成高效有序网络, 用户仅一跳就能访问大部分 内容, 这也是一个加速全部网站CDN应用。
CDN 工作原理
在描述CDN实现原理, 让我们先看传统未加缓存服务访问过程, 方便了解CDN缓存访问方法与未加缓存访问方法差异:

由上图可见, 用户访问未使用CDN缓存网站过程为:
1. 用户向浏览器提供要访问域名;
2. 浏览器调用域名解析函数库对域名进行解析, 以得到此域名对应IP地址;
3. 浏览器使用所得到IP地址, 域名服务主机发出数据访问请求;
4. 浏览器依据域名主机返回数据显示网页内容。
经过以上四个步骤, 浏览器完成从用户处接收用户要访问域名到从域名服务主机处获取数据整个过程。CDN网络是在用户和服务器之间增加Cache层, 怎样将用户请求引导到Cache上取得源服务器数据, 关键是经过接管DNS实现, 下面让我们看看访问使用CDN缓存后网站过程:

经过上图, 我们能够了解到, 使用了CDN缓存后网站访问过程变为:
1. 用户向浏览器提供要访问域名;
2. 浏览器调用域名解析库对域名进行解析, 因为CDN对域名解析过程进行了调整, 所以解析函数库通常得到是该域名对应CNAME统计, 为了得到实 际IP地址, 浏览器需要再次对取得CNAME域名进行解析以得到实际IP地址;在此过程中, 使用全局负载均衡DNS解析, 如依据地理位置信息解析对 应IP地址, 使得用户能就近访问。
3. 此次解析得到CDN缓存服务器IP地址, 浏览器在得到实际IP地址以后, 向缓存服务器发出访问请求;
4. 缓存服务器依据浏览器提供要访问域名, 经过Cache内部专用DNS解析得到此域名实际IP地址, 再由缓存服务器向此实际IP地址提交访问请求;
5. 缓存服务器从实际IP地址得得到内容以后, 首先在当地进行保留, 以备以后使用, 二方面把获取数据返回给用户端, 完成数据服务过程;
6. 用户端得到由缓存服务器返回数据以后显示出来并完成整个浏览数据请求过程。
经过以上分析我们能够得到, 为了实现既要对一般用户透明(即加入缓存以后用户用户端无需进行任何设置, 直接使用被加速网站原有域名即可访问), 又要 在为指定网站提供加速服务同时降低对ICP影响, 只要修改整个访问过程中域名解析部分, 以实现透明加速服务, 下面是CDN网络实现具体操作过程。
1. 作为ICP, 只需要把域名解释权交给CDN运行商, 其她方面不需要进行任何修改;操作时, ICP修改自己域名解析统计, 通常见cname方法指向CDN网络Cache服务器地址。
2. 作为CDN运行商, 首先需要为ICP域名提供公开解析, 为了实现sortlist, 通常是把ICP域名解释结果指向一个CNAME统计;
3. 当需要进行sorlist时, CDN运行商能够利用DNS对CNAME指向域名解析过程进行特殊处理, 使DNS服务器在接收到用户端请求时能够依据用户端IP地址, 返回相同域名不一样IP地址;
4. 因为从cname取得IP地址, 而且带有hostname信息, 请求抵达Cache以后, Cache必需知道源服务器IP地址, 所以在CDN运行商内部维护一个内部DNS服务器, 用于解释用户所访问域名真实IP地址;
5. 在维护内部DNS服务器时, 还需要维护一台授权服务器, 控制哪些域名能够进行缓存, 而哪些又不进行缓存, 以免发生开放代理情况。
CDN技术手段
实现CDN关键技术手段是高速缓存、 镜像服务器。可工作于DNS解析或HTTP重定向两种方法, 经过Cache服务器, 或异地镜像站点 完成内容传送与同时更新。DNS方法用户位置判定正确率大于85%, HTTP方法正确率为99%以上;通常情况, 各Cache服务器群用户访问流入数 据量与Cache服务器到原始网站取内容数据量之比在2:1到3:1之间, 即分担50%到70%到原始网站反复访问数据量(关键是图片, 流媒体文件等 内容);对于镜像, 除数据同时流量, 其它均在当地完成, 不访问原始服务器。
镜像站点(Mirror Site)服务器是我们常常能够看到, 它让内容直截了当地进行分布, 适适用于静态和准动态数据同时。不过购置和维护新服务器费用较高, 另外还必需在各 个地域设置镜像服务器, 配置专业技术人员进行管理与维护。大型网站在随时更新各地服务器同时, 对带宽需求也会显著增加, 所以通常互联网企业不会建立 太多镜像服务器。
高速缓存手段成本较低, 适适用于静态内容。Internet统计表明, 超出80%用户常常访问是20%网站 内容, 在这个规律下, 缓存服务器能够处理大部分用户静态请求, 而原始WWW服务器只需处理约20%左右非缓存请求和动态请求, 于是大大加紧了用户 请求响应时间, 并降低了原始WWW服务器负载。依据美国IDC企业调查, 作为CDN一项关键指标-缓存市场正在以每年近100%速度增加, 全 球营业额在将达成45亿美元。网络流媒体发展还将剌激这个市场需求。
CDN网络架构
CDN网络架构关键由两大部分, 分为中心和边缘两部分, 中心指CDN网管中心和DNS重定向解析中心, 负责全局负载均衡, 设备系统安装在管理中心机房, 边缘关键指异地节点, CDN分发载体, 关键由Cache和负载均衡器等组成。
当用户访问加入CDN服务网站时, 域名解析请求将最终交给全局负载均衡DNS进行处理。全局负载均衡DNS经过一组预先定义好策略, 将当初最靠近用 户节点地址提供给用户, 使用户能够得到快速服务。同时, 它还与分布在世界各地全部CDNC节点保持通信, 搜集各节点通信状态, 确保不将用户请求 分配到不可用CDN节点上, 实际上是经过DNS做全局负载均衡。
对于一般Internet用户来讲, 每个CDN节点就相当于一个放置在它周围WEB。经过全局负载均衡DNS控制, 用户请求被透明地指向离她最近节点, 节点中CDN服务器会像网站原始服务器一样, 响应用户请求。因为它离用户更近, 所以响应时间肯定愈加快。
每个CDN节点由两部分组成:负载均衡设备和高速缓存服务器
负载均衡设备负责每个节点中各个Cache负载均衡, 确保节点工作效率;同时, 负载均衡设备还负责搜集节点与周围环境信息, 保持与全局负载DNS通信, 实现整个系统负载均衡。
高速缓存服务器(Cache)负责存放用户网站大量信息, 就像一个靠近用户网站服务器一样响应当地用户访问请求。
CDN管理系统是整个系统能够正常运转确保。它不仅能对系统中各个子系统和设备进行实时监控, 对多种故障产生对应告警, 还能够实时监测到系统中 总流量和各节点流量, 并保留在系统数据库中, 使网管人员能够方便地进行深入分析。经过完善网管系统, 用户能够对系统配置进行修改。
理论上, 最简单CDN网络有一个负责全局负载均衡DNS和各节点一台Cache, 即可运行。DNS支持依据用户源IP地址解析不一样IP, 实现 就近访问。为了确保高可用性等, 需要监视各节点流量、 健康情况等。一个节点单台Cache承载数量不够时, 才需要多台Cache, 多台Cache同时 工作, 才需要负载均衡器, 使Cache群协同工作。