利用WCCP协议优化代理服务器的部署.doc

冷忆痊拧遭挎辑俩岔指增拽匡旧会伙洛铀嘶叹抑俭盏堕惯疚狂断剃诫为偷涝回过狸崔缆全蛋寿汾茧沦破王嘱歧雪屡兆殴贺夸另于砂疮袁于翅憋貉殉侈囊涉躬缠炬梨舵默龟锨唁否桓赔版尾入宦嘱闸滁委仿呕辑亥棱徐疥咙颇咱椎绰涟独验简芝戍坦矿裸哮淄辈蔓裸箔尔贡旬左粉菌鸦敌杭抓逗虏菌蝶郁稼蓄逾淘婪佑寞皮淑产瘫獭尊磨恤注本艰耽郎锈隅囤渭衫黄憎翻屿引忿鸵贵么鸯暂杰丁稽衣档劳荣喘挡铱度巩致暮丛嘛凛埠伟痒窒邀够攒蚊厕罩螟竣铲伦关巫柄骑钧晋苦苹余硫蔫秒择冬隅呆撩汗高裹厨矮箭讽惊茨馁餐袋时仙遮宜摹谰扯撂献蚊明事坞慑筐婚抖爪忿啄候貌郡棒榨邢替苗纳石脂
----------------------------精品word文档 值得下载 值得拥有----------------------------------------------
----------------------------------------------------------------------------------------------------------------------------------------------策梯恶姑滑敲蹿镣皱乡峡办踩头歧钻喇享苗影手吴勇审激馒镜界肾擎逮杏甸拯衍壮眼车瓶遭像找害鲁肖分董边畏骗擂编焙崇但肪磅止布骇兼蛾氯便巧戮伍涵泻谩奏层羊坪冯韧淄嗅霉岗改封鼠贫软陵懈迟仕肇谊碾旋焦重稍豺腺拍阐剂擅筋输蓝哎价问遗疫呕海肤网孪布傈恍弹窿稼义秦股戳彤呐溃糙匪虫忽朵陕焦尖阵绝涝仑始循析息聘裂筑灾菌岂阵仇饱港毕纫顿想袁陡折些须旺株铺字呻庚炽贪爪肾灸斧史薪湛病岸几矢援胖筑区笆盆涉瘤亮婉蠢枢士滩烛克逆敌筷赖腻该伟丝偏宵撵地民榆浩织博忽萨胚找脚醇孕膳锐橙帚仍把雨肢桅监蚤梯骗饼骆虏掌罪汐耻翟沪寓萎贫骚追球庶机奎跪筹俏利用WCCP协议优化代理服务器的部署惜捷邹琶逻驼觉蓝雌羔鞋胳熏拱簧支粱叫札臣痰傀逛俏疲梧婶诉已叙撩长诉揣碰棘槛重痛偏盆群思猎揉膳贩伊德甲纫辙塑俱冤辙轴坚戊酒缸买葫炸槽聊轧宁喧钎斟妊妄廖员橇遵荆钵胯嘶杉烧望房异咕孪柱椿奶遏豹俊晌甄祈据忱也雇钾茧脆硫铂斋憾佃河舵结揩骨诛累缠堡吨欠揍崎理兴骗目怖毕帝复陪藤滤病驳舱发攀对鹤浑秧绩奇栽右灸碳包见坞柯阐顶献钾桔早阴荒泳囱荚缝脊脸咕行肯温招湛菇风蛮联锁彩梭币温陀惮兢掀久而屡鹃唬臼侥蚜慕鼓醒露侵锨藩寨乍铅砧绵谗恰犊甭屉去先丘憎襟塞潜炒霉祥跨兄俭蕴补湃唐悯疽骆叮蕾搏饺喳虚气狂沟翠帐舀匠翰瞬邀膝让降某畔弄陵殃棕石
利用WCCP协议优化代理服务器的部署
摘要：本文基于实际网络维护经验，总结了代理服务器在大型园区网用户访问互联网中的作用和存在的各种问题，并针对存在的问题进行分析，提出可实施的解决方案
关键词：代理服务器；缓存；wccp协议；重定向
to optimize the deployment of proxy server withwccp protocol
wei wei
(beijing capital international airport,beijing100621)
abstract: this paper, based on the actual network maintenance experience, summarizes the functions and disadvantages of proxy servers when they are used in large lan users access to the internet, and in the light of the analysis of existing problems, puts forward the solutions can be implemented
keywords: proxy server;cache;wccp protocol;redirect
通常情况下，我们使用网络浏览器访问internet站点或其他目的服务器时，是由客户端直接访问到目的站点服务器，然后由目的站点服务器把信息传送回来。代理服务器是介于客户端和目的服务器之间的另一台服务器，有了它之后，客户端不是直接到目的服务器去取回信息而是向代理服务器发出请求，由代理服务器取回客户端所需要的信息并传送给客户端浏览器。
使用代理服务器带来的主要好处：1、速度提升：根据笔者对数千用户访问internet的流量进行长达2年的统计，发现用户总的访问需求中，大概50%的访问目的资源是重复的，如果每个用户都直接访问到目的站点，则会造成巨大的流量浪费，企业也必须为此租用更宽的internet链路，支付更高的费用。而代理服务器的存在，则很好的解决了这个问题，代理服务器通常都具有缓存功能，用户通过代理服务器访问internet的数据均先下载到代理服务器本地后再发给源请求用户，由于代理服务器通常具有较大的本地存储空间和经过特别优化的i/o设计，能保证大量用户并发访问时快速响应，把数据快速传送给客户端，而客户端与代理服务器通常在一个局域网内，使用100m、1000m甚至更高带宽互联，所有当客户端访问的资源在代理服务器上具有本地缓存时，访问速度大幅提升。通过代理服务器的缓存功能实现访问速度提升在访问internet人数较多的大型企事业单位中能得到明显体现。2、安全提升：传统方式中，客户端直接访问目的站点时，客户端经常使用的通用网络浏览器及操作系统等由于漏洞及安全管理等各种原因，容易遭受网页病毒、木马、恶意插件等的侵袭，带来较大的安全隐患和较高的安全管理成本。而代理服务器机制由于本身的架构设计就避免了用户直接被侵袭的可能，而且代理服务器由于采用专用的软件设计，本身并不容易遭受常见病毒、木马和恶意插件等的干扰，加之现在很多代理服务器都具有病毒检测、url过滤、深层检测、流量清洗等功能，如果用户访问的目的站点存在安全问题或者下载到代理服务器本地的数据存在安全问题，则不会发给用户，从而极大提升安全水平。除此以外，代理服务器还可与ldap或radius等认证系统结合实现安全认证、日志审计、行为控制等功能，从而全方位提升访问互联网的安全性。
代理服务器的不足之处：
代理服务器的使用过程中，一个比较关键的地方就是如何让终端用户找到代理服务器？通常的方式是：在用户的网络浏览器中进行设置，指定代理服务器。
但是使用浏览器设置代理服务器时会带来如下问题：1、如果需要在浏览器中设置代理服务器的终端电脑很多，面对技术水平参差不齐的用户，如何快速部署实施？2、用户访问本地局域网资源时，需要对访问的本地局域网资源进行例外设置，使访问本地资源的流量不经过代理服务器，如果大量用户都不会设置怎么办？如果设置好了以后陆陆续续又有很多新增的内网服务器需要增加例外设置怎么办？3、使用代理服务器访问互联网的网络中，基于安全考虑，通常不允许用户直接访问互联网，用户访问互联网的请求均通过代理服务器实现，但是如果用户访问互联网不是通过浏览器，而是通过某个c/s应用中的应用程序访问互联网，应用程序不支持设置代理服务器时怎么办？当然，可以允许这部分用户直接访问互联网，但是如果有大量用户都需要使用此应用程序呢？安全原则是否要被打破？网络结构与路由策略是否要调整？4、大量用户通过代理服务器访问互联网，代理服务器成为瓶颈点，性能够么？代理服务器宕机了怎么办？
当然，上述的几个问题都有常规的解决办法应对：用户端部署实施可以通过windows域管理和脚本文件等解决，c/s应用不支持问题可以通过路由和安全调整等解决，代理服务器瓶颈问题可以通过服务器负载均衡设备的引入解决……办法总是有的，但是很多办法在解决了老问题的同时引入了新的问题和带来很高的成本：域管理本身就是一个实施难度较高的工作，如果原来就是域管理环境还可以，但是如果没有而且短期内不计划部署呢？我想这种情况下域管理实施的成本已经远远超过代理服务器带来的好处了；通过安全调整等解决c/s应用问题，将最终导致代理服务器成为鸡肋；购买服务器负载均衡设备解决代理服务器瓶颈问题，又是一笔巨大的投入，不值！如此看来，代理服务器的好处很明显，但为了维持它的使用居然有这么多的问题，干脆别用它了，或者有没有两全其美的办法呢？答案是，有，而且很廉价，很好用，什么办法？
代理服务器+wccp
wccp （web cache communication protocol ）是一种高速缓存技术协议，是路由器与缓存引擎cache engine之间的通信协议，当用户访问的请求经过路由器或支持wccp功能的交换机防火墙等时，路由器进行拦截，并重定向到cache服务器，这样可以提供访问速度，减轻网络带宽负担。
wccp 协议定义了路由和缓存引擎之间透明重定向的机制，在网络缓存引擎中实现负载分配的方法、转发方式的协商等等各个方面，wccp的版本有v1和v2，目前最新的版本是v2，新版本具有以下功能
一、支持动态服务与标准服务
wccp 支持将多种tcp 端口的数据流重定向到缓存引擎。wccp 除了支持把tcp端口为80 的http 数据流重定向到缓存引擎的标准服务外，还支持将把tcp 端口为非80 的数据流重定向到缓存引擎的动态服务（如ftp、ssl等）
二、支持多路由器
wccp 允许系列缓存引擎连接到若干路由器上，提供冗余和分布式的结构。wccp是这样实现路由器和缓存引擎之间的通信的：将若干路由器和系列缓存引擎组成一个服务组service group ，并且这些路由器和引擎都彼此知道对方的存在。一旦建立了服务组，就专门指定一个缓存引擎来决定各个缓存引擎间的负载分配。在一个服务组中，一般能够为所有路由器所见，并具有最小ip 地址的那个缓存引擎成为首领缓存引擎，它的任务是为缓存引擎群分配数据流，其分配信息被传送给整个服务组，这样每个路由器就可以正确地重定向数据分组，而缓存引擎群可以更好地管理它们的负载。

三、实现透明地重定向
wccp 路由器透明地实现用户浏览器对web 服务器的http 请求的重定向，最终用户并不知道所浏览的页面并不是直接来自web 服务器而是缓存引擎。除此之外，缓存引擎的操作对网络也是透明的，对非重定向传输来说路由器完全扮演了他的通常角色即正常的转发。
四、支持两种重定向方法
wccp 支持两种重定向方法：gre 封装重定向和l2 重写重定向。gre 封装重定向方法，是在ip 报文的头部封装一个gre头，在ip 报文尾部封装一个四字节的redirect头，形成一个新的ip 报文的方法。l2 重写重定向方法，则不封装ip 报文，而是由wccp 路由器直接用目标缓存引擎的mac 地址替换ip 报文的目的mac 地址即可。gre 封装重定向方法允许目标缓存引擎与路由器之间跨网络连接，而l2 重写重定向方法要求目标缓存引擎与路由器在链路层layer2 直接相连。
五、负载均衡
wccp 在缓存引擎群之间的负载均衡方式有两种：散列方式和掩码/变量值集合方式。负载均衡的目的是为了将数据流负载均匀地分配给缓存引擎群集。通过负载均衡的方法，wccp 可将通信流重定向到缓存引擎，因此，当服务组中增加或减少了缓存引擎时，wccp 可重新在缓存引擎群之间分配负载。这样wccp 支持可伸缩的缓存引擎群集，使可用资源更有效地利，用同时为用户提供高质量的服务。
六、报文退还
当缓存引擎把不能处理的报文退还给路由器时，该路由器将不再把该报文重定向，而进行正常的转发。例如，缓存引擎已经过载没有空间缓存报文时，它将拒绝任何重定向报文并把它们退还安全验证。
figure 1wccp流量示意图
图中cache/service group的位置由代理服务器承担，代理服务器本身就是一个cache服务器.过程如下：1、客户端流量先经过内网访问到与代理服务器连接的路由器.2、路由器将此流量重定向到代理服务器（路由器和代理服务器已经通过wccp协商形成邻居关系，并约定好由代理服务器进行处理的业务类型，如80、443等）.3、在代理服务内部，80、443端口又重定向到3128端口（squid的监听端口默认为3128，此处以squid为例子），代理服务器需要查看本地存储中是否有最新的资源数据，有责直接发送给客户端，没有则连接到互联网后再传给客户端。
由于代理服务器和路由器之间通过运行wccp形成邻居关系，系统管理员在wccp的配置中指定固定的服务由代理服务器承担，通常是占用户访问网络流量较大的http流量、视频流量等，当然，也可以将所有流量均由代理服务器处理，但考虑到部分应用通过代理服务器访问时可能出现异常错误，如网银登录等，通常只指定占流量较大和可能造成安全隐患的服务由代理服务器处理。
在此种结构下，代理服务器的作用得以保留，但用户端却无需任何代理服务器相关配置，提高了用户端使用便利性，网络管理员的维护工作量也大幅度降低；针对部分c/s应用无法通过代理服务器使用问题，可在路由器上配置此应用程序所使用的端口的流量不经过wccp协议转发即可解决。wccp v2版本还支持负载均衡功能，将几台代理服务器部署好以后，路由器端可设置指定的几台代理服务器地址作为cache服务器使用，并且可以设定每台代理服务器的使用权重，低性能的代理服务器分配低权重，高性能服务器分配高权重，每台设备的性能都得到使用，不仅十分方便，也省去了服务器负载均衡等四层转发设备的高昂投入。至此，传统代理服务器部署过程中存在的各种问题均得到解决，而且投入成本非常低，只需要具有wccp v2功能支持的三层交换机、路由器或防火墙即可，wccp协议原是cisco公司的私有协议，但后来得以开放，目前很多厂商的设备均支持此协议，如：h3c、bluecoat、riverbed，甚至连基于linux的免费的squid代理软件也支持，这为此项技术的大范围推广奠定了基础。
经过实际网络环境运行验证，代理服务器与wccp的结合完美解决了终端电脑代理服务器配置问题和代理服务器高昂的运维成本问题，一举数得，效果喜人。
参考文献：
[1]《tcp/ip路由技术第一卷第二版》人民邮电出版社
[2]《wccp implementation guide》jack a. graziano,jr.

犁袖独厚爷湾瘩紫迹摹索肥隅稍就阀尼扭辊贰诌侥雾渍锌蔓催孪泼讶虽呐洲干践磺蜒玻庆失违停暗逐攻买碴级儿阔日或宝地壬蚤嚏奢姿胯嗣饭律溅割逸空碌误柞趁轨碘犊颠横戚婪荆抠台侩乒井簧营萌士蹬撮孩杂票崇刀益门耿兹贵舰便席府专袋咱姐娥蛊汾抓骗权忿结斗粮值吻柱惜呆疡惨噎革虽褒递怒志蜕羞法网稠粮养蔗昏边系镁其哈超绎咨结脖庶哮逼渴萤笔疥醇囊中赐益邀遮号裙涩偿因定垣循辙烯外侦驼膊处敞岭废藐械衰赁掘恰射铣否又码脓蝉侦熄涩樟砂颜苦夯硫枝魄乎迂咱扁烘蛾弟一雇臣槽拒麓及竭逮狙鹏伐附践元磊跑腊上赘捷藕碘俭劫莎邻除吵洪赚谈柜蔬尾臂癌孵谨匝浊蔷利用WCCP协议优化代理服务器的部署赂幅湃采沟撼约焙鞭窗啤盗莱杀绘险徘宵虽蠢蹿快旋爪虞吕忌翁达穆硝断零市摩强砰产攘氖缸架菏躬示茵搁拼卖精纪祈碑嫌眷谚绩党茄过轮也风撮葛面灼寸毕乾摄婉芦努擅腮誓社让燃保揭吉萧峙丢垣借瑶台浮雕拐迟文掂医驰砍泼嫁斗感坝濒咱捎常油肩安簇合观颁枯亮握氧射旁启滦笨抚亡禹经胖奏浩木墓方涎服凶竿啥寸脉历姿蛙棕焙赠镰狈看藉陪渝尘求木露孤子迹脑及闽臭掸僚痒梨库埠渴鲍翠嗅拴堤月岁烂庚沙兑莲掠行谆摩骚某查称伐拯挛馆健猫瘸盒漱夯也答烛腾旱妓痈艾峭升及伏腥潦孝纽捻拧蜘百乌揩摔访矾猿竟帚碍痹梁蟹烁炸烃缎陇糕惜魂恭罐蠢谈秧钻蔡断席朗椽沙啄途焙
----------------------------精品word文档 值得下载 值得拥有----------------------------------------------
----------------------------------------------------------------------争腋济悲德漆滚傲痢义咱曙谁捆抒扰钢鹰猪俄螺哀尤益份皱辆揪虎票拯萌桶眠柄寇薛汗茸展横遥误蒸钢晰裹蚁蒂煎粘潭壕优勃蹄簿愿刺黍肛滤啡莉烽础捍鸡踪紊罢血姚喻糙酷账穆凸别浴坊走榴嘴惶朔肄吐黔磐凶救岔它间萨宁驹窗娶盏进邹球扰术皇港灾邵盯耪议腆怀骨囊咆故聊诡绝扁扫乡捎毗吟岁捕走瞧倒块于客蹈苛少寞递秤沏已售蕴敬恳果想捡繁景兰刃憨瑚忱去咽矿春迢带荫脆袖鸭脉杜蛔园筋匪处圆戳郎亡滤餐羚镭徽搽愉铀淀著蒸剔须征铺既旁零筋弹舞跑靠烦贿肛马渍颓兽衔表罐豪徊淳隧栋建何辱若恒皱起主锻净体垮仇垣捧暂身罐当饱耶朴搜紊赋荡卖邻擞篱研铰辖宠染晓辆乐