大型网站需要关注的技术点.doc

大型网站的技术问题
大网站的运作，在技术上主要解决的是三个个问题
1． 承载超大访问量
2． 合理，高效的信息组织
3． 符合运营目标的系统投入

对于超大访问量的措施，主要是在硬件和软件两个方面同时作用。
在硬件方面，主要做的事情有
1． 增加出口带宽
2． 使用集群设备和技术，负载均衡。
3． 做多点镜像，抗宕机毁机。
4．
在软件方面，主要做的事情有

1． 系统平台的选择和处理

1.1 操作系统的选择和优化
选用尽量选用稳定，经济的操作系统，比如说linux就是性价比非常好的选择。而且，如果要是用作大型网站的服务器操作系统的话，必要时需要对其进行源代码级的优化。以用作网站服务器专用操作系统。

1.2 WEBSERVER的选择和优化
根据大家的经验，APACHE是大家公认的性价比比较好的webserver，要根据需求选择合适的版本，必要时也要对其进行源代码级优化，

1.3 CGI语言的选择

很多现在的Applacation Server ，都集成到了Webserver中比如说集成了Java的Weblogic，Websphere，Tomcat，Resin，集成了Dotnet，asp的IIS，不过这些Applacation Server，都不是适合于做大型网站的，首先，Java，Dotnet都是字节码，虽然运行前也进行编译但是编译之后，仍然不是机器码，况且，现在这些东西都为企业应用，代码的模块化做了很多工作，这些工作都是能让开发周期缩短，后期代码维护容易，却大幅度的降低了运行效率。主要是因为这些东西，占用资源太多，代码冗余太多。要想让这种语言开发的网站达到一定的水准，必须在硬件方面投入大量的资本，
所以，一般都采用执行效率比较高的C,C++,C shell，还有有强大字符串处理功能的Perl，或者简单易学的php

1.4 数据库的选择

现在的很多大型数据库，主要是在实现复杂关系，实现复杂类型数据存取等方面具有大的优越性，如果要支持大型的网站，一般都使用这些数据库的集群技术，比如oracle的RAC,不过这种数据库技术需要比较高的价格，很多网站采用了数据库集群+普通数据库+磁盘文件的混合的数据存储技术，以求大幅度降低成本，
由于大型网站要承载大量的并发，大量的PV，而程序对文件系统的存取，明显优于对数据库的存取，所以，在有优良组织结构的情况下，尽量使用文件系统，而不是数据库，存储数据。

2． 网站页面的处理和优化

2.1网站页面整体大小的控制

网站页面大小，就是当一个用户请求开始，到用户看到整个页面止，服务器需要给客户端传送多少个字节，这个数量，简单的可以由页面网站页面另存然后计算另存后的字节数得到，这个大小主要是由页面代码，和页面图片，引入的资源文件组合而成的，所以，控制网站页面大小，主要是要减少页面的代码量，减少页面代码量，主要是要减少客户端脚步字节数，和减少html冗余。尽量减少页面使用图片，即使是使用图片，也要在保证在不失真的情况下，减少图片的分辨率。或者使用高效压缩格式，尽量使用gif，或jpg，不用bmp。减少引入文件，就是引入的脚本文件*.Js，或格式文件*.css，尽量将其放在页面上，多一个文件就多一个请求。其实图片是最耗资源的，往往是在脚本上大下功夫，不如少用一个图片，要知道，页面中，每一个图片，都是一个请求，如果一个首页，有20个图片，那么就服务器就将处理21个请求

2.2网站页面结构的优化

现在页面设计人员，在设计页面的时候，都使用Dreamweaver这样的工具生成页面，实际上，这种工具生成的html，有很多的代码冗余，其实在保证页面的情况下，能够将页面冗余降很低，这个需要有高水平的页面制作人员在美工设计的基础上，作页面结构的优化。

2.3页面访问资源的控制，和优化

一个页面在响应到客户端的时候，其实在这个页面当中，有很多资源，服务器需要处理，比如说，图片的显示，每一张图片，都是一个向服务器的请求，每个js文件，每个css文件都是，所以图片数量，大小，脚本，格式文件的代码冗余将很大程度影响网站的访问速度。

3． 动态网站页面的静态化

程序对文件系统的访问效率要高于对数据库的访问，显而易见，比如新浪首页，应该是动态内容的地方，不下50个，试想，如果一个首页，要查询50次数据库，处理50个查询出来的结果集，然后再处理，然后把结果响应给用户，如果有几个，十几个，甚至上百个人同时干这个事的话，服务器需要多大的处理能力，需要多么稳定才能保证不宕机。所以，页面的静态化是必要的也是必须的。
因为网站是动态的，所以，页面的静态化需要一定的规则和技术，因为静态化，其实就是将用户访问的必然的固定页面事先生成，因为网站是动态的，所以，用户的请求也是多样化的，在用户有很大自由度定制请求的时候，不同的用户得到的响应是不同的，所以，静态化也不是绝对的，况且，大量的静态文件，对资源空间的浪费是很大的，用 空间换时间的代价是空间成本提高。所以，什么样的页面能静态化，页面的那些部分静态化，都是经过权衡的
根据不同页面的访问特点，不同的页面，静态的方式也不同。

3.1 首页的静态化

网站的首页必须要完全的静态化，首先将首页切分成不同的小块，后端用某种方式，将其生成一个个的静态颗粒，运用shtml技术，将其组装成一个页面，这样的页面，将是一个由许多小文件组装的大文件，一般中型网站直接用shtm包含各个资源即可，为了减少首页访问资源，可以进行第二次静态化，将多个资源的访问变成一个资源。这样首页访问就变成了对一个完全静态的访问
对于首页的动态部分，比如登陆，显示用户名等地方，可以采用iframe技术，做页面客户端上的局部刷新，也可以达到加快页面速度的效果

3.2 二级页面的静态化

二级页面的静态化，主要是对文章列表页面的处理，主要处理类似分页，列表显示等等技术，因为二级页面的访问级别小于首页，所以二级页面的静态化不像首页那样要求高。

3.3 内容页面的静态化

内容页面的静态化也涉及到分页显示，广告更换，相关链接等等。静态化的要求也比较低

4． 分离网站模块
因为网站内容很多，所以要将网站按照预期的访问量，内容的量，将一个网站手工拆分成多个部分，每个部分，根据需要，放在不同的服务器，或集群上，这样一方面便于根据需要配置硬件，另一方面也方便了资源的整合和管理。分离的方式有横向的按照网站栏目，频道分离，和纵向的按照资源种类分离。将网站分离，可以使硬件资源的使用更加高效，也可以有目的的加强网站的热点，关注点。

4.1 按照网站频道栏目分离网站

将一个网站分别放在不同的服务器，或者服务器集群上，主要通过两个方式，一个是用分别采用不同域名实现，比如说，DB66的主站是,其中几个个频道，教育，读书，职业分别是、、。分别放在不同的服务器上。一种方式是通过webserver的支持，将不同机子上的资源，放在同一个域里面。

4.2 按照资源种类分离网站

根据网站资源的不同，将相同功能的模块分离出来，有利于对某些特殊的模块，进行特殊的处理，比如将所有的广告做一个广告发布系统，放在下，将所有的内文放在，将所有的图片放在 下等。

5． CGI脚本代码优化
大型网站势必要有动态的部分，所以，使用服务器脚本在所难免，为了能够使脚本能够在大负载的情况下高效运行，所以对开发的要求也和普通的开发有所不同，现在很多的语言都着眼于代码通用性，讲究一处编码，到处可用，但是这种模块化的代码，其实是以损失运行效率为代价的。所以，大型网站的代码侧重点在于简洁高效，
在开发过程中，侧重考虑并发，大访问量的问题，比如，将经常访问的资源加载到内存，可以增加访问速度。
一些网页的特效，尽量使用客户端脚本，将用客户端的资源来减轻服务器负担。
由于效率问题，大型网站的主要脚本语言，一般都采用C\C++、C shell、perl、php等。

其实，一个大型网站的搭建，最主要的是这个网站的整体架构的搭建，整个网站各种规则的建立。科学，合理的组织人员，代码，资源，是建立一个大型网站的关键，只有这样才能让一个网站越来越大，否则，在一个无序的情况下，到后来，所有的代码，资源，将无法收拾。所以海量资源的整合，才是大型网站的关键。

在代码和资源的组织中，命名体系的建立，是管理海量数据的关键，合理的命名体系，能让整个资源的组织变得条理化、有序化。

开发人员的组织，代码，资源的组织，其实都跟网站架构密切相关，有什么样的网站架构，就有什么样的开发人员团队。就像模块化开发的MVC结构，其实，是跟程序员的技术梯次是相对应的。

严格的测试队伍，大访问量的网站，代码完成后，需要专门的测试人员，使用专门的软件，进行严格的压力测试，在预期的访问量下，合理的配置硬件资源。

我能想到的，暂时就这么多，我觉得差不多是冰山一角吧。