一个完整的网站上线作业流程新版培训教材.doc

上线步骤1. 上线步骤包含下列多个方面：1.1. 网络计划1.2. 系统计划1.3. 数据迁移2. 网络计划包含内容2.1. 挑选机房2.2. 是否需要划分多个网段2.3. 出口是否需要VSRP2.4. 交换机之间怎样进行备份2.5. 各个交换机之间连接速度大小3. 系统计划包含内容3.1. 挑选服务器3.2. 选择存放3.3. 选择操作系统3.4. 网站怎样进行分层3.5. 各个应用怎样良好分配到不一样服务器上3.6. 系统监控3.7. 系统备份4. 数据迁移4.1. 静态存放迁移4.2. 数据库迁移选择机房选择机房在中国是一个很头疼事情，你必需考虑到你网站所服务对象是属于网通还是电信，和其它小运行商。不过在国外基础没有这么问题。只要选择路由好点基础就能够了。从中国到国外服务器之间假如能够在保持在20跳以内就算能够了。要是你还是不放心，要进行世界各地测试，那能够找类似测速网站来进行测试。比如Banreee, Networkbench, gamez全部是比很好测试网站。网段计划在机房选择好以后，就要进行网段计划了，尤其是当你内部服务器之间交互很频繁情况下，那就更要很好进行计划了，不一样需求服务器必需放在不一样VLAN之中，尤其嫉划分很大网段，那样广播风暴就会比较严重。分网段有2种情况我个人认为，有些人是把整套服务器放在同一网段中，这一整套服务器包含了全部前端，中间层和后端和数据库，这个感觉是游戏类会进行这么计划。还有一个是全部前端一个单独VLAN，中间层一个单独网段，后端存放一个网段，数据库单独一个网段。这种当你网站规模比较小情况下就不能进行这么划分，毕竟交换机没那么多，以后假如要把服务器换做其它用途，还必需更改交换机某个端口VLAN号，一旦改多了连自己全部记不清了。VSRPVSRP是一个交换机高级协议，用来2个交换机之间进行相互冗余协议。假如你2个交换机之间要做VSRP，那通常是需要6个公网IP，3个是指向机房网关，另外3个是做当地服务器网关。其中有2个是作为虚拟IP来进行使用。全部内网服务器全部要指向那个内部虚拟IP。这么2个交换机之间就算有一个down了，那也不会造成网站无法访问。不过这种需要比较高端交换机，比如H3CS5500 EI系列。而且还要2个交换机起码要互联4个光纤，这么确保2个交换机相互数据交互。而下面交换机也要各连2根或1根光纤到2个交换机，比较占用交换机端口。所以通常全部是要买48口才比较保险。假如只是小型网站，那这些也就没有必需了。交换机备份交换机备份有2种，一个是热备，一个是冷备。先说冷备，冷备就是把一个交换机配置成跟线上运行交换机一样，一旦线上出现问题后，通知机房更换交换机，而且重新连线跟服务器之间和上层交换机之间。热备就是一旦一个交换机出现问题后自动切换到另外一个交换机上，而不需要通知机房重新接线，服务器也不需要重新连线。不过这种方案需要服务器起码要有4个网卡，然后交换机直接也要做好冗余设置，这么比较花费钱，当然你假如不缺钱完全能够使用这种方案。交换机之间连接速度这个看具体业务，关键交换机之间最好要有4G上行和下行带宽，而关键有下层交换机也起码要有2G带宽，不然你数据内部交互很频繁就会出现瓶颈。而挑选交换机也要着重考虑交换机背板带宽。假如背板带宽全部不高，那交换机之间连接速度再高也没啥用啊。挑选服务器挑选服务器是个复杂过程，首先要确定你需求，比如你网站数据库是属于read多，update和insert比较少，那你硬盘只需要raid1或raid5就能够了。那就只需要3块硬盘就能够。而假如你数据库属于Update和insert比较多话，那硬盘最好是raid0+1，这么就愈加好发挥硬盘性能。而对于CPU和内存选择，看你需求是需要大量CPU还是内存，假如你只做squid这么耗内存程序，那CPU只需要比较低，而内存就要选要多，具体看你需求，有些企业直接上到128G内存这么。而有些程序只是耗CPU，而对于内存需求比较低，这个就是你要选择一个平衡，这么好以后能够更换成其它用途。而选择好CPU，内存和硬盘以后就要选择服务器厂商了，现在几乎主流服务器厂商全部有多种型号服务器，也能够进行自定义，尤其是当你需求量尤其大。选择服务器时候还得测试下耗电情况，就好比以前测试过H品牌服务器和L品牌服务器在配置相同情况下耗电量差异有30%。这么一样一个机柜就能够增加几台机器。选择存放存放有专业也有非专业，专业有NETAPP，EMC这么企业。而没钱而又数据不是增加尤其快只是需要NFS就能够了，也有企业会自己配机器进行存放，现在2TSATA硬盘也很廉价。而部分需求更高互联网企业，有些用户上传数据天天就2TB以上，那用NFS肯定是不适宜，在不使用专业存放前提下，那只能选择GFS这么分布式文件系统来进行存放了。这个现在有比较多处理方案，有YAHOOHADOOP，redhat GFS, 还有其它如Fastfs等等，不过每种GFS全部有自己适应需求，有是针对大文件比如视频文件这么存放，而有是针对小文件如多种日志存放。选择操作系统操作系统作当然是linux为主了，看多种需求也有部分适合其它操作系统，比如做个网关服务器，那使用Freebsd就适宜。而作为web网站需求还是用Linux好了，操作系统有gentoo, ubuntu, centos, opensusu，这些现在还全部是开源无偿。选择操作系统不光要看操作系统本身，还有所带驱动，要是装上了服务器，运行后发觉操作系统自带网卡驱动出问题了，那就麻烦了。像这次装DELL R710服务器上，装了centos竟然网卡驱动有问题，还好测试时候发觉了问题，用补丁给处理了。不然要是在线上跑了再出问题就麻烦了。所以买服务器时候还得去官方网站查它做支持操作系统。选择好操作系统就要看选择什么内核了，2.6.30和2.6.31在有些应用程序跑起来还是差异很大。尤其是对于多线程程序支持。选择好文件系统，这个现在我只是选择ext3，毕竟很成熟，而JFS, EXT4还是不敢在线上直接使用。网站分层网站分层，对于大型网站这个是必需，负载均衡器（LVS, nginx, F5,Netscaler），前端web服务器（Tomcat, apache, resin, lighttpd, nginx等等），中间层（如memcached，ice）等，数据库（Oracle, postgresql, mysql等等）。这个还是需要程序开发之前就应该计划好。而数据库分区也是很关键，能够把不一样数据库分布到不一样机器上，同时做好master-slave，实现读写分离。系统监控在系统正式上线开放之前可必需是搭建好，有些企业会有自己一套监控系统，也有很多自定义监控内容。不过更多是使用开源监控产品nagios, cacti, munin等等。而nagios我个人认为很不错，尤其是结合nrpe作为用户端，能够自定义很多监控需求，你自己能够编写监控内容，比如监控内存啊，监控Memcached等等。而nagios更是提供了很多监控脚本。而nagios现在不光能进行发报警邮件，还能发短信，发msn。而对于系统历史展示，用cacti和munin就是很不错。Cacti是基于snmp，易于监控，不过一旦跨网络，比如跨个电信网通啥，那你用cacti就会发生常常发生取不到数据情况发生。而且对于服务器太多情况下就会发生5分钟一个轮询全部来不及，这个就需要对cacti本身进行优化，这个直接参考zys.3322.org上面提醒一步步进行优化，关键是cacti默认那个数据库竟然全部表全部没有索引。而munin也是基于用户端，是走tcp协议，这么就相比snmp稳定多。而且也不需要数据库支持。系统备份系统备份也是需要上线之前做好。备份有简单tar和比较企业级开源产品bacula等等。Bacula之前也在内部使用过，对于大型备份确实是比很好，备份方法也有增量，全体备份等等多种方法。它有中心服务器，备份服务器，用户端，也支持磁带备份等等。可能我不怎么会用，因为它备份完成了也是单个文件，这么对我来说不够可视化，即使bacula也支持很好恢复，不过不够直接，万一处理不好就实在没法恢复了。所以我还是选择了直接tar来进行备份。首先要选择好哪些东西是需要备份，在我这里关键是数据库和用户上传数据，而程序性文件原来就是分布在多台机器上，只需要简单备份就能够了。用户上传数据现在是基础5分就同时到其它文件服务器上，而且进行一次增量备份。同时天天全部会一次进行一次完整备份。而对于数据库，首先是必需要有slave，同时还必需每30分钟备份一次，myisam数据引擎还是比较轻易备份，能够直接备份数据文件，也能够进行mysqldump,也有mysql默认提供Hotcopy。而Innodb能够用mysqldump直接导出sql文件和直接进行xcopy导出数据文件。不过个人认为xcopy性能上也并不是尤其优越，速度上也不是尤其快，而且以后需要恢复备份时候还必需安装一下xcopy才能够。每30分钟备份一次，同时天天凌晨就保留当日唯一一份，而不是全部保留。静态数据迁移这个完全能够实现经过rsync来进行，而一旦真开始迁移，还是使用rsync来进行同时，而最好不要进行tar来进行迁移，这么首先是传输文件太大，其次未必能完全同时。数据库迁移这个有2种方法，一个是本身就有slave，这么直接切换时候把这个slave专成master就能够了，不过假如你是临时搭建slave,那很有可能会造成数据库不一样时，毕竟你在搭建slave时候master肯定是在进行更新，而你就算slave指定了从哪个position开始，你也会发生同时犯错情况。所以另外一个方法还是停机进行mysqldump，这个还是最保险方法，不过当你数据量尤其大或索引尤其多情况下会比较花时间，几乎全部是以小时来进行，不过其实mysqldump也是能够进行增量式备份，其实就是依据mysql bin logposition来进行增量式备份。完整网站上线过程首先确定需要新网站支持多少在线人数，依据这个来确定网站带宽和服务器数量，然后依据这个服务器数量和带宽来确定交换机数量和型号。确定服务器配置和相关品牌。然后依据这些你必需画出网站架构图，网络图，网络接线图，服务器接线图。架构图是网站整体逻辑架构，是一个整体逻辑概览网络图是展示网络交换机逻辑架构，比如VSRP，VLAN配置就在这里展示。网络接线图这里展示网络交换机直接怎样连线，连多少线，要标明到连接哪个端口。服务器接线图，这里展示了服务器哪些端口接哪个网络交换机哪个端口。后面2个图对于操作人员是最关键，假如画不清楚，很可能会耽搁很多时间在沟通上。接上线后就需要安装操作系统，这个现在基础全部是网络来进行安装了，不会一台台经过光驱来进行安装，这么不光买机器时候多付无须要钱，而且安装比较慢，同时光驱有时候还会有使用寿命，有时候时间长了就没措施进行安装了。Redhat系统全部能够选择kickstart来进行远程安装，kickstart在安装过程中还能安装时候实施自己系统初始化脚本。比如指定hostname, 修改相关tcp/ip设置，设置好Iptables等等。而对于网络环境尤其复杂服务器必需要在网络配置文件中指定好去各个vlan之间网关，这个以前我全部是放到rc.local中，而这种即使能在系统开启时候会自动进行加载，而假如手动开启网卡会丢失这些网络信息。安装完操作系统后，就要进行各自程序文件布署。相关程序文件布署完成后就能够进行线上测试，这个不光是应用程序测试，更要进行压力测试，测试新系统到底能够承受多大负载。这个当中可能出现多种多样瓶颈，这个通常是因为web服务器问题，尤其是resin,tomcat这些出现问题情况比较大，而Php网站因为fast-cgi现在往往能够承受更大并发。另外一个可能瓶颈会是数据库。比如Mysql就需要依据你选择数据引擎来调整buffer大小，这个是数据库整体性能调整，部分调整就需要依据你slow log来进行对应调整。