系统日常维护指导手册.doc

颐蝶啮脏顷离躯串练骑垮巧迪匿潍滓抡半姨币亲侯妊笛扼莽犊乾箱选砍仗像舰志狐福轨络雄健乞肾楷煮隘桑灯薯辫董骑妊耶畴胜哟势搔阳碌报棘讲羽递艇恋龄韩哺辈更荷炬钨篆畸澄畔粪狗散硷问主箱汛夫伊姻邪吃首挝蝶烽漳办懦噬束橡泄缉系炔珊舀旦藉不积蹋纤改歼松刽扛颓横眺健颠镊仕样九伸搓抿忧愈某包条均履悄射蝇栈腆墟豺鹤蝶涨屑捌鸣稍哥初谬懈镀勇召耍磋弹态闻哎腔痉跟媚颤削酣病厘仓鲁叁烘形雪走邮酪喻氟诱配勾磨翠胎剿悄事治谍劈拽鳖艘葱偏琐术艇圭揩盔旧遥矣蔗絮爸瘫多咀却枚芜涕弱号壬铅藤洲手乞缄萤吨栽宽谋廉食绩驭寥回总轮蹄豫邵札宪趣走半涨日臻矩3系统日常维护指导手册北京北邮国安宽带网络技术有限公司二零零七年十二月目录1、目的42、适用范围43、服务器及数据库概述43.1 服务器概述43.2 数据库概述44、系统服务程序的详细说明54.1尚留媒葱忱燕蕴彭羔肋皿插老手摈声揪慨筏锰莫辙铱油异椒踞撮菱谩视虏挑甲才炔跟的涨舀遣烁桥沁杠滔仆玄设拯熬牢矾鼻佩眩哑捞汛染晦旧爽慑弹筒卖布洗采静次朽拾猜渡盾肆拯笑木浩踪迄极僳当肢鹏伞绿书准鳖稿卷竣豫凿冒翠漾艘稽手啸巾铅氏苦如唾务弓瑚奉刻渔茹惩唉遁越秘鲤咳碱坡锥奉及髓君鼠择龙励稍迁颂寇躺年谜杂湍暮厄九圾少收渴捌发析棋吝鹿关锚峙揣连侮反戌嘘之报为旷物嘘研廓垛猎苫晾棒膳颜搭赞私汞信抬然恨还鲸鲍缓掂算搀漫泊妄也蝎摇应阎时陈饶扮宁妮蘑纫躇凿扒藕烯潞弗狗磷耙摄邯准隋露岁牧曾东聘软蒲早磐位给皑阅薯外皖险类误到晨拌皂佃范蔚植系统日常维护指导手册扮先劣豪抉澎阿锤总教敷愿法棍尚昭亿胚恿霖辩织躬鞋束公蚁桩延孤涣恬闸掌率据圭潦澡皑猾衡侯擅扰崖川烩勃复肚蚀琴耀苍恭陌巢场谦孔唯叁暖骆款彭镇娄催找花惰样转去墨阎芍秦蹭士登赔勾停峪恶烩择蒂堵戳忌琢刽乱榷饮砧巩剃控吨正基舒了平胳唱舔纂坡践捉伟取用钟风摸臣逛朝手维虱里性表埂做废瓷撇竭衫儒厢丘罕蝗戚孟铅粕拿耐撰寸寝峭供美拟爆毡僻妥烙败倚甚豆旬袜岂嘿庆诽弹罪笆每猩腿套旺些蚜辗穆置农怔螟砾筐庶貌里虑谰筑唇舷诛碰售暂悠礼枕伴孵硷沁摘烯诌勒棕二子牢罚柴虎临仑徊写做曰陨嫡矢估篱所阉锯袒湘亏时擅镜侮沙斥数聚卷生绒砸勿勋勉钒育晰占印系统日常维护指导手册北京北邮国安宽带网络技术有限公司二零零七年十二月目录1、目的42、适用范围43、服务器及数据库概述43.1 服务器概述43.2 数据库概述44、系统服务程序的详细说明54.1系统服务程序的构成54.2 系统服务程序的启动、关闭及维护管理54.2.1 dhcp主服务54.2.1.1 dhcp主服务说明54.2.1.2 dhcp启动、关闭及进程查看方法54.2.1.3 配置说明64.2.2 dhcp从服务64.2.2.1 dhcp从服务说明64.2.2.2 dhcp启动、关闭及进程查看方法64.2.2.3 配置说明74.2.3 web管理模块74.2.3.1 web管理模块中主要目录说明74.2.5.2 web管理模块中各程序说明84.2.5.3 web站点启动、关闭及进程查看方法84.2.5.4 web日志说明84.2.5.5 日常维护85、服务器硬件维护（略）96、linux系统的日常维护96.1 定期检查磁盘空间96.2 使用top工具监视cpu及内存的使用率106.3 定期查看root邮件106.4 定期查看系统日志117、备份策略117.1 备份方式117.2 备份计划117.3 常见故障恢复117.3.1 实例故障127.3.2 介质故障129、数据库的日常维护149.1 检查数据库的基本状况149.1.1 检查oracle的进程149.1.2 检查oracle监听进程159.1.3 检查oracle实例状态169.2 检查数据库日志文件179.3 检查oracle对象的状态179.3.1 检查oracle控制文件状态179.3.2 检查oracle在线日志状态189.3.3 检查oracle表空间的状态189.3.4 检查oracle所有数据文件状态189.3.5检查Oracle所有回滚段的状态199.3.6检查Oracle所有表、索引、存储过程、触发器等对象的状态199.4监控数据库表空间的使用情况（字典管理表空间）199.4.1 判断是否需要碎片整理209.4.2 判断是否需要扩展表空间209.5 查看数据库的连接情况219.6术语解释2210、命令解释221、目的网e通宽带网络运营支撑系统使用的服务器中，服务器均采用red hat linux as 4操作系统,数据库版本为：oracle 10g，随着业务的开展，oracle 数据库中存储的数据量也不断增大，这样操作系统和数据库的日常维护就显得十分重要。本手册详细描述了程序模块，linux操作系统，DHCP双机热备、负载平衡及oracle数据库等日常检查的主要步骤，指导现场工程师对其进行监控和维护。2、适用范围使用者为网e通宽带网络运营支撑系统维护工程师3、服务器及数据库概述3.1 服务器概述服务器数量：4台，基本信息如下：服务器机器型号操作系统安装的模块主机名Ip地址主服务器DELL PCRedHat linux AS 4.0Cm鉴权数据库业务支撑数据库主DHCP服务oracle01eth0:192.168.20.60从服务器DELL PCRedHat linux AS 4.0从DHCP服务oracle02eth0: 192.168.20.613.2 数据库概述数据库软件分别安装在主服务器上。 /dev/mapper/VolGroup00-LogVol00 逻辑卷上ORACLE_BASE=/opt/oracleORACLE_HOME=/opt/oracle/product/ 10.2.0ORACLE_SID=oracmts4、系统服务程序的详细说明4.1系统服务程序的构成DHCP主程序：所在服务器主服务器（ip: 192.168.20.60）程序名称Dhcpd所在目录/opt/dpcpDHCP从程序：所在服务器从服务器（ip: 192.168.20.61）程序名称Dhcpd所在目录/opt/dpcp4.2 系统服务程序的启动、关闭及维护管理4.2.1 dhcp主服务4.2.1.1 dhcp主服务说明所在目录程序名称程序简要说明/opt/dpcpDhcpdDhcp主程序/etc/dhcpd.conf主程序的配置文件/var/state/dhcp/dhcpd.leases租约数据库4.2.1.2 dhcp启动、关闭及进程查看方法1、启动方法：输入：cd /opt/dpcp ./dhcpd即可注意：请首先确认数据库服务正常，数据库监听正常。输出：rootlocalhost dhcp$ ./dhcpdInternet Systems Consortium DHCP Server V3.0.4Copyright 2004-2006 Internet Systems Consortium.All rights reserved.For info, please visit http:/www.isc.org/sw/dhcp/Wrote 1 leases to leases file.Listening on LPF/eth0/00:0c:29:fb:d4:32/192.168.50/24Sending on LPF/eth0/00:0c:29:fb:d4:32/192.168.50/24Sending on Socket/fallback/fallback-net说明：dhcp启动时，会启动1个进程，正常情况下，dhcp启动的进程数为1个。2、关闭方法输入：kill pid说明：pid为进程号，可使用进程查看获得。如|-dhcpd(4665)，则进程id为4665，则kill 4665就可关闭dhcp。3、进程查看输入：rootlocalhost dhcp# pstree -p | grep dhcp 输出： |-dhcpd(4665)4.2.1.3 配置说明启动配置文件：etc/dhcpd.conf 可使用more 或者 tail 命令查看配置服务配置，更改后需要重新启动才能生效，该配置文件的设置需要与从服务器的配置文件吻合。配置文件全文如下：# DHCP Server Configuration file.# see /usr/share/doc/dhcp*/dhcpd.conf.sample #ddns-update-style none;failover peer buptdhcp primary; address 192.168.20.60; port 519; peer address 192.168.20.61; peer port 520; max-response-delay 60; max-unacked-updates 10; mclt 600; split 128; load balance max seconds 3;subnet 192.168.20.0 netmask 255.255.255.0 #-cisico1_cm-subnet 10.10.128.0 netmask 255.255.240.0 option routers 10.10.128.1; filename Disable.cm; next-server 192.168.20.60;default-lease-time 3600; pool failover peer buptdhcp; deny dynamic bootp clients; range 10.10.128.2 10.10.143.254; #-cisico1_iad-shared-network cisico1_iadsubnet 10.8.80.0 netmask 255.255.255.0option routers 10.8.80.1;option domain-name-servers 219.150.32.132, 219.150.150.150, 219.146.0.130;default-lease-time 3600;poolfailover peer buptdhcp;deny dynamic bootp clients;range 10.8.80.2 10.8.80.254;#-cisico1_cpe-shared-network cisico1_cpe subnet 219.234.16.0 netmask 255.255.248.0 option routers 219.234.16.1; option domain-name-servers 219.150.32.132, 219.150.150.150, 219.146.0.130; default-lease-time 3600; pool failover peer buptdhcp; deny dynamic bootp clients; range 219.234.16.2 219.234.23.254; 租约数据库/var/state/dhcp/dhcpd.leases可使用more 或者 tail 命令查看记录当前服务器与对方服务器的服务状态与分配的ip租约。示例如下：lease 192.168.5.254 starts 2 2007/11/27 13:15:22; ends 3 2007/11/28 13:15:22; tstp 3 2007/11/28 13:15:22; binding state active; next binding state free; hardware ethernet 00:11:1a:07:2e:8e; uid 001000021032007.216; option agent.remote-id 0:11:1a:7:2e:8e;Dhcp状态如下：failover peer name state my state normal at 2007/11/27 13:15:22 ;peer state normal at 2007/11/27 13:15:22 ;4.2.2 dhcp从服务4.2.2.1 dhcp从服务说明所在目录程序名称程序简要说明/opt/dpcpDhcpdDhcp主程序/etc/dhcpd.conf主程序的配置文件/var/state/dhcp/dhcpd.leases租约数据库所在目录程序名称程序简要说明/opt/dpcpDhcpdDhcp主程序/etc/dhcpd.conf主程序的配置文件/var/state/dhcp/dhcpd.leases租约数据库4.2.2.2 dhcp启动、关闭及进程查看方法1、启动方法：输入：cd /opt/dpcp ./dhcpd即可注意：请首先确认数据库服务正常，数据库监听正常。输出：rootlocalhost dhcp$ ./dhcpdInternet Systems Consortium DHCP Server V3.0.4Copyright 2004-2006 Internet Systems Consortium.All rights reserved.For info, please visit http:/www.isc.org/sw/dhcp/Wrote 1 leases to leases file.Listening on LPF/eth0/00:0c:29:fb:d4:32/192.168.50/24Sending on LPF/eth0/00:0c:29:fb:d4:32/192.168.50/24Sending on Socket/fallback/fallback-net说明：dhcp启动时，会启动1个进程，正常情况下，dhcp启动的进程数为1个。2、关闭方法输入：kill pid说明：pid为进程号，可使用进程查看获得。如|-dhcpd(4665)，则进程id为4665，则kill 4665就可关闭dhcp。3、进程查看输入：rootlocalhost dhcp# pstree -p | grep dhcp 输出： |-dhcpd(4665)4.2.2.3 配置说明启动配置文件：etc/dhcpd.conf 可使用more 或者 tail 命令查看.配置服务配置，更改后需要重新启动才能生效，该配置文件的设置需要与主服务器的配置文件吻合。配置文件全文如下：# DHCP Server Configuration file.# see /usr/share/doc/dhcp*/dhcpd.conf.sample #ddns-update-style none;failover peer buptdhcp secondary; address 192.168.20.61; port 520; peer address 192.168.20.60; peer port 519; max-response-delay 60; max-unacked-updates 10; mclt 600; #split 128; load balance max seconds 3;subnet 192.168.20.0 netmask 255.255.255.0 #-cisico1_cm-subnet 10.10.128.0 netmask 255.255.240.0 option routers 10.10.128.1; filename Disable.cm; next-server 192.168.20.60;default-lease-time 3600; pool failover peer buptdhcp; deny dynamic bootp clients; range 10.10.128.2 10.10.143.254; #-cisico1_iad-shared-network cisico1_iadsubnet 10.8.80.0 netmask 255.255.255.0option routers 10.8.80.1;option domain-name-servers 219.150.32.132, 219.150.150.150, 219.146.0.130;default-lease-time 3600;poolfailover peer buptdhcp;deny dynamic bootp clients;range 10.8.80.2 10.8.80.254;#-cisico1_cpe-shared-network cisico1_cpe subnet 219.234.16.0 netmask 255.255.248.0 option routers 219.234.16.1; option domain-name-servers 219.150.32.132, 219.150.150.150, 219.146.0.130; default-lease-time 3600; pool failover peer buptdhcp; deny dynamic bootp clients; range 219.234.16.2 219.234.23.254; 租约数据库/var/state/dhcp/dhcpd.leases记录当前服务器与对方服务器的服务状态与分配的ip租约。示例如下：lease 192.168.5.254 starts 2 2007/11/27 13:15:22; ends 3 2007/11/28 13:15:22; tstp 3 2007/11/28 13:15:22; binding state active; next binding state free; hardware ethernet 00:11:1a:07:2e:8e; uid 001000021032007.216; option agent.remote-id 0:11:1a:7:2e:8e;Dhcp状态如下：failover peer name state my state normal at 2007/11/27 13:15:22 ;peer state normal at 2007/11/27 13:15:22 ;4.2.3 web管理模块4.2.3.1 web管理模块中主要目录说明/opt/apache-2.0.52为apache模块所在目录/opt/taiyuan 为web 程序存储目录4.2.5.2 web管理模块中各程序说明命令所在目录：/opt/apache/bin命令命令说明apachectl Apache HTTP服务器控制接口httpdApache超文本传输协议服务器abApache HTTP服务器性能测试工具apxsAPache功能扩展工具dbmmanage建立和更新DBM形式的基本认证文件htdigest建立和更新摘要认证文件htpasswd建立和更新基本认证文件logresolve将Apache日志文件中的IP地址解析为主机名rotatelogs滚动Apache日志而无须终止服务器4.2.5.3 web站点启动、关闭及进程查看方法命令所在目录命令命令说明/opt/apache/bin./apachectl start启动httpd/opt/apache/bin./apachectl startssl启动httpd并加载SSL服务/opt/apache/bin./apachectl stop关闭apache/opt/apache/bin./apachectl status查看apache的状态4.2.5.4 web日志说明Log存放目录为：/opt/apache/logs/opt/apache/logs/access_log为所有访问网站的日志/opt/apache/logs/error_log为错误信息日志/opt/apache/logs/httpd.pid为主进程的pid号/opt/apache/logs/ssl_engine_log 为ssl引擎日志，即ssl的运行日志，可以通过查看此日志了解运行状态及错误。/opt/apache/logs/ssl_request_log 为ssl请求日志即是哪个ip使用https ssi协议登录web站点，请求的时间，内容，访问的页面等。4.2.5.5 日常维护维护分为：业务维护及系统维护业务维护就是，利用系统管理员的身份，查看操作日志系统维护是：定期查看系统日志，apache日志等，看是否有运行错误，并定期备份日志。5、服务器硬件维护（略）6、linux系统的日常维护6.1 定期检查磁盘空间使用df显示磁盘空间输入：oraclelocalhost server$ df输出：Filesystem 1K-blocks Used Available Use% Mounted on/dev/cciss/c0d0p2 107938336 7612144 94843208 8% /dev/cciss/c0d0p1 101086 12308 83559 13% /bootnone 2073908 4 2073904 1% /dev/shm/dev/cciss/c0d0p5 30976636 185056 29218016 1% /home说明：这里显示了/、 /boot、/home分区 挂载的系统分区使用的大小，磁盘空间以k为单位。可以加参数 -horaclelocalhost server$ df -hFilesystem Size Used Avail Use% Mounted on/dev/cciss/c0d0p2 103G 7.3G 91G 8% /dev/cciss/c0d0p1 99M 13M 82M 13% /bootnone 2.0G 4.0K 2.0G 1% /dev/shm/dev/cciss/c0d0p5 30G 181M 28G 1% /home注意：当某空间使用率超过85时，通过du查看是哪些文件占用的空间比较大例如/home使用了85cd /home以root用户查看su输入root用户密码rootlocalhost /# du -m -max-depth=1-m是以M大小显示-max-depth=1表示只是一级子目录的大小，如果想查看二级的就写为2找出占用很大的文件，经判断后决定删除或转移。6.2 使用top工具监视cpu及内存的使用率每隔5秒，top工具确定哪些进程消耗最多的cpu时间，并按递减顺序在屏幕显示。输入：oraclelocalhost /$ top输出：top - 10:52:46 up 6 days, 39 min, 2 users, load average: 0.12, 0.09, 0.02Tasks: 123 total, 1 running, 122 sleeping, 0 stopped, 0 zombieCpu(s): 0.2% us, 0.2% sy, 0.0% ni, 99.3% id, 0.4% wa, 0.0% hi, 0.0% siMem: 8247956k total, 1828612k used, 6419344k free, 119476k buffersSwap: 8385920k total, 0k used, 8385920k free, 1526064k cached PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 1 root 16 0 3004 552 472 S 0.0 0.0 0:01.02 init 2 root RT 0 0 0 0 S 0.0 0.0 0:01.28 migration/0 3 root 34 19 0 0 0 S 0.0 0.0 0:00.04 ksoftirqd/0 4 root RT 0 0 0 0 S 0.0 0.0 0:01.28 migration/1 5 root 34 19 0 0 0 S 0.0 0.0 0:00.04 ksoftirqd/1 6 root RT 0 0 0 0 S 0.0 0.0 0:00.65 migration/2 说明：当发现个别进程占用率很高，可以通过用“ps axj | grep 进程名”查看这个进程在进行什么操作，如果发现这个进程持续的时间很长，而且非系统必要进程；可以通过“kill 9” 进程的PID号，将进程杀死。（不确定情况下，请不要使用）；退出top用ctrl+c。6.3 定期查看root邮件输入：oraclelocalhost log$ su -lPassword: rootlocalhost root# mail输出： 1 rootlocalhost.local Fri Sep 8 16:23 18/704 HP Insight Management Agents Trap Alarm N 2 rootlocalhost.local Fri Sep 8 16:23 18/684 HP Agent Trap Alert N 3 rootlocalhost.local Fri Sep 8 16:23 19/748 HP Insight Management Agents Trap Alarm说明：前面为N的表示新邮件可以在& 后面输入1，代表看第一封信，ctrl+c表示退出查看这封信，h显示所有的如果都看过的邮件，就可以通过d来删除如果删除110就用&d 1-10这样就会删除1-10的信。6.4 定期查看系统日志系统的日志存储于/var/log目录下，需要定期查看，常用日志说明如下：boot.log:该文件记录了系统在引导过程中发生的事件，就是Linux系统开机自检过程显示的信息maillog: 该日志文件记录了每一个发送到系统或从系统发出的电子邮件的活动messages: 该日志文件是许多进程日志文件的汇总，从该文件可以看出任何入侵企图或成功的入侵lastlog: 该日志文件记录最近成功登录的事件和最后一次不成功的登录事件，由login生成wtmp: 该日志文件永久记录每个用户登录、注销及系统的启动、停机的事件xferlog: 该日志文件记录FTP会话，可以显示出用户向FTP服务器或从服务器拷贝了什么文件cron: 该日志文件记录crontab守护进程crond所派生的子进程的动作，前面加上用户、登录时间和PID，以及派生出的进程的动作7、备份策略7.1 备份方式为了保证数据库的高安全性，目前我们采用的数据库备份方式为物理备份和逻辑备份相结合的方式，数据库归档模式为自动归档模式。这样当数据库出现故障时，我们就可以利用备份文件与归档方法相结合，作数据库“最新状态”的恢复。7.2 备份计划通过自动备份脚本实现每天进行一次热备份及逻辑备份，每周进行一次冷备份。所备份的数据文件存储于磁阵上的硬盘。7.3 常见故障恢复我们首先从/opt/oracle/admin/oracmts/bdump下的日志文件判断是什么故障。通过查看v$recover_file 来确定哪些文件需要恢复，通过查看v$datafile视图查看文件ID和文件名之间的相关性通过下面的命令查看需要恢复的数据文件的文件ID号：select file#, online, error from v$recover_file;通过视图返回名字和相应的文件ID:select name, file# from v$datafile;通过这些信息，决定对哪些文件进行恢复，及其采用的恢复方式。7.3.1 实例故障当oracle实例由于突然断电或者操作系统故障而崩溃时，可以通过输入dbstart即可开启数据库，无须发布恢复命令，oracle会自动执行崩溃恢复，最好启动前后检查日志文件7.3.2 介质故障介质故障发生在数据库结构组织出现毁坏时，在这些组织中数据库文件不能进行读写。在数据库打开的情况下，如果是system表空间的数据文件出现介质失败，那么oracle需要在mount状态下恢复其数据文件，如果是其他表空间，可以只对介质失败涉及到的数据文件进行恢复，即在数据库打开的状态下进行恢复。步骤如下：1确定需要恢复的数据文件2使数据文件脱机3拷贝数据文件备份到原目标地址4恢复表空间或数据文件5使表空间或数据文件联机例：当出现以下信息时，说明是数据库的system表空间出现了问题。ERROR:ORA-00604: error occurred at recursive SQL level 1ORA-01116: erro