第09章 系统故障分析与排查.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第九章 系统故障分析与排查,1,课程回顾,如何判断一个文件是否存在？,如何进行整数变量的四则运算？,if,语句从结构上分为哪几类？,for,、,while,、,until,在循环流程上有何区别？,2,技能展示,熟悉常见的日志文件及分析方法,会解决常见的启动登录类故障,会解决常见的软件包安装类故障,会解决常见的文件系统、磁盘类故障,熟悉常见的系统性能监控方法,3,本章结构,日志分析及管理,主要日志文件,修复文件系统,日志文件分析,磁盘资源耗尽故障,日志管理策略,系统启动类故障排除,文件系统、磁盘类故障排除MBR扇区故障,/etc/,inittab文件丢失,rpm数据库损坏,缺少*,.so,类文件,软件包类故障排除,检测硬盘坏道,无法卸载已挂载设备,查看,CPU,负载,查看系统性能状况,查看内存使用情况,GRUB引导故障,/etc/,fstab文件丢失,遗忘root用户的密码,磁盘,I/O,性能监控,系统故障分析与排查,4,日志分析及管理,日志的功能,用于记录系统、程序运行中发生的各种事件,通过阅读日志，有助于诊断和解决系统故障,日志文件的分类,内核及系统日志,由系统服务,syslog,统一进行管理，日志格式基本相似,用户日志,记录系统用户登录及退出系统的相关信息,程序日志,由各种应用程序独立管理的日志文件，记录格式不统一,5,日志分析及管理,日志保存位置,默认位于：,/,var,/log,目录下,主要日志文件介绍,内核及公共消息日志：,/,var,/log/messages,计划任务日志：,/,var/log/cron,系统引导日志：,/,var/log/dmesg,邮件系统日志：,/,var/log/maillog,用户登录日志：,/,var/log/lastlog,、,/,var,/log/secure,、,/,var/log/wtmp,、,/,var/run/utmp,6,内核及系统日志,由系统服务,syslogd,统一管理,软件包：,sysklogd,-1.4.1-39.2,主要程序：,/,sbin/,klogd,、,/,sbin/,syslogd,配置文件：,/etc/,syslog.conf,rootlocalhost,#,grep,-v#/etc/,syslog.conf,|,grep,-v$,*.,info;mail.none;authpriv.none;cron.none,/,var,/log/messages,authpriv,.*/,var,/log/secure,mail.*-/,var/log/maillog,cron,.*/,var/log/cron,设备类别,.,日志级别,消息发送位置,7,内核及系统日志,日志消息的级别,0,EMERG,紧急）：会导致主机系统不可用的情况,1,ALERT,（警告）：必须马上采取措施解决的问题,2,CRIT,（严重）：比较严重的情况,3,ERR,（错误）：运行出现错误,4,WARNING,（提醒）：可能会影响系统功能的事件,5,NOTICE,（注意）：不会影响系统但值得注意,6,INFO,（信息）：一般信息,7,DEBUG,（调试）：程序或系统调试信息等,数字越小，表示优先级越高、问题越严重,8,rootlocalhost,#tail -5 /,var,/log/messages,Sep 14 11:22:44,localhost,kernel:,sdb,:cache data unavailable,Sep 14 11:22:44,localhost,kernel:,sdb,:assuming drive cache:write through,Sep 14 11:22:44,localhost,kernel:,sdb,:sdb1,Sep 14 11:23:37,localhost,kernel:VFS:Cant find ext3,filesystem,on dev sdb1.,Sep 14 16:54:48,localhost,NetworkManager,:starting.,内核及系统日志,日志记录的一般格式,时间标签,主机名,子系统名,消息字段,9,用户日志分析,保存了用户登录、退出系统等相关信息,/,var/log/,lastlog,：最近的用户登录事件,/,var/log/,wtmp,：用户登录、注销及系统开、关机事件,/,var/run/,utmp,：当前登录的每个用户的详细信息,/,var,/log/,secure,：与用户验证相关的安全性事件,分析工具,who,、,w,、,user,、,last,、,ac,10,程序日志分析,由相应的应用程序独立进行管理,Web,服务：,/,var/log/httpd,/,access_log,、,error_log,代理服务：,/,var,/log/squid/,access.log,、,cache.log,、,squid.out,、,store.log,FTP,服务：,/,var/log/xferlog,分析工具,文本查看、,grep,过滤检索、,Webmin,管理套件中查看,awk,、,sed,等文本过滤、格式化编辑工具,Webalizer,、,Awstats,等专用日志分析工具,11,日志管理策略,及时作好备份和归档,延长日志保存期限,控制日志访问权限,日志中可能会包含各类敏感信息，如账户、口令等,集中管理日志,便于日志信息的统一收集、整理和分析,杜绝日志信息的意外丢失、恶意篡改或删除,12,日志管理策略,应用示例：,调整,syslogd,服务设置，建立集中管理的日志服务器,将客户机,B,中,crond,服务产生的日志消息，自动发送到服务器,A,的,/,var/log/cron,文件中,rootlocalhost#vi/etc/sysconfig/syslog,SYSLOGD_OPTIONS=,-r,-x-m 0,rootlocalhost#vi/etc/syslog.conf,cron.*,173.17.17.3,服务器,A,客户机,B,13,修复,MBR,扇区故障,故障原因,病毒、木马等造成的破坏,不正确的分区操作、磁盘读写误操作,故障现象,找不到引导程序，启动中断,无法加载操作系统，开机后黑屏,解决思路,应提前作好备份文件,以,RHEL5,安装光盘引导进入急救模式,从备份文件中恢复,14,修复,MBR,扇区故障,应用示例：,1.,备份,MBR,扇区数据,dd,if=/dev/,sda,of=/backup/,sda.mbr.bak,bs,=512 count=1,2.,模拟,MBR,被破坏的故障,dd,if=/dev/zero,of=/dev/,sda,bs,=512 count=1,3.RHEL5,光盘引导，进入急救模式,boot:,linux,rescue,4.,从备份文件中恢复,MBR,扇区,dd,if=/,tempdir/sda.mbr.bak,of=/dev/,sda,bs,=512 count=1,15,修复,GRUB,引导故障,故障原因,MBR,中的,GRUB,引导程序遭到破坏,grub.conf,文件丢失、引导配置有误,故障现象,系统引导停滞，显示“,grub”,提示符,解决思路,尝试手动输入引导命令,进入急救模式，从备份中恢复,grub.conf,向,MBR,扇区中重建,grub,程序,16,修复,GRUB,引导故障,应用示例,1,：,在“,grub”,提示符后，手动输入引导命令,成功进入系统后，恢复或重建,grub.conf,配置文件,grub,root,(hd0,0),grub,kernel,/vmlinuz-2.6.18-8.el5,ro,root=/dev/VolGroup00/LogVol00,rhgb,quiet,grub,initrd,/initrd-2.6.18-8.el5.img,grub,boot,rootlocalhost,#,cd,/boot/grub/,rootlocalhost,#cp,grub.conf.bak,grub.conf,从备份文件恢复,17,修复,GRUB,引导故障,应用示例,2,：,进入急救模式，从备份文件中恢复,grub.conf,文件,向,MBR,扇区中重建,GRUB,程序,sh-3.1#,chroot,/,mnt/sysimage,sh-3.1#,cd,/boot/grub/,sh-3.1#cp,grub.conf.bak,grub.conf,sh-3.1#,grub-install /dev/,sda,18,/etc/,inittab,文件丢失,故障原因,inittab,文件被误删除，或者存在配置错误,故障现象,启动中提示“,.INIT:No,inittab,file found”,系统停滞，无法完成初始化,解决思路,进入急救模式，从备份文件中恢复,或者，在急救模式中重新安装,initscripts,软件包,rpm -,ivh,-,replacepkgs,initscripts-8.45.14.EL.i386.rpm,19,/etc/,fstab,文件丢失,故障原因,fstab,文件被误删除，或者存在配置错误,故障现象,启动中提示“,./etc/,fstab,:No such file or directory,”,系统停滞，无法完成初始化,解决思路,进入急救模式，手动查找并挂载根分区,查找逻辑卷：,lvm,vgscan,激活指定的逻辑卷：,lvm,vgchange,-ay /dev/VolGroup00,恢复或重建,fstab,配置文件,20,遗忘,root,用户的密码,故障原因,遗忘,root,用户的密码,故障现象,无法进行需要,root,权限的管理操作,若没有其他可用帐号，将无法登录系统,解决思路,引导进入单用户模式，然后重设密码,grub kernel .,single,或,s,或,1,或进入急救模式，然后重设密码,21,小结,请思考：,Linux,系统中最常用的公共日志文件是什么？,负责管理内核日志的系统服务是什么？,如何进入单用户模式？,使用,RHEL5,光盘引导时，如何进入修复模式？,如何向,MBR,中重建,GRUB,程序？,22,软件包类故障,rpm,数据库损坏,故障原因,非正常关机、误删除运行中的程序文件,RPM,数据文件被误写或删除,故障现象,不能正常查询,rpm,包信息,无法安装、升级或卸载软件包等,解决思路,重建,RPM,数据库,rpm -,rebuilddb,或,rpm -,initdb,23,软件包类故障,缺少*,.so,类文件,故障原因,软件正常运行所需要的依赖包没有安装,系统找不到依赖包的*,.so,共享链接库,故障现象,无法正常编译、安装或运行软件,报错提示“缺少,.so,文件”,解决思路,确认已安装能提供相应*,.so,共享库的软件包,添加库文件搜索路径，并更新缓存,rootlocalhost,#,vi/etc/,ld.so.conf,/,usr/local/mysql/lib/mysql,rootlocalhost,#,ldconfig,24,修复损坏的文件系统,故障原因,非正常关机、突然断电、设备读写失误等,文件系统的超级块（,super-block,）信息被破坏,故障现象,无法向分区中读取或写入数据,启动后提示“,Give root password for maintenance”,解决思路,根据提示输入,root,口令，进入修复状态,使用,fsck,命令进行修复,25,修复损坏的文件系统,应用示例：,模拟对,/dev/sdb1,分区的破坏操作,dd,if=/dev/zero of=/dev/sdb1,bs,=512 count=4,检查是否能挂载该分区,报错：,mount:you must specify the,filesystem,type,对,/dev/sdb1,分区进行修复,fsck,-,yt,ext3/dev/sdb1,再次挂载该分区,26,磁盘资源耗尽故障,故障原因,磁盘空间已被大量的数据占满，空间耗尽,虽然还有可用空间，但文件数,i,节点耗尽,故障现象,无法写入新的文件，提示“,:,设备上没有空间,”,部分程序无法运行，甚至系统无法启动,解决思路,清理磁盘空间，删除无用、冗余的文件,转移或删除占用大量,i,节点的琐碎文件,进入单用户模式、急救模式进行修复,为用户设置,磁盘配额,27,无法卸载已挂载的设备,故障原因,需要卸载的设备正在被使用,故障现象,无法卸载设备，提示“,.device is busy”,解决思路,将工作目录切换到挂载点以外,退出正在使用该设备的程序,或使用,fuser,命令找出相关进程，并终止该进程,rootlocalhost mnt#,fuser-mv/media/cdrom,USER PID ACCESS COMMAND,/media/,cdrom,:root 3297 .c.bash,rootlocalhost mnt#,fuser-k/media/cdrom,28,检测硬盘中的坏道,故障原因,磁盘设备中存在坏道（逻辑的或物理的）,故障现象,部分文件无法正常访问，提示文件损坏,新建立的分区无法完成格式化,访问磁盘设备时死机，磁盘发出异常声响,解决思路,检测硬盘中是否存在坏道,mkfs,-t ext3 -c /dev/sdb1,或,badblocks,-,sv,/dev/sdb1,修复硬盘，或更换新的硬盘,29,系统性能监控,查看,CPU,负载,执行,uptime,命令,运行时间，登录用户数，,CPU,平均负载查看,/proc/,loadavg,文件,CPU,平均负载，活动进程数,/,总数，最近进程的,PID,rootlocalhost,#,uptime,05:33:11 up 7:22,2 users,load average:0.04,0.09,0.08,rootlocalhost,#,cat/proc/,loadavg,0.15 0.03 0.01 4/84 25697,30,系统性能监控,查看内存使用情况,vmstat,命令,报告系统虚拟存储使用情况，包括内存使用信息,free,命令,显示系统的物理内存和交换空间的使用情况,rootlocalhost,#,vmstat,procs,-memory-swap-,io,-system-,cpu,-,r b,swpd,free buff cache,si,so bi,bo,in,cs,us,sy,id,wa,st,0 0 0 304280 27084 145844 0 0 29 8 1007 20 0 2 98 0 0,rootlocalhost,#,free,total used free shared buffers cached,Mem,:515600 211320 304280 0 27264 145852,-/+buffers/cache:38204 477396,Swap:1048568 0 1048568,31,系统性能监控,磁盘,I/O,性能监控,iostat,命令,用于查看系统磁盘,I/O,统计信息,由软件包,sysstat-7.0.0-3.el5.i386.rpm,提供,sysstat,还提供了,mpstat,命令，用于显示进程负载信息,rootlocalhost#,iostat-dkt 5,Linux 2.6.18-8.el5(localhost.localdomain)2009,年,05,月,24,日,Time:16,时,17,分,49,秒,Device:,tps kB_read/s kB_wrtn/s kB_read kB_wrtn,sda 1.28 15.12 6.54 167183 72314sdb 0.83 11.95 1.95 132182 21526,dm-0 2.40 14.95 6.54 165325 72312,dm-1 0.01 0.04 0.00 456 0,hdc 0.02 0.07 0.00 746 0,rootlocalhost#,mpstat,Linux 2.6.18-8.el5(localhost.localdomain)2009,年,05,月,25,日,05,时,18,分,11,秒,CPU%user%nice%sys%iowait%irq%soft%steal%idle intr/s,05,时,18,分,11,秒,all 0.45 0.02 1.93 3.08 0.02 0.07 0.00 94.43 1010.03,32,本章结构,日志分析及管理,主要日志文件,修复文件系统,日志文件分析,磁盘资源耗尽故障,日志管理策略,系统启动类故障排除,文件系统、磁盘类故障排除,MBR扇区故障,/etc/,inittab文件丢失,rpm数据库损坏,缺少*,.so,类文件,软件包类故障排除,检测硬盘坏道,无法卸载已挂载设备,查看,CPU,负载,查看系统性能状况,查看内存使用情况,GRUB引导故障,/etc/,fstab文件丢失,遗忘root用户的密码,磁盘,I/O,性能监控,系统故障分析与排查,33,实验案例：日志管理及系统故障修复,需求描述,基于,syslog,构建集中管理的日志服务器,保存另一台,Linux,主机的,cron,日志信息,备份磁盘,sda,的,MBR,扇区，并学会,MBR,的恢复过程,系统故障模拟及修复,通过单用户模式进入,Linux,系统，重设,root,帐号的密码,将,/etc/,inittab,、,/etc/,fstab,文件改名，重启后进行修复,通过重新安装,GRUB,引导程序的方式，修复,GRUB,引导故障,使用,uptime,、,free,、,iostat,等命令查看主机的性能状况,34,实验案例：日志管理及系统故障修复,实现思路,任务,1,基于,syslog,构建集中管理的日志服务器,日志服务器需修改,/etc/sysconfig/syslog,文件,：,SYSLOGD_OPTIONS=-r-x-m 0,日志客户机需修改,/etc/,syslog.conf,文件：,cron.*173.17.17.3,均需重新加载,syslog,服务，然后进行验证,备份磁盘,sda,的,MBR,扇区，并学会,MBR,的恢复过程,使用,dd,命令时要谨慎确认，以免发生数据损坏,备份的目标文件应保存到不同的磁盘中,35,实验案例：日志管理及系统故障修复,实现思路,任务,2,系统故障模拟及修复,通过单用户模式进入,Linux,系统，重设,root,帐号的密码,将,/etc/,inittab,、,/etc/,fstab,文件改名，重启后进行修复,通过重新安装,GRUB,引导程序的方式，修复,GRUB,引导故障,使用,uptime,、,free,、,iostat,等命令查看主机的性能状况,参考教材中的示例，熟悉各种故障分析及排除过程,36,