系统故障分析和排除.pptx

Sun系统及硬件维护培训内容n nOpenBoot OpenBoot 的使用的使用n n系统故障分析和排除系统故障分析和排除OpenBoot的使用内容n nOpenBootOpenBoot概述概述n n启动并测试系统启动并测试系统n n设置环境变量设置环境变量n nEmergency ProcedureEmergency Proceduren n建立建立TIPTIP连接连接什么是OpenBoot?n nIEEEIEEE的的Boot FirmwareBoot Firmware标准标准 1275-19941275-1994n n独立于处理器设计独立于处理器设计n n开机后立即执行开机后立即执行n n可升级可升级OpenBoot的基本任务n n测试和初始化系统硬件测试和初始化系统硬件n n确定硬件配置确定硬件配置n n从网络或磁盘设备引导操作系统从网络或磁盘设备引导操作系统n n提供交互式的软硬件调试工具提供交互式的软硬件调试工具设备树n n设备通过总线连接在计算机主机上设备通过总线连接在计算机主机上n nOpenBoot OpenBoot 把总线和通过总线互连的设备表示成设把总线和通过总线互连的设备表示成设备树上的节点备树上的节点设备路径、地址和参数n n每个设备有唯一的名字，代表设备种类和设备在系统地址每个设备有唯一的名字，代表设备种类和设备在系统地址结构中的位置结构中的位置n n全路径设备名（物理设备名）是用全路径设备名（物理设备名）是用“/”/”分割的一系列节分割的一系列节点名点名n n设备树的根及机器本身，表现为设备树的根及机器本身，表现为“/”/”n n每个节点名的形式：每个节点名的形式：driver-nameunit-address:device-argumentsdriver-nameunit-address:device-arguments eg:sd6,0:aeg:sd6,0:a设备树、地址和参数n ndriver-namedriver-name 包含包含1-311-31位字母或数字，区分大小写。位字母或数字，区分大小写。符号放在地址信符号放在地址信息之前息之前 le lance ethernetle lance ethernet sd scsi disk sd scsi disk，cdromcdrom st scsi tape st scsi tape设备路径、地址和参数n nunit-addressunit-address 一个字符串，代表其在父节点设备的地址空间中的物理位一个字符串，代表其在父节点设备的地址空间中的物理位置。字符串的格式与总线有关。置。字符串的格式与总线有关。n ndevice-argumentsdevice-arguments 一个字符串，其格式与具体的设备有关。它可以用来给设一个字符串，其格式与具体的设备有关。它可以用来给设备的软件传递更进一步的信息。备的软件传递更进一步的信息。设备路径、地址和参数Example:Example:/sbus1f,0/esp0,4000/sd3,0:a/sbus1f,0/esp0,4000/sd3,0:an nSbus&SUNW,fas&sdSbus&SUNW,fas&sd为为driver-namedriver-namen n1f,01f,0代表主系统总线上的一个地址，因为在这个例子中代表主系统总线上的一个地址，因为在这个例子中sbussbus直接与主系直接与主系统总线相连统总线相连n n0,4000 Sbus0,4000 Sbus插槽号插槽号(0)(0)和一个偏移量和一个偏移量(4000),(4000),因为因为espesp设备在设备在Sbus 0 Sbus 0 号插槽号插槽的卡上的地址偏移量为的卡上的地址偏移量为40004000n n3,03,0是是SCSISCSI设备号和逻辑单元号，因为磁盘连在设备号和逻辑单元号，因为磁盘连在SCSISCSI总线上的设备号总线上的设备号为为3 3，逻辑单元号为，逻辑单元号为0 0浏览设备树的命令show-devsshow-devs.properties.properties（查看设备特性）（查看设备特性）cd/cd/cd device-namecd device-namepwdpwdwords words （查看本节点的访问方法）（查看本节点的访问方法）see see wordnamewordname设备别名n nA shorthand representation of a A shorthand representation of a device pathdevice path Example:/sbus1f,0/esp0,4000/sd3,0:a Example:/sbus1f,0/esp0,4000/sd3,0:an ndevaliasdevalias command command devaliasdevalias devalias devalias aliasalias devalias devalias alias device-pathalias device-path nvalias nvalias alias device-pathalias device-path nvunalias nvunalias aliasaliasGetting Helpn nHelpHelp command command help list main help categorieshelp list main help categories help categories show help for all commands in the category.help categories show help for all commands in the category.Use only the first word of the category description.Use only the first word of the category description.n nHelp is available only for commands that are used Help is available only for commands that are used frequency.frequency.使用一些OpenBoot命令时要注意n n操作系统开始运行后，操作系统开始运行后，OpenBootOpenBoot运行有可能不正确运行有可能不正确n n解决办法解决办法 1 1、用、用printenv printenv 查看查看auto-boot?auto-boot?的值。如果为的值。如果为truetrue，用，用setenv setenv 把把 它设置成它设置成falsefalse 2 2、用、用resetreset复位系统复位系统 3 3、当系统停在、当系统停在okok状态下时，执行用户命令状态下时，执行用户命令 4 4、用、用setenvsetenv把把auto-boot?auto-boot?重新设置成重新设置成truetrue 5 5、Reset the systemReset the system引导和测试系统经常用经常用OpenBootOpenBoot命令做的工作命令做的工作n n引导系统引导系统n n运行系统自检运行系统自检n n显示系统信息显示系统信息n n复位系统复位系统引导系统n n引导参数引导参数 auto-boot?boot-commandauto-boot?boot-command diag-switch?boot-device diag-switch?boot-device boot-file diag-device boot-file diag-device diag-file diag-filen nBoot processBoot process auto-boot?=auto-boot?=true/falsetrue/falsen nBoot CommandBoot Command ok boot device-specifierargumentsok boot device-specifierargumentsBoot命令的可选参数n ndevice-specifierdevice-specifier cdromcdrom disk disk net netn nargumentsarguments 如果没给出如果没给出argumentsarguments并且并且diag-switch?diag-switch?为为false,bootfalse,boot过程使用过程使用 boot-fileboot-file作为作为arguments;arguments;如果没给出如果没给出argumentsarguments并且并且diag-switch?diag-switch?为为true,boottrue,boot过程使用过程使用 diag-filediag-file作为作为arguments;arguments;取值：取值：-v a r s.-v a r s.诊断测试命令n nProbe-scsiProbe-scsi Identify devices attached to a SCSI busIdentify devices attached to a SCSI busn nTest device-specifierTest device-specifier Execute the specified devices selftest methordExecute the specified devices selftest methord Ex:test net test the network connection Ex:test net test the network connectionn nWatch-clockWatch-clock Test a clock functionTest a clock functionn nWatch-netWatch-net Mo Monitor a network connectionnitor a network connectionn nNot all of these tests are available in all OpenBoot Not all of these tests are available in all OpenBoot implementation.implementation.显示和修改参数设置n nprinetenvprinetenv Display current variables and current default valuesDisplay current variables and current default valuesn nprinetenv prinetenv variablevariable shows the current value of the named valiableshows the current value of the named valiablen nsetenv setenv variable valusevariable valuse set set variablevariable to the given decimal or text to the given decimal or text valuevalue(changes are permanent,but (changes are permanent,but often take effect only after a reset)often take effect only after a reset)显示和修改参数设置n nSet-default Set-default variablevariable reset the value of reset the value of variablevariable of the factory default of the factory defaultn nSet-defaultsSet-defaults reset variable values to the factory defaultreset variable values to the factory defaultn nPasswdPasswd set security-passwordset security-passwordn n操作系统命令操作系统命令#eeprom variable=value#eeprom variable=value#eeprom“variable=value”#eeprom“variable=value”Setting security valiablesn nsecurity-modesecurity-mode full all commands except for go require the passwdfull all commands except for go require the passwd command all commands except for boot and go require the passwd command all commands except for boot and go require the passwd none no password require(default)none no password require(default)n nsecurity-password security-password n nsecurity-#badloginssecurity-#badlogins 保存错误输入口令的次数保存错误输入口令的次数Using nvramrcn nIts contents are called the scriptIts contents are called the scriptn nStore user-defined commands executed during start-upStore user-defined commands executed during start-up device driver to save start-up variables;device driver to save start-up variables;define installation-specific device configuration and device aliases define installation-specific device configuration and device aliases n nCommands are stored in ASCII,just as the user would Commands are stored in ASCII,just as the user would type them at the consoletype them at the console相关参数和命令：相关参数和命令：use-nvramrc?use-nvramrc?nvedit nvstore nvquit nvrun nvedit nvstore nvquit nvrun 等等Using nvramrcExampleExampleok nveditok nvedit0:hello (-)0:hello (-)1:.“Hello,world.”cr1:.“Hello,world.”cr2:;2:;3:C3:Cok nvstoreok nvstoreok setenv use-nvramrc?Trueok setenv use-nvramrc?Trueok reset-allok reset-allok hellook helloHello,world.Hello,world.okokEmergency Proceduresn nStopStop 跳过跳过POSTPOST（只适用于设成诊断模式时）。（只适用于设成诊断模式时）。This command does not depend This command does not depend on the security-mode.on the security-mode.n nStop-AStop-A 退回到监控状态的缺省提示符退回到监控状态的缺省提示符okokn nStop-DStop-D 进入诊断模式（进入诊断模式（set diag-switch?to true)set diag-switch?to true)n nStop-FStop-F 在监控在监控probeprobe设备之前进入设备之前进入OpenBoot monitor.(useful if hardware is broken)OpenBoot monitor.(useful if hardware is broken)n nStop-NStop-N 把把NVRAMNVRAM的内容设为缺省值的内容设为缺省值 建立TIP连接n nConnect the Sun workstation TTYB serial port to your SPARC system Connect the Sun workstation TTYB serial port to your SPARC system TTYA serial port using a serial connection cable.TTYA serial port using a serial connection cable.n nAt the Sun workstation,edit the following lines to the At the Sun workstation,edit the following lines to the/etc/remote/etc/remote file file hardwire:hardwire:dv=/dev/term/b:br#9600:el=CSQUD:ie=%$:oe=D:dv=/dev/term/b:br#9600:el=CSQUD:ie=%$:oe=D:n nIn the Shell Tool window on the Sun workstation,type:In the Shell Tool window on the Sun workstation,type:hostname%hostname%tip hardwiretip hardwire connected connectedn n#in the TIP window is enquivalent to pressing#in the TIP window is enquivalent to pressing Stop-AStop-A系统故障分析和排除监视系统资源n nCPU vmstat,mpstatCPU vmstat,mpstatn nMemory vmstatMemory vmstatn nDisk iostatDisk iostatn nNetwork netstatNetwork netstatn nOther command sar,nfsstat,swap,prtconf,prtdiag,pkginfo,Other command sar,nfsstat,swap,prtconf,prtdiag,pkginfo,showrev(patchadd)showrev(patchadd)用mpstat监视CPUn nmpstatmpstat 以表格形式报告每一个以表格形式报告每一个CPUCPU的统计数据的统计数据 example#mpstat 30example#mpstat 30 CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys wt idl CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys wt idl 0 5 0 0 414 314 91 7 0 0 0 202 0 2 0 97 0 5 0 0 414 314 91 7 0 0 0 202 0 2 0 97 0 5 0 0 441 341 147 8 0 0 0 299 0 2 0 97 0 5 0 0 441 341 147 8 0 0 0 299 0 2 0 97 0 1 0 0 433 333 124 8 0 0 0 264 0 3 0 97 0 1 0 0 433 333 124 8 0 0 0 264 0 3 0 97用mpstat监视CPU主要输出参数说明：主要输出参数说明：n ncpu:cpucpu:cpu编号编号n nsmtx:smtx:锁没有在第一次请求时获得锁没有在第一次请求时获得n nusr:usr:用户进程占用用户进程占用CPUCPU的比例的比例n nsyssys：系统进程占用：系统进程占用CPUCPU的比例的比例n nwt:wt:等待等待I/OI/O操作完成的空闲时间操作完成的空闲时间n nid:CPUid:CPU空闲的比例空闲的比例用vmstat查看CPU和内存状态n nvmstat vmstat 报告虚拟内存、磁盘、陷阱和报告虚拟内存、磁盘、陷阱和CPUCPU活动的统计数活动的统计数example:#vmstat 30example:#vmstat 30 procs memory page disk faults cpu procs memory page disk faults cpu r b w swap free re mf pi po fr de sr s0 s6 s7-in sy cs us sy id r b w swap free re mf pi po fr de sr s0 s6 s7-in sy cs us sy id 0 0 0 1344368 296648 1 5 1 0 0 0 0 0 0 1 0 314 202 91 0 2 97 0 0 0 1344368 296648 1 5 1 0 0 0 0 0 0 1 0 314 202 91 0 2 97 0 0 0 1319752 268632 24 90 0 0 0 0 0 1 0 2 0 349 456 155 3 3 94 0 0 0 1319752 268632 24 90 0 0 0 0 0 1 0 2 0 349 456 155 3 3 94 0 0 0 1324032 269336 1 7 0 0 0 0 0 1 0 3 0 353 303 144 0 3 97 0 0 0 1324032 269336 1 7 0 0 0 0 0 1 0 3 0 353 303 144 0 3 97用vmstat查看cpu和内存状态主要输出参数说明：主要输出参数说明：n nR:R:运行队列中进程的个数（已经准备好数据等待运行的进程）。数值运行队列中进程的个数（已经准备好数据等待运行的进程）。数值大表示大表示CPUCPU忙。忙。n nSwap:Swap:当前可用的交换区空间，单位当前可用的交换区空间，单位KbytesKbytesn nSr:Sr:页扫描的次数。数值大表示物理内存不够页扫描的次数。数值大表示物理内存不够n nUs:Us:用户进程占用用户进程占用CPUCPU的比例的比例n nSy:Sy:系统进程占用系统进程占用CPUCPU的比例的比例n nId:CPUId:CPU空闲的比例空闲的比例用iostat查看I/O资源n niostatiostat 反复报告终端、磁盘、磁带机的反复报告终端、磁盘、磁带机的I/OI/O活动和活动和CPUCPU的利用率。的利用率。使用使用iostatiostat查看各控制器和磁盘的负载。如果磁盘负载不均查看各控制器和磁盘的负载。如果磁盘负载不均衡，考虑移走一部分消耗衡，考虑移走一部分消耗I/OI/O多的行为（例如：虚拟内存）多的行为（例如：虚拟内存）到另外的磁盘或控制器上，或增加一些磁盘、控制器等。到另外的磁盘或控制器上，或增加一些磁盘、控制器等。用iostat查看I/O资源example:#iostat 30example:#iostat 30 extended devices statistics tty cpu extended devices statistics tty cpu device r/s w/s kr/s kw/s wait actv svc_t%w%b tin tout us sy wt id device r/s w/s kr/s kw/s wait actv svc_t%w%b tin tout us sy wt id sd0 0.4 0.3 10.4 8.0 0.0 0.0 36.9 0 1 0 10 0 0 1 99 sd0 0.4 0.3 10.4 8.0 0.0 0.0 36.9 0 1 0 10 0 0 1 99 sd1 0.0 0.0 0.3 0.4 0.0 0.0 35.0 0 0 sd1 0.0 0.0 0.3 0.4 0.0 0.0 35.0 0 0 sd6 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0 0 sd6 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0 0 nfs1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0 0 nfs1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0 0 nfs2 0.0 0.0 0.0 0.1 0.0 0.0 35.6 0 0 nfs2 0.0 0.0 0.0 0.1 0.0 0.0 35.6 0 0用iostat查看I/O资源主要参数说明：主要参数说明：n nsdsd为硬盘，为硬盘，st st为磁带机，后面的编号是为磁带机，后面的编号是SCSI IDSCSI IDn nserv:serv:平均服务时间，单位平均服务时间，单位msms。数值大表示数据存储分散，需要整理磁。数值大表示数据存储分散，需要整理磁盘。盘。n n%b:%b:硬盘忙的时间比例硬盘忙的时间比例n nWait:Wait:硬盘等待的时间（等待硬盘等待的时间（等待SCSISCSI等接口总线空闲）等接口总线空闲）网络资源n nnetstat netstat 根据选项不同，以各种形式显示与网络有关的各种数据结根据选项不同，以各种形式显示与网络有关的各种数据结构。用构。用netstat I netstat I 显示网络接口的统计信息。如果输入输出显示网络接口的统计信息。如果输入输出错误比较多，可能是由于网络拥塞或网口问题引起的。错误比较多，可能是由于网络拥塞或网口问题引起的。网络资源example:#netstat 30example:#netstat 30 input hme2 output input (Total)output input hme2 output input (Total)outputpackets errs packets errs colls packets errs packets errs colls packets errs packets errs colls packets errs packets errs colls 895129 0 1069518 1 5026 3890808 2 2506103 1 5026 895129 0 1069518 1 5026 3890808 2 2506103 1 5026 46 0 33 0 0 482 0 413 0 0 46 0 33 0 0 482 0 413 0 0 80 0 77 0 0 529 0 476 0 0 80 0 77 0 0 529 0 476 0 0 主要输出参数说明：主要输出参数说明：packets:packets:通过的包的数量通过的包的数量 errs:errs:错误的包的数量错误的包的数量 colls:colls:网络碰撞的数量网络碰撞的数量进程资源n n系统中最多允许系统中最多允许3000030000个进程运行个进程运行n nZombie Zombie 进程不会造成性能问题进程不会造成性能问题n npsps 1 1、显示活动进程的信息、显示活动进程的信息 2 2、%/usr/bin/ps eo pid,pcpu,args|sort+1n%/usr/bin/ps eo pid,pcpu,args|sort+1n 按消耗按消耗CPUCPU由多到少排列各进程由多到少排列各进程 3 3、%/usr/ucb/ps aux|more%/usr/ucb/ps aux|more 由大到小排列，显示各进程消耗由大到小排列，显示各进程消耗CPUCPU和内存的情况和内存的情况进程资源(cont.)%/usr/ucb/ps aux|head-5%/usr/ucb/ps aux|head-5USER PID%CPU%MEM SZ RSS TT S START TIME COMMANDUSER PID%CPU%MEM SZ RSS TT S START TIME COMMANDadrc 333 1.0 8.2 8372 51290 console S 09:28:38 0:29 /usr/bin/vmstatadrc 333 1.0 8.2 8372 51290 console S 09:28:38 0:29 /usr/bin/vmstatroot 483 0.4 1.4 1016 872 pts/1 O 09:56:36 0:00 /usr/ucb/ps-auxroot 483 0.4 1.4 1016 872 pts/1 O 09:56:36 0:00 /usr/ucb/ps-auxadrc 433 0.3 15.8 13295 9832?S 09:31:47 0:26/usr/bin/findadrc 433 0.3 15.8 13295 9832?S 09:31:47 0:26/usr/bin/findroot 240 0.3 5.3 3688 3260?S 09:27:32 0:07/usr/sbin/nscdroot 240 0.3 5.3 3688 3260?S 09:27:32 0:07/usr/sbin/nscdadrc 367 0.2 4.2 3472 2620?S 09:28:56 0:00/usr/lib/lpschedadrc 367 0.2 4.2 3472 2620?S 09:28:56 0:00/usr/lib/lpsched主要输出参数说明：主要输出参数说明：%CPU%CPU：进程近来的：进程近来的CPUCPU利用率的平均值利用率的平均值%MEM%MEM：进程占用内存的比例：进程占用内存的比例 SZSZ：进程地址空间的大小，指示了该进程需要的：进程地址空间的大小，指示了该进程需要的swapswap空间的大小空间的大小 其他命令或工具n nsarsar 提供一些通用的系统统计数据。提供一些通用的系统统计数据。SarSar通常运行在批处理模式而不是被通常运行在批处理模式而不是被solarissolaris维护命令使用的交互式模式。它提供很多关于系统资源利用方维护命令使用的交互式模式。它提供很多关于系统资源利用方面的相同的信息。面的相同的信息。n nnfsstatnfsstat 显示显示NFSNFS和和RPCRPC与核心接口的统计信息与核心接口的统计信息n nprtconfprtconf 显示系统配置信息。包括物理内存的大小。显示系统配置信息。包括物理内存的大小。其他命令或工具n nprtdiagprtdiag 显示系统配置和诊断信息显示系统配置和诊断信息 用于检测硬件错误或故障用于检测硬件错误或故障n nswap lswap l 显示所有显示所有swapswap区的状态。如果怀疑虚拟内存缺乏时使用此命令区的状态。如果怀疑虚拟内存缺乏时使用此命令n npkginfo l pkg_namepkginfo l pkg_name或或pkginfo d path l pkg_namepkginfo d path l pkg_name 以长格式显示软件包的信息，包括安装时间，占用空间大小，共享路以长格式显示软件包的信息，包括安装时间，占用空间大小，共享路径，版本号等。径，版本号等。其他命令工具n nShowrev p Showrev p 或或 patchadd ppatchadd p 显示系统中安装的所有显示系统中安装的所有patchpatch及版本及版本n n/usr/proc/bin/usr/proc/bin目录下的所有命令都可从目录下的所有命令都可从/proc/proc目录下提取关于目录下提取关于进程的信息进程的信息 eg:ptree eg:ptree 按父子关系显示系统中的进程按父子关系显示系统中的进程 pfiles PID pfiles PID 显示进程调用的文件信息显示进程调用的文件信息从solaris日志和文件中查问题n n/etc/system/etc/system 系统核心配置文件。修改如果怀疑性能问题是由于修改了该文件而导系统核心配置文件。修改如果怀疑性能问题是由于修改了该文件而导 致，查看一下其中的参数。致，查看一下其中的参数。n n/var/adm/messages/var/adm/messages syslogsyslog进程在该文件中做日志。在其中查看含有进程在该文件中做日志。在其中查看含有WARNING,error,reboots,WARNING,error,reboots,panicspanics等字样的行。因为这类报错可能表示出一些潜在的影响系统性能的等字样的行。因为这类报错可能表示出一些潜在的影响系统性能的软硬件问题。软硬件问题。n n/etc/release/etc/release 包含操作系统版本信息包含操作系统版本信息与故障检测有关的命令dmesg 分析最近的日志信息devfsadm 配置/device目录和设备树的信息，以及创建/dev/dsk和 /dev/rdsk的符号链接df k 显示磁盘使用情况，包括剩余空间的检测eeprom 分析和改变PROM设置file 查看文件类型find 在系统中查特定的文件fstyp-v file-system 显示详细的文件系统参数：文件系统状态、参 数，每个柱面组的参数，已用I 节点号，空闲节点号。与故障检测有关的命令(cont.)grep grep 分析文件内容，查找特定字符串分析文件内容，查找特定字符串last last 根据根据/var/adm/utmpx/var/adm/utmpx和和/var/adm/wtmpx/var/adm/wtmpx文件的记录，显示系统文件的记录，显示系统login login 和和reboot reboot 事件的历史事件的历史ndd ndd 显示和设置驱动器的参数显示和设置驱动器的参数eg:#ndd get/dev/hme?eg:#ndd get/dev/hme?查看和网卡有关的参数查看和网卡有关的参数#ndd get/dev/hme adv_100fdx_cap#ndd get/dev/hme adv_100fdx_cap 查看查看100M100M全双工的设置全双工的设置#ndd set/dev/hme adv_100fdx_cap 0#ndd set/dev/hme adv_100fdx_cap 0 关掉关掉100M100M全双工的设置全双工的设