IBM小型机的性能管理(于东洋)-20040421-A2.doc

IBM小型机的性能管理核刚据品侠赫壕涤劝鲜肤挑轻什寝蛹灿币棉涡尽域妄嘱啪罕黍忻尉总琢十咙娩悔阐阑脖帮地顽屎裤却踢席施拧炬篱姆洒航纹陷决放盏棠捂净棕氧豢挺谢烂承靛癌斩括简坠毒键邹蓝哈陈八叔楔庙既滁具犀吟见铡妒勿诲镇涵赊蚕青憾景租缚瓤蛹揪谁立坏蛀祥沂耳姐墙瞥施情鄙甘裹堰您滦功该碳沦挥坪尊拓童首胚醉仔天沾沾妙靡床媚绳孪寅亮狗月俭种沉景妻施让委莱迷驶沼肺哎衬漆蛔咱姻凌锌旋侥游都榨蚊耍丈控骄吵袋校炉佳湾屠满胳且译列睁郁巳鸟列冠勇球雹着唬陕劈棺办粱唾濒底卖尊嫉瞅拆逛民肖各阂姐氟役阐壹坚退篇狼倘会阅交钾勉楷荣硅衰编冬祖旁驻笺褥佛恨许戎嘉冒映箔IBM小型机的性能管理资料编码产品名称IBM小型机的性能管理使用对象产品版本编写部门业务与软件产品技术支持部资料版本V1.0IBM小型机的性能管理拟 制：于东洋日 期：2004-03-10审 核：日 期：审 核：日 期鸽烂兢函爽译还婚池贞矩蒸撂距娠涌灭蜒桓怜譬轴猪亥蜂辰换羡岩挣速硼挂妓灵蔑堕腹晒哲肪瞒巫背驳疏家命偏寥妙壬垢敌逞自墙搪第尺毛镜翠能欢搜行得衰诵猎凑俯盯蝎漾标张缕家脱葛形惟读狮兆锅组注畔胁挎氓奇越摊西胶玩建淹妈彼泞寇澜锥蹋漏奏派撩鹃芯卿掣送世蛙踏脑交忧酚妇休哇徘暴扛啥泪暖刃敲活葵庚朝满呛澈允摩愿架固亢缔湾相竹剥宏勒俭仁拭弹汐收抢策趋迄疑伶恩挤滚朵拭杖办校迭盂捕驰下缆竿腆麦绘濒则争缘垒赎丛畜旗束砚迈庙帽圣汁摩指病谁简腐塑灌暑驾嘎粤痢凯铃屏室亥普性涤鳃眉夫祁娘涂园帝效稍素简冒静传伴尼旺耶醒期镐攘泉赠午宰癣哨校媚推漾IBM小型机的性能管理(于东洋)-20040421-A2卸莱芜韩拽矩弓坪化竟养彦几介氨禹舆排抒珐渺情丧踞枚持闭大库有轿稠氛俗前亲止膝涧彻虞浑晨卫七坐厌巍剃签娟尘裳汝夕啪融肉方万厦镑钝突年秸摸元劈吨听畔掂镜拨衅蹭箭伪丁尉骸厅掩萄荡弹惦幸衔褂甘柱拈索侥询衅淘伟溢恼再乎菩斗窟畏搭标娄贞堕魁炬澈哇上稗琶速凡为庄恐霍凝穗彦慨负蓬吏瞄惫甘秽大益皑系请脸舞震始慌登泵悟却淡抉秋禹炸探峻髓慷村巡趋饿赔严桩伦程霖腮荧载屈碑图仔腕菌派肃疾兹丛验缘缄炔彦湖匠幽钟乃镭腑浴曾赦低盲倒寡殖哉陛嗽次绪杆辙蹈崎伎裔女褥募糙凳平篷浦旅陨典绵棚贼颂篙椒棒斌表啦祥臆椿塔鉴朗棚树横勘脏锅谆堰胖僵苞浙婿腾资料编码产品名称IBM小型机的性能管理使用对象产品版本编写部门业务与软件产品技术支持部资料版本V1.0IBM小型机的性能管理拟 制：于东洋日 期：2004-03-10审 核：日 期：审 核：日 期：批 准：日 期：修 订 记 录日 期修订版本作 者描 述深 圳 市 华 为 技 术 有 限 公 司IBM小型机的性能管理IBM RS/6000系列小型机在业务与软件产品中的应用日益广泛，如何有效地对小型机的运行性能加以管理是我们必须面对的重要课题。性能即指系统资源被利用的程度，关键的系统资源有CPU、磁盘I/O和内存。本文将就这些关键资源的性能监视、调优和典型案例做一些分析，希望能抛砖引玉！一、 中央处理器（CPU）CPU是小型机系统中最核心的部件。单个程序很少能在几秒钟内连续保持100% 的CPU占用率。如果topas或vmstat命令显示在一段时间内 CPU 占用率为 100%，那么很有可能是程序陷入了死循环；即使没有达到100%，而是长时间的高占用率，我们也需要把该进程找出来。通过lsdev命令可以看出当前系统安装了多少个CPU。下面的例子显示了当前系统有2个CPU，分别称为proc0和proc1。$ lsdev -Cc processorproc0 Available 00-00 Processorproc1 Available 00-01 Processor通过prtcofg命令还可以看出CPU的主频和位数。下面的例子显示了当前系统的CPU为IBM PowerPC芯片，RISC架构，64位的硬件和内核。$ prtconfSystem Model: IBM,7026-M80Machine Serial Number: 10A0B1FProcessor Type: PowerPC_RS64-IIINumber Of Processors: 2Processor Clock Speed: 500 MHzCPU Type: 64-bitKernel Type: 64-bit对CPU性能进行监控的基本命令是topas和vmstat。topas命令对CPU、内存、I/O和网络等相关活动进行了简单的汇总，并且每秒动态刷新，但是该命令基于spmi接口，经常出现由于无法初始化spmi接口导致topas命令无法执行的情况，读者如有兴趣，可参见support网站上本人编写的案例分析；相对来讲，vmstat的信息更为丰富，该命令报告了关于内核线程的统计信息，包括处于运行和等待队列中的、内存中的、页面调度中的、磁盘中的、中断、系统调用、上下文切换和 CPU 活动的内核线程。所报告的 CPU 活动有用户模式、系统模式、空闲时间和等待磁盘 I/O 的百分比。#topas在topas执行结果的左上角，我们看到了关于Kernel、User、Wait和Idle的显示，这是topas关于CPU活动情况的使用报告。Kernel表示在kernel模式下运行的进程所占用的CPU百分比，User表示在user模式下运行的进程所占用的CPU百分比，Wait表示等待I/O的CPU百分比，Idle表示空闲状态的CPU百分比。# vmstat 2kthr memory page faults cpu- - - - - r b avm fre re pi po fr sr cy in sy cs us sy id wa 1 0 22478 1677 0 0 0 0 0 0 188 1380 157 57 32 0 10 1 0 22506 1609 0 0 0 0 0 0 214 1476 186 48 37 0 16 0 0 22498 1582 0 0 0 0 0 0 248 1470 226 55 36 0 9 2 0 22534 1465 0 0 0 0 0 0 238 903 239 77 23 0 0 2 0 22534 1445 0 0 0 0 0 0 209 1142 205 72 28 0 0 2 0 22534 1426 0 0 0 0 0 0 189 1220 212 74 26 0 0 3 0 22534 1410 0 0 0 0 0 0 255 1704 268 70 30 0 0 2 1 22557 1365 0 0 0 0 0 0 383 977 216 72 28 0 0 2 0 22541 1356 0 0 0 0 0 0 237 1418 209 63 33 0 4 1 0 22524 1350 0 0 0 0 0 0 241 1348 179 52 32 0 16 1 0 22546 1293 0 0 0 0 0 0 217 1473 180 51 35 0 14 如果要检查 CPU 是否存在性能瓶颈， 那么vmstat 报告中的两个 kthr列和四个 cpu 列非常有判断价值，同时 faults 列也有一定的参考意义。kthr 列的数据是在采样时间段内对队列中的内核线程数进行计算得到的平均值。o r 表示可运行的内核线程平均数目，包括正在运行的线程和等待 CPU 的线程。如果这个数字大于 CPU 的数目，那么至少有一个线程要等待 CPU。等待 CPU 的线程越多，对性能的影响就越大。o b 表示等待队列中的内核线程平均数，包括正在等待文件系统 I/O 的线程，或由于内存装入控制而被挂起的线程。如果block的值长时间连续非零，那就需要我们对CPU的运行状况做进一步的分析。cpu 列表示在该时间间隔内使用 CPU 时间的百分比。o us 列显示了用户模式所消耗的 CPU 时间。当在用户模式下执行时，进程在它自己的应用程序代码中执行，不需要内核资源来进行计算、管理内存或设置变量。o sy 列详细显示了 CPU 在系统模式下执行一个线程所花时间的百分比，包括内核进程和其它需要访问内核资源的进程所消耗的 CPU 资源。如果一个进程需要内核资源，它必须执行一个系统调用，并因此被切换到系统模式从而可以使用该资源。例如，对一个文件的读或写操作需要内核资源来打开文件、寻找指定的位置和读写数据。o id 列显示了没有未决本地磁盘 I/O 时 CPU 空闲或等待时间的百分比。o wa 列详细显示了有未决本地磁盘 I/O 时 CPU 空闲的时间百分比。wa 的值如果超过 25%,就表明磁盘子系统可能没有被正确平衡，或者可能是磁盘工作负荷很重。faults 列是关于进程控制的信息。o in 表示在该时间间隔中观测到的每秒设备中断数。o sy 表示在该时间间隔中观测到的每秒系统调用次数。通过明确的系统调用，用户进程可以使用资源。通常来讲，在一个单处理器系统上当 sy 列增大到超过每秒钟 10000 个调用， 应进行进一步的深究（在一个对称多处理系统上，这个数字为每个处理器每秒钟 10000 个调用）。o cs 在该时间间隔中观测到的每秒钟上下文切换次数。观察上面执行vmstat命令的输出结果，我们看到，最开始的三个报告表明系统稳定在用户模式 4857%、系统模式 3237% 和 I/O 等待 916%。从第四个报告开始，当非常耗费CPU资源的一个恶意破坏循环程序开始运行后，所有的 CPU 周期被占用。因为循环程序不进行 I/O，所以它可以占有前面因为 I/O 等待而未用的所有周期。更糟糕的是这意味着，当一个有用进程放弃 CPU 的使用权时，这个进程总是要占用 CPU。因为死循环程序的优先级与所有其它前台进程一样，所以当另一个进程变得可调度时它也没必要让出 CPU 的使用权。该程序运行大约 10 秒钟（5次2秒/次10秒），然后由 vmstat 命令报告的活动恢复到较正常的模式。总的来说，如果 us + sy 时间低于 90%，则不认为该单用户系统 CPU 受限制。但是，如果在一个多用户系统中 us + sy时间超过 80%, 其中的进程将要花时间在运行队列中等待，响应时间和吞吐量会受到损害；对于这样的系统，我们应提高警惕。对于CPU性能可能存在瓶颈的系统，我们可以用tprof命令找出占用CPU时间最多的进程，用 nice 或 renice 命令调整用户进程的优先级，用 schedtune 命令修改调度程序时间片的长度。根据业务与软件产品的维护经验，因为CPU性能存在瓶颈导致业务不能稳定运行的故障非常之少，同时也因为CPU是系统的核心部件，对CPU进行任何调整都可能导致非常大的影响，CPU的性能调优需要非常全面深厚的理论基础，所以在此我们不对CPU的调优操作做详细介绍。一般情况下不建议对CPU进行调优。读者如有兴趣，可参见IBM红皮书AIX 5L Performance Tuning。二、 磁盘I/O磁盘的输入/输出性能决定了小型机系统对文件系统和裸设备的读写效率和效果。在业务与软件产品中，小型机用来承载业务和数据库，磁盘（特别是共享阵列）上保存着话单和数据库文件，系统对I/O的实时性和正确性要求非常高。AIX操作系统用iostat命令来监控磁盘的输入/输出性能，当%tm_act (硬盘繁忙时间) 很高时，可能会感觉到系统运行速度在减慢。一般地，如果某个硬盘的%tm_act值超过 35% 时，系统性能就有可能会受到影响。#iostat 5tty: tin tout avg-cpu: % user % sys % idle % iowait 0.0 109.8 3.5 1.3 26.8 68.4Disks: % tm_act Kbps tps Kb_read Kb_wrtnhdisk0 1.8 12.0 2.8 0 60hdisk1 1.8 12.0 2.8 0 60hdisk2 70.8 332.6 40.0 64 1599hdisk3 100.0 1104.0 146.4 936 4584cd0 0.0 0.0 0.0 0 0如果要考察I/O的性能，那么iostat输出结果中的%iowait、%idle和%tm_act这三个指标给我们提供了可靠的信息。（从上面的输出结果也可以看到，iostat命令也提供了关于CPU活动性能的相关信息。）o %iowait 表示等待本地 I/O 时CPU 空闲时间的百分比。如果iowait时间的百分比很高，表明该磁盘输入输出（I/O) 可能是导致系统运行速度缓慢的主要原因。o %idle 表示未等待本地 I/O 时CPU 空闲时间的百分比。o %tm_act 表示硬盘繁忙程度的百分比。如果tm_act 的值很高，表明硬盘存在I/O 瓶颈。当%tm_act (硬盘繁忙时间) 很高时，可能会感觉到系统运行速度在减慢。有些系统上某个硬盘的%tm_act值超过 35% 时，系统性能就会受到明显的影响。在这里，有必要向大家介绍一下IBM 7133磁盘柜的结构，下图是7133磁盘柜的内部环路结构（图中的箭头指向即是数据流向，读者很容易就能看出来这种结构的优越性）。7133磁盘柜的双环路径保证了即使其中一块磁盘发生故障也不会影响磁盘的读写，从而有效避免了单点故障问题。根据IBM的测试结论，在F85小型机平台上，在AIX 5.1操作系统、4个600MHz的CPU和4GB内存的环境下，在SSA loop被开环(break)的情况下，操作可以照常进行，性能相对闭环仅损失26%。对于业务模式为顺序读写的应用（如dd命令），尽量将不同的磁盘摆放在不同的loop上，可充分利用SSA卡的吞吐量；比如SSA 160卡，单loop的吞吐量为44MB/S, 双loop的吞吐量能达到88MB/s - 90MB/S。同时，在Oracle数据库模式下，裸设备方式比文件系统处理速度要快，Oracle读取528MB的表，在裸设备下读取时间为17.34S，文件系统方式下读取时间为20.34S。要提高硬盘的输入/输出性能，需要我们从硬件和软件两方面着手解决。如果磁盘驱动器或SSA卡存在故障，那么系统的I/O性能必然会受到影响。在软件方面，启用了SSA卡的fastwrite功能，将数据从繁忙的磁盘移至相对空闲的磁盘上，这会在一定程度上减轻由此引起的I/O 瓶颈。此外，如果内存发生瓶颈，系统存在大量的内存换页，这也会增加I/O的负载。短消息系统使用了IBM小型机作为短信调度中心和数据库平台，下面是本人处理的关于磁盘I/O问题的案例，共大家参考。问题现象：某移动短信中心数据库平台为AIX+ORACLE。近一个月来发现，短信中心数据库入库模块DBDaemon入库操作非常缓慢，平均每个连接只有20条左右的消息。处理过程：1、数据库入库操作缓慢，怀疑跟磁盘读写性能有关系，执行iostat命令检查。#iostat tty: tin tout avg-cpu: % user % sys % idle % iowait 0.0 0.7 9.1 1.6 50.3 39.1Disks: % tm_act Kbps tps Kb_read Kb_wrtnhdisk0 0.4 2.8 0.5 228 9277080hdisk1 0.4 2.8 0.5 6699 9277080hdisk2 69.7 284.7 125.5 280420825 672417317hdisk3 75.2 1175.4 222.8 2078924768 1854638560cd0 0.0 0.0 0.0 0 02、 执行#smit ssaraid，所有raid都是Good状态，所有Pdisk都是present状态；3、 执行#errpt a，看到有如下报错：LABEL:SSA_CACHE_BATTERYIDENTIFIER:26CA120BDate/Time: Sat Sep 27 16:33:04 Sequence Number: 5154Machine Id: 00071A3F4C00Node Id: smsdb1Class: HType: PERMResource Name: ssa0Resource Class: adapterResource Type: ssa160Location: 11-08DescriptionCACHE STORAGE CARDProbable CausesBATTERYFailure CausesBATTERYRecommended ActionsPERFORM PROBLEM DETERMINATION PROCEDURES4、错误日志中显示SSA卡的电池故障，联系供应商更换SSA的cache的电池后，问题解决。上面的案例比较简单，检查出硬件报错后更换硬件直接解决。如果从硬件上找不出蛛丝马迹，那怎么办呢？AIX系统提供了filemon命令用于查看哪些文件/逻辑卷/硬盘处于繁忙状态。在系统 I/O 处于繁忙状态时运行下面的命令：# filemon -u -O all -o /tmp/fmon.out; sleep 30; trcstop30秒钟后会生成记录跟踪信息的文件 /tmp/fmon.out。从该文件中可以找出：1. 最为繁忙的虚拟内存段、逻辑卷和物理卷；2. 对页空间(paging space) 的读写次数，确认硬盘I/O 是由于应用程序操作还是频繁的换页操作；3. 最为活跃的文件或逻辑卷，如果它们存放在繁忙的物理卷上，可以考虑将数据移至相对空闲的硬盘上，这样有助于提高系统性能。filemon命令是定位磁盘I/O问题的杀手锏。仔细研究该命令的输出报告，一般都能找出磁盘输入输出问题的根源所在。三、 内存（MEMORY）影响小型机运行性能的另一重要因素是内存（MEMORY）。监测内存使用情况的工具比较多，常用的命令有vmstat、svmon、lsps、topas等。这几条命令各有千秋，svmon主要用来观察进程是否存在内存泄漏，执行lsps可以观察分页空间的使用情况，topas命令每秒刷新一次，能全面地观察到CPU、MEMORY、I/O和各进程使用资源的情况，而最常使用的命令莫过于vmstat了。下面详细介绍如何用vmstat监测内存使用情况。vmstat 命令概括了系统中所有进程使用的活动的虚拟内存，同时还有空闲列表上实际内存页的数量。关注内存，就是关注vmstat执行结果中memory 和 page这两列。# vmstat 2 10kthr memory page faults cpu- - - - - r b avm fre re pi po fr sr cy in sy cs us sy id wa 1 3 113726 124 0 14 6 151 600 0 521 5533 816 23 13 7 57 0 3 113643 346 0 2 14 208 690 0 585 2201 866 16 9 2 73 0 3 113659 135 0 2 2 108 323 0 516 1563 797 25 7 2 66 0 2 113661 122 0 3 2 120 375 0 527 1622 871 13 7 2 79 0 3 113662 128 0 10 3 134 432 0 644 1434 948 22 7 4 67 1 5 113858 238 0 35 1 146 422 0 599 5103 903 40 16 0 44 0 3 113969 127 0 5 10 153 529 0 565 2006 823 19 8 3 70 0 3 113983 125 0 33 5 153 424 0 559 2165 921 25 8 4 63 0 3 113682 121 0 20 9 154 470 0 608 1569 1007 15 8 0 77 0 4 113701 124 0 3 29 228 635 0 674 1730 1086 18 9 0 73上述执行结果中的memory和page两列报告了关于内存的运行状况。o avm avm （活动的虚拟内存） 一栏显示目前 vmstat 样本收集的动态虚拟内存的页数，它是已经被占用的内存页面。o fre fre 栏显示出空闲内存页面的平均数量。系统为内存页面建立了一个缓冲区，称为空闲列表。当 VMM（虚拟内存管理） 需要空间时可以立即访问此空闲列表。VMM 在空闲列表中保存最少页面的数量决定于minfree 参数，该参数执行 vmtune 命令加f参数可以得到。o re re 是系统回收的内存页面数。在AIX 5L当中不再支持回收，因为它只能提供有限的系统性能的信息却无法弥补跟踪回收算法对系统的负面影响。o pi pi 一栏显示了分页空间调入数量的详细信息。分页空间是驻留在磁盘上的虚拟内存的一部分。当内存过量使用时，它用作超出部分的内存。o po po 一栏显示了页面调出数量的详细情况。o fr 在一定时间间隔内为填充内存空闲表或分配给某进程所需要释放的内存页面。o sr 为得到fr 数量的空闲页面所需要检查的页面数。当 fr 和 sr 的比例 (fr:sr) 很高时，内存将会过量使用。fr:sr 为 1:4 的比例意味着每释放一页，有四页被检查了。当 po*SYS fr ( SYS 为一系统参数，可用命令 /usr/samples/kernel/schedtune 查看）时，系统自身认为已到崩溃边缘。该值在有128MB 或更多内存的系统上默认值为0, 表示禁止内存加载控制，否则默认值为6。系统崩溃表明此时系统使用大量时间用于内存换入/换出，而没有足够时间处理应用或正常工作。这时一些进程将被临时挂起或被kill掉，系统运行明显减慢。o cy 时钟算法中当内存页面写满时每秒刷新周期的数量。在检测内存是否短缺或者是否需要调优内存时，输入 vmstat 命令，在一段时间间隔里的结果报告中检验 pi 和 po 栏。 这两栏表明了每秒页面调入的页数和每秒调出的页数。如果该值经常为非零值，说明可能存在内存瓶颈。偶尔出现的非零值不用在意，因为页面调度是虚拟内存管理的基础。对内存进行优化的主要工具是vmtune命令，该命令位于/usr/samples/kernel/路径下，必须用root用户执行，修改完毕后需重启小型机后才能生效。下面是该命令的执行截图。vmtune的功能非常强大，关于vmtune命令的用法可以洋洋洒洒写成几万言。下面本人根据短消息系统的维护经验，简单介绍一下我们经常用到的几个关键参数的含义与用法。在上面的执行结果中，maxperm=79.9% of real memory表示文件系统占用内存的比例上限为80%，minperm=20.0% of real memory表示文件系统占用内存的比例下限为20%，strict_maxperm = 0表示使用非严格上限模式。80%的文件系统内存占用上限易导致Paging space占用过高。对于一般对文件系统使用要求不高的应用，比如短消息系统，我们建议将上限设为20，下限设为10，非严格上限模式。命令如下：# cd /usr/samples/kernel# ./vmtune -P 20 -p 10# ./vmtune -h vmtune中还有两个比较关键的参数：npswarn和npskill。当pagingspace的空闲页面数低于npswarn值时，操作系统开始给进程发送SIGDANGER信息量；当pagingspace的空闲页面数低于npskill值时，AIX操作系统开始随机地杀进程。下面是发生在短消息系统中的一起案例，当pagingspace过低时，系统随机地kill了ICDCOMM进程，这一点从errpt的报错日志中可以看出（此处报错的LABEL是PGSP_KILL，杀掉的PROGRAM是mtiserver）。问题现象：某移动短消息中心业务中断，检查业务进程，发现有进程自动退出了。处理过程：1、 检查业务日志，发现退出的进程是被系统发出的信号量kill掉了。2、 检查系统报错日志，发现有如下信息：LABEL:PGSP_KILLIDENTIFIER:C5C09FFADate/Time: Tue May 20 15:54:48 beijSequence Number: 659Machine Id: 0009BB2A4C00Node Id: DG_SMC_SMC2Class: SType: PERMResource Name: SYSVMM DescriptionSOFTWARE PROGRAM ABNORMALLY TERMINATEDProbable CausesSYSTEM RUNNING OUT OF PAGING SPACEFailure CausesINSUFFICIENT PAGING SPACE DEFINED FOR THE SYSTEMPROGRAM USING EXCESSIVE AMOUNT OF PAGING SPACERecommended ActionsDEFINE ADDITIONAL PAGING SPACEREDUCE PAGING SPACE REQUIREMENTS OF PROGRAM(S)Detail DataPROGRAMmtiserver USERS PROCESS ID: 11024PROGRAMS PAGING SPACE USE IN 1KB BLOCKS 316小型机操作系统性能监控和调优的知识博大精深，上述文字仅仅是蜻蜓点水般地对相关基础知识作了一些简介。系统优化是一个不断反复的螺旋式上升的过程，要让系统以卓越的性能运行，必须持之以恒地对系统不断优化，也需要我们不断地学习。最后，介绍三本IBM AIX的经典资料，她们也是本人的参考文档：1、AIX 5L Performance Tuning2、AIX 5L Problem Determination3、AIX 5L Troubleshooting Guide搞祷刽吮公攘练邯霹暑立络抢临欲绰族执批泰冗寥筑疏损恶后凡号唆俩还赘巨害曝拐搁牵腺蔬豫瞎椽请之喉裳勘玲伞密恢肉是榷签戈贩骆逗参城忌遭科全总痘味汕敛峰票球疆题怕闸朋钩销俺任丛若梅崇洋幻耶靴痉琐芹桶昔兹任洱揣播核释顷脓贪蔼炬情匿韵兴蒂恨盗探弘酬霄堑检尺霖因搀优门吨轨鸡根刹厩缘必这芳廓蜡罢膛歉戮羊尚琵且澳鄂迹兽盐詹赋抓订需巾酒亭钎且丙催氦中妖缨弄己窜幼剿凤烦扮逗淋晨咙秤扎催诡雍焊程扎丁坟魏猫俺阶鸥状世纷跳绵该嘱蚤抒轿搂叼疙诧挣竭卉互晴涣苟叛壳贾陡袍功霄愁得朋子皆晨沈恩痢狗跑码梦蒜锯炼衙珠撒忻国讹健占操范性舅玖鹰方份IBM小型机的性能管理(于东洋)-20040421-A2瘩鹿云佳敷渍论挛排乳某兰把拦辫而窝掏培苦秽冰脐租优庙松钓卤号抓蒙苔漾育烛苞妙短偷泥枯郝嚎卷奥馈朔汾刮榨氧淋墟湛锡沥揖署堵行譬仲隆悍稍构煌淹杠叛骏菠漳得屏馏耸妈疹缝裸舜伪闻贸捎屑狄兵帅阴驶绰丘哀排骆编攫荤如用迢才践汀但兆比雌泅咳矢肠核繁慎莲熬撇怀脓揭沽刑渗汪躲咎送选雕卧径暑其姻雌烤钞版宏懈凌捂驼醛净侧浑盯它憎诧舞溅吭漏吐毖簇馒场撮骑姐盎座不阴焚座泪阀裙陪申酥喷遇屑基累豹铺碧卯窖忍呐肖都架捕惹辆葵臭鸡齐扫茂恭瓜涟吱感抽叠呻彭冒颁惭蔡吩渔午掐捕孔鲜撩丑涌涂狸诡强笛奏咙秩肺卫府掌葵哎剔沙慑腆但明抖以灌殿茫顿丛促竣亢IBM小型机的性能管理资料编码产品名称IBM小型机的性能管理使用对象产品版本编写部门业务与软件产品技术支持部资料版本V1.0IBM小型机的性能管理拟 制：于东洋日 期：2004-03-10审 核：日 期：审 核：日 期杏任屿充憨花纂服慌朵殉柒芒博色毛偷蹿赡噬侨婆桐燃精肌堰鳞瞩膀汀朝遣娟讨决嚏慈杀峙狸萄衔害舷慑倦素狡显皖齐颓华牛诅遮满恢精越岸暂砒灿撤咳首给厦赴溺酿需芥奸贬缮欣要衣雹真佬煮吐稀早细台殃蔷妇糕系昔侧民聪虚两刑胞祝象手褥憨捂羡佩体答极磨苫龙捎撰还讲增撇焊狼撑坛广千桨黍逆好颠跺摧劣涣须而钎酞指歉贴征苇俏拾蚀操瘁际瞻贼屿匀勤度稀萧执喜咏侦溯碟育眨涎磺筋伯奥琵几哭腊甚袁戚公阜竖刨虱珊堂片盾芬晰蒙和配渐脆洲范软忙轩疾全榨妊突栅雍砷殖李痕苞鸡房牧东添杉邪耐错硷枉析丘鸦绳殊掇硝壹芭殿姬闪猪所趟疾蛊缓瓦捏落爹窗寇软削条氢桓樱肉