全操作系统EMC安装配置手册.doc

存储技术服务事业部

EMC安装配置手册
——VER 1.0

EMC储技术服务事业部

2009年2月
文档信息
文挡名称
初稿作者
审核
建立日期
EMC操作手册
潘育新

12/6/2008

文档修订记录
章节编号
章节名称
修订内容简述
修订日期
修订前版本号

2

目录
第1章 概述 5
1.1 编写目的 5
1.2 参考文档 6
第2章 存储硬件安装 7
2.1 EMC CX3中端磁盘阵列安装配置 7
第3章 存储软件安装配置 8
3.1 整体说明 8
3.2 IBM AIX平台软件安装 8
3.2.1 IBM pSeries 安装需求 8
3.2.2 ODM安装 10
3.2.3 PowerPath的安装 15
3.2.3.1 PowerPath5.0.0安装需求 15
3.2.3.2 PowerPath5.0.0安装流程 15
3.2.4 Navisphere Agent/Cli的安装 18
3.2.4.1 安装需求 18
3.2.4.2 安装流程 18
3.2.5 HACMP相关设置 22
3.2.5.1 提示： 22
3.2.5.2 Set emcpowerreset in HACMP 22
3.2.5.3 Add “cfgscsi_id” to HACMP(for CX3) 22
3.2.6 常用命令 24
3.2.7 IBM AIX主机识别PowerPath管理的设备 25
3.3 Redhat Linux平台软件安装 26
3.3.1 PowerPath安装 26
3.3.1.1 安装需求 26
3.3.1.2 安装流程 27
3.3.2 Navisphere Agent/Cli安装 27
3.3.2.1 安装需求 27
3.3.2.2 安装流程 28
3.3.3 Linux主机识别PowerPath管理的设备 28
3.4 Windows2003平台软件安装 29
3.4.1 PowerPath安装 29
3.4.1.1 安装需求 29
3.4.1.2 安装流程 29
3.4.2 Navisphere Agent/Cli安装 37
3.4.2.1 安装需求 37
3.4.2.2 安装流程 37
3.4.3 Windows主机识别PowerPath管理的设备 46
3.5 HP-UX平台软件安装 48
3.5.1 PowerPath的安装 48
3.5.1.1 PowerPath5.0.1安装需求 48
3.5.1.2 PowerPath5.0.0安装流程 49
3.5.2 Navisphere Agent/Cli的安装 53
3.5.2.1 安装需求 53
3.5.2.2 安装流程 53
3.5.3 HPUX基本连接和认盘操作 55
3.5.4 HP-UX主机识别PowerPath管理的设备 57
3.6 在HPUX和MCSG中使用认到的磁盘 58
3.6.1 单机环境下使用到的磁盘 58
3.6.2 在MC/SG中使用认到的盘，并在其它主机上IMPORT VG 60
3.7 PP在HPUX平台使用Clariion磁盘创建LVM注意事项： 61
3.7.1 设置PV TIMEOUT值为180 61
3.7.2 设置LV参数BBR为NONE 62
3.7.3 LV Striping 62
3.8 CX3Storage Group配置 62

4

第1章 概述
1.1 编写目的
本文档描述了EMC CX3中端磁盘阵列、Brocade 48000光纤交换机的硬件安装及配置流程；IBM AIX、HP-UX、Linux、Windows等相关操作系统连接EMC磁盘阵列时主机端软件的安装以及配置流程。
本文档可作为新工程师现场安装时的手册使用，供大家在安装工作中参考。

1.2 参考文档
《建行EMC实施工艺-总体设计规范》
《CX3安装配置手册》
《EMC-PowerPath 安装配置手册》
《EMCHandbook》
《EMC-Best Practice For AIX》

6

第2章 存储硬件安装
2.1 EMC CX3中端磁盘阵列安装配置
第3章 存储软件安装配置
3.1 整体说明
根据新疆分行的设计方案，下表中列出了新疆分行中各主机需要安装的存储相关软件以及对应的版本信息，其中原则如下：
¨ 所有连接EMC存储设备的主机都需要安装PowerPath，版本选择当前较稳定的次新版本，如果客户没有买License则只装软件不激活高级功能。
¨ 如果客户现场是单卡，单电源，单交换机需要提醒客户他的环境不符合标准，最好有文字确认；
¨ 客户方案如果无热备盘，需要客户签字确认；
¨ Linux平台2.4 kernel只能安装PowerPath4.3.x版本，2.6以及以上kernel可以安装4.4.x及其以上版本。
¨ 连接到EMC CX3磁盘阵列的主机需要安装Navisphere Agent/Cli，其版本要求与CX3的微码版本对应。
¨ IBM AIX主机需要安装ODM，ODM版本与AIX操作系统相关，AIX5.2及5.3安装ODM 5.3.0.0；AIX5.1安装ODM5.1.0.4。
3.2 IBM AIX平台软件安装
3.2.1 IBM pSeries 安装需求
¨ 主机系统的支持
Supported Operating System
Minimum Maintenance Level
Required Filesetsa
AIX 5.1 (32 and 64 bit)
04
5.1.0.58
(IBM PTF U486172)
devices.fcp.disk.rte 5.1.0.56(IBM PTF U496905)
AIX 5.2 (32 and 64 bit)
02
5.2.0.17
(IBM PTF U497114)
devices.fcp.disk.rte 5.2.0.17
(IBM PTF U497110)
AIX 5.3 (32 and 64 bit)
-
-
¨ AIX系统要求的补丁
OS
With
Requires APAR
AIX 5.2
-
IY50089
ML-03
IY56376, IY56769, and IY58189
ML-04
IY56722 and IY62118
ML-04 and HBA 5716
IY60183
ML-04 and HBA 6227, 6228, or 6239
IY62117
AIX 5.3
-
IY62534
HBA 5716
IY62219
HBA 6227, 6228, or 6239
IY62221
McData switch
IY62221
3.2.2 ODM安装
1) 下载ODM软件，软件下载地址为
ftp://
2) 上传ODM软件包到主机上一个临时目录，例如/usr/emcsoft
3) 以root登陆主机
# cd /usr/emcsoft
# uncompress EMC.AIX*.Z
# tar xvf EMC.AIX*.tar
4) 安装软件
# smitty installp
5) 选择Install Software
6) 在“INPUT device /directory for software”中移动光标到右边输入软件放置目录/usr/emcsoft,然后在“SOFTWARE to install”中按“F4”键列出全部软件，可以看见ODM软件包中包括许多软件项目，我们根据上面介绍的选择相应的安装软件包，光标移到需要安装的软件处，按ESC+7选择，

其中软件包选择的原则为：
如果是HA环境（CLARIION），则选择以下三个软件包
EMC.CLARiiON.aix.rte
EMC.CLARiiON.fcp.rte
EMC.CLARiiON.ha.rte
需要预先安装HACMP

如果是HA环境（Symmetrix），则选择以下三个软件包
EMC.Symmetrix.aix.rte
EMC.Symmetrix.fcp.rte
EMC.Symmetrix.ha.rte
需要预先安装HACMP

如果没有HA环境(CLARIION)，则选择以下两个软件包 (选1和4条)
EMC.CLARiiON.aix.rte
EMC.CLARiiON.fcp.rte

如果没有HA环境(Symmetrix)，则选择以下两个软件包
EMC.Symmetrix.aix.rte
EMC.Symmetrix.fcp.rte
例如连接DMX3的HA环境（Symmetrix），则选择以下三个软件包“EMC Symmetrix AIX Support Software ，EMC Symmetrix FCP Support Software ，EMC Symmetrix HA Concurrent Support”选择完后，被选上的软件前面有“>” 标记，然后按回车键，回到主菜单，再按回车开始安装。

安装过程如下图，按回车开始安装。注意相关安装信息。

在下图信息中可以看见相关软件安装报告，Result 为：SUCCESS，ODM 5.3.0.0安装成功。

66

3.2.3 PowerPath的安装
3.2.3.1 PowerPath5.0.0安装需求
¨ PowerPath5.0.0对操作系统有以下要求：
Supported Operating System
Minimum Maintenance Level
Required Filesets
AIX 5.2 (32 and 64 bit)
08
APAR IY88738
AIX 5.3 (32 and 64 bit)
04
APAR IY89079
其中AIX 5.3 TL5 SP6及其以上版本需要升级到AIX 5.3 TL6 SP1 + IY98352，AIX 5.2 TL9 SP6及其以上版本需要升级到AIX 5.2 TL10 + IY98572。
¨ 文件系统空间需求
File System or Directory
Minimum Space Requirements
/ (root)
5 MB
/usr
40 MB
/tmp
5 MB
3.2.3.2 PowerPath5.0.0安装流程
1) 上传PowerPath5.0.0软件包EMCPower.AIX.5.0.0.tar.gz到主机上一个临时目录，例如/usr/emcsoft
2) 以root用户登陆
3) 安装软件
# gzip -d EMCPower.AIX.5.0.0.tar.gz
# tar -xvf EMCPower.AIX.5.0.0.tar
# smitty installp
开始图形界面安装，安装过程图示如下：同上面安装ODM一样选择放置软件的目录，POWERPATCH的安装可以选择PowerPath全部软件包安装，只需要按回车就可以了，安装完后注意一下屏幕上的信息提示，只要无错误信息就可以了。

Result 状态为 SUCCESS，安装成功。

4) 因为POWERPATCH为全安装也可以使用如下命令行安装，同样注意最后屏幕提示信息即可
#installp -aXgd . EMCpower
5) 确认EMCpower是否安装
#lslpp -L EMC*
输出应该包含以下信息：
EMCpower.multi_path_clariion 5.0.0.0
EMCpower.mpx 5.0.0.0
EMCpower.migration_enabler 5.0.0.0
EMCpower.consistency_grp 5.0.0.0
6) PowerPath license key在一张纸上， 和设备及软件光盘介质一起到货，注册通过以下方式
#emcpreg –install
=========== EMC PowerPath Registration ===========
Do you have a new registration key or keys to enter? [n]
输入y，按回车继续。
Enter the registration key(s) for your product(s),one per line, pressing Enter after each key.After typing all keys, press Enter again.
Key (Enter if done):
输入powerpath注册码，然后按回车继续，成功后会显示以下提示信息。
1 key(s) successfully added.
Key successfully installed.
3.2.4 Navisphere Agent/Cli的安装
3.2.4.1 安装需求
OS
Minimum hardware requirements
Minimum software requirements
AIX
IBM AIX workstation with at least 64 MB of RAM and 14 MB of free disk space.
OS
IBM AIX Version 5.2 or 5.3 (32-bit or 64-bit).
Note: AIX runtime environment should be of level 8 or higher.
3.2.4.2 安装流程
1) 以 root用户登陆,首先更改光纤卡状态为pt2pt，执行以下命令更改当前两块光纤卡的状态：
#rmdev -dl fscsi1 -R
#chdev -l 'fcs1' -a init_link='pt2pt'
#rmdev -dl fscsi0 -R
#chdev -l 'fcs0' -a init_link='pt2pt'
接着执行以下命令：
# cfgmgr –v ;
2) 加载Navisphere agent安装光盘，
#mount –v cdrfs -p –r /dev/cd0 /cdrom

3) 将Navispehere agent安装文件拷贝到/usr/sys/inst.images目录中
# cp /cdrom/ NAVIAGNT.lpp /usr/sys/inst.images
# cp /cdrom/ NAVICLI.lpp /usr/sys/inst.images

4) 安装Agent
#smitty installp选择Naviagent软件包;
安装相关信息图示如下：选择“Install and update from All Available software”

输入软件放置目录“/usr/sys/inst.images”按F4键列出安装软件。

选择我们要安装的NAVIAGENT和NAVICLI，按回车开始安装。

安装完在“/etc/Navisphere/agent.config”文件中添加如下内容：
system@SPA_IPADDRESS
system@SPB_IPADDRESS
这里SPA_IPADDRESS, SPB_IPADDRESS为EMC CX3存储SPA和SPB的地址*
然后重启系统。
系统重启时将自动启动agnet, 手工启动和停止agent可用如下的命令
#/etc/rc.agent start
#/etc/rc.agent stop

3.2.5 HACMP相关设置
3.2.5.1 提示：
如果HACMP的版本到了5.4或者5.4以上，以下步骤可是省略。
3.2.5.2 Set emcpowerreset in HACMP
对CX3
/usr/sbin/cluster/utilities/clcustomdisk -c -tdisk/pseudo/power -Ndisk/pseudo/power –gSCSI3 -hSCSI_TUR -b/usr/lpp/EMC/CLARiiON/bin/emcpowerreset –pfalse –mMKDEV
设置完成以后，通过命令odmget HACMPdisktype可以查看到以下信息
   HACMPdisktype: 
   PdDvLn = "disk/pseudo/power" 
   ghostdisks = "SCSI3" 
   checkres = "SCSI_TUR" 
   breakres = "/usr/lpp/EMC/ＣＬＡＲＩＩＯＮ/bin/emcpowerreset" 
   parallel = "false" 
   makedev = "MKDEV" 
   reserved1 = "" 
   reserved2 = "" 
   reserved3 = ""  
3.2.5.3 Add “cfgscsi_id” to HACMP(for CX3)
1) 上传cfgscsi_id到主机/usr/sbin
2) Add the custom cluster event to your HACMP configuration.  This event is the name given to the script that will be added later to select pre-defined HACMP events.  Note that this is one long command with no carriage returns.
/usr/es/sbin/cluster/utilities/claddcustom -t event -n'cfgscsi_id' -I'Set correct scsi id on EMC CLARiiON pseudo devices.' -v'/usr/sbin/cfgscsi_id'
3) Verify your custom cluster event was added correctly by running the command below and comparing the output.
odmget HACMPcustom
HACMPcustom:
      name = "cfgscsi_id"
      type = "event"
      description = "Set correct scsi id on EMC CLARiiON pseudo devices."
      value = "/usr/sbin/cfgscsi_id"
      relation = ""
      status = 0
4) Run the two commands below to modify the pre-defined HACMP event by giving the event command your custom cluster event as a pre-event command.
/usr/es/sbin/cluster/utilities/clchevent -O'node_up' -s'/usr/es/sbin/cluster/events/node_up' -b 'cfgscsi_id' -c '0'
/usr/es/sbin/cluster/utilities/clchevent -O'node_down' -s'/usr/es/sbin/cluster/events/node_down' -b 'cfgscsi_id' -c '0'
5) Verify the events were properly modified by running the two commands below and comparing the output.
odmget -q name=node_up HACMPevent

HACMPevent:
name = "node_up"
desc = "Script run when a node is attempting to join the cluster."
setno = 101
msgno = 7
catalog = "events.cat"
cmd = "/usr/es/sbin/cluster/events/node_up"
notify = ""
pre = "cfgscsi_id"
post = ""
recv = ""
count = 0
event_duration = 0
odmget -q name=node_down HACMPevent
HACMPevent:
name = "node_down"
desc = "Script run when a node is attempting to leave the cluster."
setno = 101
msgno = 8
catalog = "events.cat"
cmd = "/usr/es/sbin/cluster/events/node_down"
notify = ""
pre = "cfgscsi_id"
post = ""
recv = ""
count = 0
event_duration = 0
6) Once the "cfgscsi_id" utility has been installed and configured on every node in the cluster, synchronize the cluster and ensure there are no errors resulting from the addition of the pre-event scripts.
3.2.6 常用命令
#lsattr -El fscsi0　查看fscsi设备的连接状态和fastfail, dyntrk等参数设置
scsi_id 0x10300 Adapter SCSI ID False
attach switch How this adapter is CONNECTED False
sw_fc_class 3 FC Class for Fabric True
fc_err_recov delayed_fail FC Fabric Event Error RECOVERY Policy True

重启aix:shutdown -Fr
#rmdev -dl fscsi0 删除光纤协议设备，不建议删除fcs0设备。
#rmdev -dl fscsi0 -R 删除光纤卡及其所连接设备，例如hdiskpower, hdisk, FC tape

#cfgmgr -vl fcs0　配置某光纤卡连接设备　#cfgmgr -v　配置所有设备
#/usr/lpp/EMC/Symmetrix/bin/emc_cfgmgr 配置EMC Hdisk设备, 尤其是ＢＣＶ设备

如果某台主机只访问BCV设备，需要在/etc/inittab文件结尾增加一行命令：$<ODM_INSTALL_DIRECTORY>/mkbcv -a。这样当该主机重启时，BCV设备会自动变为Available状态。

删除所有hdiskpower设备
＃ for i in `lsdev -Cc disk|grep hdiskpower|cut -c 1-13`
>do
>rmdev -dl $i
>done
删除从hdiskpower0到hdiskpower100
# i=0
# while [ i -le 100 ]
>do
>rmdev -dl hdiskpower$i
>let i=i+1
>done
删除所有hdisk设备
# for i in `lsdev -Cc disk|grep EMC|cut -c 1-8`
>do
>rmdev -dl $i
>done
删除某块光纤卡的hdisk设备
# lsdev -Cc adapter|grep fcs0
fcs0 Available 20-58 FC Adapter
# for i in `lsdev -Cc disk|grep 20-58|cut -c 1-8`
>do
>rmdev -dl $i
>done

3.2.7 IBM AIX主机识别PowerPath管理的设备
¨ 主机认盘
cfgmgr –v
¨ 执行powermt命令识别POWERPATH设备
powermt config
¨ 检查POWERPATH设备识别情况
lsdev –Cc disk |grep hdiskpower
¨ 检查磁盘路径, 正常结果CX3设备每个LUN有4个 path为alive状态；DMX3设备每个LUN有2个 path为alive状态
powermt display dev=all
Pseudo name=hdiskpower0
CLARiiON ID=CK200065100269 [xdh]
Logical device ID=600601609E031B009A09A96C2CE7DB11 [LUN 1]
state=alive; policy=CLAROpt; priority=0; queued-IOs=0
Owner: default=SP A, current=SP A
==============================================================================
---------------- Host --------------- - Stor - -- I/O Path - -- Stats ---
### HW Path I/O Paths Interf. Mode State Q-IOs Errors
==============================================================================
0 fscsi0 hdisk4 SP A1 active alive 0 0
1 fscsi1 hdisk7 SP B0 active alive 0 0
0 fscsi0 hdisk10 SP B1 active alive 0 0
1 fscsi1 hdisk13 SP A0 active alive 0 0
¨ 保存EMC PowerPath的设备数据库文件：
powermt save
¨ 手工恢复PowerPath通道
powermt restore
¨ 手工检查PowerPath通道
powermt check
¨ 监控PowerPath通道
powermt watch
3.3 Redhat Linux平台软件安装
3.3.1 PowerPath安装
3.3.1.1 安装需求
¨ PowerPath 5.0.0 host configurations for RHET 4.0
Distribution
Processor
Kernel
Configurations
RHEL 4.0 U4 AS/ES
X86 uniprocessor
2.6.9-42
configs/kernel-2.6.9-i686.config
X86 multiprocessor
configs/kernel-2.6.9-i686-smp.config
confgis/kernel-2.6.9-i686-hugemem.config
IA64
configs/ia64.config
Opteron AMD64
configs/kernel-2.6.9-x86_64-smp.config
EM64T
configs/kernel-2.6.9-x86_64-smp.config
configs/kernel-2.6.9-x86_64-largesmp.config
RHEL 4.0 U3 AS/ES
X86 uniprocessor
2.6.9-34
configs/kernel-2.6.9-i686.config
X86 multiprocessor
configs/kernel-2.6.9-i686-smp.config
confgis/kernel-2.6.9-i686-hugemem.config
IA64
configs/ia64.config
Opteron AMD64
configs/kernel-2.6.9-x86_64-smp.config
EM64T
configs/kernel-2.6.9-x86_64-smp.config
configs/kernel-2.6.9-x86_64-largesmp.config
RHEL 4.0 U2 AS/ES
32-bit X86 uniprocessor
2.6.9-22
configs/kernel-2.6.9-i686.config
32-bit X86 multiprocessor
configs/kernel-2.6.9-i686-smp.config
confgis/kernel-2.6.9-i686-hugemem.config
IA64
configs/ia64.config
EM64T, Opteron AMD64
configs/kernel-2.6.9-x86_64-smp.config
¨ HBA driver requirements
Linux Distribution
QLogic HBA Driver
Emulex HBA Driver
RHEL 4.0 U4
8.01.04-d7
8.0.16.27
RHEL 4.0 U3 AS/ES
8.01.02-d4
8.0.16.18
RHEL 4.0 U2 AS/ES
8.01.00c
8.0.16.17
¨ File System Support
RHEL 4.0 U2, U3, U4 only Support ext2 & ext3 file system
¨ 相关参数修改
1) The HBA driver used to access EMC devices can be statically loaded in the kernel or loaded into the kernel as a module.
2) Enable the max_scsi_luns parameter in /etc/modprobe.conf
3) 使用Qlogic HBA卡，设置ql2xfailover和ConfigReguire参数为0在/etc/modprobe.conf文件中
4) 使用emulex HBA卡，设置lpfc_nodev_tmo参数为10在 /etc/modprobe.conf文件中
3.3.1.2 安装流程
1) root用户登陆，将 POWERPATH软件包ftp到主机的/usr/emcsoft目录(本次安装的软件版本为5.0.0.157)
2) 用以下命令进行安装
Linux下PowerPath分很多平台和Linux版本，请仔细选择当前的系统平台和Linux版本，本次安装的Linux为：Red Hat AS 4.0，i386平台，所以选择如下版本安装：
EMCpower.LINUX-5.0.0-157.rhel.i386.rpm
rpm –ivh EMCpower.LINUX-5.0.0-157.rhel.i386.rpm
3) license key在一张纸上， 和设备及软件光盘介质一起到货,通过以下命令注册POWERPATH，
emcpreg –install
=========== EMC PowerPath Registration ===========
Do you have a new registration key or keys to enter? [n]
输入y，按回车继续。
Enter the registration key(s) for your product(s),one per line, pressing Enter after each key.After typing all keys, press Enter again.
Key (Enter if done):
输入powerpath注册码，然后按回车继续，成功后会显示以下提示信息。
1 key(s) successfully added.
Key successfully installed.
3.3.2 Navisphere Agent/Cli安装
3.3.2.1 安装需求
OS
Minimum hardware requirements
Minimum software requirements
Linux
An Intel