FZPU双机安装文Solaris 10 Oracle 9i SVM Sun Cluster 3.1）.doc

FZPU双机安装文档

(Solaris 10 + Oracle 9i + SVM + Sun Cluster 3.1)

文档版本：
RC V1.0
编写作者 ：
Fzpu
印刷约定
蓝色代表系统show run内容
红色代表注释
参考资料:
Sun Cluster 3.1 8/05 发行说明（适用于 Solaris OS）
Sun Cluster 软件安装指南（适用于 Solaris OS）
Sun Cluster 系统管理指南（适用于 Solaris OS）
用于 Oracle 的 Sun Cluster 数据服务指南（适用于 Solaris OS）
SolarisVolume Manager 管理指南
Sun StorageTek™Common Array Manager 软件安装指南
Sun StorageTek™ 6140 阵列硬件安装指南

日 期：
2008.11.1

硬件环境：
1） 管理工作站：无
2） 服务器：2×SUN V490
3） 磁盘阵列：SUN Stortek 6140

软件环境：
1） Solaris 10
2） Sun Cluster 3.1
3） SunCluster agent for HA-Oracle
4） Solaris Volume Manager

主机命名规则：
服务器：第一台V490：web-db1 ；第二台V490：web-db2

Sun cluster + oracle 安装规划（如表K-1所示）：

表K-1

操作系统
Sun Solaris 10 05/08
集群软件
Sun Cluster 3.1
卷管理软件
Solaris Volume Manager
数据库软件
Oracle 9.2.1.0
节点1
172.16.99.4
节点2
172.16.99.5
浮动IP地址
172.16.99.66
子网掩码
255.255.255.0
网关
172.16.99.254
IPMP测试IP地址
172.16.99.21 web-db1-ce0-test
172.16.99.22 web-db1-ce1-test
172.16.99.23 web-db2-ce0-test
172.16.99.24 web-db2-ce1-test

节点1对应的主机名
web-db1
节点2对应的主机名
web-db2
Cluster名称
fzpu-cluster
系统用户
oracle (dba组)
浮动IP对应的主机名
web-db

一 服务器V490的安装：
1.安装前的规划
每台服务器配有两个146G的硬盘做raid1，其中web-db1 有16G内存做主节点, web-db2有8G
内存。系统安装好之后，两个节点的分区一致，避免出现不可预料的情况。

按图 1的连接方式，使web-db1和web-db2同时连接6140，确保两台主机都能找到Stortek 6140内的硬盘。

图1:

2.操作系统安装
1） 操作系统：Solaris 10
注意：在安装操作系统的过程中千万要注意两台主机都不要接存储，不然的话两台主机的系统盘和Stortek 6140的Target 号会不一致，会对以后的安装产生影响。

2） 安装操作系统EIS补丁

详细步骤

3) 按照以下的规划安装操作系统web-db1与web-db2相同(表K-2)：
由于要安装SC3.1+svm，请预留系统盘的第5分区空间1G，用来建立/globaldevices，第七分区空间512MB用来放置metadb信息
注：/globaldevices - 创建一个512 兆字节的文件系统供scinstall实用程序针对全局设备使用。
（分片7）meta分区用于存放卷管理器的状态数据库副本在磁盘的最后一个分片
上创建一个20 兆字节的分区供卷管理器使用。如果群集使用VERITAS Volume Manager (VxVM)并且您要封装根磁盘，则需要有两个未使用的盘片以供VxVM 使用。

表K-2

分区号
分区名
分区大小
说明
0
/
91325 MB
为分片1 至7 分配空间后磁盘中剩余的空闲空间。可供Solaris
OS、Sun Cluster 软件、数据服务软件、卷管理器软件、Sun
Management Center 代理和Sun Cluster 模块代理软件包、根文件
系统以及数据库和应用程序软件使用。
1
Swap
16G

2
Overlap
139989 MB
整个磁盘
3
/var
20G

4
/tmp
10G

5
/globaldevices
1GB
Sun Cluster 软件稍后会给该盘片指定一个不同的装载点并将它装载
为一个群集文件系统。
6
未使用

7
卷管理器
512MB
metadb 专用

文件系统和磁盘格式

下列汇总是你当前的文件系统和磁盘格式, 基于你所提供的信息.

注意: 如果你选择用户化, 则你应该了解文件系统,
它们在磁盘上的期望目的以及如何改变它们可能会影响系统的操作.

文件系统/安装点 硬盘/分片 大小
========================================================================
/ c1t1d0s0 91325 MB
swap c1t1d0s1 16386 MB
overlap c1t1d0s2 139989 MB
/var c1t1d0s3 20481 MB
/tmp c1t1d0s4 10245 MB
/globaldevices c1t1d0s5 1033 MB
c1t1d0s7 516 MB

4) 设置OBP变量local-mac-address为true，
在OBP下：setenv local-mac-address? true
或在Solaris下：eeprom local-mac-address?=true

注：（此选项为solaris 多路径必须满足的条件，local-mac-address? 变量必须使用Ethernet 适配器的默认值true。对于以太网适配器，Sun Cluster 软件不支持local-mac-address? 的值为false。此要求与Sun Cluster 3.0 不同，Sun Cluster 3.0 要求local-mac-address? 的值为false。）

5) 配置/etc/hosts，输入所有cluster节点和逻辑主机IP记录：在两台主机上配置好 IPMP

连接两条ce口私网线

配置IPMP

web-db1的/etc/hosts信息

#
# Internet host table
#
::1 localhost
127.0.0.1 localhost
172.16.99.4 web-db1 loghost web-
172.16.99.5 web-db2

#IPMP test address
172.16.99.21 web-db1-ce0-test
172.16.99.22 web-db1-ce1-test

#logic address
172.16.99.66 web-db (全局逻辑地址)

web-db1 的/etc/hostname.ce0信息
web-db1 netmask + broadcast + group ipmp0 up
addif web-db1-ce0-test netmask + broadcast + deprecated -failover up
web-db1 的/etc/hostname.ce1信息
web-db1-ce1-test netmask + broadcast + group ipmp0 deprecated -failover up

web-db2的/etc/hosts信息

root@web-db2 # cat /etc/hosts
#
# Internet host table
#
::1 localhost
127.0.0.1 localhost
172.16.99.5 web-db2 loghost web-
172.16.99.4 web-db1

#IPMP test address
172.16.99.23 web-db2-ce0-test
172.16.99.24 web-db2-ce1-test

#logic address
172.16.99.66 web-db (全局逻辑地址)

web-db2的/etc/hostname.ce0信息
web-db2 netmask + broadcast + group ipmp0 up
addif web-db2-ce0-test netmask + broadcast + deprecated -failover up

web-db2的/etc/hostname.ce1信息
web-db2-ce1-test netmask + broadcast + group ipmp0 deprecated -failover up

以下在两机上完成

6) 修改文件/etc/defaultrouter，设置缺省路由
vi /etc/defaultrouter       
172.16.99.254

7) 修改文件/etc/system，加入以下3行：
exclude: lofs
set ce:ce_taskq_disable=1

二．Stortek 6140安装识别

.1配置StorEdge 6140：

详细配置

注：StorEdge 6140共有10块146GFC硬盘，其中8个硬盘做RAID5，剩下的2个做hot spare盘。由于sun cluster需要一个quorum盘， Oracle需使用raw做文件系统，所以划分了三个partion。Quorum分区1024MB即可。让系统重新扫描硬件设备

root@web-db1 # reboot -- -r
运行cfgadm –al 可以看见系统已经注册了控制器，只需启用多路径mpxio即可。

root@web-db1 # cfgadm -al
Ap_Id Type Receptacle Occupant Condition
c0 scsi-bus connected configured unknown
c0::dsk/c0t0d0 CD-ROM connected configured unknown
c1 fc-private connected configured unknown
c1::5000cca00432dcc9 disk connected configured unknown
c1::5000cca00432dce1 disk connected configured unknown
c2 fc-private connected configured unknown
c2::200400a0b82aaf01 disk connected configured unknown
c3 fc-private connected configured unknown
c3::200500a0b82aaf01 disk connected configured unknown
usb0/1 usb-mouse connected configured ok
usb0/2 usb-device connected configured ok
usb0/3 unknown empty unconfigured ok
usb0/4 unknown empty unconfigured ok

root@web-db1 # ls -l /dev/fc
总数 6
lrwxrwxrwx 1 root root 51 12月 1日 12:55 fp0 -> ../../devices/pci@8,600000/SUNW,qlc@1/fp@0,0:devctl
lrwxrwxrwx 1 root root 51 12月 1日 12:55 fp1 -> ../../devices/pci@8,600000/SUNW,qlc@2/fp@0,0:devctl
lrwxrwxrwx 1 root root 51 12月 1日 12:55 fp2 -> ../../devices/pci@9,600000/SUNW,qlc@2/fp@0,0:devctl

注：（fp0,fp1为HBA卡上的光纤通道,fp2为本地的光线通道
fp0,fp1开启多路径，fp2关闭多路径）

root@web-db1#vi /kernel/drv/fp.conf

添加如下语句。

注释掉
#mpxio-disable="yes";

parent="/pci@8,600000/SUNW,qlc@1" port=0 mpxio-disable="no"; name="fp"
parent="/pci@8,600000/SUNW,qlc@2" port=0 mpxio-disable="no"; name="fp"
// fp0,fp1开启多路径

parent="/pci@9,600000/SUNW,qlc@2" port=0 mpxio-disable="yes"; name="fp"
// fp2关闭多路径
注:（多路径软件用于管理指向共享群集存储设备的多个I/O 路径。对于Solaris 8 或Solaris 9 操作系统，安装并配置Sun StorEdge Traffic Manager 软对于Solaris 10 操作系统，启用Solaris 多路径功能，此功能作为Solaris 10 软件的一部分已被默认安装。
以上表明在HBA卡FC接口上启用mpxio，而不是全局启用。这样正常阵列设备识别的磁盘号就为长串字符，而本地磁盘识别的磁盘号为正常的cxtxsx，因为只是在FC口局部启用的多路径，而本地禁用多路径）

root@web-db1# stmsboot –u
WARNING: This operation will require a reboot.
Do you want to continue ? [y/n] (default: y) y
The changes will come into effect after rebooting the system.
Reboot the system now ? [y/n] (default: y) y

在web-server2上执行相同的步骤

可以看见盘阵已经变成multipath-devices

root@web-db1 # format
Searching for disks...done

AVAILABLE DISK SELECTIONS:
0. c1t0d0 <SUN146G cyl 14087 alt 2 hd 24 sec 848>
/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w5000cca00432dcc9,0
1. c1t1d0 <SUN146G cyl 14087 alt 2 hd 24 sec 848>
/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w5000cca00432dce1,0
2. c4t600A0B80002A2B320000066F492B138Dd0 <SUN-CSM200_R-0619 cyl 63998 alt 2 hd 256 sec 64>
/scsi_vhci/ssd@g600a0b80002a2b320000066f492b138d
3. c4t600A0B80002AAF00000007BF492B135Cd0 <SUN-CSM200_R-0619 cyl 510 alt 2 hd 64 sec 64>
/scsi_vhci/ssd@g600a0b80002aaf00000007bf492b135c
4. c4t600A0B80002AAF00000007C5492B13D6d0 <SUN-CSM200_R-0619 cyl 65533 alt 2 hd 128 sec 113>
/scsi_vhci/ssd@g600a0b80002aaf00000007c5492b13d6
Specify disk (enter its number):

root@web-db2 # format
Searching for disks...done

AVAILABLE DISK SELECTIONS:
0. c1t0d0 <SUN146G cyl 14087 alt 2 hd 24 sec 848>
/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000878d59a1,0
1. c1t1d0 <SUN146G cyl 14087 alt 2 hd 24 sec 848>
/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000878d0ef5,0
2. c4t600A0B80002A2B320000066F492B138Dd0 <SUN-CSM200_R-0619 cyl 63998 alt 2 hd 256 sec 64>
/scsi_vhci/ssd@g600a0b80002a2b320000066f492b138d
3. c4t600A0B80002AAF00000007BF492B135Cd0 <SUN-CSM200_R-0619 cyl 510 alt 2 hd 64 sec 64>
/scsi_vhci/ssd@g600a0b80002aaf00000007bf492b135c
4. c4t600A0B80002AAF00000007C5492B13D6d0 <SUN-CSM200_R-0619 cyl 65533 alt 2 hd 128 sec 113>
/scsi_vhci/ssd@g600a0b80002aaf00000007c5492b13d6

三．Cluster 软件安装配置

1.Sun软件的安装

双机软件采用sun公司的sun cluster3.1 ，此软件已经集成到JES（Java Enterprise System）软件包中。

cd /var/spool/stage/JES_05Q4/Solaris_sparc

可通过运行以下命令进行安装：
GUI mode:./installer
CLI mode:./installer -nodisplay

2. Sun Cluster环境配置

两个节点通讯用
root@web-db1 # vi .rhosts             
+

root@web-db1 # vi /etc/hosts.equiv
web-db1
web-db2
web-db      

3，打EIS补丁
软件安装完毕之后，也需要打补丁。不过sun cluster安装完毕之后，系统默认已经启动服务，安装补丁之前需停用sun cluster服务。（两个节点上做）

安装完毕后，执行
reboot -- -x   
重启之后不进入sun cluster环境
安装SC3.1的patches；

root@web-db1 # lofiadm -a /opt/iso/eis-dvd.iso /dev/lofi/1
root@web-db1 # lofiadm
Block Device File
/dev/lofi/1 /opt/iso/eis-dvd.iso
root@web-db1 # mount -F /dev/lofi/1 /mnt/iso/
root@web-db1 # mount -F hsfs /dev/lofi/1 /mnt/iso/

root@web-db1 # cd /mnt/iso/sun/install
root@web-db1 # ./setup-standard.sh

init 6 重启系统。

root@web-db1 # unpack-patches
注：（进入cluster补丁包的目录，用这个命令一次打EIS补丁集）

然后执行命令 init 6 重启系统。

在web-db2上执行以上相同的步骤

4.Scintall 配置

配置主节点web-db1
具体内容摘录:

root@web-db1 # scinstall

*** 主菜单 ***

请选择以下某一带 (*) 的选项：

* 1) 安装群集或群集节点
2) 将群集配置为从此安装服务器中快速启动
3) 在此群集节点中添加对新数据服务的支持
4) 升级此群集节点
5) 打印此群集节点的发行信息

* ?) 菜单选项中的帮助
* q) 退出

选项： 1

*** 安装菜单 ***

请选择以下任一选项：

1) 安装新群集的所有节点
2) 只将此机器安装为新群集的第一个节点
3) 将此机器添加为现有群集中的节点

?) 菜单选项中的帮助
q) 返回主菜单

选项： 2

*** 只安装新群集的第一个节点 ***

此选项用于建立新的群集，该群集使用此机器作为其第一个节点。

安装群集框架软件之后，系统将要求您输入群集的名称。 然后，您可以运行
sccheck(1M) 来测试此机器是否满足 Sun Cluster 预配置的基本要求。

sccheck(1M) 通过后，系统将要求您输入最初将加入该群集的其他节点的名称
。除非此群集为单节点群集，否则系统还将要求您输入某些群集传输配置信息
。

可以随时按 Control-d 组合键返回 主菜单。

是否要继续 (yes/no) [yes]? y

>>> 安装类型 <<<

进行群集安装时可以选择两种安装类型。对于大多数群集，建议使用“典型”
安装。但是，如果不是所有的“典型”缺省值都适用于您的群集，可能需要选
择“定制”选项。

有关“典型”安装和“定制”安装这两种方法之间的差别的详细信息，
请从菜单中选择“帮助”选项。

请选择以下某一选项：

1) 典型
2) 定制

?) 帮助
q) 返回主菜单

选项： [1] 2
注：（选择定制安装，因为在其后将配制用于集群成员间通信的专用网络地址，cluster给出的地址为 172.16.0.0/16 与我们现有的IP地址重复，要将它改为屏蔽的专用子网例如10.10.0.0/16）

>>> 群集名 <<<

每个群集都有指定的名称。 该名称可以由除空白以外的任何字符组成。
在企业的名称空间中，每个群集的名称应该是唯一的。

要建立的群集的名称是什么 [ ]? fzpu-cluster

>>> 检查 <<<

您可以在此步骤中运行 sccheck(1M)，以检验是否已满足某些基本的
硬件和软件预配置要求。如果 sccheck(1M) 检测到将此机器配置为
群集节点时存在潜在的问题，则准备故障检查报告并将其显示在屏幕上。
收集数据和生成报告可能要花费几分钟时间，这取决于系统的配置。

是否要运行 sccheck (yes/no) [yes]? No

>>> 群集节点 <<<

此 Sun Cluster 发行版最多支持 16 个节点。

请列出为初始群集配置规划的其他节点的名称。 每行列出一个节点名。
完成后，请按 Control-D 组合键：

节点名（按 Control-D 组合键以完成）： web-db2

>>> 群集节点 <<<

此 Sun Cluster 发行版最多支持 16 个节点。

请列出为初始群集配置规划的其他节点的名称。 每行列出一个节点名。
完成后，请按 Control-D 组合键：

节点名（按 Control-D 组合键以完成）： web-db2
节点名（按 Control-D 组合键以完成）： ^D

这是完整的节点列表：
web-db1
web-db2

8) Select the first cluster transport adapter: ce2  
  9) Select the second cluster transport adapter: ce3
  10) Do you want to disable automatic quorum device selection (yes/no) [no]?  yes
  11) Do you want scinstall to reboot for you (yes/no) [yes]?  y

配置次节点web-db2

*** 主菜单 ***

请选择以下某一带 (*) 的选项：

* 1) 安装群集或群集节点
2) 将群集配置为从此安装服务器中快速启动
3) 在此群集节点中添加对新数据服务的支持
4) 升级此群集节点
5) 打印此群集节点的发行信息

* ?) 菜单选项中的帮助
* q) 退出

选项： 1

*** 安装菜单 ***

请选择以下任一选项：

1) 安装新群集的所有节点
2) 只将此机器安装为新群集的第一个节点
3) 将此机器添加为现有群集中的节点

?) 菜单选项中的帮助
q) 返回主菜单

选项： 3

3)        *** Adding a Node to an Existing Cluster ***
Do you want to continue (yes/no) [yes]?
4)        >>> Type of Installation <<<
Typical
5)        What is the name of the sponsoring node?  web-db1
6)        What is the name of the cluster you want to join?  fzpu-cluster
7)        Do you want to run sccheck (yes/no) [yes]?no
8)        >>> Autodiscovery of Cluster Transport <<<
Do you want to use autodiscovery (yes/no) [yes]?  y
9)        Do you want scinstall to reboot for you (yes/no) [yes]? y

5.执行命令 scstat –p 检查确认所有cluster节点都处于online状态；
具体内容摘录:

root@web-db1 # scstat -p
------------------------------------------------------------------
-- Cluster Nodes --
Node name Status
--------- ------
Cluster node: web-db1 Online
Cluster node: web-db2 Online
-----------------------------------------------------------------
-- Cluster Transport Paths --
Endpoint Endpoint Status
-------- -------- ------
Transport path: web-db1:ce1 WEB-DB2:ce1 Path online
Transport path: web-db1:ce0 WEB-DB2:ce0 Path online
------------------------------------------------------------------
-- Quorum Summary --
Quorum votes possible: 1
Quorum votes needed: 1
Quorum votes present: 1
-- Quorum V