HACMPOracleRac安装设置手册模板.doc

HACMP Oracle Rac安装设置手册
版本 v1.0

二零一二年十月
北京华胜天成科技股份

文档控制
更改统计
版本
创建/修改时间
编制/修改者
文件/修改内容
审批人
V1.0
.10

审阅
姓名
职位

公布
姓名
职位

目录
目录 3
第1章 HACMP v5.4安装配置 4
1.1、 IP计划 4
1.2、 安装HACMP软件 4
1.2.1、 操作系统版本 4
1.2.2、 安装依靠软件包 5
1.2.3、 安装HACMP v5.4 6
1.3、 HACMP配置计划 8
1.3.1、 配置IP和网络 8
1.3.2、 编辑/etc/hosts文件 9
1.3.3、 创建共享卷组和文件系统 9
1.4、 HACMP Standard配置 10
1.4.1、 添加 cluster和节点 11
1.4.2、 创建并配置资源组 11
1.4.3、 同时HACMP配置 13
1.5、 HACMP开启 13
1.5.1、 开启HACMP 13
第2章 Oracle RAC安装配置 13
2.1、 计划 13
2.2、 安装检验 15
2.3、 安装前配置 17
2.4、 安装CRS 20
2.5、 安装数据库 41
2.6、 创建数据库 47
2.7、 数据测试 59

第1章 HACMP v5.4安装配置
1.1、 IP计划
Node
Interface Name
Type
IP Address
Registered In
ibm03
ibm03
Public
192.168.1.48
Hosts file
ibm03
ibm03-vip
Virtual
192.168.1.210
Hosts file
ibm03
ibm03-priv
Private
172.16.1.48
Hosts file
ibm04
ibm04
Public
192.168.1.49
Hosts file
ibm04
ibm04-vip
Virtual
192.168.1.211
Hosts file
ibm04
ibm04-priv
Private
172.16.1.49
Hosts file

1.2、 安装HACMP软件
完成HACMP安装配置计划后，能够开始安装HACMP软件，安装版本为HACMP v5.4。
1.2.1、 操作系统版本
# oslevel -r
5300-06
1.2.2、 安装依靠软件包
检验系统软件安装包，请参考IBM红皮书中《High Availability Cluster Multi-Processing for AIX 5L Installation Guide》。这里我们提议安装软件束APP-DEV和SERVER，其中包含红皮书要求大部分软件包。
安装rsct软件包：
rsct.basic
pat.basic
pat.clients
rsct.opt.storagerm（可选）
安装其它软件包：
bos.clvm（使用并行资源组时需要，RAC下必需安装此包）
bos.data
#smitty install_latest
Install Software

Type or select values in entry fields.
Press Enter AFTER making all desired changes.

[Entry Fields]
INPUT device / directory for software /dev/cd0
SOFTWARE to install [_all_latest]
PREVIEW only? (install operation will NOT occur) no
COMMIT software updates? yes
SAVE replaced files? no
AUTOMATICALLY install requisite software? yes
EXTEND file systems if space needed? yes
OVERWRITE same or newer versions? no
VERIFY install and check file sizes? no
Include corresponding LANGUAGE filesets? yes
DETAILED output? no
Process multiple volumes? yes
ACCEPT new license agreements? yes
PREVIEW new LICENSE agreements? no
在“SOFTWARE to install”一栏中选择要安装软件包，“ACCEPT new license agreements”中接收许可协议，即完成安装软件包。
或参考以下脚本命令：
#安装软件包
/usr/lib/instl/sm_inst installp_cmd -a -Q -d '/dev/cd0' -f 'bos.clvm ALL @@I:bos.clvm _all_filesets,bos.data ALL @@I:bos.data _all_filesets,rsct.basic ALL @@I:rsct.basic _all_filesets,pat.basic ALL @@I:pat.basic _all_filesetspat.clients ALL @@I:pat.clients _all_filesets,rsct.opt.storagerm ALL @@I:rsct.opt.storagerm _all_filesets' '-c' '-N' '-g' '-X' '-G' '-Y'
#
1.2.3、 安装HACMP v5.4
除了haview ，netwiew ( Tivoli), 包以外，全部HACMP软件包全部要安装，rsct.opt.storagerm为可选安装包，对于基础包在安装光盘或Expansion光盘上能够查找到。
#smitty install_latest
Install Software

Type or select values in entry fields.
Press Enter AFTER making all desired changes.

[Entry Fields]
INPUT device / directory for software /dev/cd0
SOFTWARE to install [_all_latest]
PREVIEW only? (install operation will NOT occur) no
COMMIT software updates? yes
SAVE replaced files? no
AUTOMATICALLY install requisite software? yes
EXTEND file systems if space needed? yes
OVERWRITE same or newer versions? no
VERIFY install and check file sizes? no
Include corresponding LANGUAGE filesets? yes
DETAILED output? no
Process multiple volumes? yes
ACCEPT new license agreements? yes
PREVIEW new LICENSE agreements? no
在“SOFTWARE to install”一栏中选择要安装软件包，“ACCEPT new license agreements”中接收许可协议，即完成安装软件包，安装过程大约在10~30分钟完成。
或参考以下脚本命令：
#安装HACMP
/usr/lib/instl/sm_inst installp_cmd -a -Q -d '/dev/cd0' -f 'cluster.adt.es ALL @@I:cluster.adt.es _all_filesets,cluster.doc.en_US.es ALL @@I:cluster.doc.en_US.es _all_filesets,cluster.es ALL @@Icluster.es _all_filesets,cluster.es.cfs ALL @@I:cluster.es.cfs _all_filesets,cluster.es.cspoc ALL @@I:cluster.es.cspoc _all_filesets,cluster.es.nfs ALL @@I:cluster.es.nfs _all_filesets,cluster.es.plugins ALL @@I:cluster.es.plugins _all_filesets,cluster.es.worksheets ALL @@I:cluster.es.worksheets _all_filesets,cluster.license ALL @@I:cluster.license _all_filesets,cluster.man.en_US.es ALL @@I:cluster.man.en_US.es _all_filesets' '-c' '-N' '-g' '-X' '-G' '-Y'
系统提醒成功后，完成HACMP补丁升级，将HACMP补丁上传至系统目录下，我们假设上传目录为/tmp/hav54，当地目录为d:\hav54，上传命令以下：
Windows：“开始”->“运行”，输入“cmd”，依据以下提醒完成补丁上传：
Microsoft Windows XP [版本 5.1.2600]
(C) 版权全部 1985- Microsoft Corp.

C:\Documents and Settings\Administrator>ftp remote-host-ip-address
输入用户名和密码（此处需要给用户设置密码，假如为空，AIX拒绝登录），成功登录后：
ftp>cd /tmp/hav54
ftp>lcd d:\hav54
ftp>prompt
ftp>bin
ftp>mput *.bff
上传完成后退出ftp程序
ftp>quit
升级HACMP v5.4补丁
#smitty update_all
Update Installed Software to Latest Level (Update All)
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
[Entry Fields]
INPUT device / directory for software /tmp/hav54
SOFTWARE to update _update_all
PREVIEW only? (update operation will NOT occur) no
COMMIT software updates? yes
SAVE replaced files? no
AUTOMATICALLY install requisite software? yes
EXTEND file systems if space needed? yes
VERIFY install and check file sizes? no
DETAILED output? no
Process multiple volumes? yes
ACCEPT new license agreements? yes
PREVIEW new LICENSE agreements? no
回车确定以上命令，即可完成升级工作。
注意：
假如安装程序提醒“没有找到相关fileset”等类似提醒，可在/tmp/hav54目录下实施命令“#inutoc .”，重新生成软件包安装列表。
重新开启AIX
安装完成HACMP后，为避免多种问题，要求将AIX系统重新开启，至此我们完成了全部安装工作，能够开始配置HACMP双机集群了。
#shutdown –Fr
1.3、 HACMP配置计划
1.3.1、 配置IP和网络
AIX网卡IP地址配置：
#smiitty mktcpip
Available Network Interfaces
Move cursor to desired item and press Enter.
en0 08-08 Standard Ethernet Network Interface
en1 08-09 Standard Ethernet Network Interface
en2 0A-08 Standard Ethernet Network Interface
en3 0J-08 Standard Ethernet Network Interface
选择想要配置IP地址网卡，选择“en0”，回车确定，进入下一步配置：

Minimum Configuration & Startup

To Delete existing configuration data, please use Further Configuration menus

Type or select values in entry fields.
Press Enter AFTER making all desired changes.

[Entry Fields]
HOSTNAME [ora01]
Internet ADDRESS dotted decimal) [192.168.1.42]
Network MASK (dotted decimal) [255.255.255.0]
Network INTERFACE en0
NAMESERVER
Internet ADDRESS (dotted decimal) []
DOMAIN Name []
Default Gateway
Address (dotted decimal or symbolic name) []
Cost [0]
Do Active Dead Gateway Detection? no
Your CABLE Type N/A
START TCP/IP daemons Now no
使用一样方法配置完成网卡IP地址。
1.3.2、 编辑/etc/hosts文件
对于两个节点ibm03和ibm04要配置相同/etc/hosts文件，使用vi配置hosts文件，提议首先对原有hosts文件进行备份，配置以下：
#cp /etc/hosts /etc/hosts.bak
#vi /etc/hosts
192.168.1.48 ibm03
192.168.1.49 ibm04

172.16.1.48 ibm03-priv
172.16.1.49 ibm04-priv

192.168.1.210 ibm03-vip
192.168.1.211 ibm04-vip

1.3.3、 创建共享卷组和文件系统
创建卷组
#smitty _mkbvg
Add a Big Volume Group

Type or select values in entry fields.
Press Enter AFTER making all desired changes.

[Entry Fields]
VOLUME GROUP name [vgdata]
Physical partition SIZE in megabytes
PHYSICAL VOLUME names [hdisk2]
FORCE the creation of volume group? yes
Activate volume group AUTOMATICALLY no
at system restart?
Volume group MAJOR NUMBER [100]
Create VG Concurrent Capable? no
我们在建立HACMP共享卷组时，要注意参数 “Activate volume group AUTOMATICALLY at system restart? ”该项，设置为“no”，是使用HACMP方法将卷组varyon，而不是系统开启时由操作系统varyon。
Major NUMBER是指该设备（orvg）主设备号，此处设置为系统唯一即可，可经过命令查询可用major number：
# lvlstmajor
43..59,62...
或可经过ls –l /dev/命令查看目前全部设备主设备号，第五列即是。
创建逻辑卷和文件系统

在ibm03节点上根据以下操作：
#varyoffvg vgdata
需将vgdata varyoff下来，在ora02节点上才能正确导入。
在ibm04节点上根据一下操作：
#lspv
hdisk0 00c2ef1fa38df28a rootvg active
hdisk1 00c2ef1f38b81fac rootvg active
hdisk2 00c2ecef3846c20e None
查看hdisk2是否为物理卷，不然需要使用命令将其属性更改：
#chdev –l hdisk2 –a pv=yes
导入卷组和文件系统定义
#smitty importvg
Import a Volume Group
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
[Entry Fields]
VOLUME GROUP name [vgdata]
* PHYSICAL VOLUME name [hdisk2]
Volume group MAJOR NUMBER [100]
#varyonvg vgdata
#varyoffvg vgdata
1.4、 HACMP Standard配置
HACMP配置可采取Standard和Extended两种方法，其中Standard配置能够配置Cluter名称，节点，基础网络，应用服务器，多种资源和资源组等基础内容，假如要配置永久IP，串口心跳，对资源组进行具体配置等工作则需要在Extended中完成，能够说Standard菜单是Extended菜单一个子集，能够在Extended菜单中完成HACMP全部配置工作。下面我们以Standard菜单完成HACMP基础配置工作：
ü 添加cluster和节点
ü 配置cluster资源
ü 创建并配置资源组
ü 同时HACMP配置
HACMP配置菜单以下：
#smitty hacmp
HACMP for AIX

Move cursor to desired item and press Enter.

Initialization and Standard Configuration
Extended Configuration
System Management (C-SPOC)
Problem Determination Tools
选择“Initialization and Standard Configuration”，以下菜单：

Initialization and Standard Configuration

Move cursor to desired item and press Enter.

Configuration Assistants
Configure an HACMP Cluster and Nodes
Configure Resources to Make Highly Available
Configure HACMP Resource Groups

Verify and Synchronize HACMP Configuration
Display HACMP Configuration
HACMP Cluster Test Tool
1.4.1、 添加 cluster和节点
#smitty hacmp
->Initialization and Standard Configuration
Configure an HACMP Cluster and Nodes
Configure Nodes to an HACMP Cluster (standard)

Type or select values in entry fields.
Press Enter AFTER making all desired changes.

[Entry Fields]
* Cluster Name [ora_cluster]
New Nodes (via selected communication paths) [ibm03 ibm04]
Currently Configured Node(s)

1.4.2、 创建并配置资源组
#smitty hacmp
-> Initialization and Standard Configuration
Configure HACMP Resource Groups
Configure HACMP Resource Groups

Move cursor to desired item and press Enter.

Add a Resource Group
Change/Show a Resource Group
Remove a Resource Group
Change/Show Resources for a Resource Group (standard)

Add a Resource Group

Type or select values in entry fields.
Press Enter AFTER making all desired changes.

[Entry Fields]
* Resource Group Name [ora_rg]
* Participating Nodes (Default Node Priority) [ibm03 ibm04]

Startup Policy Online On All Availab
Fallover Policy Bring Offline (On Err>
Fallback Policy Never Fallback

添加资源至资源组中
#smitty hacmp
-> Initialization and Standard Configuration
Configure HACMP Resource Groups
Configure HACMP Resource Groups

Move cursor to desired item and press Enter.

Add a Resource Group
Change/Show a Resource Group
Remove a Resource Group
Change/Show Resources for a Resource Group (standard)

Change/Show All Resources and Attributes for a Resource Group

Type or select values in entry fields.
Press Enter AFTER making all desired changes.

[Entry Fields]
Resource Group Name ora_rg
Participating Nodes (Default Node Priority) ibm03 ibm04

Startup Policy Online On Home Node Only
Fallover Policy Fallover To Next Priority Node In The List
Fallback Policy Fallback To Higher Priority Node In The List

Concurrent Volume Groups [vgdata] +
Use forced varyon of volume groups, if necessary false +
Automatically Import Volume Groups false +

Application Servers [] +

Tape Resources [] +
至此，我们完成了资源和资源组关联。
1.4.3、 同时HACMP配置
#smitty hacmp
-> Initialization and Standard Configuration
Verify and Synchronize HACMP Configuration
回车确定该操作，这么HACMP配置已经同时到两个节点中了，也就是ibm03和ibm04拥有一样配置了。
1.5、 HACMP开启
1.5.1、 开启HACMP
在节点ibm03上实施smitty clstart，回车确定即可开启HACMP
* Start now, on system restart or both now +
Start Cluster Services on these nodes [ibm03] +
BROADCAST message at startup? true +
Startup Cluster Information Daemon? false +
Reacquire resources after forced down ? false +

第2章 Oracle RAC安装配置

2.1、 计划
数据库配置计划
ORACLE_BASE
/data
CRS_HOME
/data/product /10.2.0/crs
ORACLE_HOME
/data/product /10.2.0/db
DB_NAME
orcl
ORACLE_SID
orcl1，orcl2
TNS_ADMIN
$ORACLE_HOME/network/admin
Oracle管理帐户口令
sys
System

oracle
oracle
数据库存放位置
裸设备
是否使用归档方法运行数据库
Yes
备份方法说明
RMAN/TSM

裸设备计划
设备名称
数据库设施
存放空间
/dev/rorcl_ocr
O