使用VMware Server在Oracle Enterprise Linux上安装Oracle RAC 10g

文档标题 使用 VMware Server 在 Oracle Enterprise Linux 上安装 Oracle RAC 10g 1硬件配置 ​ 主机操作系统环境 主机名 操作系统 处理器 内存 磁盘 网卡 test Windows 2003 SP2(32 位) 2颗Intel Xeon(TM) 3GHz 4 GB IBM SCSI Broadcom NetXtreme Gigabit Ethernet ​ 客户操作系统环境 主机名 操作系统 处理器 内存 rac1 Oracle Enterprise Linux 4（32 位） 1 800 MB rac2 Oracle Enterprise Linux 4（32 位） 1 800 MB ​ 虚拟磁盘布局 主机操作系统上的虚拟磁盘 客户操作系统上的虚拟磁盘 虚拟设备节点 大小 (GB) 描述 g:\vm\rac1\localdisk.vmdk /dev/sda1 /dev/sda2 /dev/sda3 SCSI 0:0 20 “/”挂载点交换空间 g:\vm\sharedstorage\ocfs2disk.vmdk /dev/sdb SCSI 1:0 0.5 OCFS2 磁盘 g:\vm\sharedstorage\asmdisk1.vmdk /dev/sdc SCSI 1:1 3 ASM 磁盘组 1 g:\vm\sharedstorage\asmdisk2.vmdk /dev/sdd SCSI 1:2 3 ASM 磁盘组 1 g:\vm\sharedstorage\asmdisk3.vmdk /dev/sde SCSI 1:3 2 ASM 闪回恢复区 要配置共享存储，客户 OS 不能与共享存储共享同一个 SCSI 总线。指定客户 OS 使用 SCSI0，共享磁盘使用 SCSI1 ​ RAC 数据库环境 主机名 ASM 实例名 RAC 实例名 数据库名 数据库文件存储 OCR 与决磁盘 (Voting Disk) rac1 +ASM1 devdb1 devdb ASM OCFS2 rac2 +ASM2 devdb2 devdb ASM OCFS2 2配置第一个虚拟机 VMware 版本：VMware-server 1.0.3-44356 2.1虚拟机配置 要创建和配置第一个虚拟机，需要添加虚拟硬件设备，如磁盘和处理器。创建以下 windows 文件夹以存放虚拟机和共享存储。 G:\>mkdir vm\rac1 G:\>mkdir vm\rac2 G:\>mkdir vm\sharedstorage 按 CTRL-N 创建一个新的虚拟机。 1.​ 新建虚拟机向导：单击 Next。 2.​ 选择适当的配置： a.​ 虚拟机配置：选择 Custom。 3.​ 选择客户操作系统： a.​ 客户操作系统：选择 Linux。 b.​ 版本：选择 Red Hat Enterprise Linux 4。 4.​ 命名虚拟机： a.​ 虚拟机名称：输入“rac1”。 b.​ 位置：输入“g:\vm\rac\rac1”。 5.​ 设置访问权限： a.​ 访问权限：选择 Make this virtual machine private。 6.​ 启动/关闭选项： a.​ 虚拟机帐户：选择 User that powers on the virtual machine。 7.​ 处理器配置： a.​ 处理器：选择一个处理器。 8.​ 虚拟机内存： a.​ 内存：选择 800MB。 9.​ 网络类型： a.​ 网络连接：选择 Use bridged networking。 10.​ 选择 I/O 适配器类型： a.​ I/O 适配器类型：选择 LSI Logic。 11.​ 选择磁盘： a.​ 磁盘：选择 Create a new virtual disk。 12.​ 选择磁盘类型： a.​ 虚拟磁盘类型：选择 SCSI (Recommended)。 13.​ 指定磁盘容量： a.​ 磁盘容量：输入“20GB”。 b.​ 取消选择 Allocate all disk space now。为了节省空间，现在不必分配所有磁盘空间。 14.​ 指定磁盘文件： a.​ 磁盘文件：输入“localdisk.vmdk”。 b.​ 单击 Finish。 重复步骤 16-24 以创建四个虚拟 SCSI 硬盘 — ocfs2disk.vmdk (512MB)、asmdisk1.vmdk (3GB)、asmdisk2.vmdk (3GB) 和 asmdisk3.vmdk (2GB)。 16.​ VMware Server 控制台：单击 Edit virtual machine settings。 17.​ 虚拟机设置：单击 Add。 18.​ 新增硬件向导：单击 Next。 19.​ 硬件类型： a.​ 硬件类型：选择 Hard Disk。 20.​ 选择磁盘： a.​ 磁盘：选择 Create a new virtual disk。 21.​ 选择磁盘类型： a.​ 虚拟磁盘类型：选择 SCSI (Recommended)。 22.​ 指定磁盘容量： a.​ 磁盘容量：输入“0.5GB”。 b.​ 选择 Allocate all disk space now。 23.​ 指定磁盘文件： a.​ 磁盘文件：输入“d:\vm\rac\sharedstorage\ocfs2disk.vmdk”。 b.​ 单击 Advanced。 24.​ 新增硬件向导： a.​ 虚拟设备节点：选择 SCSI 1:0。 b.​ 模式：选择 Independent，针对所有共享磁盘选择 Persistent。 c.​ 单击 Finish。 最后，额外添加一个虚拟网卡以用于专用互联，并移除软盘驱动器（如果有）。 25.​ VMware Server 控制台：单击 Edit virtual machine settings。 26.​ 虚拟机设置：单击 Add。 27.​ 新增硬件向导：单击 Next。 28.​ 硬件类型： a.​ 硬件类型：以太网适配器。 29.​ 网络类型： a.​ 主机模式：与主机共享的专用网络 b.​ 单击 Finish。 30.​ 虚拟机设置： a.​ 选择 Floppy 并单击 Remove。 31.​ 虚拟机设置：单击 OK。 修改虚拟机配置文件。还需要设置其他参数以启用两个虚拟 RAC 节点之间的磁盘共享。打开配置文件 g:\vm\rac1\Red Hat Enterprise Linux 4.vmx，并添加下面列出的粗体参数。 config.version = "8" virtualHW.version = "4" scsi0.present = "TRUE" scsi0.virtualDev = "lsilogic" memsize = "800" scsi0:0.present = "TRUE" scsi0:0.fileName = "localdisk.vmdk" ide1:0.present = "TRUE" ide1:0.fileName = "auto detect" ide1:0.deviceType = "cdrom-raw" floppy0.present = "FALSE" Ethernet0.present = "TRUE" displayName = "RAC1" guestOS = "rhel4" priority.grabbed = "normal" priority.ungrabbed = "normal" disk.locking = "FALSE" diskLib.dataCacheMaxSize = "0" scsi1.sharedBus = "virtual" scsi1.present = "TRUE" scsi1:0.present = "TRUE" scsi1:0.fileName = "G:\vm\sharedstorage\ocfs2disk.vmdk" scsi1:0.mode = "independent-persistent" scsi1:0.deviceType = "disk" scsi1:1.present = "TRUE" scsi1:1.fileName = "G:\vm\sharedstorage\asmdisk1.vmdk" scsi1:1.mode = "independent-persistent" scsi1:1.deviceType = "disk" scsi1:2.present = "TRUE" scsi1:2.fileName = "G:\vm\sharedstorage\asmdisk2.vmdk" scsi1:2.mode = "independent-persistent" scsi1:2.deviceType = "disk" scsi1:3.present = "TRUE" scsi1:3.fileName = "G:\vm\sharedstorage\asmdisk3.vmdk" scsi1:3.mode = "independent-persistent" scsi1:3.deviceType = "disk" scsi1.virtualDev = "lsilogic" ide1:0.autodetect = "TRUE" Ethernet1.present = "TRUE" Ethernet1.connectionType = "hostonly" scsi0:0.redo = "" scsi1:0.redo = "" scsi1:1.redo = "" scsi1:2.redo = "" scsi1:3.redo = "" ide1:0.startConnected = "TRUE" ethernet0.addressType = "generated" ethernet1.addressType = "generated" uuid.location = "56 4d 4e 8f 8a 01 d4 b3-30 00 6c 8e 19 92 80 79" uuid.bios = "56 4d 4e 8f 8a 01 d4 b3-30 00 6c 8e 19 92 80 79" ethernet0.generatedAddress = "00:0c:29:92:80:79" ethernet0.generatedAddressOffset = "0" ethernet1.generatedAddress = "00:0c:29:92:80:83" ethernet1.generatedAddressOffset = "10" tools.syncTime = "TRUE" 2.2在第一个虚拟机上安装并配置 Enterprise Linux 2.2.1安装Enterprise Linux R4 安装需要下面4个ios文件，实际安装只需要用到前3个包，你可以从http://edelivery.oracle.com/linux下载安装文件，最新版本是R5，本测试是使用R4版本。 ​ Enterprise-R4-U4-i386-disc1.iso ​ Enterprise-R4-U4-i386-disc2.iso ​ Enterprise-R4-U4-i386-disc3.iso ​ Enterprise-R4-U4-i386-disc4.iso 1.​ 在 VMware Server 控制台上，双击右面板上的 CD-ROM 设备，然后选择第 1 张磁盘的 ISO 镜像 Enterprise-R4-U4-i386-disc1.iso。 2.​ VMware Server 控制台： o​ 单击 Start this virtual machine。 3.​ 按 Enter 键以图形模式安装。 4.​ 跳过介质测试并启动安装。 5.​ 欢迎使用 Enterprise Linux：单击 Next。 6.​ 语言选择：<选择语言首选项>。 7.​ 键盘配置：<选择键盘首选项>。 8.​ 安装类型：自定义。 9.​ 磁盘分区设置：使用 Disk Druid 进行手动分区。 o​ 警告：单击 Yes 将初始化每个设备 — sda、sdb、sdc、sdd 和 sde。 10.​ 磁盘设置：通过双击挂载点（/ 和 /u01）和交换空间的 /dev/sda 可用空间来分配 sda 驱动器上的磁盘空间。您稍后将为 OCFS2 和 ASM 配置其余驱动器。 o​ 添加分区： ​ 文件系统类型：Swap ​ 1500M ​ 挂载点：/ ​ 文件系统类型：ext3 ​ 剩余空间 11.​ 引导加载程序配置：仅选择默认的 /dev/sda1，其余选项均保留未选中状态。 12.​ 网络配置： a.​ 网络设备 ​ 选择并编辑 eth0 1.​ 取消选择 Configure Using DHCP。 2.​ 选择 Activate on boot。 3.​ IP 地址：输入“10.100.235.33” 4.​ 网络掩码：输入“255.255.255.0”。 ​ 选择并编辑 eth1 5.​ 取消选择 Configure Using DHCP。 6.​ 选择 Activate on boot。 7.​ IP 地址：输入“10.10.10.31”。 8.​ 网络掩码：输入“255.255.255.0”。 b.​ 主机名 ​ 选择 manually 并输入“rac1”。 c.​ 杂项设置 ​ 网关：输入“10.100.235.1”。 13.​ 防火墙配置： 选择 No Firewall 14.​ 警告 — 无防火墙：单击 Proceed。 15.​ 其他语言支持：<选择所需的语言>。 16.​ 时区选择：<选择您的时区> 17.​ 设置 Root 口令：<输入您的 root 口令> 18.​ 程序包组选择： a.​ 选择 X Window System。 b.​ 选择 GNOME Desktop Environment。 c.​ 选择 Editors。 d.​ 选择 Graphical Internet。 e.​ 选择 Text-based Internet。 f.​ 选择 Office/Productivity。 g.​ 选择 Sound and Video。 h.​ 选择 Graphics。 i.​ 选择 Server Configuration Tools。 j.​ 选择 FTP Server。 k.​ 选择 Legacy Network Server。 ​ 单击 Details。 1.​ 选择 rsh-server。 2.​ 选择 telnet-server。 l.​ 选择 Development Tools。 m.​ 选择 Legacy Software Development。 n.​ 选择 Administration Tools。 o.​ 选择 System Tools。 ​ 单击 Details。除了默认选中的程序包外，再选择以下程序包。 1.​ 选择ocfs-2-2.6.9-42.0.0.0.1ELsmp（SMP 内核驱动程序）。 2.​ 选择 ocfs2-tools。 3.​ 选择 ocfs2console。 4.​ 选择oracleasm-2.6.9-42.0.0.0.1ELsmp（SMP 内核驱动程序）。 5.​ 选择 sysstat。 p.​ 选择 Printing Support。 19.​ 准备安装：单击 Next。 20.​ 所需的安装介质：单击 Continue。 21.​ 更改 CD-ROM：在 VMware Server 控制台上，按 CTRL-D 显示 Virtual Machine Settings。单击 CD-ROM 设备并选择第 2 张磁盘的 ISO 镜像 Enterprise-R4-U4-i386-disc2.iso，然后是第 3 张磁盘的 ISO 镜像 Enterprise-R4-U4-i386-disc3.iso。 22.​ 安装结束时： a.​ 在 VMware Server 控制台上，按 CTRL-D 显示 Virtual Machine Settings。单击 CD-ROM 设备并选择 Use physical drive。 b.​ 单击 Reboot。 23.​ 欢迎页面：单击 Next。 24.​ 许可：选择 Yes, I agree to the License Agreement。 25.​ 日期和时间：设置日期和时间。 26.​ 显示：<选择所需的分辨率>。 27.​ 系统用户：保留项目为空并单击 Next。 28.​ 其他 CD：单击 Next。 29.​ 完成设置：单击 Next。 ​ 安装 VMware 工具。 VMware 工具要求同步主机和客户机的时间。 在 VMware 控制台上，以 root 用户身份登录。 1.​ 单击 VM，然后选择 Install VMware Tools。 2.​ rac1 — 虚拟机：单击 Install。 3.​ 双击桌面上的 VMware Tools 图标。 4.​ cdrom：双击 VMwareTools-1.0.1-29996.i386.rpm。 5.​ 完成系统准备：单击 Continue。 6.​ 打开一个终端并执行 vmware-config-tools.pl。 o​ 输入所需的显示大小。 ​ 同步客户 OS 与主机 OS 的时间。 在安装 Oracle 集群件和 Oracle 数据库软件时，Oracle 安装程序将首先在本地节点上安装软件，然后再将软件远程复制到远程节点。如果两个 RAC 节点的日期和时间未同步，您可能会收到类似于以下的错误。 "/bin/tar: ./inventory/Components21/oracle.ordim.server/10.2.0.1.0: time stamp 2006-11-04 06:24:04 is 25 s in the future" 要确保成功安装 Oracle RAC，虚拟机上的时间必须与主机上的时间同步。执行下面的步骤，以 root 用户身份同步时间。 1.​ 执行“vmware-toolbox”以显示 VMware Tools Properties 窗口。在 Options 选项卡下，选择 Time synchronization between the virtual machine and the host operating system。发现 tools.syncTime = "TRUE" 参数已经追加到虚拟机配置文件 g:\vm\rac\rac1\Red Hat Enterprise Linux 4.vmx 中。 2.​ 编辑 /boot/grub/grub.conf，并将选项“clock=pit nosmp noapic nolapic”添加到读取内核 /boot/ 的那一行。您已经将选项添加到两个内核，现在只需对特定内核进行更改。 #boot=/dev/sda default=0 timeout=5 splashimage=(hd0,0)/boot/grub/splash.xpm.gz hiddenmenu title Enterprise (2.6.9-42.0.0.0.1.ELsmp) root (hd0,0) kernel /boot/vmlinuz-2.6.9-42.0.0.0.1.ELsmp ro root=LABEL=/ rhgb quiet clock=pit nosmp noapic nolapic initrd /boot/initrd-2.6.9-42.0.0.0.1.ELsmp.img title Enterprise-up (2.6.9-42.0.0.0.1.EL) root (hd0,0) kernel /boot/vmlinuz-2.6.9-42.0.0.0.1.EL ro root=LABEL=/ rhgb quiet clock=pit nosmp noapic nolapic 3.​  initrd /boot/initrd-2.6.9-42.0.0.0.1.EL.img 4.​ 重新引导 rac1。 # reboot 2.2.2配置 2.2.2.1创建oracle用户（root） # groupadd oinstall # groupadd dba # mkdir -p /u01/oracle /ocfs # useradd -d /u01/oracle -g oinstall -G dba -s /bin/ksh oracle # chown oracle:dba /u01/oracle /u01 # passwd oracle New Password: Re-enter new Password: passwd: password successfully changed for oracle 2.2.2.2创建 oracle 用户环境文件（root） # su – oracle # vi .pfofile export PS1="`/bin/hostname -s`-> " export EDITOR=vi export ORACLE_SID=devdb1 export ORACLE_BASE=/u01/oracle export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1 export ORA_CRS_HOME=$ORACLE_BASE/product/10.2.0/crs_1 export LD_LIBRARY_PATH=$ORACLE_HOME/lib export PATH=$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:$PATH umask 022 2.2.2.3创建文件系统目录结构(oracle) # su – oracle rac1-> mkdir -p $ORACLE_BASE/admin rac1-> mkdir -p $ORACLE_HOME rac1-> mkdir -p $ORA_CRS_HOME rac1-> mkdir -p /u01/oracle/oradata/devdb 2.2.2.4提高 Oracle 用户的 shell 限制(root) 将下面列出的行添加到 /etc/security/limits.conf、/etc/pam.d/login 和 /etc/profile /etc/security/limits.conf oracle soft nproc 2047 oracle hard nproc 16384 oracle soft nofile 1024 oracle hard nofile 65536 /etc/pam.d/login session required /lib/security/pam_limits.so /etc/profile if [ $USER = "oracle" ]; then if [ $SHELL = "/bin/ksh" ]; then ulimit -p 16384 ulimit -n 65536 else ulimit -u 16384 -n 65536 fi fi 2.2.2.5安装 Enterprise Linux 软件程序包（root） 安装 Oracle 软件需要以下附加程序包。如果是64 位版本的 Enterprise Linux，则已安装了这些程序包。 ​ libaio-0.3.105-2.i386.rpm ​ openmotif21-2.1.30-11.RHEL4.6.i386.rpm 从 ISO CD 第三张光盘解压缩这些程序包, 上传到/root下，并以 root 用户身份执行下面的命令。 # rpm -ivh libaio-0.3.105-2.i386.rpm # rpm -ivh openmotif21-2.1.30-11.RHEL4.6.i386.rpm 2.2.2.6配置内核参数（root） 将下面列出的行添加到 /etc/sysctl.conf。要使更改立即生效，请执行 /sbin/sysctl –p。 # vi /etc/sysctl.conf kernel.shmall = 2097152 kernel.shmmax = 2147483648 kernel.shmmni = 4096 kernel.sem = 250 32000 100 128 fs.file-max = 65536 net.ipv4.ip_local_port_range = 1024 65000 net.core.rmem_default = 1048576 net.core.rmem_max = 1048576 net.core.wmem_default = 262144 net.core.wmem_max = 262144 # /sbin/sysctl –p 2.2.2.7修改 /etc/hosts 文件（root） # vi /etc/hosts 127.0.0.1 localhost 10.100.235.33 rac1 10.100.235.34 rac1-vip 10.100.10.31 rac1-priv 10.100.235.40 rac2 10.100.235.35 rac2-vip 10.100.10.32 rac2-priv 2.2.2.8配置 hangcheck timer 内核模块（root） hangcheck timer 内核模块可监控系统的运行情况，并重新启动出现故障的 RAC 节点。它使用两个参数，即 hangcheck_tick（定义系统检查频率）和 hangcheck_margin（定义在重置 RAC 节点前的最大挂起延时）来确定节点是否出现故障。 在 /etc/modprobe.conf 中添加以下行，以设置 hangcheck 内核模块参数。 /etc/modprobe.conf # vi /etc/modprobe.conf options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180 要立即加载模块，执行“modprobe -v hangcheck-timer”。 # modprobe -v hangcheck-timer 2.2.2.9为 OCFS2 和 Oracle ASM 创建磁盘分区（root） #fdisk /dev/sdb #fdisk /dev/sdc #fdisk /dev/sdd #fdisk /dev/sde 每个磁盘划一个分区，输入n-p-1->->-w 2.2.2.10安装 oracleasmlib 程序包（root） 下载包oracleasmlib-2.0.2-1.i386.rpm，上传到/root下 # rpm -ivh oracleasmlib-2.0.2-1.i386.rpm Preparing... ########################################### [100%] 1:oracleasmlib ########################################### [100%] 检查已安装的ASM 程序包。 # rpm -qa | grep oracleasm oracleasm-support-2.0.3-2 --安装系统时选择安装 oracleasm-2.6.9-42.0.0.0.1.ELsmp-2.0.3-2 --安装系统时选择安装 oracleasmlib-2.0.2-1 --已经手动安装 2.2.2.11为 ASM 磁盘映射原始设备 执行以下任务，将原始设备映射到先前创建的共享分区。每次引导集群节点时，原始设备都必须与块设备绑定。 将以下行添加到 /etc/sysconfig/rawdevices 中。 # vi /etc/sysconfig/rawdevices /dev/raw/raw1 /dev/sdc1 /dev/raw/raw2 /dev/sdd1 /dev/raw/raw3 /dev/sde1 要使映射立即生效，以 root 用户身份执行以下命令： # /sbin/service rawdevices restart Assigning devices: /dev/raw/raw1 --> /dev/sdc1 /dev/raw/raw1: bound to major 8, minor 33 /dev/raw/raw2 --> /dev/sdd1 /dev/raw/raw2: bound to major 8, minor 49 /dev/raw/raw3 --> /dev/sde1 /dev/raw/raw3: bound to major 8, minor 65 done # chown oracle:dba /dev/raw/raw* # chmod 660 /dev/raw/raw* # ls -lat /dev/raw/raw* crw-rw---- 1 oracle dba 162, 3 Nov 4 07:04 /dev/raw/raw3 crw-rw---- 1 oracle dba 162, 2 Nov 4 07:04 /dev/raw/raw2 crw-rw---- 1 oracle dba 162, 1 Nov 4 07:04 /dev/raw/raw1 以 oracle 用户身份执行 # su – oracle rac1->cd oradata/devdb rac1->ln -sf /dev/raw/raw1 ./asmdisk1 rac1->ln -sf /dev/raw/raw2 ./asmdisk2 rac1->ln -sf /dev/raw/raw3 ./asmdisk3 2.2.2.12修改 /etc/udev/permissions.d/50-udev.permissions 原始设备在引导时会重新映射。默认情况下，在引导时原始设备的拥有者将更改为 root 用户。如果拥有者不是 oracle 用户，则 ASM 在访问共享分区时会出现问题。在 /etc/udev/permissions.d/50-udev.permissions 中为原始行“raw/*:root:disk:0660”添加注释，然后添加一个新行“raw/*:oracle:dba:0660”。 # raw devices ram*:root:disk:0660 #raw/*:root:disk:0660 raw/*:oracle:dba:0660 3创建并配置第二个虚拟机 要创建第二个虚拟机，只需关闭第一个虚拟机，将 g:\vm\rac1 中的所有文件复制到 g:\vm\rac2，然后更改几个配置即可。 3.1修改网络配置 1.​ 在 rac1 上，以 root 用户身份执行 # shutdown –h now 2.​ 在主机系统上，将 rac1 文件夹中的所有文件复制到 rac2 3.​ 在 VMware Server 控制台上，按 CTRL-O 打开第二个虚拟机 4.​ VMware Server 控制台： o​ 将虚拟机名称从 rac1 重命名为 rac2。右键单击您刚才打开的新 rac1 选项卡，然后选择 Settings。 ​ 选择 Options 选项卡。 1. 虚拟机名称：输入“rac2”。 o​ 单击 Start this virtual machine 启动 rac2，保留 rac1 为电源关闭状态。 o​ rac2 — 虚拟机：选择 Create a new identifier。 5.​ 以 root 用户身份登录并执行 system-config-network，以修改网络配置。 IP 地址：双击每个以太网设备，并使用下面的表进行必要的更改。 设备 IP 地址 子网掩码 默认网关地址 eth0 10.100.235.40 255.255.255.0 10.100.235.1 eth1 10.10.10.32 255.255.255.0 <保留空白> MAC 地址：导航到 Hardware Device 选项卡，并探测每个以太网设备的新 MAC 地址。 主机名和 DNS：使用下面的表对 DNS 选项卡中的项进行必要的更改，然后按 CTRL-S 保存。 主机名 首选 DNS 备用 DNS DNS 搜索路径 rac2 输入 DNS IP 地址或保留空白。 输入 DNS IP 地址或保留空白。 接受默认设置或保留空白。 最后，激活每个以太网设备。 3.2修改 /etc/hosts，与RAC1相同 127.0.0.1 localhost 10.100.235.33 rac1 10.100.235.34 rac1-vip 10.100.10.31 rac1-priv 10.100.235.40 rac2 10.100.235.35 rac2-vip 10.100.10.32 rac2-priv 3.3修改 /u01/oracle/.profile 用 devdb2 替换 ORACLE_SID 的值。 3.4使用 SSH 建立用户等效性 在集群就绪服务 (CRS) 和 RAC 安装过程中，Oracle Universal Installer (OUI) 必须能够以 oracle 的身份将软件复制到所有 RAC 节点，而不提示输入口令。在 Oracle 10g 中，可以使用 ssh 代替 rsh 完成此操作。 本例建立了oracle、root两个用户的等效性 3.4.1建立oracle用户等效性 ​ 在 rac1 上执行 #su - oracle rac1->mkdir ~/.ssh rac1->chmod 700 ~/.ssh rac1->ssh-keygen -t rsa rac1->ssh-keygen -t dsa ​ 在 rac2 上执行 #su - oracle rac2->mkdir ~/.ssh rac2->->chmod 700 ~/.ssh rac2->->ssh-keygen -t rsa rac2->->ssh-keygen -t dsa ​ 在 rac1 上执行 rac1->cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys rac1->cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys rac1->ssh rac2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys rac1->ssh rac2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys rac1->scp ~/.ssh/authorized_keys rac2:~/.ssh/authorized_keys ​ 在每个节点上测试连接 ssh rac1 date ssh rac2 date ssh rac1-priv date ssh rac2-priv date 3.4.2建立root用户等效性 ​ 在 rac1 上执行 #mkdir ~/.ssh #chmod 700 ~/.ssh #ssh-keygen -t rsa #ssh-keygen -t dsa ​ 在 rac2 上执行 #mkdir ~/.ssh #chmod 700 ~/.ssh #ssh-keygen -t rsa #ssh-keygen -t dsa ​ 在 rac1 上执行 #cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #ssh rac2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #ssh rac2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #scp ~/.ssh/authorized_keys rac2:~/.ssh/authorized_keys ​ 在每个节点上测试连接 ssh rac1 date ssh rac2 date ssh rac1-priv date ssh rac2-priv date 4配置 Oracle 自动存储管理 (ASM) Oracle ASM 与 Oracle 数据库紧密集成在一起，并与 Oracle 的数据管理工具套件配合工作。它可以简化数据库存储管理，并提供原始磁盘 I/O 的性能。 4.1配置 ASMLib（root）在两个节点上配置 ASMLib # /etc/init.d/oracleasm configure 4.2在RAC1上创建 ASM 磁盘（root） # /etc/init.d/oracleasm createdisk VOL1 /dev/sdc1 # /etc/init.d/oracleasm createdisk VOL2 /dev/sdd1 # /etc/init.d/oracleasm createdisk VOL3 /dev/sde1 # /etc/init.d/oracleasm scandisks # /etc/init.d/oracleasm listdisks VOL1 VOL2 VOL3 5配置 Oracle 集群文件系统 (OCFS2) OCFS2 是 Oracle 开发的一个通用集群文件系统，与 Enterprise Linux 内核集成在一起。它允许所有节点在集群文件系统上同时共享文件，因而消除了管理原始设备的需求。这里，您将在 OCFS2 文件系统中寄宿 OCR 和表决磁盘。 在 Enterprise Linux 安装期间，已经安装了 OCFS2 RPM。验证 RPM 是否已经安装在两个节点上。 rac1-> rpm -qa | grep ocfs ocfs2-tools-1.2.2-2 ocfs2console-1.2.2-2 ocfs2-2.6.9-42.0.0.0.1.ELsmp-1.2.3-2 5.1创建 OCFS2 配置文件（root） # ocfs2console 1.​ OCFS2 控制台：选择 Cluster，然后选择 Configure Nodes。 2.​ “集群堆栈已经启动”：单击 Close。 3.​ 节点配置：单击 Add。 4.​ 新增节点：添加以下节点，然后单击 Apply。 o​ 名称：rac1 o​ IP 地址： 10.100.235.33 o​ IP 端口： 7777 o​ 名称：rac2 o​ IP 地址： 10.100.235.40 o​ IP 端口： 7777 5.​ 验证生成的配置文件。 # more /etc/ocfs2/cluster.conf node: ip_port = 7777 ip_address = 10.100.235.33 number = 0 name = rac1 cluster = ocfs2 node: ip_port = 7777 ip_address = 10.100.235.40 number = 1 name = rac2 cluster = ocfs2 cluster: node_count = 2 name = ocfs2 6.​ 将配置文件传播到 rac2。您可以在 rac2 上重新运行上述步骤以生成配置文件，或者在 rac1 的 OCFS2 控制台上选择 Cluster 和 Propagate Configuration 以将配置文件传播到 rac2。 5.2配置 O2CB 驱动程序 O2CB 是一组集群服务，负责管理节点与集群文件系统之间的通信。下面是对各个服务的说明： ​ NM：用于跟踪 cluster.conf 中的所有节点的节点管理器 ​ HB：当节点加入或离开集群时向上/向下发出通知的心跳服务 ​ TCP：处理节点之间的通信 ​ DLM：用于跟踪所有锁、这些锁的所有者以及状态的分布式锁管理器 ​ CONFIGFS：在 /config 中挂载的用户空间驱动的配置文件系统 ​ DLMFS：用户空间与内核空间 DLM 的接口 5.2.1在两个节点上执行下面的过程，将 O2CB 配置为在引导时启动（root） #/etc/init.d/o2cb unload #/etc/init.d/o2cb configure 5.2.2格式化文件系统。 在格式化和挂载文件系统之前，应验证 O2CB 在两个节点上均联机；O2CB 心跳当前没有活动，因为文件系统未挂载。 # /etc/init.d/o2cb status Module "configfs": Loaded Filesystem "configfs": Mounted Module "ocfs2_nodemanager": Loaded Module "ocfs2_dlm": Loaded Module "ocfs2_dlmfs": Loaded Filesystem "ocfs2_dlmfs": Mounted Checking O2CB cluster ocfs2: Online Checking O2CB heartbeat: Not active 只需以 root 用户在RAC1节点上格式化文件系统 # ocfs2console 1.​ OCFS2 控制台：选择 Tasks、Format。 2.​ 格式： o​ 可用设备：/dev/sdb1 o​ 卷标：oracle o​ 集群大小：Auto o​ 节点插槽数量： 4 o​ 块大小：Auto 3.​ OCFS2 控制台：按 CTRL-Q 退出。 5.2.3挂载文件系统（root） 要挂载文件系统，在两个节点上执行以下命令。 # mount -t ocfs2 -o datavolume,nointr /dev/sdb1 /ocfs 要在引导时挂载文件系统，在两个节点的 /etc/fstab 中添加以下行。 # vi /etc/fstab /dev/sdb1 /ocfs ocfs2 _netdev,datavolume,nointr 0 0 5.2.4创建 Oracle 集群件目录（root） 在 OCR 和表决磁盘将驻留的 OCFS2 文件系统中创建目录。 在 rac1 上执行 # mkdir /ocfs/clusterware # chown -R oracle:dba /ocfs 5.2.5验证在两个节点的共享集群文件系统上读写文件 6安装 Oracle 集群件 10201_clusterware_linux32.zip 将文件上传到/root，执行 #cd /u01 # unzip /root/10201_clusterware_linux32.zip #chown –R oracle:oinstall clusterware 以oracle 用户身份执行 #su – oracle rac1-> cd /u01/clusterware rac1-> ./runInstaller 6.1欢迎页面 6.2指定 Inventory 目录和证 ​ 输入 inventory 目录的完整路径：/u01/app/oracle/oraInventory。 ​ 指定操作系统组名：oinstall。 6.3指定 Home 详细内容 ​ 名称：OraCrs10g_home ​ /u01/app/oracle/product/10.2.0/crs_1 6.4特定于产品的必要条件检查 ​ 点击YES忽略有关物理内存要求的警告。 6.5指定集群配置：单击 Add ​ 公共节点名称：rac2 ​ 专用节点名称：rac2-priv ​ 虚拟主机名称：rac2-vip 6.6指定网络接口用法 更改eth0接口类型为Public 6.7指定 Oracle 集群注册表 (OCR) 位置 ​ 选择 External Redundancy。 为了简单起见，不镜像 OCR ​ 指定 OCR 位置：/ocfs/clusterware/ocr 6.8指定表决磁盘位置 ​ 选择 External Redundancy 为了简单起见，选择不镜像表决磁盘。 ​ 表决磁盘位置：/ocfs/clusterware/votingdisk 6.9摘要：单击 Install 6.10执行配置脚本 以 root 用户身份按顺序执行以下脚本（一次执行一个）。在当前脚本完成后，再继续执行下一个脚本。 ​ 在 rac1 上执行 /u01/oracle/oraInventory/orainstRoot.sh ​ 在 rac2 上执行 /u01/oracle/oraInventory/orainstRoot.sh ​ 在 rac1 上执行 /u01/oracle/product/10.2.0/crs_1/root.sh ​ 在 rac2 上执行 /u01/oracle/product/10.2.0/crs_1/root.sh 这里执行4个脚本不要点击OK关闭窗口，转到下一步6.11 6.11在RAC2上手动调用 VIPCA（root） Rac2 上的 root.sh 脚本会自动调用 VIPCA，但会因为“The given interface(s), "eth0" is not public.Public interfaces should be used to configure virtual IPs.”错误而失败。如果您的公共接口使用不可路由的 IP 地址 (10.100.x.x)，则 Oracle 集群验证实用程序 (CVU) 将无法找到合适的公共接口。一种解决方法是手动运行 VIPCA。 # /u01/oracle/product/10.2.0/crs_1/bin/vipca 6.11.1欢迎页面 6.11.2网络接口：选择 eth0 6.11.3集群节点的虚拟 IP 6.11.4摘要 6.11.5配置助手进度对话框：配置完成后，单击 OK。 6.11.6配置结果 6.11.7返回到 rac1 的执行配置脚本屏幕，然后单击 OK 6.12安装结束 7安装 Oracle 数据库 10.2.0.1.0 10201_database_linux32.zip 将文件上传到/root，执行 #cd /u01 # unzip /root/10201_database_linux32.zip #chown –R oracle:oinstall database 以oracle 用户身份执行 #su – oracle rac1-> cd /u01/database rac1-> ./runInstaller & 7.1欢迎页面 7.2选择安装类型 ​ 选择 Enterprise Edition 7.3指定 Home 详细内容 ​ 名称：OraDb10g_home1 ​ 路径：/u01/oracle/product/10.2.0/db_1 7.4指定硬件集群安装模式 ​ 选择 Cluster Installation。 ​ 单击 Select All。 7.5特定于产品的必要条件检查 ​ 忽略有关物理内存要求的警告 7.6选择配置选项 ​ 创建数据库。 7.7选择数据库配置 ​ 选择 Advanced。 7.8摘要：单击 Inst