Redhat_Linux6.4_+_ASM_+_Oracle11gR2_RAC安装配置和管理

Redhat_Linux6.4_+_ASM_+_Oracle11gR2_RAC安装配置和管理 本资料仅供学习交流使用 Redhat Linux6.4 + ASM + Oracle11gR2 RAC安装配置和管理 XXX公司技术部 2015-05-19 1 / 64 目录 一. 前言................................................................................................................... 4 二. 安装环境............................................................................................................ 4 1.1. 硬件列 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf ........................................................................................................ 4 1.2. 需要安装的软件.............................................................................................. 4 1.3. RAC拓朴结构 ................................................................................................. 5 三. 安装步骤: ........................................................................................................ 6 2.1. 任务列表 ........................................................................................................ 6 2.2. 规划阶段 ........................................................................................................ 6 2.2.1. 集群详细信息规划................................................................................ 6 2.2.2. 磁盘、存储空间规划 ............................................................................ 7 2.2.3. 数据库基本信息规划 ............................................................................ 8 2.3. 实施阶段 ........................................................................................................ 8 2.3.1. 操作系统安装....................................................................................... 9 2.3.2. 主机配置.............................................................................................. 9 2.3.3. 磁盘分区............................................................................................ 21 2.3.4. 安装和配置ASM(此项可不做) ........................................................ 21 2.3.5. 安装Oracle Grid.................................................................................. 22 2.3.6. 创建ASM磁盘组 ................................................................................ 31 2.3.7. 安装Oracle Database........................................................................... 33 2.3.8. 创建数据库 ........................................................................................ 40 四. 测试Failover..................................................................................................... 55 3.1. 简单测试 ...................................................................................................... 55 五. 测试负载均衡LoadBalance ................................................................................ 56 六. RAC运行维护 ................................................................................................... 56 5.1. Oracle Cluster正常启停 ................................................................................. 56 5.1.1. Oracle 11g Cluste启停 ......................................................................... 56 5.1.2. Oracle 10g RAC启停顺序 ..................................................................... 57 5.2. Oracle Cluster开机自启动 .............................................................................. 58 5.3. 检查、注册与移除CRS服务 .......................................................................... 59 5.4. 导出CRS资源配置模板 ................................................................................. 59 5.5. 检查 Voting Disk............................................................................................ 59 5.6. 检查 CRS资源组状态.................................................................................... 59 5.7. 检查 ASM状态及配置 .................................................................................. 60 5.8. 检查 nodeapp状态及配置 ............................................................................ 60 5.9. 检查 TNS的状态及配置 ................................................................................ 60 5.10. 检查 VIP的状态及配置 ............................................................................. 60 5.11. 检查 SCAN 的状态及配置 ......................................................................... 60 5.12. 检查 RAC运行状况 ................................................................................... 61 5.13. 检查 Oracle 数据库实例状态及配置 .......................................................... 61 5.14. 检查 Cluster集群节点 ............................................................................... 61 5.15. 检查 Oracle 集群注册表 (OCR).................................................................. 61 2 / 64 5.16. 手动切换 SCAN ip至其他节点 ................................................................... 61 5.17. 启动或停止EM管理器 .............................................................................. 61 5.18. 登录EM管理数据库.................................................................................. 61 七. 卸载Oracle11g RAC CRS的方法 ......................................................................... 62 八. 问题及解决办法 ............................................................................................... 63 7.1. 问题1、Grid安装_缺少pdksh包................................................................... 63 Grid安装_缺少cvuqdisk包............................................................... 64 7.2. 问题2、 7.3. 问题3、Grid安装_PRVF-5436:NTP Time Protocol ............................................ 64 3 / 64 一. 前言 分享此文档仅为学习交流使用，如果您的软硬件环境与本文档不完全一致，请酌情参考使用。 因本人水平有限，为避免给大家带来不必要的困惑。如遇到文档中有不严谨的地方，请大家反馈给本人，谢谢～ 二. 安装环境 1.1. 硬件列表 单CPU硬盘硬盘服务器 设备型号 CPU型号 CPU主频 CPU数量 内存 核数 容量 数量 Intel 数据库1 浪潮TS860 2.3GHz 8 12 300G 4 512G E7-8850v2 Intel 数据库2 浪潮TS860 2.3GHz 8 12 300G 4 512G E7-8850v2 存储 EMC - - - - 600G 80 - 1.2. 需要安装的软件 软件名称 软件列表 序号 操作系统 Red Hat Enterprise Linux 6.4 for x86_64 1 集群软件--Oracle Clusterware p13390677_112040_Linux-x86-64_3of7.zip 2 p13390677_112040_Linux-x86-64_1of7.zip 数据库--Oracle 3 Database11.2.0.4.0 p13390677_112040_Linux-x86-64_2of7.zip oracleasmlib-2.0.4-1.el6.x86_64.rpm(oracle官网支持) oracleasm-support-2.1.8-1.el6.x86_64.rpm(oracle官 网支持) 集群文件系统—ASM(3个包) 4 kmod-oracleasm-2.0.6.rh1-2.el6.x86_64.rpm(需在网 上下载。Linux 6以及以上操作系统本身没有对应版 本的oracleasm安装包，更换为kmod-oracleasm安装 包) binutils-2.20.51.0.2-5.11.el6 (x86_64) compat-libcap1-1.10-1 (x86_64) Linux Rpm包 5 compat-libstdc++-33-3.2.3-69.el6 (x86_64) compat-libstdc++-33-3.2.3-69.el6.i686 4 / 64 gcc-4.4.4-13.el6 (x86_64) gcc-c++-4.4.4-13.el6 (x86_64) glibc-2.12-1.7.el6 (i686) glibc-2.12-1.7.el6 (x86_64) glibc-devel-2.12-1.7.el6 (x86_64) glibc-devel-2.12-1.7.el6.i686 ksh libgcc-4.4.4-13.el6 (i686) libgcc-4.4.4-13.el6 (x86_64) libstdc++-4.4.4-13.el6 (x86_64) libstdc++-4.4.4-13.el6.i686 libstdc++-devel-4.4.4-13.el6 (x86_64) libstdc++-devel-4.4.4-13.el6.i686 libaio-0.3.107-10.el6 (x86_64) libaio-0.3.107-10.el6.i686 libaio-devel-0.3.107-10.el6 (x86_64) libaio-devel-0.3.107-10.el6.i686 make-3.81-19.el6 sysstat-9.0.4-11.el6 (x86_64) 不同的OS需要的RPM可能不一样。 使用ASMLib创建ASM,需要下载ASMLib的3个包，其中oracleasm这个包要选择和OS 内核版本匹配。 1.3. RAC拓朴结构 5 / 64 三. 安装步骤: 2.1. 任务列表 任务大项 序号 任务小项名称 任务完成情况 1 确认集群节点数量，每个节点的主机名; 已完成 ? 确认每个主机的3个IP地址(区分Public、Private、VIP)2 已完成 ? 和1个SCAN IP; 前期规划 3 数据库存储技术选型(ASM/OCFS/RAW/Other); 已完成 ? 存储空间规划，包括软件安装位置、数据库文件位置规4 已完成 ? 划 1 配置主机名和3个IP地址; 已完成 ? 2 RPM包检查; 已完成 ? 3 配置磁盘分区; 已完成 ? 4 配置ASM设备; 已完成 ? 5 系统需求(OS Kernel参数、空间需求); 已完成 ? 配置节点主6 创建Oracle用户,要求每个节点UID、GID相同; 已完成 ? 机 定义Oracle用户的环境变量，包括$ORACLE_HOME;7 已完成 ? $OCR_HOME、资源数量限制; 8 配置用户等价; 已完成 ? 9 配置节点时间同步; 已完成 ? 10 配置Hangcheck-timer模块 已完成 ? 1 安装Oracle Clusterware， 已完成 ? 2 安装后进行检查; 已完成 ? 3 安装Oracle Database; 已完成 ? 4 创建ASM磁盘; 已完成 ? 安装部署 5 配置Listener; 已完成 ? 6 创建ASM; 已完成 ? 7 创建RAC数据库; 已完成 ? 8 安装后测试，Failover和Loadbalance 已完成 ? 2.2. 规划阶段 2.2.1. 集群详细信息规划 Oracle Cluster 详细信息规划 节点1 节点2 主机名 rcahadb1 rcahadb2 6 / 64 Public 双网卡绑定虚拟bond0 bond0 网卡名称 Private双网卡绑定虚拟bond1 bond1 网卡名称 网络名/Public IP rcahadb1/10.230.26.211 rcahadb1/10.230.26.212 网络名/Private IP rcahadb1-priv/192.168.1.11 rcahadb1-priv/192.168.1.12 网络名/VIP rcahadb1-vip/10.230.26.213 rcahadb1-vip/10.230.26.214 网络名/SCAN IP rcahadb-scan/10.230.26.215 说明 关于失联党员情况说明岗位说明总经理岗位说明书会计岗位说明书行政主管岗位说明书 :Private IP、VIP子网掩码:255.255.255.0、网关:10.230.26.254 2.2.2. 磁盘、存储空间规划 数据库存储选用Oracle ASM技术。 本地磁盘文件系统规划 文件系统挂接点 生产库1 生产库2 备注 / 100G 100G vg00-lv_root /boot 512M 512M /home 10G 10G vg00-lv_home /opt 10G 10G vg00-lv_opt /usr 15G 15G vg00-lv_usr /var 10G 10G vg00-lv_var [1G-2G] 则交换区=RAM * 1.5 ; /swap 32G 32G [2G-16G] = RAM; [>16G] = RAM* 0.75 /tmp 10G 10G vg00-lv_tmp /oracle 40G 40G vg00-lv_oracle /arch01 300G 两台主机分别建立自己的/arc档目 录，通过NFS访问对方/arch目录。 /arch02 300G 软件安装位置、数据库文件位置规划 共享存储 文件类别 本地文件系统 RAW ASM 文件系统 Oracle Clusterware ORACLE_BASE /oracle/app/grid - /oracle/app/11.2.0/ORACLE_HOME - grid 7 / 64 /dev/emcpowera1 - OCR、VoteDisk - /dev/emcpowera2 - - /dev/emcpowera3 - Oracle Database ORACLE_BASE /oracle/app/oracle - - /oracle/app/oracle/ORACLE_HOME - 11.2.0/db_1 Spfile - +DATA01 - Pfile、password $ORACLE_HOME/dbs - - file Controlfile - - +DATA01 - Datafile - - +DATA01 - Logfile - - +DATA01 - /arch01、 Archived Log - - - /arch02 Backup - - - /backup 2.2.3. 数据库基本信息规划 , 数据库类型:Oracle , 数据库版本:11.2.0.4, 64位 , 数据库SID:rcadb1，rcadb2 , 数据库名:rcadb , 语言:AMERICAN_AMERICA , 数据库字符集(NLS_CHARACTERSET):AL32UTF8 , 国家区域字符集(NLS_NCHAR_CHARACTERSET):AL16UTF16 2.3. 实施阶段 整个过程可分为9个步骤: 1:操作系统安装 2:主机配置 3:磁盘分区 4:安装和配置ASM 5:安装Oracle Grid 8 / 64 6:创建ASM磁盘组 7:安装Oracle Database 8:创建数据库。 2.3.1. 操作系统安装 略。 2.3.2. 主机配置 5.1.2.1. 网络配置 两个网卡配置成2.2.1节即可。然后分别在两个节点配置hosts文件。通过编辑每个节 点的/etc/hosts文件 #vi /etc/hosts 添加如下信息: #bond0 -public 10.230.26.211 rcahadb1 10.230.26.212 rcahadb2 #bond1 -private 192.168.1.11 rcahadb1-priv 192.168.1.12 rcahadb2-priv #vip 10.230.26.213 rcahadb1-vip 10.230.26.214 rcahadb2-vip # scan ip 10.230.26.215 rcahadb-scan 5.1.2.2. 修改主机名 分别在2个节点修改主机名 # vi /etc/sysconfig/network HOSTNAME=rcahadb1 重启网络服务使其生效 # service network restart 5.1.2.3. 关闭selinux和防火墙 分别在2个节点执行 [root@rcahadb1~]# vi /etc/selinux/config #把enabled改为disabled 9 / 64 [root@rcahadb1~]# chkconfig iptables off [root@rcahadb1~]# service iptables stop 关闭selinux需要重启主机，如果立即生效需要执行 [root@rcahadb1~]# setenforce 0 5.1.2.4. 安装软件包 需要安装rpm包清单 binutils-2.20.51.0.2-5.11.el6 (x86_64) compat-libcap1-1.10-1 (x86_64) compat-libstdc++-33-3.2.3-69.el6 (x86_64) compat-libstdc++-33-3.2.3-69.el6.i686 gcc-4.4.4-13.el6 (x86_64) gcc-c++-4.4.4-13.el6 (x86_64) glibc-2.12-1.7.el6 (i686) glibc-2.12-1.7.el6 (x86_64) glibc-devel-2.12-1.7.el6 (x86_64) glibc-devel-2.12-1.7.el6.i686 ksh libgcc-4.4.4-13.el6 (i686) libgcc-4.4.4-13.el6 (x86_64) libstdc++-4.4.4-13.el6 (x86_64) libstdc++-4.4.4-13.el6.i686 libstdc++-devel-4.4.4-13.el6 (x86_64) libstdc++-devel-4.4.4-13.el6.i686 libaio-0.3.107-10.el6 (x86_64) libaio-0.3.107-10.el6.i686 libaio-devel-0.3.107-10.el6 (x86_64) libaio-devel-0.3.107-10.el6.i686 make-3.81-19.el6 sysstat-9.0.4-11.el6 (x86_64) rpm包检查方法 # rpm -q package_name rpm -q --qf '%{name}-%{VERSION}-%{RELEASE} (%{ARCH})\n' \ binutils \ compat-libcap1 \ compat-libstdc++ \ gcc \ gcc-c++ \ glibc \ glibc-devel \ ksh \ 10 / 64 libgcc \ libstdc++ \ libstdc++-devel \ libaio \ libaio-devel \ make \ sysstat 5.1.2.5. 配制时间同步 在集群中的两个 Oracle RAC 节点上执行以下集群时间同步服务配置。 Oracle Clusterware 11g 第 2 版及更高版本要求在部署了 Oracle RAC 的集群的所有节点上实现时间同步。 Oracle 提供了两种方法来实现时间同步:一种方法是配置了网络时间协议 (NTP) 的操作系统;另一种方法是新的 Oracle 集群时间同步服务 (CTSS)。Oracle 集群时间同步服务 (ctssd) 旨在为那些 Oracle RAC 数据库无法访问 NTP 服务的组织提供服务。 一、NTP配置步骤 配置时间服务器同步,(本案例，采用配置的IP为时钟同步服务器地址，请结合实际情况修改实际IP) 。 为 1节点(时钟同步客户端) [root@rcahadb1 ~]# vi /etc/ntp.conf //加入如下内容 server 10.101.100.11 prefer server 10.101.100.12 driftfile /etc/ntp.drift tracefile /etc/ntp.trace 2节点(时钟同步客户端) [root@rcahadb2 ~]# vi /etc/ntp.conf //加入如下内容 server 10.101.100.11 prefer server 10.101.100.12 driftfile /etc/ntp.drift tracefile /etc/ntp.trace [root@rcahadb1 ~]# vi /etc/crontab 增加以下一行 0 6 * * * ntpdate -u 10.101.100.11 //2分钟同步一次 ----验证结果------------------ 客户端2个节点分别启动NTP服务 1节点执行: [root@rcahadb1 ~]# /etc/init.d/ntpd start 2节点执行: 11 / 64 [root@rcahadb2 ~]# /etc/init.d/ntpd start 两个服务器同步需要几分钟的时间，查看ntp服务是否在运行 [root@rcahadb1~]# ps aux |grep ntpd [root@rcahadb1 ~]# watch ntpq -p Every 2.0s: ntpq -p Wed Feb 19 19:00:42 2014 remote refid st t when poll reach delay offset jitter ============================================================================== *LOCAL(0) .LOCL. 11 l 17 64 17 0.000 0.000 0.001 当“reach”为17时，表示NTP服务已经启动完成，可以使用以下命令进行测试: [root@rcahadb1 ~]# ntpdate -d 10.101.100.11 最后一行出现以下内容为时钟同步正确配置 9 Feb 19:04:30 ntpdate[1966]: adjust time server 10.230.26.211 offset 0.000023 sec --------------------------------------------------------------------- #查看是否开机自启动 [root@rcahadb2 ~]# chkconfig --list |grep ntp [root@rcahadb2 ~]# chkconfig --level 35 ntpd on Linux下服务开机自启动配置方法 [root@rcahadb2 ~]# setup->系统服务->选择服务名称->确定 二、配置集群时间同步服务 — (CTSS) 使用集群时间同步服务在集群中提供同步服务，需要卸载网络时间协议 (NTP) 及其配 置。 要停用 NTP 服务，必须停止当前的 ntpd 服务，从初始化序列中禁用该服务，并删除 ntp.conf 文件。要在 Oracle Enterprise Linux 上完成这些步骤，以 root 用户身份在两 个 Oracle RAC 节点上运行以下命令: [root@rcahadb1 ~]# /sbin/service ntpd stop [root@rcahadb1 ~]# chkconfig ntpd off [root@rcahadb1 ~]# mv /etc/ntp.conf /etc/ntp.conf.original 还要删除以下文件: [root@racrcahadb1 ~]# rm /var/run/ntpd.pid 此文件保存了 NTP 后台程序的 pid。 当安装程序发现 NTP 协议处于非活动状态时，安装集群时间同步服务将以活动模式自 动进行安装并通过所有节点的时间。如果发现配置了 NTP，则以观察者模式启动集群时间同 12 / 64 步服务，Oracle Clusterware 不会在集群中进行活动的时间同步。 在安装后，要确认 ctssd 处于活动状态，请作为网格安装所有者 (grid) 输入以下命令: [grid@rcahadb1 ~]$ crsctl check ctss CRS-4701: 集群时间同步服务处于活动模式。 CRS-4702: 偏移量 (毫秒): 0 [grid@rcahadb2 ~]$ crsctl check ctss CRS-4701: 集群时间同步服务处于活动模式。 CRS-4702: 偏移量 (毫秒): 0 说明:Oracle 集群时间同步服务 (CTSS)配置，作者未做经过测试，仅供参考。 5.1.2.6. 创建Oracle用户和DBA组 必须保证每个节点上Oracle用户的uid和DBA用户组的GID相同,下面的命令在每个节点都要执行。 groupadd -g 501 dba groupadd -g 502 oinstall groupadd -g 503 oper groupadd -g 504 asmadmin groupadd -g 505 asmoper groupadd -g 506 asmdba useradd -g oinstall -G dba,asmdba,oper oracle useradd -g oinstall -G asmadmin,asmdba,asmoper,dba grid 修改用户密码:(oracle) passwd oracle passwd grid 5.1.2.7. 创建Oracle基目录 创建Oracle RAC所使用的目录，并修改相应的权限，在所有节点root用户执行 mkdir -p /oracle/app mkdir -p /oracle/app/oracle mkdir -p /oracle/app/oracle/11.2.0/db_1 mkdir -p /oracle/app/grid mkdir -p /oracle/app/11.2.0/grid mkdir -p /oracle/app/oraInventory chown -R oracle:oinstall /oracle chmod -R 775 /oracle chown -R oracle:oinstall /oracle/app 13 / 64 chmod -R 775 /oracle/app chown oracle:oinstall /oracle/app/oracle chmod -R 775 /oracle/app/oracle chown oracle:oinstall /oracle/app/oracle/11.2.0/db_1 chmod -R 775 /oracle/app/oracle/11.2.0/db_1 chown -R grid:oinstall /oracle/app/grid chmod -R 775 /oracle/app/grid chown -R grid:oinstall /oracle/app/11.2.0/grid chmod -R 775 /oracle/app/11.2.0/grid chown grid:oinstall /oracle/app/oraInventory chmod -R 775 /oracle/app/oraInventory 5.1.2.8. 配置Oracle用户的环境 根据用户的shell种类，编辑对应的profile文件。 , 节点1以grid用户登录， [root@rcahadb1 ~]$ su - grid [grid@rcahadb1 ~]$ vi ~/.bash_profile 把以下 内容追加到.bash_profile文件 umask 022 export TMP=/tmp export TMPDIR=/tmp export PATH=/bin:/usr/bin:/usr/local/bin:/usr/X11R/bin:/usr/sbin export ORACLE_SID=+ASM1 export ORACLE_BASE=/oracle/app/grid export ORACLE_HOME=/oracle/app/11.2.0/grid export ORACLE_HOSTNAME=rcahadb1 export ORACLE_TERM=xterm export NLS_DATE_FORMAT="YYYY-MM-DD HH24:MI:SS" export TNS_ADMIN=$ORACLE_HOME/network/admin export PATH=$ORACLE_HOME/bin:$PATH export NLS_LANG="AMERICAN_AMERICA.ZHS16GBK" export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/j lib export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib 14 / 64 export CVUQDISK_GRP=oinstall , 节点1以oracle用户登录， [root@rcahadb1 ~]$ su - oracle [oracle@rcahadb1 ~]$ vi ~/.bash_profile 把以下 内容追加到.bash_profile文件 umask 022 export TMP=/tmp export TMPDIR=$TMP export ORACLE_HOSTNAME=rcahadb1 export ORACLE_TERM=xterm export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK export ORACLE_SID=rcadb1 export ORACLE_UNQNAME=rcadb export ORACLE_BASE=/oracle/app/oracle export ORACLE_HOME=/oracle/app/oracle/11.2.0/db_1 export PATH=${PATH}:$CRS_HOME/bin:$ORACLE_HOME/bin export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin export TNS_ADMIN=$ORACLE_HOME/network/admin #export ORA_NLS10=$GRID_HOME/nls/data export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib export CLASSPATH=$ORACLE_HOME/JRE export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib export NLS_DATE_FORMAT="YYYY-MM-DD HH24:MI:SS" export THREADS_FLAG=native , 节点2以grid用户登录， [root@rcahadb2 ~]$ su - grid [grid@rcahadb2 ~]$ vi ~/.bash_profile 把以下 内容追加到.bash_profile文件 umask 022 export TMP=/tmp export TMPDIR=/tmp export PATH=/bin:/usr/bin:/usr/local/bin:/usr/X11R/bin:/sbin:/usr/sbin export ORACLE_SID=+ASM2 export ORACLE_BASE=/u01/app/grid export ORACLE_HOME=/u01/app/11.2.0/grid 15 / 64 export ORACLE_HOSTNAME=rcahadb2 export ORACLE_TERM=xterm export NLS_DATE_FORMAT="YYYY-MM-DD HH24:MI:SS" export TNS_ADMIN=$ORACLE_HOME/network/admin #export ORA_NLS11=$ORACLE_HOME/nls/data export PATH=$PATH:$ORACLE_HOME/bin export THREADS_FLAG=native export NLS_LANG="AMERICAN_AMERICA.ZHS16GBK" export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/j lib export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib:/lib:/u sr/lib:/usr/local/lib export CVUQDISK_GRP=oinstall , 节点2以oracle用户登录 [root@rcahadb2 ~]$ su - oracle [oracle@rcahadb2 ~]$ vi ~/.bash_profile 把以下 内容追加到.bash_profile文件 umask 022 export TMP=/tmp; export TMPDIR=$TMP; export ORACLE_HOSTNAME=rcahadb2 export ORACLE_TERM=xterm export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK export ORACLE_SID=rac2 export ORACLE_UNQNAME=rac export ORACLE_BASE=/u01/app/oracle export ORACLE_HOME=/u01/app/oracle/11.2.0/db_1 export PATH=${PATH}:$CRS_HOME/bin:$ORACLE_HOME/bin export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin export TNS_ADMIN=$ORACLE_HOME/network/admin #export ORA_NLS10=$GRID_HOME/nls/data export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib export CLASSPATH=$ORACLE_HOME/JRE export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib 16 / 64 export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib export NLS_DATE_FORMAT="YYYY-MM-DD HH24:MI:SS" export THREADS_FLAG=native 5.1.2.9. 设置用户资源限制 因为所有进程都是以Oracle身份运行的，需定义Oracle用户能够使用的系统资源数量。首先编辑配置文件: vi /etc/security/limits.conf 增加内容: grid soft nproc 16384 grid hard nproc 16394 grid soft nofile 65536 grid hard nofile 65536 oracle soft nofile 65536 oracle hard nofile 65536 oracle soft nproc 16384 oracle hard nproc 16384 5.1.2.10. 配置SSH用户等价(此项可不做) 在安装grid软件和oracle数据库软件时，系统会自动做SSH用户等价操作。自动做SSH用户等价操作此处不做说明。 手动配置SSH用户等价具体实施的话命令如下: , 在主节点rcahadb1上以grid,oracle用户身份生成用户的公匙和私匙 [root@rcahadb1 ~]$ ping rcahadb2 [root@rcahadb1 ~]$ ping rcahadb2-priv [root@rcahadb1 ~]$ su - grid [grid@rcahadb1 ~]$ mkdir ~/.ssh [grid@rcahadb1 ~]$ ssh-keygen -t rsa [grid@rcahadb1 ~]$ ssh-keygen -t dsa [root@rcahadb1 ~]$ su - oracle [oracle@rcahadb1 ~]$ mkdir ~/.ssh [oracle@rcahadb1 ~] ssh-keygen -t rsa [oracle@rcahadb1 ~] ssh-keygen -t dsa 17 / 64 , 在副节点rcahadb2上以grid,oracle执行相同的操作，确保通信无阻 [root@rcahadb2 ~]$ ping rcahadb1 [root@rcahadb2 ~]$ ping rcahadb1-priv [root@rcahadb2 ~]$ su - grid [grid@rcahadb2 ~]$ mkdir ~/.ssh [grid@rcahadb2 ~]$ ssh-keygen -t rsa [grid@rcahadb2 ~]$ ssh-keygen -t dsa [root@rcahadb2 ~]$ su - oracle [oracle@rcahadb2 ~]$ mkdir ~/.ssh [oracle@rcahadb2 ~]$ ssh-keygen -t rsa [oracle@rcahadb2 ~]$ ssh-keygen -t dsa , 在主节点rcahadb1上grid,oracle用户执行以下操作 [grid@rcahadb1 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys [grid@rcahadb1 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys [grid@rcahadb1 ~]$ ssh rcahadb2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys [grid@rcahadb1 ~]$ ssh rcahadb2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys [grid@rcahadb1 ~]$ scp ~/.ssh/authorized_keys rcahadb2:~/.ssh/authorized_keys [oracle@rcahadb1 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys [oracle@rcahadb1 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys [oracle@rcahadb1 ~]$ ssh rcahadb2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys [oracle@rcahadb1 ~]$ ssh rcahadb2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys [oracle@rcahadb1 ~]$ scp ~/.ssh/authorized_keys rcahadb2:~/.ssh/authorized_keys , 主节点rcahadb1上分别grid,oracle用户执行检验操作 [grid@rcahadb1 ~]$ exec /usr/bin/ssh-agent $SHELL [grid@rcahadb1 ~]$/usr/bin/ssh-add [grid@rcahadb1 ~]$ ssh rcahadb1 date [grid@rcahadb1 ~]$ ssh rcahadb2 date [grid@rcahadb1 ~]$ ssh rcahadb1-priv date [grid@rcahadb1 ~]$ ssh rcahadb2-priv date [oracle@rcahadb1 ~]$ exec /usr/bin/ssh-agent $SHELL [oracle@rcahadb1 ~]$/usr/bin/ssh-add [oracle@rcahadb1 ~]$ ssh rcahadb1 date [oracle@rcahadb1 ~]$ ssh rcahadb2 date [oracle@rcahadb1 ~]$ ssh rcahadb1-priv date [oracle@rcahadb1 ~]$ ssh rcahadb2-priv date , 在副节点rcahadb2上分别grid,oracle用户执行检验操作 [grid@rcahadb1 ~]$ exec /usr/bin/ssh-agent $SHELL 18 / 64 [grid@rcahadb1 ~]$ /usr/bin/ssh-add [grid@rcahadb1 ~]$ ssh rcahadb1 date [grid@rcahadb1 ~]$ ssh rcahadb2 date [grid@rcahadb1 ~]$ ssh rcahadb1-pri date [grid@rcahadb1 ~]$ ssh rcahadb2-pri date [oracle@rcahadb1 ~]$ exec /usr/bin/ssh-agent $SHELL [oracle@rcahadb1 ~]$ /usr/bin/ssh-add [oracle@rcahadb1 ~]$ ssh rcahadb1 date [oracle@rcahadb1 ~]$ ssh rcahadb2 date [oracle@rcahadb1 ~]$ ssh rcahadb1-pri date [oracle@rcahadb1 ~]$ ssh rcahadb2-pri date 5.1.2.11. OS Kernel配置 修改操作系统相关参数，在所有节点执行; #vi /etc/sysctl.conf 增加内容: kernel.shmmni = 4096 kernel.sem = 250 32000 100 128 fs.file-max = 6815744 net.ipv4.ip_local_port_range = 9000 65500 net.core.rmem_default = 4194304 net.core.rmem_max = 4194304 net.core.wmem_default = 4194304 net.core.wmem_max = 4194304 kernel.panic = 60 fs.aio-max-nr = 1048576 net.ipv4.tcp_syncookies = 1 生效: sysctl -p 5.1.2.12. 分区大于2T配置 [root@rcahadb1 grid]# parted /dev/emcpowerj (parted) mklabel gpt (parted) mkpart primary 0 4096000 (parted) quit 19 / 64 5.1.2.13. 多路径设备配置 1、EMC自带多路径权限配置 [root@rcahadb1] vi /etc/udev/rules.d/50-udev.rules SUBSYSTEM=="block",KERNEL=="emcpowerb",GROUP="asmadmin",OWNER="grid", MODE:="0660" SUBSYSTEM=="block",KERNEL=="emcpowerc",GROUP="asmadmin",OWNER="grid", MODE:="0660" SUBSYSTEM=="block",KERNEL=="emcpowerd",GROUP="asmadmin",OWNER="grid", MODE:="0660" SUBSYSTEM=="block",KERNEL=="emcpowere",GROUP="asmadmin",OWNER="grid", MODE:="0660" SUBSYSTEM=="block",KERNEL=="emcpowerf",GROUP="asmadmin",OWNER="grid", MODE:="0660" [root@rcahadb1] start_udev [root@rcahadb1] ll /dev/emcpower* 2、Linux自带多路径权限配置 从linux 6.4中自带的权限模板复制到udev配置文件所在目录 # cp /usr/share/doc/device-mapper-1.02.77/12-dm-permissions.rules /etc/udev/rules.d/ 在12-dm-permissions.rules中增加多路径设备权限设置 [root@rcahadb1]# vi 12-dm-permissions.rules ENV{DM_NAME}=="mpathb",OWNER:="grid",GROUP:="asmadmin",MODE:="660" ENV{DM_NAME}=="mpathc",OWNER:="grid",GROUP:="asmadmin",MODE:="660" ENV{DM_NAME}=="mpathd",OWNER:="grid",GROUP:="asmadmin",MODE:="660" ENV{DM_NAME}=="mpathe",OWNER:="grid",GROUP:="asmadmin",MODE:="660" ENV{DM_NAME}=="mpathf",OWNER:="grid",GROUP:="asmadmin",MODE:="660" 重启udev服务 [root@rcahadb1]# /sbin/start_udev 验证权限是否正确 [root@rcahadb1]# ll /dev/mapper/mpath* [root@rcahadb1]# ll /dev/dm-* 20 / 64 2.3.3. 磁盘分区 略。 2.3.4. 安装和配置ASM(此项可不做) 安装Oracle 11g，可不使用Oracle asmlib配置裸设备，故此处可用不做。 , 检查操作系统版本 确认安装与操作系统相匹配的 asmlib，在所有节点执行; [root@rcahadb1 asmlib]# uname –a [root@rcahadb1 asmlib]# lsb_release –a , 安装ASM软件包(在所有节点执行) [root@rcahadb1 asmlib]# rpm -ivh oracleasm-support-2.1.8-1.el6.x86_64.rpm [root@rcahadb1 asmlib]# rpm -ivh kmod-oracleasm-2.0.6.rh1-2.el6.x86_64.rpm [root@rcahadb1 asmlib]# rpm -ivh oracleasmlib-2.0.4-1.el6.x86_64.rpm [root@rcahadb1 asmlib]# rpm -qa |grep oracleasm , 配置ASM(在所有节点执行) [root@rcahadb1 ~]# /etc/init.d/oracleasm configure Default user to own the driver interface []: grid Default group to own the driver interface []: asmadmin Start Oracle ASM library driver on boot (y/n) [n]: y Scan for Oracle ASM disks on boot (y/n) [y]:y Writing Oracle ASM library driver configuration: done , 创建ASM磁盘(在节点1执行) 注:创建ASM磁盘之前，两节点必须同时认出共享磁盘，并用fdisk命令划分磁盘分区。 /etc/init.d/oracleasm createdisk OCR_VOTE01 /dev/emcpowera1 /etc/init.d/oracleasm createdisk OCR_VOTE02 /dev/emcpowera2 /etc/init.d/oracleasm createdisk OCR_VOTE03 /dev/emcpowera3 /etc/init.d/oracleasm createdisk data01 /dev/sdd1 /etc/init.d/oracleasm createdisk data02 /dev/sdd2 , 扫描识别ASM磁盘(在所有节点执行) /etc/init.d/oracleasm scandisks /etc/init.d/oracleasm listdisks 21 / 64 2.3.5. 安装Oracle Grid 安装Grid Infrastructure软件以grid用户登录 然后用ssh把软件包上传到rcahadb1 p13390677_112040_Linux-x86-64_3of7.zip grid用户登录解压 $ unzip p13390677_112040_Linux-x86-64_3of7.zip 登陆到grid 用户，执行安装文件，在节点1执行; 1、全面检查 ./runcluvfy.sh stage -pre crsinst -n rcahadb1,rcahadb2 -verbose 2、检查网络和等效性 ./runcluvfy.sh comp nodecon -n rcahadb1,rcahadb2 -verbose 3、安装 ./runInstaller 选择“安装和配置集群的网格基础结构”: 22 / 64 选择“高级安装” 23 / 64 选择“中文”和“英语” 填写名称 24 / 64 选择“添加”增加节点 25 / 64 忽略警告 26 / 64 27 / 64 28 / 64 29 / 64 没有配置DNS会有Task resolv.conf Integrity报错 不影响安装 直接ignore all跳过. 30 / 64 点skip,Grid安装完成。安装过程报错解决方法见第八章节。 2.3.6. 创建ASM磁盘组 以grid用户在rcahadb1节点登录 在安装Clusterware 的时候，会创建ASM 实例，但是它只创建了一个CRS 组来安装OCR 和Voting Disk。 在我们继续安装Oracle 数据库之前，我们需要创建一个DATA01的ASM 磁盘组来存放这些文件。 创建过程很简单。 运行asmca(ASM Configuration Assistant)命令就可以弹出创建窗口。 在窗口中创建完DATA01后，退出窗口即可。 在grid 用户下，执行 asmca，启动 asm 磁盘组创建向导 31 / 64 点击“创建”按钮，在弹出的创建界面中填写磁盘组名称，选择External(None)，并勾选成员，选择完毕后点击 ok; 创建 DATA01磁盘组，创建完毕后如下: 32 / 64 2.3.7. 安装Oracle Database 以oracle 用户登录到节点1 [oracle@rcahadb1 ~]$ ./runInstaller 33 / 64 34 / 64 35 / 64 36 / 64 37 / 64 38 / 64 提示需要以 root 在两个节点上执行脚本 #/oracle/app/oracle/11.2.0/db_1/root.sh Performing root user operation for Oracle 11g The following environment variables are set as: ORACLE_OWNER= oracle ORACLE_HOME= /oracle/app/oracle/11.2.0/db_1 Enter the full pathname of the local bin directory: [/usr/local/bin]: The contents of "dbhome" have not changed. No need to overwrite. The contents of "oraenv" have not changed. No need to overwrite. The contents of "coraenv" have not changed. No need to overwrite. Entries will be added to the /etc/oratab file as needed by Database Configuration Assistant when a database is created Finished running generic part of root script. Now product-specific root actions will be performed. Finished product-specific root actions. 39 / 64 2.3.8. 创建数据库 本节操作在节点1执行; 以oracle 用户登录，执行 dbca 命令 40 / 64 41 / 64 42 / 64 43 / 64 44 / 64 45 / 64 46 / 64 47 / 64 48 / 64 49 / 64 50 / 64 51 / 64 52 / 64 53 / 64 点Exit，数据库创建完成。 安装完成后，Oracle官方建议备份root.sh和spfile。 备份root.sh [oracle@rcahadb1 ~]$ cd /oracle/app/oracle/11.2.0/db_1 [oracle@rcahadb1 ~]$ cp ./root.sh ./root.bak.sh 备份spfile [oracle@rcahadb1 ~]$ cd /oracle/app/oracle/admin/rcadb/pfile/ [oracle@rcahadb1 ~]$ sqlplus / as sysdba SQL> create pfile='init.ora.bak.20150513' from spfile; 以上操作全部完成后，的crs资源状态应该如下: [grid@rcahadb1 ~]$ crs_stat -t -v Name Type R/RA F/FT Target State Host ---------------------------------------------------------------------- 54 / 64 Name Type R/RA F/FT Target State Host ---------------------------------------------------------------------- ora.DATA01.dg ora....up.type 0/5 0/ ONLINE ONLINE rcahadb1 ora....ER.lsnr ora....er.type 0/5 0/ ONLINE ONLINE rcahadb1 ora....N1.lsnr ora....er.type 0/5 0/0 ONLINE ONLINE rcahadb1 ora....VOTE.dg ora....up.type 0/5 0/ ONLINE ONLINE rcahadb1 ora.asm ora.asm.type 0/5 0/ ONLINE ONLINE rcahadb1 ora.cvu ora.cvu.type 0/5 0/0 ONLINE ONLINE rcahadb1 ora.gsd ora.gsd.type 0/5 0/ OFFLINE OFFLINE ora....network ora....rk.type 0/5 0/ ONLINE ONLINE rcahadb1 ora.oc4j ora.oc4j.type 0/1 0/2 ONLINE ONLINE rcahadb1 ora.ons ora.ons.type 0/3 0/ ONLINE ONLINE rcahadb1 ora.rcadb.db ora....se.type 0/2 0/1 ONLINE ONLINE rcahadb1 ora....SM1.asm application 0/5 0/0 ONLINE ONLINE rcahadb1 ora....B1.lsnr application 0/5 0/0 ONLINE ONLINE rcahadb1 ora....db1.gsd application 0/5 0/0 OFFLINE OFFLINE ora....db1.ons application 0/3 0/0 ONLINE ONLINE rcahadb1 ora....db1.vip ora....t1.type 0/0 0/0 ONLINE ONLINE rcahadb1 ora....SM2.asm application 0/5 0/0 ONLINE ONLINE rcahadb2 ora....B2.lsnr application 0/5 0/0 ONLINE ONLINE rcahadb2 ora....db2.gsd application 0/5 0/0 OFFLINE OFFLINE ora....db2.ons application 0/3 0/0 ONLINE ONLINE rcahadb2 ora....db2.vip ora....t1.type 0/0 0/0 ONLINE ONLINE rcahadb2 ora....ry.acfs ora....fs.type 0/5 0/ ONLINE ONLINE rcahadb1 ora.scan1.vip ora....ip.type 0/0 0/0 ONLINE ONLINE rcahadb1 四. 测试Failover 3.1. 简单测试 1、客户端连接到rcahadb上，查询连接的实例 D:\> sqlplus sys/oracle@rcadb as sysdba SQL> select instance_name from v$instance; INSTANCE_NAME ---------------- rcadb2 2、强制关闭上面session连接的实例racl2 [oracle@rcahadb2 ~]$sqlplus / as sysdba SQL> shutdown immediate 55 / 64 3、查询当前连接的实例:rcadb1 SQL> select instance_name from v$instance; INSTANCE_NAME ---------------- rcadb1 可以看到session会转移到rcadb1上了。 五. 测试负载均衡LoadBalance 设置了LOAD_BALANCE = ON之后，使用rcadb服务名连接数据库时就启动了负载均衡功能。登陆rcadb1实例，检查两个实例上的会话连接情况: SQL> SELECT INST_ID, COUNT(*) FROM GV$SESSION GROUP BY INST_ID; INST_ID COUNT(*) ---------- ---------- 1 31 2 29 可以看出基本上两个实例的负载分配权重为1:1，需要注意的是这种分配并不是简单的算术平均 SQL> SELECT INSTANCE_NAME FROM V$INSTANCE; INSTANCE_NAME ------------ rcadb1 六. RAC运行维护 5.1. Oracle Cluster正常启停 5.1.1. Oracle 11g Cluste启停 rac默认会开机自启动，如需维护时可使用以下命令: , 关闭crs: 56 / 64 crsctl stop cluster 停止本节点集群服务 crsctl stop cluster -all 停止所有节点服务 , 开启rcs crsctl start cluster 开启本节点集群服务 crsctl start cluster -all 开启所有节点服务 注:以上命令需以 root用户执行 5.1.2. Oracle 10g RAC启停顺序 5.1.2.1. 启动 Oracle RAC 10g 环境 第一步是启动节点应用程序(虚拟 IP、GSD、TNS 监听器和 ONS)。当成功启动节点应用程序后， 启动 ASM 实例。最后，启动 Oracle 实例(相关服务)以及企业管理器数据库控制台。 # /etc/init.d/init.crs start 1.root启动cluster软件 $ export ORACLE_SID=rcadb1(2) 2.设置环境变量ORACLE_SID $ srvctl start nodeapps -n rcahadb1(2) 3.启动节点应用程序(虚拟 IP、GSD、TNS 监听器和 ONS) $ srvctl start asm -n rcahadb1(2) 4.启动ASM实例 $ srvctl start instance -d rcadb -i rcadb1(2) 5.启动Oracle实例 或者第5步可以使用下面一条命令执行 $ srvctl start database -d rcadb 启动数据库所有Oracle实例(等效命令) $ srvctl start listener -n rcahadb1(2) 6.在其中一个节点执行启动监听命令，也可以用lsnrctl start来操作 $ emctl start dbconsole 7.启动EM 57 / 64 5.1.2.2. 停止 Oracle RAC 10g 环境 $ export ORACLE_SID=rcadb1 设置环境变量ORACLE_SID $ emctl stop dbconsole 1.关闭EM $ srvctl stop listener -n rcahadb1(2) 2.在其中一个节点执行关闭监听命令，也可以用lsnrctl stop来操作 $ srvctl stop instance -d rcadb -i rcadb1(2) 3.分别停止Oracle的每个实例 或者第2步可以使用下面一条命令执行 $ srvctl stop database -d rcadb 停止数据库所有Oracle实例(等效命令) $ srvctl stop asm -n rcahadb1(2) 4.关闭ASM实例 $ srvctl stop nodeapps -n rcahadb1(2) 5.关闭节点应用程序(虚拟 IP、GSD、TNS 监听器和 ONS) # /etc/init.d/init.crs stop 6.root停cluster软件 停机顺序为，先停监听->实例->服务->cluster 软件或者用 $ crs_stop -all 然后# init 0关闭服务器，或者如果重新启动#init 6 关闭电源。 5.2. Oracle Cluster开机自启动 Oracle 11g开启自动启动crs [root@rcahadb2 ~]# ./crsctl enable crs 58 / 64 Oracle 11g关闭自动启动crs [root@rcahadb2 ~]# ./crsctl disable crs Oracle 10g开启自动启动crs [root@rcahadb2 ~]# /etc/init.d/init.crs enable Oracle 10g开启自动启动crs [root@rcahadb2 ~]# /etc/init.d/init.crs disable 主机重启后，资源自动重启 # crs_stat -p AUTO_START有3个值:always，restore，never #crsctl modify resource ora.LISTENER.lsnr -attr AUTO_START=always 5.3. 检查、注册与移除CRS服务 [root@rcahadb1 ~]$ crs_stat [root@rcahadb1 ~]$ crs_register ora.ora10g.hr_org10g1.srv [root@rcahadb1 ~]$ crs_unregister ora.ora10g.hr_ora10g1.srv 5.4. 导出CRS资源配置模板 # crs_profile -template ora.ora10g.hr_ora10g1.srv 关机的序顺是:先停数据库,再停数据库的群集,再停机器 开机顺序:自动 用crs_stat –t 命令，查看所有的服务都是online 表明数据库正常。 5.5. 检查 Voting Disk [grid@rcahadb1 ~]$ crsctl query css votedisk 5.6. 检查 CRS资源组状态 11g检查资源组状态: [grid@rcahadb1 ~]$ crsctl status resource -t 59 / 64 10g检查资源组状态: [grid@rcahadb1 ~]$ crs_stat -t -v 说明:从Oracle 11g开始，使用crsctl status resource查看资源组状态，Oracle 11g继续支持 crs_stat命令，Oracle 12c已彻底废弃crs_stat命令。 5.7. 检查 ASM状态及配置 [grid@rcahadb1 ~]$ srvctl status asm [grid@rcahadb1 ~$ srvctl config asm -a 5.8. 检查 nodeapp状态及配置 [grid@rcahadb1 ~]$ srvctl status rcahadbapps [grid@rcahadb1 ~]$ srvctl config rcahadbapps -a -g -s -l 5.9. 检查 TNS的状态及配置 [grid@rcahadb1 ~]$ srvctl status listener [grid@rcahadb1 ~]$ srvctl config listener -a 5.10. 检查 VIP的状态及配置 [grid@rcahadb1 ~]$ srvctl status vip -n rcahadb1 [grid@rcahadb1 ~]$ srvctl status vip -n rcahadb2 [grid@rcahadb1 ~]$ srvctl config vip -n rcahadb1 [grid@rcahadb1 ~]$ srvctl config vip -n rcahadb2 5.11. 检查 SCAN 的状态及配置 [grid@rcahadb1 ~]$ srvctl status scan [grid@rcahadb1 ~]$ srvctl config scan 60 / 64 5.12. 检查 RAC运行状况 以grid 用户运行 [grid@rcahadb1 ~]$ crsctl check cluster 5.13. 检查 Oracle 数据库实例状态及配置 [grid@rcahadb1 ~]$ srvctl status database -d orcl [grid@rcahadb1 ~]$ srvctl config database -d orcl -a 5.14. 检查 Cluster集群节点 [grid@rcahadb1 ~]$ olsnodes 5.15. 检查 Oracle 集群注册表 (OCR) [grid@rcahadb1 ~]$ ocrcheck OCR位置:/etc/oracle/ocr.loc(Linux系统) 5.16. 手动切换 SCAN ip至其他节点 [grid@rcahadb1 ~]$ srvctl status scan [grid@rcahadb1 ~]$ srvctl status scan_listener [grid@rcahadb1 ~]$ srvctl relocate scan_listener -i 1 -n rcahadb2 [grid@rcahadb1 ~]$ srvctl config scan 5.17. 启动或停止EM管理器 [oracle@rcahadb1 ~]$ emctl start dbconsole [oracle@rcahadb1 ~]$ emctl stop dbconsole 5.18. 登录EM管理数据库 地址如下图所示: 61 / 64 七. 卸载Oracle11g RAC CRS的方法 1、在所有节点停止nodeapps srvctl stop nodeapps -n nodename 2、 kill grid进程 ps -ef|grep grid |grep -v grep |awk '{print $2}'|xargs -i kill -9 {} 3、Linux环境删除crs自动启动程序及其他 rm -rf /etc/oracle/* rm -rf /etc/init.d/init.cssd rm -rf /etc/init.d/init.crs rm -rf /etc/init.d/init.crsd rm -rf /etc/init.d/init.evmd rm -rf /etc/rc2.d/K96init.crs rm -rf /etc/rc2.d/S96init.crs rm -rf /etc/rc3.d/K96init.crs rm -rf /etc/rc3.d/S96init.crs rm -rf /etc/rc5.d/K96init.crs rm -rf /etc/rc5.d/S96init.crs rm -rf /etc/oracle/scls_scr rm -rf /etc/inittab.crs rm -rf /etc/oraInst.loc rm -rf /tmp/.oracle rm -f /etc/oracle/orc.loc 4、删除crs安装目录 rm -Rf /oracle/app/* 5、使用dd清除vote disk和ocr(裸设备) dd if=/dev/zero of=/dev/mpathbp1 bs=1024k count=1024 dd if=/dev/zero of=/dev/mpathbp2 bs=1024k count=1024 dd if=/dev/zero of=/dev/mpathbp3 bs=1024k count=1024 62 / 64 八. 问题及解决办法 7.1. 问题1、Grid安装_缺少pdksh包 Grid安装自检失败信息: Grid安装自检失败详细信息: 63 / 64 解决方法: 下载正确版本的pdksh包，并安装 [root@rcahadb2]# rpm -e ksh-20100621-19.el6.x86_64 [root@rcahadb2]# rpm -ivh pdksh-5.2.14-30.x86_64.rpm 7.2. 问题2、Grid安装_缺少cvuqdisk包 Grid安装自检失败信息: 解决方法: 下载正确版本的cvuqdisk包，并安装 [root@rcahadb2 software]# rpm -ivh cvuqdisk-1.0.9-1.rpm 7.3. 问题3、Grid安装_PRVF-5436:NTP Time Protocol 在一个或多个节点上运行的 NTP 守护程序缺少快速定向选项 "-x" 方法: /etc/sysconfig/ntpdOPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -x" 64 / 64