SC31U4+VXVM41+Oracle9I install guide

广州神州数码有限公司 Digital China Co.,Ltd 32F Xin Yuan Building No.898 TianHe north Road Guangzhou TEL  : (86-020)-38118362 EMAIL : yanxf@digitalchina.com 目 录 一、安装概述..........................................................................................................................2 1. 系统硬件配置.............................................................................................................................2 2. 系统软件配置.............................................................................................................................2 二、安装规划...........................................................................................................................2 1. 双机规划.....................................................................................................................................2 2. IP地址规划.................................................................................................................................4 3. 本地磁盘空间规划......................................................................................................................4 4. 共享磁盘空间规划......................................................................................................................5 三、安装配置系统平台............................................................................................................5 1. Solaris 9操作系统安装步骤(略) .................................................................................................5 2. 安装操作系统补丁......................................................................................................................5 3. 配置操作系统环境......................................................................................................................7 四、Sun Cluster 3.1双机软件的安装及配置...........................................................................10 1. 安装控制台软件.........................................................................................................................10 2. 安装Sun Web Console软件.....................................................................................................10 3. 安装Cluster双机软件........................................................................................................11 4. 创建Quorum设备....................................................................................................................25 5. 安装Cluster 3.1的补丁.............................................................................................................27 6. 测试基本的Cluster的运行........................................................................................................27 五、安装Volume Manager4.1卷管理软件......................................................................................27 1. 安装、配置vxvm4.1软件...........................................................................................................27 2. 封装系统盘.................................................................................................................................37 3. 调整磁盘管理参数......................................................................................................................38 4. 安装vxvm4.1的补丁..................................................................................................................41 5. 系统盘镜像.................................................................................................................................42 6. 创建和配置Oracle磁盘组..........................................................................................................43 六、Oracle 9i数据库软件的安装及配置..................................................................................45 1. Oracle 9i数据库的安装.......................................................................................................45 2. 在节点qzguoku1上的Oracle中为Cluster集群准备实例.................................................69 3. 检验Oracle软件在节点qzguoku2上的运行情况..............................................................70 七、注册资源..........................................................................................................................71 1. 注册资源类型........................................................................................ .............................71 2. 安装并注册ORACLE Data Service....................................................................................71 3. 在节点qzguoku1上创建Oracle资源和资源组..................................................................71 4. 检查Oracle在Sun Cluster中运行情况.............................................................................72 八、配置两个节点上的RSC...................................................................................................74 一、安装概述 1. 系统硬件配置 本系统双机硬件采用一台Sun Fire V490服务器和Sun Fire V880服务器（利旧），存储设备使用Sun StorEdge 3510磁盘阵列。具体配置如下： ①.Sun Fire V490服务器（Node1）： · 2个1.35GHz UltraSPARC IV处理器(16MB高速缓存) · 8GB内存 · 2x146GB FC 硬盘 · 主板上内置两个2个100/1000M 以太网接口 · 一个四口千兆网卡（X4445A） · 一个单通道光纤通道卡（SG-XPCI1FC-QF2） · DVD光驱,2个电源, Rj45 Serial, 2 USB, 6 PCI Slots,ALOM CARD ②.Sun Fire V880服务器（Node2）： · 2个1.05GHz UltraSPARC III+处理器(8MB高速缓存) · 4GB内存 · 6x73GB FC硬盘 · 主板上内置一个100M 以太网接口,一个1000M光纤接口 · 一个四口千兆网卡（X4445A） · 一个单通道光纤通道卡（SG-XPCI1FC-QF2） · DVD光驱,3个电源, DB25 Serial, 4 USB, 9 PCI Slots,RSC CARD ③.Sun StorEdge 3510磁盘阵列： · 5个146GB 10000RPM FC-AL硬盘 · 2个控制器（每个1GB Cache） · 2个电源，6个SFP 2. 系统软件配置 操作系统：Sun Solaris 9（9/05） 群集软件：Sun Cluster 3.1 Update 4 磁盘管理软件：Veritas Volume Manager 4.1 数据库：Oracle 9.2 For Sun Solaris 二、安装规划 1. 双机规划 在本系统双机 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 中，约定：两台Sun服务器组成的集群名为qzgk-sc，每台机器称为集群的一个节点（Node），两个节点名分别为qzguoku1和qzguoku2。运行在双机上的一个或多个用户进程组织在一起构成一个Resource Group。系统监视Resource Group的执行和每个节点的运行状况，在一个节点出现故障时，根据需要将在此节点上运行的Resource Group转移到另一个节点上去运行，以避免应用的长时间中断。 双机规划如下表所示。 cluster名字 qzgk-sc 节点名字 qzguoku1 (ce0:10.52.208.12) Qzguoku2(ce0:10.52.208.13) 资源组（RG） oracle-rg 磁盘组（DG） oracledg 资源（Resource） qzguoku oracledg-rs oracle_listener oracle_server 逻辑主机（LH） qzguoku 浮动IP地址 10.52.208.3 组件应用 Oracle 9.2 在正常的双机环境下，qzguoku1上运行oracle-rg，与此同时，qzguoku 2上为等待状态。当qzguoku1系统出现故障的时候，资源组内的出现故障的资源将先试图在本地机器上重新启动几次，如果在一定的时间内重新启动几次都没有成功的话，资源组将发生切换。操作系统、集群软件、磁盘管理软件、Oracle 9i软件安装在本地磁盘上，Oracle数据库的database建立在共享磁盘上。两个节点（qzguoku 1 和qzguoku 2）通过LanSwitch相连。同时，两台主机通过两条RJ45↔RJ45电缆（交叉线）相连，组成心跳。磁盘柜（Sun StorEdge 3510）通过光纤直接连接到主机的存储光纤卡上。 每台主机有4块网卡ce0、ce1、ce2、ce3，规定ce0、ce1作数据网卡，互为主备用，ce2、ce3为心跳网卡。下图是本系统的双机组网结构示意图： 心跳ce2 心跳ce3 LAN 2. IP地址规划 本系统采用SUN Cluster 3.1双机管理软件，系统需要配置两种类型的IP地址，即固定IP地址和浮动IP地址。 目前，本系统共需要11个固定IP和1个浮动IP。其中，双机的每个节点各使用5个固定IP,每台主机使用2个IP作为主备网卡的物理IP，2个IP作为主备网卡的测试IP，1个IP作为主机的管理IP，1个IP作为SE3510的管理IP。1个浮动IP供逻辑主机(qzguoku)使用。 具体IP规划如下图所示： 主机名 IP地址 1-NIC 2-NIC IPMP组 说明 qzguoku1 N/A ce0:10.52.208.12 ce1:10.52.208.13 ipmp0 Node1 qzguoku2 N/A ce0:10.52.208.14 ce1:10.52.208.15 ipmp0 Node2 qzguoku 10.52.208.3 N/A N/A N/A 逻辑主机 qzguoku1-rsc 10.52.208.17 N/A N/A N/A Node1管理地址 qzguoku2-rsc 10.52.208.18 N/A N/A N/A Node2管理地址 SE3510 10.52.208.16 N/A N/A N/A 3510管理地址 ( 说明： (1) 在SUN Cluster双机系统中，心跳IP由系统内部指定，不用规划心跳IP地址。 (2) 在实际配置过程中，ce0作为主用数据网卡，ce1作为备用数据网卡,其中每个网卡上会绑定一个IP用来做测试IP。 (3) Resource Group需要分配一个浮动的IP地址，并且与固定IP在同一网段。 3. 本地磁盘空间规划 1). 根目录 根目录的大小是不能用UNIX命令来调整的，因此应给出足够大的磁盘空间。 根文件系统的类型为UFS文件系统。 2). swap 交换区所需磁盘空间的大小，取决于主机内存的大小和预计需求内存的最大值。简而言之，就是交换区的大小加上主机内存的大小决定了可以使用的最大内存。 交换区的大小可以参照以下的原则给出：SWAP的大小一般为物理内存的1.5至2倍。 3). /globaldevices 全局设备区，由Sun Cluster使用。 系统磁盘空间规划如下表所示。 Partition Slice Name Size 含义 0 / 120000MB 根区 1 swap 16000MB 交换区 2 Overlap 140000MB 该区为整个硬盘的大小，实际显示的数字可能有所不同。 注意：不能做任何修改!!! 3 保留给VolumeManager使用 4 保留给VolumeManager使用 5 6 /globaldevices 1024MB 全局设备区（Sun Cluster使用） 7 4. 共享磁盘空间规划 磁盘阵列名称：SE3510 硬盘分布 Disk8～12 IP地址： 10.52.208.16/255.255.255.0 硬盘大小 5*146GB RAID方式 5 Hot Spare Disk12 逻辑盘/分区 大小 CH0 LUN MAP LUN0 200MB 0 LUN1 200000MB 1 LUN2 200000MB 2 三、安装配置系统平台 1. Solaris 9操作系统安装(略) 2. 安装操作系统补丁 1).安装EIS程序 将最新的EIS光盘放入CD-ROM，然后执行： #cd /cdrom/cdrom0/sun/install #sh ./setup-standard.sh 下面给出各步骤的提示操作说明： 序号安装提示操作说明 1 Is the power saving daemon to be disabled? [y/n]: y 2 Sun keyboard Power button to be disabled? [y/n]: y 3 Are the buttons & dials to be disabled? [y/n] y 4 Are remote root logins to be allowed? [y/n]: y 5 Do you wish to ENABLE the alternate break sequence? [E/n]:E 6 Do you want to install the ACT package? [y/n]: n 7 Agree to these terms? [y，n] y 8 Where should this package be installed? [/opt/SUNWexplo]: 回车 9 Company name []: qzguoku 10 Contract ID []: 回车 11 System serial number []: 回车 12 Contact name []: 回车 13 Contact email address []: 回车 14 Phone number []: 回车 15 Address （line 1) []: 回车 16 Address （line 2) []: 回车 17 City []: 回车 18 State []: 回车 19 Zip []: 回车 20 Country [CN]: 回车 21 Please Enter the two character Country code or enter ? 选 3 22 Please Enter the two character Country code or enter ? for a list of countries.[]:CN 23 at the completion of explorer when -mail or -e is specified?[y，n]n 24 To enter multiple addresses， seperate them with a comm[]:回车 25 Return address for explorer email output []: 回车 26 Are these values okay? [y，n] y 27 Do you wish to run explorer once a week? [y，n] n 28 Would you like to do this now? [y，n] y 29 Do you want this directory created now [y，n，?，q] y 30 Do you want to continue with the installation of [y，n，?] y 到此 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 补丁安装完毕.执行下行命令，更新当前环境. # . /.profile 2).安装Solaris 9推荐补丁和扩展补丁 # cd /cdrom/cdrom0/sun/patch/9 # unpack-patches 按照系统提示，到相应目录下运行补丁安装脚本，如: # cd /tmp/9 # ./install_all_patches 重启系统 # sync # sync # reboot 3).安装SAN软件及补丁 # cd /cdrom/cdrom0/sun/progs/SAN 拷贝安装包到临时目录。 # cp SFS_base_packages.S9.tar.gz /tmp # cd /tmp 解开安装包。 # gzip -d SFS_base_packages.S9.tar.gz |tar xf - 安装软件包 # cd SFS_base_packages.S9 # pkgadd -d . 下面是交互的安装过程，需要选择的参数如下： Select package(s) you wish to process (or 'all' to process all packages). (default: all) [?,??,q]: all 安装完成后选择“q”,退出安装。 # cd /cdrom/cdrom0/sun/patch/SAN # unpack-patches Are you ready to unpack patches into /tmp/SAN? [y/n]: y # cd /tmp/SAN # ./install_patches Are you ready to continue with install? [y/n]: y # cd cdrom/cdrom0/sun/patch/SAN/9 # unpack-patches Are you ready to unpack patches into /tmp/9? [y/n]: y Target for unpacking patches /tmp/9 exists! May I delete /tmp/9? [y/n] y # cd /tmp/9 # ./install_patches Are you ready to continue with install? [y/n]: y 3. 配置操作系统环境 1). 配置网络环境 ① 缺省情况下,系统使用本机的MAC地址作为各网卡的MAC地址,可以用如下OpenBoot命令让系统使用网卡自带的MAC地址。因此双机都应做此设置。 ok setenv local-mac-address? true ② 使用vi编辑器修改hosts文件，在/etc/hosts文件中，增加双机中另一节点的机器名和IP地址，以方便双机之间的访问。 在qzguoku1的hosts文件中增加行： # vi /etc/hosts 127.0.0.1 localhost 10.52.208.12 qzguoku1 loghost 10.52.208.33 ce0test 10.52.208.13 ce1data 10.52.208.34 ce1test 10.52.208.14 qzguoku2 10.52.208.3 qzguoku 10.52.208.16 SE3510 10.52.208.17 qzguoku1-rsc 10.52.208.18 qzguoku2-rsc 在qzguoku2的hosts文件中增加行： # vi /etc/hosts 127.0.0.1 localhost 10.52.208.14 qzguoku2 loghost 10.52.208.41 ce0test 10.52.208.15 ce1data 10.52.208.42 ce1test 10.52.208.12 qzguoku1 10.52.208.3 qzguoku 10.52.208.16 SE3510 10.52.208.17 qzguoku1-rsc 10.52.208.18 qzguoku2-rsc ③ 配置双机，允许root用户通过ftp登录 使用vi编辑器修改/etc/ftpd/ftpusers文件，注释掉root所在行，否则root用户无法通过ftp登录。 ④ 编辑主备双机上root用户的.rhosts文件。 使用root用户创建并修改两台机器上的/.rhosts文件，并且要求双机两个节点上的文件内容一致。 # touch /.rhosts # vi /.rhosts 在此文件中添加一个”+”号，建立双机互信关系。 2). 主备双机系统优化设置 ① 创建/etc/notrouter文件 # touch /etc/notrouter ② 修改文件/etc/rc2.d/S88sendmail的文件名为s88sendmail # /etc/rc2.d/S88sendmail stop # mv /etc/rc2.d/S88sendmail /etc/rc2.d/s88sendmail ③ 使用vi编辑器修改/etc/vfstab文件，将/、/globaldevices的mount options栏(最后一栏)由 “-”改为”logging”。 # vi /etc/vfstab #device device mount FS fsck mount mount #to mount to fsck point type pass at boot options # fd - /dev/fd fd - no - /proc - /proc proc - no - /dev/dsk/c1t0d0s1 - - swap - no - /dev/dsk/c1t0d0s0 /dev/rdsk/c1t0d0s0 / ufs 1 no logging /dev/dsk/c1t0d0s6 /dev/rdsk/c1t0d0s6 /globaldevices 1 no logging swap - /tmp tmpfs - yes - ④ 使用vi编辑器修改/etc/default/kbd，将“#KEYBOARD_ABORT=disable”前面的注释符去掉，即删除”#”符。 # vi /etc/default/kbd 将以下行： #KEYBOARD_ABORT=disable 修改为： KEYBOARD_ABORT=disable 去掉这一行前面的注释符，即删除”#”字符。 ⑤ 修改/etc/system文件，添加下面参数： set ce:ce_reclaim_pending=1 set ce:ce_taskq_disable=1 3). 配置主备双机的IPMP 对外公布的IP地址为：10.52.208.3 双机中每台主机有4块网卡ce0、ce1、ce2、ce3，规定ce0、ce1作数据网卡，互为主备用。两个网卡的逻辑组名要求一致，这里组名是ipmp0。  当ce0链路出现问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 时，ce1自动生成一个ce1:1的逻辑网卡，其IP地址为ce0的IP地址,当ce0恢复正常后，ce1:1 自动撤消，ce0仍然使用原来的IP地址。同理，当ce1链路出现问题时，ce0:1接替ce1工作，保证了网络使用的可靠性。  注意，该处的所有的IP地址要求处于同一网段,）  ① 在主机qzguoku1上使用vi编辑器编辑/etc/hostname.ce0和/etc/hostname.ce1两个文件，具体操作如下： # vi /etc/hostname.ce0 qzguoku1 group ipmp0 up \ addif ce0test -failover deprecated up # vi /etc/hostname.ce1 ce1data group ipmp0 up \ addif ce1test -failover deprecated up ② 在主机qzguoku2上使用vi编辑器编辑/etc/hostname.ce0和/etc/hostname.ce1两个文件，具体操作如下： # vi /etc/hostname.ce0 qzguoku2 group ipmp0 up \ addif ce0test -failover deprecated up # vi /etc/hostname.ce1 ce1data group ipmp0 up \ addif ce1test -failover deprecated up ③ 在双机上使用vi编辑器修改/kernel/drv/scsi_vhci.conf文件，具体操作步骤如下： # vi /kernel/drv/scsi_vhci.conf 将以下行： mpxio-disable="yes" 修改为： mpxio-disable="no" 4). 同步双机时钟 双机相互信任关系建立完成后，需要对双机进行时钟同步校正，以保证双机时钟同步。具体步骤如下： 查看当前主机时钟。在校正前，必须保证作为校正标准的主机系统时钟和实际时间一致。相关命令如下（在主机qzguoku1上执行）： # date 修改主机时钟。如果主机时间和实际时间不一致，必须以root用户登录，修改主机时间，相关命令如下（在主机qzguoku1上执行）： # date mmddHHMMCCYY 注意： (1) date命令格式说明：mm（月）dd（日）HH（小时/24时制）MM（分钟）CC（世纪减一，如21世纪则为20）YY（年），即CCYY为四位表示的年份；以上数字均为两位数，不足两位前面补零。如“date 122014302001”表示将时间调整为2001年12月20日14时30分。 (2) 此命令平时尽量不用，系统时间变化可能带来不可预料的问题。 同步双机时钟。当修改主机系统时间和实际时间一致后，就可以用主机时钟来同步备机时钟，相关命令如下（在备机qzguoku2上执行）： # rdate qzguoku1 四、Sun Cluster 3.1双机软件的安装及配置 SUN Cluster是一个提供高可用性应用的软件。在SUN Cluster中，两台SUN服务器用网络组织起来组成一个群组（Cluster），每台机器称为群组的一个节点（Node）。运行在双机上的一个或多个用户进程组织在一起构成一个Data Service。SUN Cluster监视着Data Service的运行和每个节点的运行状况，在一个节点出现故障时，根据需要将在此节点上运行的Data Service转移到另一个节点上去运行，避免应用的长时间中断。 1. 安装控制台软件 (在所有管理节点) ① 检查并编辑/etc/nsswitch.conf文件如下： # vi /etc/nsswitch.conf hosts: files ② 将Cluster安装光盘放入光驱中，以root用户登录，将Cluster软件拷贝本地硬盘，进入相应目录。 # cd /sc31u4/Solaris_sparc/Product/sun_cluster/Solaris_9/Packages # pkgadd -d . SUNWccon ③ 执行下面命令使其环境变量生效（EIS装后默认这些变量设置的）: # . /.profile ④ 使用vi编辑器编辑/etc/clusters文件如下： qzgk-sc qzguoku1 qzguoku2 ⑤ 运行控制台软件 # ccp qzgk-sc & 2. 安装Sun Web Console软件(在所有管理节点) Sun Cluster 3.1 U4的安装在执行scinstall前必须先安装Sun Web Console才行，不然在scinstall执行到“Software Package Installation”时会报错： Sun Web Console is not currently installed. Please refer to the documentation for installation instructions. The Java Dynamic Management Kit is not currently installed. Please refer to the documentation for installation instructions. The Common Agent Container is not currently installed. Please refer to the documentation for installation instructions. scinstall: scinstall did NOT complete successfully! # cd /sc31u4/Solaris_sparc/Product/sun_cluster # ./installer –nodisplay (过程省略，很简单，我用的是图形界面安装，即没有后面的-nodisplay) 这个过程也会将cluster软件包安装进系统。 3. 安装Cluster双机软件 1) 在节点qzuoku1上安装Cluster软件 ① 在cconsole窗口，用root用户登陆节点qzguoku1，进入相应目录： # cd /sc31u4/Solaris_sparc/Product/sun_cluster/Solaris_9/Tools ② 运行scinstall进行Sun Cluster相关软件的安装和设置，安装命令如下： # ./scinstall ③ 下面是交互的安装过程，需要选择的参数如下： *** Main Menu *** Please select from one of the following (*) options: * 1) Install a cluster or cluster node 2) Configure a cluster to be JumpStarted from this install server 3) Add support for new data services to this cluster node 4) Upgrade this cluster node 5) Print release information for this cluster node * ?) Help with menu options * q) Quit Option: 1 *** Install Menu *** Please select from any one of the following options: 1) Install all nodes of a new cluster 2) Install just this machine as the first node of a new cluster 3) Add this machine as a node in an existing cluster ?) Help with menu options q) Return to the Main Menu Option: 2 *** Installing just the First Node of a New Cluster *** This option is used to establish a new cluster using this machine as the first node in that cluster. Once the cluster framework software is installed, you will be asked for the name of the cluster. Then, you will have the opportunity to run sccheck(1M) to test this machine for basic Sun Cluster pre-configuration requirements. After sccheck(1M) passes, you will be asked for the names of the other nodes which will initially be joining that cluster. Unless this is a single-node cluster, you will be also be asked to provide certain cluster transport configuration information. Press Control-d at any time to return to the Main Menu. Do you want to continue (yes/no) [yes]? [Enter] >>> Type of Installation <<< There are two options for proceeding with cluster installation. For most clusters, a Typical installation is recommended. However, you might need to select the Custom option if not all of the Typical defaults can be applied to your cluster. For more information about the differences between the Typical and Custom installation methods, select the Help option from the menu. Please select from one of the following options: 1) Typical 2) Custom ?) Help q) Return to the Main Menu Option [1]: 2 >>> Software Patch Installation <<< If there are any Solaris or Sun Cluster patches that need to be added as part of this Sun Cluster installation, scinstall can add them for you. All patches that need to be added must first be downloaded into a common patch directory. Patches can be downloaded into the patch directory either as individual patches or as patches grouped together into one or more tar, jar, or zip files. If a patch list file is provided in the patch directory, only those patches listed in the patch list file are installed. Otherwise, all patches found in the directory will be installed. Refer to the patchadd(1M) man page for more information regarding patch list files. Do you want scinstall to install patches for you (yes/no) [yes]? no >>> Cluster Name <<< Each cluster has a name assigned to it. The name can be made up of any characters other than whitespace. Each cluster name should be unique within the namespace of your enterprise. What is the name of the cluster you want to establish []? qzgk-sc >>> Check <<< This step allows you to run sccheck(1M) to verify that certain basic hardware and software pre-configuration requirements have been met. If sccheck(1M) detects potential problems with configuring this machine as a cluster node, a report of failed checks is prepared and available for display on the screen. Data gathering and report generation can take several minutes, depending on system configuration. Do you want to run sccheck (yes/no) [yes]? no >>> Cluster Nodes <<< This Sun Cluster release supports a total of up to 16 nodes. Please list the names of the other nodes planned for the initial cluster configuration. List one node name per line. When finished, type Control-D: Node name: qzguoku1 Node name: qzguoku2 Node name (Control-D to finish): ^D This is the complete list of nodes: qzguoku1 qzguoku2 Is it correct (yes/no) [yes]? [Enter] >>> Authenticating Requests to Add Nodes <<< Once the first node establishes itself as a single node cluster, other nodes attempting to add themselves to the cluster configuration must be found on the list of nodes you just provided. You can modify this list using scconf(1M) or other tools once the cluster has been established. By default, nodes are not securely authen