Intel Hadoop管理节点搭建(基于RedHat)

Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 Intel Hadoop2.3 管理节点搭建(基于 RedHat) 版本信息 作者 创作内容 Ver. 20130522 韩小姣 Intel hadoop 集群安装配置过程 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 目录 1. 环境安装 .................................................................................................... 4 1.1. 操作系统安装................................................................................. 4 1.2. 安装前准备 .................................................................................... 4 1.3 安装环境确认 ....................................................................................... 5 2. 配置 Hadoop Manager ............................................................................... 7 2.1. 解压 Intel Hadoop 的文件包。 ....................................................... 7 2.2. 执行安装 Intel hadoop ................................................................... 8 2.3. 进入登录管理员界面 .................................................................... 17 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 DEMO 环境 操作系统： Red Hat Enterprice Linux 6.3 应用软件： intelhadoop-2.3-B12961-zh.el6.x86_64.tar rhel-server-6.3-x86_64-dvd 测试工具： 无 数 据 库： 无 系统结构图： 注：1、红色的 Hadoop01,Hadoop02为初始搭建集群时除 Hadoop Manager以外添加的节点。绿色 的 Hadoop03为成功搭建集群以后新添加入的节点。 2、intel Hadoop安装版本只能在 64位支持的 Linux操作系统上执行安装，且必须是 ROOT用 户下。 网络配置： Hostname 系统结构图 对应名称 IP 地址 HadoopManager Cluster management eth0: 192.168.81.168 Hadoop-01 Storage Node eth0: 192.168.81.169 Hadoop-02 Storage Node eth0: 192.168.81.170 Hadoop-03 Storage Node eth0: 192.168.81.171 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 环境安装 1.1. 操作系统安装 参见 Red Hat 安装管理过程 1.2. 安装前准备 第一步 Hostname 系统结构图 对应名称 用户 执行命令 Hadoop Manager Cluster management root vi /etc/hosts 结果[ ] 注：将集群内所有节点的 IPv4 地址（包括管理节点），以及 hostname 添加到 hosts 文 件内。保存并退出。 Hadoop01 Storage Node root vi /etc/hosts 结果[ ] 注：将集群内所有节点的 IPv4 地址（包括管理节点），以及 hostname 添加到 hosts 文 件内。保存并退出。 Hadoop02 Storage Node root vi /etc/hosts 结果[ ] 注：将集群内所有节点的 IPv4 地址（包括管理节点），以及 hostname 添加到 hosts 文 件内。保存并退出。 Hadoop03 Storage Node root vi /etc/hosts Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 Hostname 系统结构图 对应名称 用户 执行命令 结果[ ] 注：将集群内所有节点的 IPv4 地址（包括管理节点），以及 hostname 添加到 hosts 文 件内。保存并退出。 注：此处也可以只配置管理节点的 hosts 文件内。将所有的节点的 IP 与 Hostname,配置到 hosts 文件内。 第二步 将相应的 Intel Hadoop 安装包上传至管理节点，并备好所装系统的系统盘。（若使用系统镜像，需 将所装系统的系统镜像同时上传至管理节点） 1.3. 安装环境确认 Hostname 系统结构图 对应名称 用户 执行命令 Hadoop Manager Cluster management root cat /etc/hosts 结果[ ] Hadoop01 Storage Node root cat /etc/hosts 结果[ ] Hadoop02 Storage Node root cat /etc/hosts Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 Hostname 系统结构图 对应名称 用户 执行命令 结果[ ] Hadoop03 Storage Node root cat /etc/hosts 结果[ ] Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 配置 Hadoop Manager 1.4. 解压 Intel Hadoop 的文件包。 （1）找到 Intel Hadoop文件包存放的位置。执行一下代码 （2）解压完成后，查看该目录 （3）进入 intelhadoop文件夹，并查看里面内容 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 1.5. 执行安装 Intel hadoop (1) 执行“./install”出现以下界面 检查时间、日期和时区。如果这些信息是正确的，选择yes继续。 (2) 选择“Yes”出现以下界面 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 这里选择“Accept”接受许可 注意：此处 Hostname 与 FQDN 必须完全相同。否则不能继续执行安装 。当不同时，需要自改配 置文件。这里强调，如果在管理节点（本机）的 hosts 文件内不添加管理节点的 IP 以及 hostname 之间的映射 会出现以下界面。 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 执行””退出安装。 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 (3) 承接第（2）步，选择“Yes”出现以下界面 开始部署 Intel® Manager for Apache Hadoop (4) 执行“”出现以下界面 确认绑定的网络接口 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 (5) 选择“Yes”出现以下界面 安装英特尔® Hadoop发行版和进行集群管理需要配置Linux OS Package资源库，选择是否清理 节点上已存在的条目。 (6) 选择“Yes”出现以下界面 注： Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 安装英特尔® Hadoop发行版和进行集群管理需要一个Linux系统的软件包资源库。可以选择在本地主机 上创建一个资源库，或使用一个存在的资源库。如果您选择在本地主机上创建，您则需要一个Linux系 统的安装DVD光盘或者ISO文件来创建资源库。如果您选择使用一个存在的资源库，须要输入已存在 Linux系统资源库的URL。 (7) 这里我们使用系统镜像重新创建资源库。选择“Create new repository” 注：使用光盘创建资源库时选择，使用镜像创建资源库时选择 (8) 选择 出现以下界面 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 (9) 找到镜像后执行 待 Copy完成后出现以下界面 (10) 执行 在创建资源包时若需要其他的 DVD文件或者 ISO文件选择，不需要 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 (11) 选择重新选择。 选择 出现以下界面，清理缓存。 (12) 执行出现以下界面，安装 RPMs. Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 (13) 执行出现以下界面 (14) 执行出现以下界面 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 (15) 执行出现以下界面 (16) 看见此界面，说明您已经成功安装 Intel Hadoop.执行结束安装 1.6. 进入登录管理员界面 打开管理员节点上的浏览器，输入 https://HadoopManager:9443或者 https://192.168.81.147:9443（管理节点的 IP）。回车出现以下界面。 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 点击“ ”添加例外 确认安全例外 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 进入管理员登陆界面。 Intel hadoop 集群管理节点搭建手册(基于 RedHat) Intel Hadoop 群号 275480829 本作品由 上海势优信息技术有限公司“优势开源”团队创作， 采用知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可。 作者简介 作者 版本更新 作者简介 韩小姣 [原创] Ver. 20130522 上海势优信息技术有限公司 Hadoop爱好者。 E-Mail: hanxiaojiao@focus-soft.com / hanxiaojiao12@gmail.com。