云存储技术实训手册

第一部分　Linux相关配置及操作 7实习单元1　Linux相关配置及操作 71.1　实习说明 71.2　SUDO用户组配置 81.3　优盘的使用 81.4　光盘的使用 101.5　远程文件传输 131.6　 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 和思考 13第二部分　伪分布模式平台搭建 14实习单元2　JDK的安装 152.1　实习说明 152.2　实习 规划 污水管网监理规划下载职业规划大学生职业规划个人职业规划职业规划论文 152.3　操作步骤 162.4　总结和思考 17实习单元3　Zookeeper的安装 183.1　实习说明 183.2　实习规划 183.3　操作步骤 193.4　总结和思考 21实习单元4　Hadoop的安装 224.1　实习说明 224.2　实习规划 224.3　操作步骤 234.4　总结和思考 27实习单元5　HBase的安装 285.1　实习说明 285.2　实习规划 285.3　操作步骤 295.4　总结和思考 31第一部分　Linux相关配置及操作实习单元1　Linux相关配置及操作1.1　实习说明1.1.1　实习目的※　掌握海量存储平台搭建过程中会使用到的一些Linux相关基本配置和操作1.1.2　实习项目※　Linux系统中SUDO用户组的配置※　Linux系统中优盘和光盘的使用※　Linux系统中远程传输文件1.1.3　实习要求※　完成SUDU用户组的配置，使指定非root用户能够使用磁盘的挂载和卸载命令※　能够正确的挂载和卸载优盘和光盘，并从中拷贝数据※　能够使用远程拷贝命令将文件或目录传输给远端主机1.1.4　实习时长※　1课时1.1.5　实习条件※　一台独立PC机或虚拟机※　内存1G以上※　已安装CentOS7.2操作系统1.1.6　设备分配※　每人一台独立PC机或虚拟机1.2　SUDO用户组配置★该项的所有操作步骤需要使用root用户进行。1.2.1　SUDO用户组配置1使用命令“visudo”对配置文件“/etc/sudoers”进行编辑，操作与vi编辑器内操作相同，找到配置项“root　ALL=(ALL)　ALL”所在行，并在其下面一行添加如下内容：admin　ALL=(root)　/bin/mount,/bin/umount·第一列指定需要加入到SUDO用户组的用户的用户名·第二列指定所具备的权限和用户身份·第三列指定所能使用的命令，需要书写命令在系统中的全路径·2编辑完成后保存并退出编辑器，作与vi编辑器内操作相同，编辑器会自动检查配置文件语法格式是否正确，若出现错误提示信息则配置成功。1.3　优盘的使用1.3.1　Linux系统中的优盘优盘在系统中的设备文件同硬盘的设备文件一样，都是以“sd”开头，并根据当前系统中已有的磁盘数量依次进行编号。举例来说，如果只有一个硬盘，则对应的系统硬件文件为“sda”，此时插入的优盘对应的系统硬件文件为“sdb”，而如果有两个硬盘，则分别对应系统硬件文件“sda”和“sdb”，此时插入的优盘对应的系统硬件文件为“sdc”，依此类推，这里以只有一个硬盘的情况为例。而能够进行挂载并使用的需要是具体磁盘分区的设备文件，即文件名为“sdb*”的文件，这里的“*”表示分区编号，按照分区数量从1开始顺序编号，这里以只有一个分区的优盘为例，其设备文件为“sdb1”，该文件位于目录“/dev”下。1.3.2　优盘的挂载和使用1使用命令“mkdir　~/usb”在当前用户的家目录下创建用于挂载优盘的文件夹“usb”，该文件夹的名称可自定义。23挂载硬件设备的命令只有root权限用户或sudo组用户才能使用，可以使用以下两种方式对优盘进行挂载：·方法一：A）使用命令“su　-　root”将当前登录用户及控制台环境切换到root用户，此时会提示输入root用户的密码，输入正确的密码之后会登录到root用户。B）之后使用命令“mount　-r　/dev/sdb1　/home/用户家目录/usb”将优盘挂载到用户家目录的对应文件夹下，其中“-r”选项表示将其挂载为只读模式。C）D）挂载完成后使用命令“logout”退出root用户，返回到之前的用户。·方法二：A）使用命令“sudo　mount　-r　/dev/sdb1　~/usb”将优盘挂载到当前用户家目录的对应文件夹下，其中“-r”选项表示将其挂载为只读模式，使用该命令时有可能会提示输入当前用户的密码，输入正确的密码之后命令便会执行完成。B）使用该命令前需要在系统中对sudo用户组进行配置，相关配置方法详见相关内容。4挂载完成后使用命令“ls　-l　~/usb”或“ll　~/usb”可以浏览优盘中的文件内容。5使用命令“cp　-r　~/usb/源文件或目录　目标目录路径”可以将优盘中需要的文件拷贝至想要存放的目录中。1.3.3　优盘的卸载1挂载的硬件设备使用完之后，需要对其进行卸载，卸载之前挂载目录必须是未被使用状态，即不能在进行拷贝等操作，同时也不能有用户的工作目录处于挂载目录，可以使用命令“cd”将当前用户的工作目录切换到其家目录。2卸载设备的的命令只有root权限用户或sudo组用户才能使用，可以使用以下两种方式对已挂载的U盘进行卸载：·方法一：A）使用命令“su　-　root”将当前登录用户及控制台环境切换到root用户，此时会提示输入root用户的密码，输入正确的密码之后会登录到root用户。B）之后使用命令“umount　/dev/sdb1”或“umount　/home/用户家目录/usb”将已挂载的优盘进行卸载。C）卸载完成后使用命令“logout”退出root用户，返回到之前的用户。·方法二：A）使用命令“sudo　umount　/dev/sdb1”或“sudo　umount　~/usb”将已挂载的优盘进行卸载，使用该命令时有可能会提示输入当前用户的密码，输入正确的密码之后命令便会执行完成。B）使用该命令前需要在系统中对sudo用户组进行配置，相关配置方法详见相关内容。1.4　光盘的使用1.4.1　Linux系统中的光盘读取光盘的硬件光驱在系统中的设备文件为“sr0”，其有一个对应的链接文件“cdrom”，两者都位于目录“/dev”下。1.4.2　光盘的挂载和使用1使用命令“mkdir　~/cdrom”在当前用户的家目录下创建用于挂载光盘的文件夹“cdrom”，该文件夹的名称可自定义。2挂载硬件设备的命令只有root权限用户或sudo组用户才能使用，可以使用以下两种方式对光盘进行挂载：·方法一：A）使用命令“su　-　root”将当前登录用户及控制台环境切换到root用户，此时会提示输入root用户的密码，输入正确的密码之后会登录到root用户。B）C）之后使用命令“mount　-r　/dev/cdrom　/home/用户家目录/cdrom”将光盘挂载到用户家目录的对应文件夹下，其中“-r”选项表示将其挂载为只读模式。D）挂载完成后使用命令“logout”退出root用户，返回到之前的用户。·方法二：A）使用命令“sudo　mount　-r　/dev/cdrom　~/cdrom”将光盘挂载到当前用户家目录的对应文件夹下，其中“-r”选项表示将其挂载为只读模式，使用该命令时有可能会提示输入当前用户的密码，输入正确的密码之后命令便会执行完成。B）使用该命令前需要在系统中对sudo用户组进行配置，相关配置方法详见相关内容。3挂载完成后使用命令“ls　-l　~/cdrom”或“ll　~/cdrom”可以浏览光盘中的文件内容。4使用命令“cp　-r　~/cdrom/源文件或目录　目标目录路径”可以将光盘中需要的文件拷贝至想要存放的目录中。1.4.3　光盘的卸载1挂载的硬件设备使用完之后，需要对其进行卸载，卸载之前挂载目录必须是未被使用状态，即不能在进行拷贝等操作，同时也不能有用户的工作目录处于挂载目录，可以使用命令“cd”将当前用户的工作目录切换到其家目录2卸载设备的的命令只有root权限用户或sudo组用户才能使用，可以使用以下两种方式对已挂载的光盘进行卸载：·方法一：A）使用命令“su　-　root”将当前登录用户及控制台环境切换到root用户，此时会提示输入root用户的密码，输入正确的密码之后会登录到root用户。B）之后使用命令“umount　/dev/cdrom”或“umount　/home/用户家目录/cdrom”将已挂载的光盘进行卸载。C）卸载完成后使用命令“logout”退出root用户，返回到之前的用户。·方法二：A）使用命令“sudo　umount　/dev/cdrom”或“sudo　umount　~/cdrom”将已挂载的光盘进行卸载，使用该命令时有可能会提示输入当前用户的密码，输入正确的密码之后命令便会执行完成。B）使用该命令前需要在系统中对sudo用户组进行配置，相关配置方法详见相关内容。1.5　远程文件传输1.5.1　远程文件传输1使用命令“scp　-r　源文件或目录路径　目标用户@目标主机名或地址:/目标路径”可以将指定文件或目录拷贝到通过网络连接的其它远端目标主机的指定用户目录。2拷贝过程中若是第一次连接目标主机，会提示是否连接到目标主机，此时输入“yes”后按回车键。3若没有配置过到目标主机的目标用户的免密码登录，会提示输入目标主机的目标用户的登录密码，正确输入密码之后会开始执行拷贝，拷贝完成后自动退出命令的执行过程。1.6　总结和思考1.6.1　思考题1为什么海量存储平台搭建过程中要使用到远程文件传输？有什么好处？请举例说明。2操作过程中遇到了哪些问题？记录下问题的现象、产生原因、解决方法。第二部分　伪分布模式平台搭建实习单元2　JDK的安装2.1　实习说明2.1.1　实习目的※　掌握Linux系统中JDK的安装2.1.2　实习项目※　Linux系统中JDK的安装和验证2.1.3　实习要求※　在Linux系统中完成JDK的安装※　JDK相关命令能够正常使用2.1.4　实习时长※　2课时2.1.5　实习条件※　一台独立PC机或虚拟机※　内存1G以上，磁盘剩余空间500M以上※　已安装CentOS7.2操作系统2.2　实习规划2.2.1　设备分配※　每人一台独立PC机或虚拟机2.2.2　软件版本※　选用JDK8的131版本，软件包名jdk-8u131-linux-x64.tar.gz2.3　操作步骤2.3.1　卸载原有JDK★该项的所有操作步骤需要使用root用户进行。1分别使用命令“rpm　-qa　|　grep　java”和“rpm　-qa　|　grep　jdk”搜索当前系统中所有已经安装的JDK及相关软件包。2使用命令“rpm　-e　软件包名”依次删除所有搜索到的当前系统中已经安装的JDK及相关软件包。3若软件包因为存在依赖关系导致使用上面的命令无法进行删除，可以使用命令“yum　remove　软件名”进行删除，这里只需要输入软件包前面部分的软件名即可，不需要输入完整的软件包名，删除过程中会提示是否同时删除与当前软件相关联的存在依赖关系软件包，输入“y”然后按回车键即可。2.3.2　安装配置JDK1JDK软件包“jdk-8u131-linux-x64.tar.gz”存放于用户家目录的“setups”目录下，该目录为事先自行创建并将实训相关软件包从优盘拷贝至该目录下。23使用命令“mkdir　~/java”在家目录下创建用于存放JDK相关文件的目录，并使用命令“cd　~/java”进入该目录。4使用命令“tar　-xzf　~/setups/jdk-8u131-linux-x64.tar.gz”将软件包解压解包到“java”目录下，解压解包出来的目录名称为“jdk1.8.0_131”。56配置JDK相关的环境变量，需要修改用户的配置文件“.bash_profile”，该文件位于用户家目录下，是隐藏文件，使用命令“vi　~/.bash_profile”对配置文件进行修改，在文件末尾添加以下内容：7#javaenvironmentJAVA_HOME=/home/用户家目录/java/jdk1.8.0_131（该路径以JDK软件包实际解压解包的路径为准）CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarPATH=$JAVA_HOME/bin:$PATH（保证此项输入正确，否则可能会导致所有命令无法使用）export　JAVA_HOME　CLASSPATH　PATH（必须按照前面的定义顺序书写）8使用命令“source　~/.bash_profile”使新配置的环境变量立即生效。9使用命令“echo　$JAVA_HOME”、“echo　$CLASSPATH”、“echo　$PATH”查看新添加和修改的环境变量是否设置成功，以及环境变量的值是否正确。10使用命令“java”、“javac”、“java　-version”、“javac　-version”验证JDK的安装配置是否成功。2.4　总结和思考2.4.1　思考题3如果不删除操作系统中原有的JDK及相关软件直接安装配置新的JDK，新配置的JDK是否可以正常使用？可能产生哪些问题？4不可以，会产生冲突5安装配置过程中遇到了哪些问题？记录下问题的现象、产生原因、解决方法。实习单元3　Zookeeper的安装3.1　实习说明3.1.1　实习目的※　掌握伪分布模式的整合平台中Zookeeper的伪分布模式的安装3.1.2　实习项目※　Zookeeper的伪分布模式的安装和验证3.1.3　实习要求※　完成Zookeeper的伪分布模式的安装※　Zookeeper服务能够正常启动和连接※　Zookeeper控制台能够正常进入※　Zookeeper控制台命令能够正常使用3.1.4　实习时长※　2课时3.1.5　实习条件※　一台独立PC机或虚拟机※　内存1G以上，磁盘剩余空间200M以上※　已安装CentOS7.2操作系统※　已安装JDK3.2　实习规划3.2.1　设备分配※　每人一台独立PC机或虚拟机3.2.2　软件版本※　选用Zookeeper的3.4.9版本，软件包名zookeeper-3.4.9.tar.gz3.2.3　服务节点规划※　Zookeeper的伪分布模式实际上是在单台主机上使用多个进程模拟为多个服务节点。※　Zookeeper采用Paxos投票算法，其算法特性要求至少3个服务节点。3.3　操作步骤3.3.1　Zookeeper基本安装配置1Zookeeper软件包“zookeeper-3.4.9.tar.gz”存放于用户家目录的“setups”目录下，该目录为事先自行创建并将实训相关软件包从优盘拷贝至该目录下。23使用命令“mkdir　~/zookeeper”创建用于存放Zookeeper相关文件的目录，并使用命令“cd　~/zookeeper”进入该目录。45使用命令“tar　-xzf　~/setups/zookeeper-3.4.9.tar.gz”将软件包解压解包到“zookeeper”目录下，解压解包出来的目录名称为“zookeeper-3.4.9”。67配置Zookeeper相关的环境变量，需要修改用户的配置文件“.bash_profile”，该文件位于用户家目录下，是隐藏文件，使用命令“vi　~/.bash_profile”对配置文件进行修改，在文件末尾添加以下内容：#zookeeperenvironmentZOOKEEPER_HOME=/home/用户家目录/zookeeper/zookeeper-3.4.9（该路径以Zookeeper软件包实际解压解包的路径为准）PATH=$ZOOKEEPER_HOME/bin:$PATH（确保此项输入正确，否则可能会导致所有命令无法使用）export　ZOOKEEPER_HOME　PATH（必须按照前面的定义顺序书写）8使用命令“source　~/.bash_profile”使新配置的环境变量立即生效。9使用命令“echo　$ZOOKEEPER_HOME”、“echo　$PATH”查看新添加和修改的环境变量是否设置成功，以及环境变量的值是否正确。103.3.2　Zookeeper伪分布模式配置3使用命令“cd　~/zookeeper”进入Zookeeper相关文件的目录，使用命令“mkdir　-p　节点名/data”分别创建“zookeeper1”、“zookeeper2”、“zookeeper3”三个节点进程的数据文件的存放目录“data”。4使用命令“mkdir　节点名/logs”分别创建“zookeeper1”、“zookeeper2”、“zookeeper3”三个节点进程的日志文件的存放目录“logs”。56使用命令“echo　'*'　>　节点名/data/myid”分别创建“zookeeper1”、“zookeeper2”、“zookeeper3”三个节点进程的标识文件，其中“*”表示节点进程的顺序编号。78Zookeeper的配置文件位于其软件目录的“conf”目录下，使用命令“cd　~/zookeeper/zookeeper-3.4.9/conf”进入该目录。910使用命令“cp　zoo_sample.cfg　zoo*.cfg”分别生成三个节点进程的对应配置文件，其中“*”表示节点进程的编号。1112使用命令“vi　zoo1.cfg”对第一个节点进程的配置文件进行修改，以下配置项若已经存在则修改其对应值，若不存在则在配置文件末尾进行添加：dataDir=/home/用户家目录/zookeeper/zookeeper1/datadataLogDir=/home/用户家目录/zookeeper/zookeeper1/logsclientPort=2181server.1=localhost:2888:3888server.2=localhost:2889:3889server.3=localhost:2890:389013使用命令“vi　zoo2.cfg”对第二个节点进程的配置文件进行修改，以下配置项若已经存在则修改其对应值，若不存在则在配置文件末尾进行添加：dataDir=/home/用户家目录/zookeeper/zookeeper2/datadataLogDir=/home/用户家目录/zookeeper/zookeeper2/logsclientPort=2182server.1=localhost:2888:3888server.2=localhost:2889:3889server.3=localhost:2890:389014使用命令“vi　zoo3.cfg”对第三个节点进程的配置文件进行修改，以下配置项若已经存在则修改其对应值，若不存在则在配置文件末尾进行添加：dataDir=/home/用户家目录/zookeeper/zookeeper3/datadataLogDir=/home/用户家目录/zookeeper/zookeeper3/logsclientPort=2183server.1=localhost:2888:3888server.2=localhost:2889:3889server.3=localhost:2890:38903.3.3　Zookeeper伪分布模式启动和验证1使用命令“zkServer.sh　start　zoo*.cfg”依次启动Zookeeper服务的节点进程，其中“*”表示节点进程的编号，若启动过程没有报错并显示“STARTED”，则表示启动成功。23使用命令“jps”查看Java进程信息，若存在三个名为“QuorumPeerMain”的进程，则表示Zookeeper服务启动成功。4使用命令“zkServer.sh　status　zoo*.cfg”依次查看Zookeeper服务进程的状态，其中“*”表示节点进程的顺序编号。5使用命令“zkCli.sh”利用Zookeeper的命令行工具连接Zookeeper服务，若显示“CONNECTED”则表示连接正常，命令行工具可以正常使用。·在命令行工具中使用命令“quit”可以退出工具程序。3.4　总结和思考3.4.1　常见问题解决1若出现Zookeeper服务的节点进程启动失败、Java进程信息不正确、无法查看Zookeeper服务进程的状态、无法利用Zookeeper命令行工具连接Zookeeper服务等问题，但控制台又没有显示详细错误信息和问题描述时，可以进入配置项“dataLogDir”对应的目录查看Zookeeper的日志文件，文件名为“*.log”或“log.*”。3.4.2　思考题1Zookeeper所使用的Paxos投票算法为什么限制了Zookeeper的服务节点至少为3个？若使用3个以上的服务节点，什么样的服务节点数量安排最佳？为什么？因为主要参与者有3个2安装配置过程中遇到了哪些问题？记录下问题的现象、产生原因、解决方法。实习单元4　Hadoop的安装4.1　实习说明4.1.1　实习目的※　掌握伪分布模式的整合平台中Hadoop的伪分布模式的安装4.1.2　实习项目※　Hadoop的伪分布模式的安装和验证4.1.3　实习要求※　完成Hadoop的伪分布模式的安装※　Hadoop的相关服务进程能够正常启动※　HDFS能够正常使用※　MapReduce示例程序能够正常运行4.1.4　实习时长※　4课时4.1.5　实习条件※　一台独立PC机或虚拟机※　内存1G以上，磁盘剩余空间500M以上※　已安装CentOS7.2操作系统※　已安装JDK4.2　实习规划4.2.1　设备分配※　每人一台独立PC机或虚拟机4.2.2　软件版本※　选用Hadoop的2.7.3版本，软件包名hadoop-2.7.3.tar.gz4.2.3　服务节点规划※　Hadoop的伪分布模式实际上是在单台主机上使用多个进程模拟多类不同的服务节点。※　Hadoop有HDFS的主节点和数据节点以及MapReduce的主节点和任务节点总共4类服务节点，伪分布模式下只需要满足每类服务节点至少有1个即可。4.3　操作步骤4.3.1　Hadoop基本安装配置1Hadoop软件包“hadoop-2.7.3.tar.gz”存放于用户家目录的“setups”目录下，该目录为事先自行创建并将实训相关软件包从优盘拷贝至该目录下。23使用命令“mkdir　~/hadoop”创建用于存放Hadoop相关文件的目录，并使用命令“cd　~/hadoop”进入该目录。45使用命令“tar　-xzf　~/setups/hadoop-2.7.3.tar.gz”将软件包解压解包到“hadoop”目录下，解压解包出来的目录名称为“hadoop-2.7.3”。67配置Hadoop相关的环境变量，需要修改用户的配置文件“.bash_profile”，该文件位于用户家目录下，是隐藏文件，使用命令“vi　~/.bash_profile”对配置文件进行修改，在文件末尾添加以下内容：#hadoopenvironmentHADOOP_HOME=/home/用户家目录/hadoop/hadoop-2.7.3（该路径以Hadoop软件包实际解压解包的路径为准）PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH（确保此项输入正确，否则可能会导致所有命令无法使用）export　HADOOP_HOME　PATH（必须按照前面的定义顺序书写）8使用命令“source　~/.bash_profile”使新配置的环境变量立即生效。9使用命令“echo　$HADOOP_HOME”、“echo　$PATH”查看新添加和修改的环境变量是否设置成功，以及环境变量的值是否正确。10使用命令“hadoop”、“hadoop　version”验证Hadoop的安装配置是否成功。4.3.2　配置本机免密码登录1使用命令“ssh-keygen　-t　rsa”生成本机系统当前登录用户的公钥和私钥文件，生成过程中会提示输入相关设置信息，可以不用输入，全部回车键直接跳过即可。2生成的公钥和密钥文件位于当前用户家目录下的“.ssh”目录下，该目录由之前执行的命令自动生成，且为隐藏目录，使用命令“cd　~/.ssh”进入密钥对的存放目录。34使用命令“cp　id_rsa.pub　authorized_keys”利用公钥文件生成免密码登录文件。5使用命令“ssh　localhost”进行免密码的本地主机登录，第一次登录时可能出现提示信息，输入“yes”后按回车键，另外第一次使用时也可能会提示输入密码，正确输入密码之后完成第一次登录。6再次使用命令“ssh　localhost”进行免密码的本地主机登录，若可以进行正常的免密码登录则表示配置成功，若依然提示输入密码则表示配置失败，需要删除用户家目录下的“.ssh”目录后重新执行整个过程。74.3.3　Hadoop伪分布模式配置1使用命令“cd　~/hadoop”进入Hadoop相关文件的目录，使用命令“mkdir　tmp　name　data”分别创建Hadoop的临时文件目录“tmp”、HDFS的元数据文件目录“name”、HDFS的数据文件目录“data”。23Hadoop的配置文件位于其软件目录的“etc/hadoop”目录下，使用命令“cd　~/hadoop/hadoop-2.7.3/etc/hadoop”进入该目录。45编辑配置文件“hadoop-env.sh”，使用命令“vi　hadoop-env.sh”对配置文件进行修改，找到配置项“JAVA_HOME”所在行，将其改为以下内容：export　JAVA_HOME=/home/用户家目录/java/jdk1.8.0_131（该路径以JDK软件包实际解压解包的路径为准）6编辑配置文件“core-site.xml”，使用命令“vi　core-site.xml”对配置文件进行修改，找到标签“<configuration>”所在的位置，在其中添加如下蓝色部分的内容：<configuration><!--指定Hadoop的访问路径，即Hadoop的主节点服务器及端口号--><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!--指定Hadoop的临时文件的本地存放路径--><property><name>hadoop.tmp.dir</name><value>/home/用户家目录/hadoop/tmp</value></property></configuration>7编辑配置文件“hdfs-site.xml”，使用命令“vi　hdfs-site.xml”对配置文件进行修改，找到标签“<configuration>”所在的位置，在其中添加如下蓝色部分的内容：<configuration><!--指定HDFS的主节点的元数据文件的本地存放路径--><property><name>dfs.namenode.name.dir</name><value>/home/用户家目录/hadoop/name</value></property><!--指定HDFS的数据节点的数据文件的本地存放路径--><property><name>dfs.datanode.data.dir</name><value>/home/用户家目录/hadoop/data</value></property><!--指定HDFS的数据分块的备份数量--><property><name>dfs.replication</name><value>1</value></property></configuration>8使用命令“cp　mapred-site.xml.template　mapred-site.xml”由模板文件生成配置文件“mapred-site.xml”。9编辑配置文件“mapred-site.xml”，使用命令“vi　mapred-site.xml”对配置文件进行修改，找到标签“<configuration>”所在的位置，在其中添加如下蓝色部分的内容：<configuration><!--指定MapReduce所使用的外部管理框架，这里使用Hadoop2.7.3自带的YARN资源管理器--><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>10编辑配置文件“yarn-env.sh”，使用命令“vi　yarn-env.sh”对配置文件进行修改，找到配置项“JAVA_HOME”所在行，将其改为以下内容：11export　JAVA_HOME=/home/用户家目录/java/jdk1.8.0_131（该路径以JDK软件包实际解压解包的路径为准）12编辑配置文件“yarn-site.xml”，使用命令“vi　yarn-site.xml”对配置文件进行修改，找到标签“<configuration>”所在的位置，在其中添加如下蓝色部分的内容：<configuration><!--SitespecificYARNcongfigurationproerties--><!--指定NodeManager上运行的附属服务的类型--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>4.3.4　Hadoop伪分布模式格式化和启动1使用命令“hadoop　namenode　-format”对HDFS进行格式化，若格式化过程中没有报错则表示格式化成功。23使用命令“start-dfs.sh”启动HDFS文件系统。4使用命令“jps”查看Java进程信息，若有名为“NameNode”、“SecondaryNameNode”、“DataNode”的三个进程，则表示HDFS文件系统启动成功。56使用命令“start-yarn.sh”启动YARN资源管理器，即MapReduce功能。7使用命令“jps”查看Java进程信息，若有名为“ResourceManager”、“NodeManager”的两个进程，则表示YARN资源管理器启动成功。84.3.5　Hadoop伪分布模式验证1使用命令“hadoop　fs　-mkdir　-p　/user/当前登录用户的用户名”在Hadoop中创建当前登录用户自己的目录。2使用命令“hadoop　fs　-ls　-R　/”查看HDFS中的所有文件和目录的结构。3Hadoop的示例程序包位于其软件目录的“share/hadoop/mapreduce”目录下，使用命令“cd　~/hadoop/hadoop-2.7.3/share/hadoop/mapreduce”进入该目录。4示例程序包的包名为“hadoop-mapreduce-examples-2.7.3.jar”，使用命令“hadoop　jar　hadoop-mapreduce-examples-2.7.3.jar　pi　2　1000”来运行使用蒙地卡罗法计算PI的示例程序。“pi”参数之后的第一个参数是指运行map的次数，第二个参数是指每个map任务的取样个数。4.4　总结和思考4.4.1　常见问题解决1若节点进程“NameNode”启动失败，可以使用命令“hadoop　namenode”单独启动进程来查看启动信息的详细内容，也可以在目录“Hadoop软件目录/logs”中通过NameNode的日志文件来查看启动信息的详细内容，日志文件的后缀名为“.log”，文件名中包含“namenode”关键字的为对应节点进程的日志文件。2若节点进程“SecondaryNameNode”启动失败，可以使用命令“hadoop　secondarynamenode”单独启动进程来查看启动信息的详细内容，也可以在目录“Hadoop软件目录/logs”中通过SecondaryNameNode的日志文件来查看启动信息的详细内容，日志文件的后缀名为“.log”，文件名中包含“secondarynamenode”关键字的为对应节点进程的日志文件。3若节点进程“DataNode”启动失败，可以使用命令“hadoop　datanode”单独启动进程来查看启动信息的详细内容，也可以在目录“Hadoop软件目录/logs”中通过DataNode的日志文件来查看启动信息的详细内容，日志文件的后缀名为“.log”，文件名中包含“datanode”关键字的为对应节点进程的日志文件。4若节点进程“ResourceManager”启动失败，可以使用命令“yarn　resourcemanager”单独启动进程来查看启动信息的详细内容，也可以在目录“Hadoop软件目录/logs”中通过ResourceManager的日志文件来查看启动信息的详细内容，日志文件的后缀名为“.out”，文件名中包含“resourcemanager”关键字的为对应节点进程的日志文件。5若节点进程“NodeManager”启动失败，可以使用命令“yarn　nodemanager”单独启动进程来查看启动信息的详细内容，也可以在目录“Hadoop软件目录/logs”中通过NodeManager的日志文件来查看启动信息的详细内容，日志文件的后缀名为“.log”，文件名中包含“nodemanager”关键字的为对应节点进程的日志文件。6若修改了配置文件的内容，需要将创建的目录“tmp”、“name”、“data”中的内容清空，并重新进行HDFS的格式化之后，再启动Hadoop服务。4.4.2　思考题1安装配置过程中遇到了哪些问题？记录下问题的现象、产生原因、解决方法。实习单元5　HBase的安装5.1　实习说明5.1.1　实习目的※　掌握伪分布模式的整合平台中HBase的伪分布模式的安装5.1.2　实习项目※　HBase的伪分布模式的安装和验证5.1.3　实习要求※　完成HBase的伪分布模式的安装※　HBase的相关服务进程能够正常启动※　HBase控制台能够正常使用※　表创建、数据查询等数据库操作能够正常进行5.1.4　实习时长※　2课时5.1.5　实习条件※　一台独立PC机或虚拟机※　内存1G以上，磁盘剩余空间300M以上※　已安装CentOS7.2操作系统※　已安装JDK※　已安装可用的Zookeeper※　已安装可用的Hadoop5.2　实习规划5.2.1　设备分配※　每人一台独立PC机或虚拟机5.2.2　软件版本※　选用HBase的1.2.3版本，软件包名hbase-1.2.3-bin.tar.gz5.2.3　服务节点规划※　HBase的伪分布模式实际上是在单台主机上使用多个进程模拟多类不同的服务节点。※　HBase有主节点和Region节点2类服务节点，伪分布模式下只需要满足每类服务节点至少有1个即可。5.3　操作步骤5.3.1　HBase基本安装配置1HBase软件包“hbase-1.2.3-bin.tar.gz”存放于用户家目录的“setups”目录下，该目录为事先自行创建并将实训相关软件包从优盘拷贝至该目录下。23使用命令“mkdir　~/hbase”创建用于存放HBase相关文件的目录，并使用命令“cd　~/hbase”进入该目录。45使用命令“tar　-xzf　~/setups/hbase-2.7.3.tar.gz”将软件包解压解包到“hbase”目录下，解压解包出来的目录名称为“hbase-1.2.3”。67配置HBase相关的环境变量，需要修改用户的配置文件“.bash_profile”，该文件位于用户家目录下，是隐藏文件，使用命令“vi　~/.bash_profile”对配置文件进行修改，在文件末尾添加以下内容：8#hbaseenvironmentHBASE_HOME=/home/用户家目录/hbase/hbase-1.2.3（该路径以HBase软件包实际解压解包的路径为准）PATH=$HBASE_HOME/bin:$PATH（确保此项输入正确，否则可能会导致所有命令无法使用）export　HBASE_HOME　PATH（必须按照前面的定义顺序书写）9使用命令“source　~/.bash_profile”使新配置的环境变量立即生效。10使用命令“echo　$HBASE_HOME”、“echo　$PATH”查看新添加和修改的环境变量是否设置成功，以及环境变量的值是否正确。11使用命令“hbase”、“hbase　version”验证Hadoop的安装配置是否成功。5.3.2　HBase伪分布模式配置1使用命令“cd　~/base”进入HBase相关文件的目录，使用命令“mkdir　tmp　logs”分别创建HBase的元数据文件目录“tmp”和HDFS的日志文件目录“logs”。2HBase的配置文件位于其软件目录的“conf”目录下，使用命令“cd　~/hbase/hbase-1.2.3/conf”进入该目录。34编辑配置文件“hbase-env.sh”，使用命令“vi　hbase-env.sh”对配置文件进行修改，找到相关配置项并对其值进行修改。5·找到配置项“JAVA_HOME”，将其值改为以下内容：export　JAVA_HOME=/home/用户家目录/java/jdk1.8.0_131（该路径以JDK软件包实际解压解包的路径为准）·找到配置项“HBASE_CLASSPATH”，该项用于指定Hadoop的配置文件所在的路径，将其值改为以下内容：export　HBASE_CLASSPATH=/home/家目录/hadoop/hadoop-2.7.3/etc/hadoop（该路径以Hadoop软件包实际解压解包的路径为准）·找到配置项“HBASE_LOG_DIR”，该项用于指定HBase的日志文件的本地存放路径，将其值改为以下内容：export　HBASE_LOG_DIR=/home/用户家目录/hbase/logs·找到配置项“HBASE_MANAGES_ZK”，该项用于关闭HBase自带的Zookeeper组件，将其值改为以下内容：export　HBASE_MANAGES_ZK=false6编辑配置文件“habse-site.xml”，使用命令“vi　hbase-site.xml”对配置文件进行修改，找到标签“<configuration>”所在的位置，在其中添加如下蓝色部分的内容：7<configuration><!--指定HBase数据的存放路径，一般指定为HDFS文件系统中的路径，也可以使用本地系统路径--><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/user/当前登录用户的用户名/hbase</value></property><!--指定HBase的元数据的本地存放路径--><property><name>hbase.tmp.dir</name><value>/home/用户家目录/hbase/tmp</value></property><!--指定HBase的分布式集群模式为开启状态--><property><name>hbase.cluster.distributed</name><value>true</value></p