在Windows上安装Hadoop教程

在Windows上安装 Hadoop教程 一见 hadoopor@foxmail.com 1.1.1.1. 安装 JDKJDKJDKJDK 不建议只安装 JRE，而是建议直接安装 JDK，因为安装 JDK时，可以同时安装 JRE。 MapReduce程序的编写和 Hadoop的编译都依赖于 JDK，光 JRE是不够的。 JRE下载地址：http://www.java.com/zh_CN/download/manual.jsp JDK下载地址：http://java.sun.com/javase/downloads/index.jsp，下载 Java SE即可。 2.2.2.2. 安装 CygwinCygwinCygwinCygwin 在安装 Cygwin之前，得先下载 Cygwin安装程序 setup.exe。 Cygwin 安装程序下载地址： http://www.cygwin.com/setup.exe，当然也可以从 http://www.cygwin.cn/setup.exe下载 Cygwin安装程序，不过如果在安装过程中，遇到如下图 所示的错误，则只能从 http://www.cygwin.com/setup.exe下载，本教程下载的是 Cygwin 1.7.1 版本。 Cygwin安装程序 setup.exe的存放目录可随意无要求。当 setup.exe下载成功后，运行 setup.exe，弹出如下图所示的对话框： 在Windows上安装 Hadoop教程 2 在上图所示的对话框中，直接点击“下一步”，进入如下图所示的对话框： 在上图所示的对话框中，选择“Install from Internet”，然后点击“下一步”，进入如下图 所示对话框： 在Windows上安装 Hadoop教程 3 在上图所示的对话框中，设置 Cygwin的安装目录，Install For选择“All Users”，Default Text File Type选择“Unix/binary”，然后点击“下一步”，进入如下图所示对话框： 在上图所示的对话框中，设置 Cygwin安装包存放目录，然后点击“下一步”，进入如 下图所示对话框： 在Windows上安装 Hadoop教程 4 在上图所示的对话框中，选择“Direct Connection”，然后点击“下一步”，进入如下图 所示对话框： 在上图所示的对话框中，点击“下一步”，将进入如下图所示的对话框： 在Windows上安装 Hadoop教程 5 在上图所示的对话框过程中，可能会弹出如下图所示的“Setup Alert”对话框，直接点 击“确定”即可。 进入“Select Packages”对话框后，必须保证“Net Category”下的“OpenSSL”被安装 ， 如下图所示： 在Windows上安装 Hadoop教程 6 如果还打算在 eclipse上编译 Hadoop，则还必须安装“Base Category”下的“sed”，如 下图所示： 另外，还建议将“Editors Category”下的 vim安装，以方便在 Cygwin上直接修改配置 文件；“Devel Category”下的 subversion建议安装，如下图所示： 在Windows上安装 Hadoop教程 7 当完成上述操作后，点击“Select Packages”对话框中“下一步”，进入 Cygwin安装包 下载过程，如下图所示： 等待安装包下载完毕，当下载完后，会自动进入到如下图所示的对话框： 在Windows上安装 Hadoop教程 8 在上图所示的对话框中，选中“Create icon on Desktop”，以方便直接从桌面上启动 Cygwin，然后点击“完成”按钮。至此，Cgywin已经安装完，安装目录下的内容如下图所 示： 3.3.3.3. 配置环境变量 需要配置的环境变量包括 PATH和 JAVA_HOME：JAVA_HOME指向 JRE安装目录；JDK 的 bin目录，Cygwin的 bin目录，以及 Cygwin的 usr\bin目录都必须添加到 PATH环境变量 中，如下图所示： 在Windows上安装 Hadoop教程 9 4.4.4.4. 安装 sshdsshdsshdsshd服务 点击桌面上的 Cygwin图标，启动 Cygwin，执行 ssh-host-configssh-host-configssh-host-configssh-host-config命令，如下图所示： 在Windows上安装 Hadoop教程 10 在执行 ssh-host-config时，当要求输入 yes/no时，选择输入 no，如下图所示： 如果是 Cygwin 1.7之前的版本，则 ssh-host-config显示界面如下图所示： 在Windows上安装 Hadoop教程 11 当看到“Have fun”时，一般表示 sshd服务安装成功了，如上图所示。接下来，需要启 动 sshd服务。 5.5.5.5. 启动 sshdsshdsshdsshd服务 在桌面上的“我的电脑”图标上单击右键，点击“管理”菜单，进入Windows计算机 管理，如下图所示： 在Windows上安装 Hadoop教程 12 在上图所示的对话框中，选中“CYGWINCYGWINCYGWINCYGWIN sshdsshdsshdsshd”，弹出右键，并启动 CYGWIN sshd服 务，成功后，如下图所示： 当 CYGWIN sshd的状态为“已启动”后，接下来就是配置 ssh登录。 6.6.6.6. 配置 sshsshsshssh登录 执行 ssh-keygenssh-keygenssh-keygenssh-keygen命令生成密钥文件，如下图所示： 在Windows上安装 Hadoop教程 13 在上图所示对话框中，需要输入时，直接按回车键即可，如果不出错，应当是需要三次 按回车键。接下来生成 authorized_keysauthorized_keysauthorized_keysauthorized_keys文件，按下图所示操作即可： 正如上图所示，只需要两步操作，即可生成 authorized_keysauthorized_keysauthorized_keysauthorized_keys文件： cd ~/..ssh/ 在Windows上安装 Hadoop教程 14 cp id_rsa.pub authorized_keys 完成上述操作后，执行 exitexitexitexit命令先退出 Cygwin窗口，如果不执行这一步操作，下面的 操作可能会遇到错误。接下来，重新运行 Cygwin，执行 sshsshsshssh localhostlocalhostlocalhostlocalhost命令，在第一次执行 ssh localhost时，会有如下图所示的提示，输入 yesyesyesyes，然后回车即可： 如果是Windows域用户，这步操作可能会遇到问题，错误信息如下：。 这个错误暂无解决办法，问题的解决情况，可关注 Hadoop 技术论坛中的贴： http://bbs.hadoopor.com/thread-348-1-1.html(Cygwin 1.7.1版本 ssh问题)。否则，如果成功， 执行 who命令时，可以看到如下图所示的信息： 至此，配置 ssh登录成功，下面就可以开始安装 hadoop了。 7.7.7.7. 下载 hadoophadoophadoophadoop安装包 hadoop安装包下载地址： http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz 当然，也可以进入 http://labs.xiaonei.com/apache-mirror/hadoop/core下载其它的版本，不 过建议直接上 0.20版本。 在Windows上安装 Hadoop教程 15 8.8.8.8. 安装 hadoophadoophadoophadoop 将 hadoop安装包hadoop-0.20.1.tar.gz解压到D:\hadoop\runD:\hadoop\runD:\hadoop\runD:\hadoop\run目录（可以修改成其它目录） 下，如下图所示： 接下来，需要修改 hadoop的配置文件，它们位于 conf子目录下，分别是 hadoop-env.sh、 core-site.xml、hdfs-site.xml和 mapred-site.xml共四个文件。在 Cygwin环境，masters和 slaves 两个文件不需要修改。 ���� 修改 hadoop-env.shhadoop-env.shhadoop-env.shhadoop-env.sh 只需要将 JAVA_HOME修改成 JDK的安装目录即可，请注意 JDK必须是 1.6或以上版本。 ���� 修改 core-site.xmlcore-site.xmlcore-site.xmlcore-site.xml 为简化 core-site.xml配置，将 D:\hadoop\run\src\core目录下的 core-default.xml文件复制 到 D:\hadoop\run\conf 目录下，并将 core-default.xml 文件名改成 core-site.xml。修改 fs.default.name的值，如下所示： 在Windows上安装 Hadoop教程 16 上图中的端口号 8888888888888888，可以改成其它未被占用的端口。 ���� 修改 hdfs-site.xmlhdfs-site.xmlhdfs-site.xmlhdfs-site.xml 为简化 hdfs-site.xml配置，将 D:\hadoop\run\src\hdfs目录下的 hdfs-default.xml文件复制 到 D:\hadoop\run\conf目录下，并将 hdfs-default.xml文件名改成 hdfs-site.xml。不需要再做其 它修改。 ���� 修改mapred-site.xmlmapred-site.xmlmapred-site.xmlmapred-site.xml 为简化 mapred-site.xml配置，将 D:\hadoop\run\src\mapred目录下的 mapred-default.xml 文件复制到 D:\hadoop\run\conf目录下，并将mapred-default.xml文件名改成mapred-site.xml。 上图中的端口号 9999999999999999，可以改成其它未被占用的端口。到这里，hadoop宣告安装完毕， 可以开始体验 hadoop了！ 9.9.9.9. 启动 hadoophadoophadoophadoop 在 Cygwin中，进入 hadoop的 bin目录，运行./start-all.sh启动 hadoop，在启动成功之后 ， 可以执行./hadoop fs -ls /命令，查看 hadoop的根目录，如下图所示： 在Windows上安装 Hadoop教程 17 如果运行 mapreduce，请参考其它文档，本教程的内容到此结束。 安装JDK 安装Cygwin 配置环境变量 安装sshd服务 启动sshd服务 配置ssh登录 下载hadoop安装包 安装hadoop 启动hadoop