加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 Hadoop开发者入门专刊

Hadoop开发者入门专刊.pdf

Hadoop开发者入门专刊

未来馆
2010-02-06 0人阅读 举报 0 0 暂无简介

简介:本文档为《Hadoop开发者入门专刊pdf》,可适用于IT/计算机领域

bbshadooporcomhadoop技术论坛创刊号年月wwwhadooporcom入门专刊出品Hadoop技术论坛总编辑易剑(一见)副总编辑代志远(国宝)王磊(beyi)本期主编皮冰锋(若冰)编辑皮冰锋(若冰)易剑(一见)贺湘辉(小米)王磊(beyi)代志远(国宝)柏传杰(飞鸿雪泥)何忠育(Spork)秘中凯陈炬美工封面设计易剑(一见)网址http:wwwhadooporcom投稿信箱hadooporfoxmailcom刊首语年月《Hadoop开发者》沐着年的第一缕春光诞生了。正是有了DougCutting这样的大师级开源者正是有了无数个为Hadoop贡献力量的开源者们的共同努力才有了Hadoop自诞生时的倍受关注到现在的倍受瞩目。Hadoop从单一应用发展到目前的HadoopEcosystem自成一格的技术体系叩开了信息爆炸时代的海量数据处理的大门开辟了海量数据存储与计算及其应用的新领地《Hadoop开发者》正是在这样的背景下应运而生。Hadoop技术交流群自创建起短短的几个月时间里就形成了个超级大群Hadoop技术体系深蒙面向各行各业应用的开发者们的厚爱可以预见Hadoop应用前景广阔。但时下稍显稚嫩需要广大的爱好者共同尝试、探索发掘应用的同时帮助改进。《Hadoop开发者》是Hadoop交流群的几位志愿者们自发创建的希望它的出现能为您的学习和探索铺路同时也期盼能分享您的Hadoop之旅。在分享中《hadoop开发者》将与您一路同行共同进步。分享、自由、开放《Hadoop开发者》将秉承这一开源社区的血脉和传统传承“百家争鸣”在思想交流和技术的切磋中促进hadoop社区的发展期待Hadoop这一尚待开垦的田野里“百花齐放”。最后感谢《Hadoop开发者》编辑组所有同仁们彼此素未蒙面的爱好者能聚到一起为了一个共同的爱好策划这本杂志这本身就是Hadoop魅力的体现。当然也要感谢大师DougCutting和Hadoop社区的开源者们因为有了您这里才变得如此精彩!《Hadoop开发者》编辑组目录Hadoop介绍Hadoop在国内应用情况Hadoop源代码eclipse编译教程在Windows上安装Hadoop教程在Linux上安装Hadoop教程在Windows上使用eclipse编写Hadoop应用程序在Windows中使用Cygwin安装HBaseNutch与Hadoop的整合与部署在Windowseclipse上单步调试Hive教程Hive应用介绍Hive执行计划解析MapReduce中的Shuffle和Sort分析海量数据存储和计算平台的调试器研究探讨MapReduce模型的改进运行eclipse编译出的Hadoop框架表关联在MapReduce上的实现Hadoop计算平台和Hadoop数据仓库的区别bbshadooporcomhadoop技术论坛创刊号年月HadoopHadoopHadoopHadoop介绍介绍介绍介绍Hadoop是Apache下的一个项目由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。其中HDFS和MapReduce是两个最基础最重要的成员。HDFS是GoogleGFS的开源版本一个高度容错的分布式文件系统它能够提供高吞吐量的数据访问适合存储海量(PB级)的大文件(通常超过M)其原理如下图所示:采用MasterSlave结构。NameNode维护集群内的元数据对外提供创建、打开、删除和重命名文件或目录的功能。DataNode存储数据并提负责处理数据的读写请求。DataNode定期向NameNode上报心跳NameNode通过响应心跳来控制DataNode。InfoWord将MapReduce评为年十大新兴技术的冠军。MapReduce是大规模数据(TB级)计算的利器Map和Reduce是它的主要思想来源于函数式编程语言它的原理如下图所示:Map负责将数据打散Reduce负责对数据进行聚集用户只需要实现map和reduce两个接口即可完成TB级数据的计算常见的应用包括:日志分析和数据挖掘等数据分析应用。另外还可用于科学数据计算如圆周率PI的计算等。HadoopMapReduce的实现也采用了MasterSlave结构。Master叫做JobTracker而Slave叫做TaskTracker。用户提交的计算叫做Job每一个Job会被划分成若干个Tasks。JobTracker负责Job和Tasks的调度而TaskTracker负责执行Tasks。bbshadooporcomhadoop技术论坛创刊号年月HadoopHadoopHadoopHadoop在国内应用情况在国内应用情况在国内应用情况在国内应用情况主要公司主要公司主要公司主要公司更多的数据请浏览:http:bbshadooporcomthreadhtml地域分布地域分布地域分布地域分布下面的数据由Hadoop技术论坛提供数据的绝对值参考意义不大主要是看各城市间的相对数据。北京、深圳和杭州位列前三甲分析主要原因是:北京有淘宝和百度深圳有腾讯杭州有网易等。互联网公司是Hadoop在国内的主要使用力量。淘宝是在国内最先使用Hadoop的公司之一而百度赞助了HyperTable的开发加上北京研究Hadoop的高校多所以北京是Hadoop方面研究和应用需求最高的城市。位于北京的中科院研究所在年度还举办过几次Hadoop技术大会加速了Hadoop在国内的发展。bbshadooporcomhadoop技术论坛创刊号年月HadoopHadoopHadoopHadoop源代码源代码源代码源代码eclipseeclipseeclipseeclipse编译教程编译教程编译教程编译教程作者:一见下载HadoopHadoopHadoopHadoop源代码Hadoop各成员源代码下载地址:http:svnapacheorgreposasfhadoop请使用SVN下载在SVN浏览器中将trunk目录下的源代码checkout出来即可。请注意只checkout出SVN上的trunk目录下的内容如:http:svnapacheorgreposasfhadoopcommontrunk而不是http:svnapacheorgreposasfhadoopcommon原因是http:svnapacheorgreposasfhadoopcommon目录下包括了很多非源代码文件很庞大导致需要很长的checkout时间。准备编译环境HadoopHadoopHadoopHadoop代码版本本教程所采用的Hadoop是北京时间日上午下载的源代码和hadoopx版本的差异可能较大。联网编译Hadoop会依赖很多第三方库但编译工具Ant会自动从网上下载缺少的库所以必须保证机器能够访问Internet。javajavajavajava编译Hadoop要用JDK以上网址:http:javasuncomjavasedownloadsindexjsp。安装好之后请设置好JAVAHOME环境变量。AntAntAntAnt和CygwinCygwinCygwinCygwin需要使用Ant工具来编译Hadoop而Ant需要使用到Cygwin提供的一些工具如sed等可以从:http:antapacheorgivydownloadcgi下载Ant从http:wwwcygwincn下载Cygwin(Cygwin的安装请参考《在Windows上安装Hadoop教程》一文)。安装好之后需要将Ant和Cygwin的bin目录加入到环境变量PATH中如下图所示:注意:在安装Cygwin时建议将SVN安装上因为在Ant编译过程中会通过SVN下载些文件但这个不是必须的下载不成功时并未见出错编译仍然可以成功。EclipseEclipseEclipseEclipsebbshadooporcomhadoop技术论坛创刊号年月Eclipse则可以从http:wwweclipseorgdownloads上下载。编译HadoopHadoopHadoopHadoop在这里我们以编译Hadoop家庭成员common为例对Hadoop其它成员的编译方法是类似的。编译commoncommoncommoncommon成员步骤)在Elipse的Package视图中单击右键选择New>JavaProject如下图所示:步骤)选择源代码目录设置Project名。在上图所示的对话框中点击Browse按钮选择common源代码目录并设置Projectname为common。工程导入完成后进入Eclipse主界面可以看到common已经导入进来但可以看到common上有红叉叉是因为Elipse默认使用了JavaBuilder而不是AntBuilder所以下一步就是设置使用AntBuilder。步骤)设置Builder为Ant:右键common>Properties>Builders:在上图所示的界面中点击New按钮在弹出的对话框中选中AntBuilder确定之后会弹出如下对话框:bbshadooporcomhadoop技术论坛创刊号年月点击BrowseFileSystem按钮选择common源代码目录下的buildxml文件并设置Name为commonBuilder(Name可以改成其它的但建议使用commonBuilder因为这样名副其实)操作结果如下图所示:除上图所示的设置外还需要设置如下图所示的Targets建议设置成ManualBuild编译方式而不是AutoBuild编译方式。因为在AutoBuild模式下任何修改都会触发编译而ManualBuild模式下只在需要的时候点击编译按钮或菜单编译即可。Hadoop各成员都需要编译成jar所以做如下图所示的一个修改:bbshadooporcomhadoop技术论坛创刊号年月确定之后返回如下图所示的EditConfiguration对话框:上面完成后回到Builder的主对话框再将对话框中的JavaBuilder下移并将它前面的勾去掉。进入Eclipse主界面由于之前选择了ManualBuild所以需要人工方式驱动编译编译成功后可以看到BUILDSUCCESSFUL字样。请注意:如果上图所示的菜单中的BuildAutomatically被勾中则在common的右键菜单中可能不会出现Build子菜单。在编译过程中Ant会自动从网上下载所依赖的库。common的编译成功结束后可以bbshadooporcomhadoop技术论坛创刊号年月在build目录下找到编译后生成的文件hadoopcoredevjar。编译HadoopHadoopHadoopHadoop其它成员hdfs、mapreduce和hive的编译方式同common。FAQFAQFAQFAQ联网确保可以上internetAnt需要自动下载很多第三方依赖库如果不能联网编译会复杂很多。编译hivehivehivehivehive的编译相对复杂些而且默认它会编译多个版本的hive建立修改shims目录下的ivyxml文件去掉不必要版本的编译。编译生成文件位置common编译后生成buildhadoopcoredevjarhdfs编译后生成buildhadoophdfsdevjarmapreduce编译后生成buildhadoopmapreddevjarhive编译后生成buildservicehiveservicejar请注意并没有直接放在build目录下hbase编译后生成buildhbasedevjar有时候在编译某个时出错可先跳过编译其它的Refresh之后再编译。在在在在WindowsWindowsWindowsWindows上安装上安装上安装上安装HadoopHadoopHadoopHadoop教程教程教程教程作者:一见安装安装安装安装JDKJDKJDKJDK不建议只安装JRE而是建议直接安装JDK因为安装JDK时可以同时安装JRE。MapReduce程序的编写和Hadoop的编译都依赖于JDK光JRE是不够的。JRE下载地址:http:wwwjavacomzhCNdownloadmanualjspJDK下载地址:http:javasuncomjavasedownloadsindexjsp下载JavaSE即可。安装安装安装安装CygwinCygwinCygwinCygwin不建议使用Windows“域用户”配置和运行Cygwin由于公司防火墙等原因容易遇到一些较难解决的问题。另外如果运行Cygwin的用户和登录Windows的用户不同则需要将Cygwin安装目录及子目录的拥有者(Owner)。Cygwin安装程序下载地址:http:wwwcygwincomsetupexe当然也可以从http:wwwcygwincnsetupexe下载本教程下载的是Cygwin。setupexe的存bbshadooporcomhadoop技术论坛创刊号年月放目录可随意无要求。当setupexe下载成功后直接运行在弹出的“CygwinNetReleaseSetupProgram”的对话框中直接点击“下一步”选择“downloadsource”如下:选择“InstallfromInternet”进入下图所示对话框:设置Cygwin的安装目录InstallFor选择“AllUsers”DefaultTextFileType选择“Unixbinary”。“下一步”之后设置Cygwin安装包存放目录:设置“InternetConnection”的方式选择“DirectConnection”:之后选择“Downloadsite”:bbshadooporcomhadoop技术论坛创刊号年月“下一步”之后可能会弹出下图的“SetupAlert”对话框直接“确定”即可。在“SelectPackages”对话框中必须保证“NetCategory”下的“OpenSSL”被安装:如果还打算在eclipse上编译Hadoop则还必须安装“BaseCategory”下的“sed”:另外建议将“EditorsCategory”下的vim安装以方便在Cygwin上直接修改配置文bbshadooporcomhadoop技术论坛创刊号年月件“DevelCategory”下的subversion建议安装:“下一步”进入Cygwin安装包下载过程。当下载完后会自动进入到“setup”的对话框:在上图所示的对话框中选中“CreateicononDesktop”以方便直接从桌面上启动Cygwin然后点击“完成”按钮。至此Cgywin已经安装完成。配置环境变量配置环境变量配置环境变量配置环境变量需要配置的环境变量包括PATH和JAVAHOME:将JDK的bin目录、Cygwin的bin目录以及Cygwin的usrbin目录都添加到PATH环境变量中JAVAHOME指向JRE安装目录。安装安装安装安装sshdsshdsshdsshd服务服务服务服务点击桌面上的Cygwin图标启动Cygwin执行sshhostconfig命令,当要求输入yesno时选择输入no。当看到“Havefun”时一般表示sshd服务安装成功。执行过程如图:如果是Cygwin之前的版本则sshhostconfig显示界面如下图所示:bbshadooporcomhadoop技术论坛创刊号年月启动启动启动启动sshdsshdsshdsshd服务服务服务服务在桌面上的“我的电脑”图标上单击右键点击“管理”菜单启动CYGWINsshd服务:当CYGWINsshd的状态为“已启动”后接下来就是配置ssh登录。配置配置配置配置sshsshsshssh登录登录登录登录执行sshkeygen命令生成密钥文件一路直接回车即可如果不出错应当是需要三次按回车键。按如下命令生成authorizedkeys文件:cd~sshcpidrsapubauthorizedkeys完成上述操作后执行exit命令先退出Cygwin窗口如果不执行这一步操作下面的操作可能会遇到错误。接下来重新运行Cygwin执行sshlocalhost命令在第一次执行时会有如下图所示的提示输入yes直接回车即可:如果是Windows域用户这步操作可能会遇到问题错误信息如下:bbshadooporcomhadoop技术论坛创刊号年月这个错误暂无解决办法问题的解决情况可关注Hadoop技术论坛中的贴:http:bbshadooporcomthreadhtml(Cygwin版本ssh问题)。如果配置成功执行who命令时可以看到如下图所示的信息:下载下载下载下载hadoophadoophadoophadoop安装包安装包安装包安装包hadoop安装包下载地址:http:labsxiaoneicomapachemirrorhadoopcorehadoophadooptargz当然也可以进入http:labsxiaoneicomapachemirrorhadoopcore下载其它的版本不过建议直接上版本。安装安装安装安装hadoophadoophadoophadoop将hadoop安装包hadooptargz解压到D:hadooprun目录(可以修改成其它目录)下如下图所示:接下来需要修改hadoop的配置文件它们位于conf子目录下分别是hadoopenvsh、coresitexml、hdfssitexml和mapredsitexml共四个文件。在Cygwin环境masters和slaves两个文件不需要修改。����修改hadoopenvsh只需要将JAVAHOME修改成JDK的安装目录即可需要注意两点:()JDK必须是或以上版本()设置JDK的安装目录时路径不能是windows风格的目录(d:javajdk)而是LINUX风格(cygdrivedjavajdk)。在hadoopenvsh中设定JDK的安装目录:exportJAVAHOME=cygdrivedjavajdk����修改coresitexml为简化coresitexml配置将D:hadooprunsrccore目录下的coredefaultxml文件复制到D:hadooprunconf目录下并将coredefaultxml文件名改成coresitexml。修改fsdefaultname的值如下所示:bbshadooporcomhadoop技术论坛创刊号年月如果上图中的端口号可以改成其它未被占用的端口。����修改hdfssitexml为简化hdfssitexml配置将D:hadooprunsrchdfs目录下的hdfsdefaultxml文件复制到D:hadooprunconf目录下并将hdfsdefaultxml文件名改成hdfssitexml。不需要再做其它修改。����修改mapredsitexml为简化mapredsitexml配置将D:hadooprunsrcmapred目录下的mapreddefaultxml文件复制到D:hadooprunconf目录下并将mapreddefaultxml文件名改成mapredsitexml。上图中的端口号可以改成其它未被占用的端口。到这里hadoop宣告安装完毕可以开始体验hadoop了!启动启动启动启动hadoophadoophadoophadoop在Cygwin中进入hadoop的bin目录运行startallsh启动hadoop在启动成功之后可以执行hadoopfsls命令查看hadoop的根目录。如果运行mapreduce请参考其它文档本教程的内容到此结束。在在在在LinuxLinuxLinuxLinux上安装上安装上安装上安装HadoopHadoopHadoopHadoop教程教程教程教程作者:小米Email:gshexianghuicom在Linux下搭建Hadoop集群请先熟悉Linux的基本概念和操作如cd、ls、tar、cat、ssh、sudo、scp等操作。养成搜索意识很重要遇到问题借用google、百度等或者论坛推荐Hadoop技术论坛http:bbshadooporcom。ubuntu和redhat等版本的linux在操作命令上有不同点,但安装Hadoop的流程一样。bbshadooporcomhadoop技术论坛创刊号年月实践环境:Ubuntujdkhadoop(三台实体机)注意:初学者可以选择三台做实验一台做NameNodemaster和jobTracker另外两台做DataNode,slave,taskTracker。关于这几个概念可以参考Hadoop的官方文档http:hadoopapacheorg。安装ubuntu操作系统的datanode配置内存最好满足MNameNode的机器满足G内存G更好。ubuntu安装后可不启动图形界面节约内存。安装步骤:、安装ubuntu更新源修改(方便以后更新提高速度教育网可以参考如下网址):http:hibaiducomitdreamsblogitemdaecfbeadbachtml创建用户:为了操作的简便在所有机器上创建相同用户名和相同密码的用户。本例创建了相同的用户hexianghui。修改机器名:$hostname机器名。修改方法参考文档:http:simonblogcomblogstatic在etchosts中添加机器名和相应的IP:、开启ssh服务安装opensshserver:$sudoaptgetinstallopensshserver注意:自动安装opensshserver时先要进行sudoaptgetupdate操作。可以在windows下用SSHSecureShellClient(详见附录)来测试一下:连接弹出如下窗口:机器名IP作用HexianghuiNameNode、master、jobTrackerhexianghuiDataNode、slave、taskTrackerhexianghuiDataNode、slave、taskTrackerbbshadooporcomhadoop技术论坛创刊号年月输入密码后能正常进入就可以实现远程登录和管理了。、建立ssh无密码登录()在NameNode上实现无密码登录本机:$sshkeygentdsaP''f~sshiddsa直接回车完成后会在~ssh生成两个文件:iddsa和iddsapub。这两个是成对出现类似钥匙和锁。再把iddsapub追加到授权key里面(当前并没有authorizedkeys文件):$cat~sshiddsapub>>~sshauthorizedkeys。完成后可以实现无密码登录本机:$sshlocalhost。()实现NameNode无密码登录其他DataNode:把NameNode上的iddsapub文件追加到dataNode的authorizedkeys内(以节点为例):a拷贝NameNode的iddsapub文件:$scpiddsapubhexianghui:homehexianghuib登录执行$catiddsapub>>sshauthorizedkeys其他的dataNode执行同样的操作。注意:如果配置完毕如果namenode依然不能访问datanode可以修改datanode的authorizedkeys:$chmodauthorizedkeys。、关闭防火墙$sudoufwdisable注意:这步非常重要。如果不关闭会出现找不到datanode问题。、安装jdk下载地址:http:javasuncomjavasedownloadswidgetjdkjsp下载后直接安装。本例的安装路径为homehexianghuijdk。安装后添加如下语句到etcprofile中:exportJAVAHOME=homehexianghuijdkexportJREHOME=homehexianghuijdkjreexportCLASSPATH=:$JAVAHOMElib:$JREHOMElib:$CLASSPATHexportPATH=$JAVAHOMEbin:$JREHOMEbin:$PATH注意:每台机器的java环境最好一致。安装过程中如有中断切换为root权限来安装。、安装hadoop下载hadooptargz:http:labsxiaoneicomapachemirrorhadoopcorehadoophadooptargz解压:$tar–zvxfhadooptargz把Hadoop的安装路径添加到环etcprofile中:exportHADOOPHOME=homehexianghuihadoopbbshadooporcomhadoop技术论坛创刊号年月exportPATH=$HADOOPHOMEbin:$PATH、配置hadoophadoop的主要配置都在hadoopconf下。()在confhadoopenvsh中配置Java环境(namenode与datanode的配置相同):$gedithadoopenvsh$exportJAVAHOME=homehexianghuijdk()配置confmasters和confslaves文件:(只在namenode上配置)masters:slaves:()配置confcoresitexml,confhdfssitexml及confmapredsitexml(简单配置datanode的配置相同)coresitexml:<configuration><!globalproperties><property><name>hadooptmpdir<name><value>homehexianghuitmp<value><description>Abaseforothertemporarydirectories<description><property><!filesystemproperties><property><name>fsdefaultname<name><value>hdfs::<value><property><configuration>hdfssitexml:(replication默认为如果不修改datanode少于三台就会报错)<configuration><property><name>dfsreplication<name><value><value><property><configuration>mapredsitexml:<configuration><property><name>mapredjobtracker<name><value>:<value><property><configuration>、运行hadoopbbshadooporcomhadoop技术论坛创刊号年月进入hadoopbin首先格式化文件系统:$hadoopnamenode–format启动Hadoop:$startallsh用jps命令查看进程NameNode上的结果如下:DataNode上的结果:查看集群状态:$hadoopdfsadminreportHadoop的web方式查看:http::、运行wordcountjava程序()先在本地磁盘建立两个输入文件file和file:$echo“HelloWorldByeWorld”>file$echo“HelloHadoopGoodbyeHadoop”>file()在hdfs中建立一个input目录:$hadoopfs–mkdirinput()将file和file拷贝到hdfs中:$hadoopfs–copyFromLocalhomehexianghuisoftfile*input()执行wordcount:$hadoopjarhadoopexamplesjarwordcountinputoutput()完成之后查看结果:$hadoopfscatoutputpartrByebbshadooporcomhadoop技术论坛创刊号年月GoodbyeHadoopHelloWorld附录:可能出现的问题及相应的解决方法:、如果防火墙未关可能出现如下错误:Filehomehexianghuitmpmapredsystemjobtrackerinfocouldonlybereplicatedtonodes,insteadof。用jps查看进程都正常用web查看livenodes为说明datanode没有正常启动但datanode进程实际是启动了。解决方法:关闭防火墙。另一种可能:把safemode置于off状态:$hadoopdfsadmin–safemodeleave、如果在虚拟机中测试安装Hadoop可能会出现虚拟地址错误。、SSH是一个用来替代TELNET、FTP以及R命令的工具包。通过SSH可以把所有传输的数据进行加密这样"中间人"这种攻击方式就不可能实现了而且也能够防止DNS欺骗和IP欺骗。下载地址:http:wwwonlinedownnetsofthtm本教程到此结束。如有疑问可以参考更多其它资料或联系作者。欢迎读者把遇到的新问题以及解决方法发送到gshexianghuicom或者贴在hadoopor技术论坛上http:bbshadooporcom,以完善此教程和为其他读者提供经验资料。非常感谢您的参与。bbshadooporcomhadoop技术论坛创刊号年月在在在在WindowsWindowsWindowsWindows上使用上使用上使用上使用eclipseeclipseeclipseeclipse编写编写编写编写HadoopHadoopHadoopHadoop应用程序应用程序应用程序应用程序作者:一见前言前言前言前言本文档通过图文结合的方式展现在Windows上编写和编译Hadoop应用程序然后放到Linux运行的全过程。创建创建创建创建JavaJavaJavaJava工程工程工程工程打开eclipse选择“File>New>JavaProject”新建一个“JavaProject”进入“NewJavaProject”对话框将“Projectname”设置为“DFSOperator”如下图所示:选中“DFSOperator”并单击右键选择“New>Class”菜单新建“Name”为“DFSOperator”的class并选中自动创建main函数如下图所示:配置编译参数配置编译参数配置编译参数配置编译参数下面开始配置“BuildPath”选中“DFSOperator”单击右键点击下图所示菜单“BuildPath>ConfigureBuildPath”进入“JavaBuildPath”配置界面。选择“Libraries”标签页点击右侧的“AddExternalJAR”按钮将安装好的“hadoopbbshadooporcomhadoop技术论坛创刊号年月corejar”添加进来。源代码源代码源代码源代码进入的“DFSOperatorjava”文件编辑界面将“DFSOperatorjava”的内容修改成如下:publicpublicpublicpublicclassclassclassclassDFSOperator{***paramparamparamparamargs*publicpublicpublicpublicstaticstaticstaticstaticvoidvoidvoidvoidmain(Stringargs){TODOTODOTODOTODOAutogeneratedmethodstubConfigurationconf=newnewnewnewConfiguration()trytrytrytry{FileSystemfs=FileSystemget(conf)Pathf=newnewnewnewPath("hdfs:dfsoperatortxt")FSDataOutputStreamos=fscreate(f,truetruetruetrue)intintintinti=forforforfor(i=i<i)oswriteChars("test")osclose()}catchcatchcatchcatch(IOExceptione){TODOTODOTODOTODOAutogeneratedcatchblockeprintStackTrace()}}}编译生成编译生成编译生成编译生成JARJARJARJAR右键“DFSOperator”项目选择“BuildProject”编译项目工程编译“DFSOperatorjava”后生成下图所示的DFSOperatorclass文件:右键项目选择“Export”:bbshadooporcomhadoop技术论坛创刊号年月进入下图所示的“Export”对话框:在上图所示对话框中选中“JARfile”然后点击“Next”按钮进入下图:bbshadooporcomhadoop技术论坛

用户评价(3)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/13

Hadoop开发者入门专刊

仅供在线阅读

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利