Hadoop技术论坛开发者入门专刊.pdf

后目录1 Hadoop 介绍2 Hadoop在国内应用情况3 Hadoop源代码eclipse编译教程7 在 Windows上安装 Hadoop 教程13 在Linux上安装 Hadoop教程19 在 Windows上使用eclipse编写 Hadoop应用程序24 在 Windows 中使用 Cygwin 安装 HBase28 Nutch与Hadoop的整合与部署31 在 Windows eclipse 上单步调试 Hive 教程38 Hive应用介绍42 Hive执行计划解析50 MapReduce 中的 Shuffle 和 Sort 分析53 海量数据存储和计算平台的调试器研究56 探讨MapReduce模型的改进58 运行eclipse编译出的Hadoop框架59 表关联在MapReduce上的实现63 Hadoop计算平台和Hadoop数据仓库的区另UHadoop介绍Hadoop 是 Apache 下的个项目，由 HDFS、MapReduce HBase Hive ZooKeeper 等成员组成。其中，HDFS和MapReduce是两个最基础最重要的成员。HDFS是Google GFS的开源版本，一个高度容错的分布式文件系统，它能够提供高吞 吐量的数据访问，适合存储海量（PB级）的大文件（通常超过64M）,其原理如下图所示；HDFS ArchitectureMetadata ops采用Master/Slave结构。NameNode维护集群内的元数据，对外提供创建、打开、删除 和重命名文件或目录的功能。DataNode存储数据，并提负责处理数据的读写请求。DataNode 定期向NameNode上报心跳，NameNode通过响应心跳来控制DataNode0InfoWord将MapReduce评为2009年十大新兴技术的冠军。MapReduce是大规模数据（TB级）计算的利器，Map和Reduce是它的主要思想，来源于函数式编程语言，它的原理如下图所示:Map负责将数据打散，Reduce 负责对数据进行聚集，用户只需要实 现map和reduce两个接口，即可完成 TB级数据的计算，常见的应用包括：日志分析和数据挖掘等数据分析应用。另外，还可用于科学数据计算，如圆周 率PI的计算等。Hadoop MapReduce的实现也采用 了 Master/Slave 结构。Master 叫做 JobTracker,而 Slave 叫做 TaskTrackero用户提交的计算叫做Job,每一个Shape Counter with Map/RoducoJob会被划分成若干个Tasks。JobTracker 负责Job和Tasks的调度，而TaskTracker 负责执行Tasks o创刊号2010年1月-1-Hadoop在国内应用情况主要公司5甸宝网Bai泡百度中国移动通信CHINA MOBILE辆易 NetEase www-163CQm更多 的数据请浏览：.html地域分布下面的数据由Hadoop技术论坛提供，数据的绝对值参考意义不大，主要是看各城市间的相对数据。北京、深圳和杭州位列前三 甲，分析主要原因是：北京有淘 宝和百度，深圳有腾讯，杭州有 网易等。互联网公司是Hadoop 在国内的主要使用力量。淘宝是在国内最先使用 Hadoop的公司之一，而百度赞 助了 HyperTable的开发，加上 北京研究Hadoop的高校多，所 以北京是Hadoop方面研究和应 用需求最高的城市。位于北京的中科院研究所，Bviiinci在2009年度还举办过几次Hadoop技术大会，加速了 Hadoop在国内的发展。1.Beijing65630.51%6.70%6.70%Q2.Shenzhen33215.44%3.Hangzhou24111.21%16.51%4.Shanghai144670%11.21%5.Guangzhou144670%6.Nanjing673.12%7.Chengdu642.98%51%8.Changsha592.74%9.Shenyang482.23%10.Wuhan401.86%创刊号2010年1月-2-Hadoop源代码eclipse编译教程作者；一见1.下载Hadoop源代码Hadoop 各成员源代码下载地址：svn.apache,org/repos/asf/hadoop,请使用 SVN下载，在SVN浏览器中将trunk目录下的源代码check-out出来即可。请注意只check-out 出SVN上的trunk目录下的内容，如：svn.apache,org/repos/asf/hadoop/common/trunk,而不是 svn.apache,org/repos/asf/hadoop/common,原因是 svn.apache.org/repos/asf/hadoop/common 目录下包括了很多非源代 码文件，很庞大，导致需要很长的check-out时间。2.准备编译环境2.1.Hadoop代码版本本教程所采用的Hadoop是北京时间2009-8-26日上午下载的源代码，和hadoop-0.19.x 版本的差异可能较大。2.2.联网编译Hadoop会依赖很多第三方库，但编译工具Ant会自动从网上下载缺少的库，所以 必须保证机器能够访问Interneto23.java编译 Hadoop要用 JDK1.6 以上，网址；安装好之后，请设置好JAVA_HOME环境变量。24 Ant 和 Cygwin需要使用Ant工具来编译Hadoop,而Ant需要使用到Cygwin提供的一些工具，如sed 等，可以从；ant.apache.org/ivy/download.cgi 下载 Ant,从 下载Cygwin（Cygwin的安装，请参考在Windows上安装Hadoop教程一文）。安装好 之后，需要将Ant和Cygwin的bin目录加入到环境变量PATH中，如下图所示；注意：在安装Cygwin时，建议将SVN安装上，因为在Ant编译过程中会通过SVN下载 些文件，但这个不是必须的，下载不成功时，并未见出错，编译仍然可以成功。2.5.Eclipse创刊号2010年1月-3-卜口久”戊不忆云Eclipse 则可以从 http:www.eclipse.org/downloads/上下载。3.编译Hadoop在这里，我们以编译Hadoop家庭成员common为例，对Hadoop其它成员的编译方 法是类似的。3.1.编译common成员步骤1）在Elipse的Package视图中单击右键，选择New-Java Project,如下图所示;步骤2）选择源代码目录，设置Project名。Create a lava ProjectCreate a Java piroj ect ixt tKe woxkspa.ee or ixi an external location.Eroj.ut,name:common|Coztt ertt sOCraat.e new piroj ect.in woirkspa.ee project irom exi stin somitce fiirectory:E:Kadoopcommontx-ixnlc在上图所示的对话框中，点击Browse按钮，选择common源代码目录，并设置Project name 为 common。工程导入完成后，进入Eclipse主界面，可以看到common已经导入进来，但可以看到 common上有红叉叉，是因为Elipse默认使用了 Java Builder,而不是Ant Builder,所以下 一步就是设置使用Ant Buildero步骤 3）设置 Builder 为 Ant：右键 common-Properties-Builders:在上图所示的界面中，点击New按钮，在弹出的对话框中选中Ant Builder,确定之后会弹 出如下对话框：创刊号2010年1月-4-点击Browse File System按钮，选择common源代码目录下的build.xml文件，并设置 Name为common_Builder（Name可以改成其它的，但建议使用common_Builder,因为 这样名副其实），操作结果如下图所示；除上图所示的设置外，还需要设置如下图所示的Targets,建议设置成Manual Build编 译方式，而不是Aut。Build编译方式。因为在Aut。Build模式下，任何修改都会触发编译,而Manual Build模式下，只在需要的时候，点击编译按钮或菜单编译即可。Name：c omm on_Bui1derHadoop各成员都需要编译成jar,所以做如下图所示的一个修改创刊号2010年1月-5-Set Targets XCheck targets to execute：NameDescriptionA record-parser3 compile-rcc_compilerW compile_core_classescompile-native compile-core-nativeJ compile-core3,1compile-contribCompile core only，卷compile default l 叵 jarCompile core,contrib Make hadoop_core.j ar号 metrics.jarMake the Kadoop metricsjar.(for确定之后，返回如下图所示的Edit Configuration对话框;Nam e：comm on_Bui1der上面完成后，回到Builder的主对话框，再将对话框中的Java Builder下移，并将它前面的 勾去掉。进入Eclipse主界面，由于之前选择了 Manual Build,所以需要人工方式驱动编译，编 译成功后，可以看至lBU工LD SUCCESSFUL字样。请注意：如果上图所示的菜单中的Build Automatically被勾中，则在common的右键 菜单中可能不会出现Build子菜单。在编译过程中，Ant会自动从网上下载所依赖的库。common的编译成功结束后，可以 创刊号2010年1月-6-卜口久”戊不忆云在build目录下找到编译后生成的文件hadoop-core-0.21.0-dev.jaro32 编译Hadoop其它成员hdfs mapreduce 和 hive 的编译方式同 common。4.FAQ4.1.联网确保可以上internet,Ant需要自动下载很多第三方依赖库，如果不能联网，编译会复 杂很多。42编译hivehive的编译相对复杂些，而且默认它会编译多个版本的hive,建立修改shims目录下 的ivy.xml文件，去掉不必要版本的编译。4.3.编译生成文件位置common 编译后生成 bui 1 dhadoop-core-0.21.O-dev.jar；hdfs 编译后生成 bui 1 dhadoop-hdfs-0.21.O-dev.jar；mapreduce 编译后生成 bui 1 dhadoop-mapred-O.21.O-dev.jar；hive编译后生成buildservicehive_service.jar,请注意并没有直接放在build目 录下；hbase 编译后生成 buildhbase-O.21.0-dev.jar；有时候在编译某个时出错，可先跳过，编译其它的，Refresh之后再编译。在 Windows上安装Hadoop教程作者：一见1.弼 JDK不建议只安装JRE,而是建议直接安装JDK,因为安装JDK时，可以同时安装JRE。MapReduce程序的编写和Hadoop的编译都依赖于JDK,光JRE是不够的。JRE 下载地址；www.java,com/zh_CN/down load/manual,jspJDK 下载地址； Java SE 即可。2.Cygwin不建议使用Windows“域用户”配置和运行Cygwin,由于公司防火墙等原因，容易遇 到一些较难解决的问题。另外，如果运行Cygwin的用户和登录Windows的用户不同，则需 要将Cygwin安装目录及子目录的拥有者(Owner)0Cygwin 安装程序下载地址；http: http: 下载,本教程下载的是 Cygwin 1.7.lo setup,exe 的存 创刊号2010年1月-7-放目录可随意无要求。当setup,exe下载成功后，直接运行，在弹出的“Cygwin Net Release Setup Program 的对话框中直接点击“下一步”，选择download source”如下；选择Install from Internet,进入下图所示对话框:设置 Cygwin 的安装目录，Install For 选择“All Users,Default Text File Type 选择“Unix/binary。“下一步”之后，设置Cygwin安装包存放目录：设置 aInternet Connection 的方式，选择Direct Connectionw：之后选择“Download site；创刊号2010年1月-8-卜口久”戊不忆云“下一步”之后，可能会弹出下图的“Setup Alert对话框，直接“确定”即可。Setup A1e rt-X eeeg i hlfhhy fh TPItc I在“Select Packagesw对话框中，必须保证“Net Category”下的“OpenSSL”被安装如果还打算在eclipse上编译Hadoop,则还必须安装“Base Category下的sed另外建议将“Editors Category”下的vim安装，以方便在Cygwin上直接修改配置文创刊号2010年1月-9-件；“Devel Category”下的 subversion 建议安装:“下一步”进入Cygwin安装包下载过程。当下载完后，会自动进入到“setup”的对话框;在上图所示的对话框中，选中“Create icon on Desktop,以方便直接从桌面上启动 Cygwin,然后点击“完成”按钮。至此，Cgywin已经安装完成。3.配置环境变量需要配置的环境变量包括PATH和JAVAJOME：将JDK的bin目录、Cygwin的bin目录 以及Cygwin的usrbin目录都添加到PATH环境变量中；JAVA_HOME指向JRE安装目录。4.安装sshd服务点击桌面上的Cygwin图标，启动Cygwin,执行ssh-host-config命令,当要求输入yes/no 时，选择输入n。当看到“Have fun”时，一般表示sshd服务安装成功。执行过程如图：5 ash-boat-cent CygWill*Is!:lrf o：Gnrt in*/tcZaah_haet Inf :inf ZotcZBal*hastItU o:Crt iny default zetczash_coAf iy f!Inf。：Craat In9 4f Ault/4.f i 1 Inf o:Frivi 9 pArat ion set to by def uIt ince 0|nSSH).3.1 Info：Hawevr this r*qtir*9 non-priv i 1VmI*ltf v:Pr wore Anf o on pr Aviiy aaparat ion ri Zusr/Mir/doc/opna lli.pr ivsep.,-Shou Id privi*eprt ion be used?Inf e:UpdAt inn ztcZaM_coaf if F ilInf Hast conf iM如果是Cygwin 1.7之前的版本，则ssh-host-conf ig显示界面如下图所示;创刊号2010年1月-10-卜口久”戊不忆云Fiil9Ttzttzn01 V if2 irftN UCXIn ci7/二；至七 HHHH。士。V=Att士璟。.七彩cf:e:P 。二 T5.启动sshd服务在桌面上的“我的电脑”图标上单击右键，点击“管理”菜单，启动CYGWIN sshd服务名称/I描述I状态嚼COM+System Application 管命Computer Browser 维 已启动周9c管yp电匕管viees 提、已启动S计算机管理EJ回区国 文件(F)操作(A)查看(V)窗口 帮助(H)g 的囹回心由回-|g|x|叁计算机管理(本地)E题j系统工具囹血事件查看器&共享文件夹国本地用户和组囹融性能日志和警报 菖设备管理器B田存储 I t LAi启动类型登:人手动 本土自动 本i i自动 本土河CYGWIN sshd骗DCOM服务器进 豫DHCP ClientT1-i u+vi Ki 1+ad 1当CYGWIN sshd的状态为“已启动”后,二 1 U|暂停(U)I接下来就是配置ssh动动用 忌忌白 己已尸6.酉己置ssh登录执行ssh-keygen命令生成密钥文件，一路直接回车即可，如果不出错，应当是需要三 次按回车键。按如下命令生成authorized_keys文件：cd.ssh/cp id_rsa,pub authorized_keys完成上述操作后，执行exit命令先退出Cygwin窗口，如果不执行这一步操作，下面的 操作可能会遇到错误。接下来，重新运行Cygwin,执行ss/?localhost命令,在第一次执行时，会有如下图 所示的提示，输入yes,直接回车即可；51ssh localhostfhe authenticity of host 9 localhost,can*t be establishe RS A key ingerprint is d7：0：a4：56：be：43：15：9c：2：02：ac：2 j：62：5a：ac：Se you sure you want to continue connecting yes/no）？（Earning：Permanently added localhost to the list of known ho Last login：Wed Jan 6 22：25：59 2010 from localhost如果是Windows域用户，这步操作可能会遇到问题，错误信息如下;$ssh localhostLast login：Thu Jan 7 10:23:09 2010 f*on localhost3【main】-bash 5016 E：cy9winbinbash.exe：*fatal e amically deternine load address f01*WSAGetLastError*（handle error 126 Connection to localhost closed.创刊号2010年1月-11-这个错误暂无解决办法，问题的解决情况，可关注Hadoop技术论坛中的贴;http: 1.7.1 版本 ssh 问题)。如果配置成功，执行who命令时，可以看到如下图所示的信息；whoian tty0 2010-01-06 22：51 7.下载hadoop安装包hadoop安装包下载地址；http:labs, http:labs, 版本，不过建议直接上0.20版本。8.安装 hadoop将hadoop安装包hadoop-0.20.1.tar.gz解压到D:hadooprun目录(可以修改成其它 目录)下，如下图所示；地址(Q)D:hadooprun文件和文件夹任等 公口创建一个新文件夹。将这个文件夹发布到Web动共享此文件夹其它位置 公hadoopI口我的文档 事共享文档 B我的电脑Irlibin I(c+(Jconf 匕Jcontrib redoesItJhiveIrlivv口 ib(JlibrecordioIrlogsIrlsrcIJwebapps孟 build0 CHANGES酉 hadoop-0.20.1-ant回 hadoop-0.20.1-core回 hadoop-0.20.1-examples酉 hadoop-0.20.1-test回 hadoop-0.20.1-tools ivy囿 LICENSE大小类型72 KB文件夹 文件夹 文件夹 文件夹 文件夹 文件夹 文件夹 文件夹 文件夹 文件夹 文件夹 文件夹 XML文档337 KB文本文档7 KBjarfile2,620 KBjarfile140 KBjarfile1,513 KBjarfile69 KBjarfile9 KBXML文档14 KB文本文档名称接下来,需要修改hadoop的配置文件,它们位于conf子目录下,分别是hadoop-env.sh、core-site.xml hdfs-site.xml 和 mapred-site,xml 共四个文件。在 Cygwin 环境，masters 和slaves两个文件不需要修改。修改 hadoop-env.sh只需要将JAVA_HOME修改成JDK的安装目录即可，需要注意两点：(1)JDK必须是1.6或以上版本；(2)设置JDK的安装目录时,路径不能是windows风格的目录(d:javajdkl.6.013),而是 LINUX 风格(/cygdrive/d/java/jdkl.6.013)0在hadoop-env.sh中设定JDK的安装目录；export JAVA_HOME=/cygdrive/d/java/jdkl.6.013修改 core-site,xml为简化 core-site,xml 酉己置，D:hadooprunsrccore 目 录下的 core-default,xml 文件复制到D:hadooprunconf目录下，并将core-default,xml文件名改成coresite.xmlo修改fs.default,name的值，如下所示；创刊号2010年1月-12-property)fs.default.name vualuehds:/loualhos七二 8 88 8 The name of the default file system scheme and authority determine the FxleSystem Im urif s scheme determines the config property(fs,the Filesystem xinplementat;xon class.The urx*s.determine the hos*t,port,etc.for a fxlesystem.如果上图中的端口号8888,可以改成其它未被占用的端口。修改 hdfs-site,xml为简化 hdfs-site.xml 配置，将 D:hadooprunsrchdfs 目录下的 hdfs-default.xml 文件 复制到D:hadooprunconf目录下，并将hdfs-default.xml文件名改成hdfs-site.xmlo不需要再做其它修改。修改 mapred-site.xml为简化 mapred-site.xml 酉己置，各 D:hadooprunsrcmapred 目 录下的 mapreci-default.xml文件复制到D:hadooprunconf目录下，并将mapred-default,xml文件名改 成 mapred-site.xml。map red.job.tracker/namelocalliost:9999The host and port that the MapReduce 30b at.If local11,then jobs are run in-process as a si and reduce task.j上图中的端口号9999,可以改成其它未被占用的端口。到这里，hadoop宣告安装完毕,可以开始体验hadoop 了！9.启动 hadoop在Cygwin中，进入hadoop的bin目录，运行./s Er Lail,s力启动hadoop,在启动成 功之后，可以执行./ftadoop fs-Is 发令，查看hadoop的根目录。如果运行mapreduce,请参考其它文档，本教程的内容到此结束。在Linux上安装Hadoop教程作者：小米 Email：在Linux下搭建Hadoop集群，请先熟悉Linux的基本概念和操作，如cd、Is、tar、cat、ssh、sudo、scp等操作。养成搜索意识很重要，遇到问题借用google、百度等，或者论坛，推荐 Hadoop 技术论坛 。ubuntu和redhat等版本的linux在操作命令上有不同点,但安装Hadoop的流程一样。创刊号2010年1月-13-卜口久”戊不忆云实践环境:Ubuntu8.04+jdkl.6+hadoop-0.20.1(三台实体机)机器名IP作用Hexianghui192.168.0.4NameNode、master、jobTrackerhexianghui06192.168.0.3DataNode slave、taskTrackerhexianghui05192.168.0.5DataNode、slave、taskTracker注意：初学者可以选择三台做实验，一台做NameNode,master和jobTracker,另外两 台做DataNode,slave,taskTracker。关于这几个概念，可以参考Hadoop的官方文档 http:hadoop.apache.ore/。安装ubuntu操作系统的datanode配置内存最好满足512M,NameNode的机器满足1G内存，2G更好。ubuntu安装后，可不启动图形界面，节约内存。安装步骤：1、安装 ubuntu8.04更新源修改（方便以后更新提高速度，教育网可以参考如下网址）：http: 1208b53e8a6438dbac.html创建用户：为了操作的简便，在所有机器上创建相同用户名和相同密码的用户。本例创 建了相同的用户hexianghuio修改机器名；$hostname机器名。修改方法参考文档；http: 127.0.0.1 localhost 192.168.0.4 hexianghui 192.168.0.5 hexianghuiO5 192.168.0.3 hexianghuio62、开启ssh服务安装 openssh-server：$sudo apt-get install openssh-server 注意：自动安装openssh-server时，先要进行sudo apt-get update操作。可以在windows下用SSH Secure Shell Client（详见附录）来测试一下；D-default-SSH Secure She11 1 11 口15SH Secure Shell 3.2.9(Build 283)Zopyright(c)2000-2003 SSH Comzaunicat-ions Security Corp- copy of SSH Secure Shell is a non-commercial version.Host Name：|192.168.0.10Coimect工1 User Name：|hexi anghuiCancelPort|22Authenti cati on|Profile Settings)|连接弹出如下窗口:创刊号2010年1月-14-卜口久”戊不忆云ZJ Quick Connect-I Profiles3SH Secnire SHell 3.2.9(Bud 283)ZopyrigHt:(c)20002003 SSH Conuaunxcizxons Secrucity Corp-hlztzp s/xnnm.ssH com?mis copy o SSH Secwre Shell s a non-commercei1 version.rtis version,does not ncude PKT n.d PKCS 工工 亡nnutona1fty.输入密码后能正常进入，就可以实现远程登录和管理了。3、建立ssh无密码登录(1)在NameNode上实现无密码登录本机：$ssh-keygen-t dsa-P-f/.ssh/id_dsa,直接回车，完成后会在/.ssh/生成两个文件；id_dsa和id_dsa.pub。这两个是成对 出现，类似钥匙和锁。再把id_dsa.pub追加到授权key里面(当前并没有authorized_keys 文件)；$cat/.ssh/id_dsa.pub Z ssh/authorized_keyso 完成后可以实现无密码 登录本机：$ssh localhosto(2)实现NameNode无密码登录其他DataNode：把 NameNode 上的 iddsa.pub 文件追加到 dataNode 的 author izedkeys 内(以 192.168.0.3 节点为例)：a.拷贝 NameNode 的 id dsa.pub 文件；$scp id_dsa.pub hexianghui192.168.0.3:/home/hexianghui/b.登录 192.168.0.3,执行$cat id_dsa.pub .ssh/authorized_keys其他的dataNode执行同样的操作。注意：如果配置完毕，如果namenode依然不能访问datanode,可以修改datanode的 authorizedkeys：$chmod 600 authorized_keyso4、关闭防火墙$sudo ufw disable注意：这步非常重要。如果不关闭，会出现找不到datanode问题。5、安装jdkl.6下载地址；java,sun.coni/javase/dowcloads/widMet/jdk6.jsp,下载后，直接 安装。本例的安装路径为/home/hexianghui/jdkl.6.014。安装后，添加如下语句到/etc/profile中：export JAVA_HOME=/home/hexianghui/jdk1.6.014export JRE_HOME=/home/hexianghui/jdk1.6.014/jreexport CLASSPATH=.:$JAVA_HOME/1ib:$JRE_HOME/1ib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH注意：每台机器的java环境最好一致。安装过程中如有中断，切换为root权限来安装。6、安装 hadoop下载 hadoop-O.20.1.tar.gz：labs, hadoop-O.20.1.tar.gz把Hadoop的安装路径添加到环/etc/profile中：export HADOOP_HOME=/home/hexianghui/hadoop-0.20.1创刊号2010年1月-15-卜口久”戊不忆云export PATH=$HAD00P_H0ME/bin:$PATH7、配置 hadoophadoop 的主要配置都在 hadoop-0.20.1/conf 下。(1)在 conf/hadoop-env.sh 中配置 Java 环境(namenode 与 datanode 的配置相同)：$gedit hadoop-env.sh$export JA VA_HOME=/home/hexianghui/jdkl.6.0_14(2)配置 conf/masters 和 conf/slaves 文件：(只在 namenode 上配置)masters:192.168.0.4 slaves:192.168.0.3192.168.0.5(3)酉己置 conf/core-site,xml,conf/hdfs-site.xml 及 conf/mapred-site.xml(简单酉己 置，datanode的配置相同)core-site,xml:configuration(propertyhadoop.tmp.dir/name/home/hexianghui/tmpA base for other temporary directories./description/property)(propertyname)fs.defaul t.name/namehdfs:/192.168.0.4:9000/property/configurationhdfs-site.xml:(replication默认为3,如果不修改，datanode少于三台就会报错)configuration(propertydfs.repl i cat ion l/property/configurationmapred-site.xml:(propertymapred.job.tracker192.168.0.4:9001/property/configuration8、运行 hadoop创刊号2010年1月-16-卜口久”戊不忆云进入 hadoop-O.20.1/bin,首先格式化文件系统；$hadoop namenode-format 启动 Hadoop：$start-all.sh用jps命令查看进程，NameNode上的结果如下：Ihexianghuihexianghui:$jps5946 SecondaryNameNode6120 Jps6026 JobTracker5838 NameNodehexianghuihexianghui:5|DataNode上的结果；hexianghuiShexianghui06:jps5660 Jps5580 TaskTracker5516 DataNodehexianghuihexianghui06:1查看集群状态；$hadoop dfsadmin-reportHadoop 的 web 方式查看；http:192.168.0.4:50070 f Ftpj/he jaogKwi:5876tdHK明七 Most 5M“Stwted 乙feadhrw NameNode hexianghui:9OOOaStarted:Version:CompMed:Upgrades:Wed Jan 06 21:52 45 HKT 2010 0 201.r81O22OTue Sep 1 20:55:56 UTC 2009 by oom TKere are no upQrdes in progress.Cluster Summary18 file*and directories,42 block*SO total.Heap Siz