hadoop的运行环境配置.ppt

基于Hadoop平台的并行编程实践李东秀李东秀内容介绍n n熟悉熟悉hadoop配置环境配置环境n n搭建实验搭建实验平台平台n n编写编写（矩阵相乘）运算的（矩阵相乘）运算的map，reduce函数函数n n在在hadoop实验实验平台上实现平台上实现n n配置计算环境：配置计算环境：1个个Master、3个个Slave的的Hadoop集群集群n nApacheApacheApacheApache软件基金会下的一个开源分布式计算平台软件基金会下的一个开源分布式计算平台软件基金会下的一个开源分布式计算平台软件基金会下的一个开源分布式计算平台n n以以以以HadoopHadoopHadoopHadoop的的的的HDFSHDFSHDFSHDFS和和和和MapReduceMapReduceMapReduceMapReduce为核心的为核心的为核心的为核心的HadoopHadoopHadoopHadoop为用为用为用为用户提供了系统底层细节透明的分布式基础架构。户提供了系统底层细节透明的分布式基础架构。户提供了系统底层细节透明的分布式基础架构。户提供了系统底层细节透明的分布式基础架构。n n对于对于对于对于HadoopHadoopHadoopHadoop的集群来讲，可以分成两大类角色：的集群来讲，可以分成两大类角色：的集群来讲，可以分成两大类角色：的集群来讲，可以分成两大类角色：MasterMasterMasterMaster和和和和SalveSalveSalveSalve。n n一个一个一个一个HDFSHDFSHDFSHDFS集群是由一个集群是由一个集群是由一个集群是由一个NameNodeNameNodeNameNodeNameNode和若干个和若干个和若干个和若干个DataNodeDataNodeDataNodeDataNode组成的。组成的。组成的。组成的。n nMapReduceMapReduceMapReduceMapReduce框架是由一个单独运行在主节点上的框架是由一个单独运行在主节点上的框架是由一个单独运行在主节点上的框架是由一个单独运行在主节点上的JobTrackerJobTrackerJobTrackerJobTracker和运行在每个集群从节点的和运行在每个集群从节点的和运行在每个集群从节点的和运行在每个集群从节点的TaskTrackerTaskTrackerTaskTrackerTaskTracker共同组成的。共同组成的。共同组成的。共同组成的。1.1 Hadoop1.1 Hadoop简介简介 HDFS HDFS HDFS HDFS在在在在MapReduceMapReduceMapReduceMapReduce任务处理过程中提供了文件操作任务处理过程中提供了文件操作任务处理过程中提供了文件操作任务处理过程中提供了文件操作和存储等支持，和存储等支持，和存储等支持，和存储等支持，MapReduceMapReduceMapReduceMapReduce在在在在HDFSHDFSHDFSHDFS的基础上实现了任务的基础上实现了任务的基础上实现了任务的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互的分发、跟踪、执行等工作，并收集结果，二者相互的分发、跟踪、执行等工作，并收集结果，二者相互的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了作用，完成了作用，完成了作用，完成了HadoopHadoopHadoopHadoop分布式集群的主要任务。分布式集群的主要任务。分布式集群的主要任务。分布式集群的主要任务。集群中包括集群中包括4 4个节点：个节点：1 1个个MasterMaster，3 3个个SalveSalve，节，节点点IPIP地址分布如下：地址分布如下：127.0.0.1localhost127.0.0.1localhost192.168.1.120ubuntu1192.168.1.120ubuntu1192.168.1.121ubuntu2192.168.1.121ubuntu2192.168.1.122ubuntu3192.168.1.122ubuntu3192.168.1.123ubuntu4192.168.1.123ubuntu41.21.2环境说明环境说明1.3hadoop1.3hadoop的主从节点结构分解的主从节点结构分解2.12.12.12.1在所有的机器上建立相同的用户在所有的机器上建立相同的用户在所有的机器上建立相同的用户在所有的机器上建立相同的用户n n对每个系统进行系统名和对每个系统进行系统名和对每个系统进行系统名和对每个系统进行系统名和ipipipip地址的配置地址的配置地址的配置地址的配置必须在所有的机器上建立相同的用户，设置每个系统必须在所有的机器上建立相同的用户，设置每个系统的的ipip地址。地址。2.22.22.22.2配置配置配置配置NameNodeNameNodeNameNodeNameNode和和和和DataNodeDataNodeDataNodeDataNoden n配置配置配置配置hostshostshostshosts文件文件文件文件修改每台机器的修改每台机器的/etc/hosts(/etc/hosts(包括包括namenodenamenode和和datanode)datanode)）127.0.0.1localhost127.0.0.1localhost192.168.1.120ubuntu1192.168.1.120ubuntu1192.168.1.121ubuntu2192.168.1.121ubuntu2192.168.1.122ubuntu3192.168.1.122ubuntu3192.168.1.123ubuntu4192.168.1.123ubuntu42 2环境说明和安装配置环境说明和安装配置SSHSSH2.22.22.22.2安装配置安装配置安装配置安装配置SSHSSHSSHSSHn n安装和启动安装和启动安装和启动安装和启动SSHSSHSSHSSH协议协议协议协议yum install ssh yum install ssh 安装安装SSHSSH协议协议yum install rsync yum install rsync service sshd restart service sshd restart 启动服务启动服务n n 配置配置配置配置MasterMasterMasterMaster无密码登录所有无密码登录所有无密码登录所有无密码登录所有SalveSalveSalveSalveHadoopHadoop运行过程中需要管理远端运行过程中需要管理远端HadoopHadoop守守护进程，在护进程，在HadoopHadoop启动以后，启动以后，NameNodeNameNode是是通过通过SSHSSH来启动和停止各个来启动和停止各个DataNodeDataNode上的各上的各种守护进程的。种守护进程的。SSHSSH安装配置安装配置这就必须在节点之间执行指令的时候是不需要输这就必须在节点之间执行指令的时候是不需要输入密码的形式，故我们需要配置入密码的形式，故我们需要配置SSHSSH运用无密码公运用无密码公钥认证的形式，这样钥认证的形式，这样NameNodeNameNode使用使用SSHSSH无密码登录无密码登录并启动并启动DataNameDataName进程，同样原理，进程，同样原理，DataNodeDataNode上也上也能使用能使用SSHSSH无密码登录到无密码登录到NameNodeNameNode。在用户目录下建立在用户目录下建立在用户目录下建立在用户目录下建立sshsshsshssh的安装目录，之后设置权限的安装目录，之后设置权限的安装目录，之后设置权限的安装目录，之后设置权限MasterMaster机器上生成无密码密码对机器上生成无密码密码对机器上生成无密码密码对机器上生成无密码密码对,追加权限追加权限追加权限追加权限注意：注意：注意：注意：目录要设成目录要设成700 700 有执行权限有执行权限authorized_keysauthorized_keys要设成要设成600 600 否则会出错否则会出错还有还有ssh ssh 登陆要加入用户名的登陆要加入用户名的SSHSSH配置配置用用用用rootrootrootroot用户登录服务器修改用户登录服务器修改用户登录服务器修改用户登录服务器修改SSHSSHSSHSSH配置文件配置文件配置文件配置文件/etc/ssh/sshd_config/etc/ssh/sshd_config，无密码登录本级已经设，无密码登录本级已经设置完毕，接下来的事儿是把公钥复制所有的置完毕，接下来的事儿是把公钥复制所有的SlaveSlave机器上机器上v配置所有配置所有配置所有配置所有SlaveSlaveSlaveSlave无密码登录无密码登录无密码登录无密码登录MasterMasterMasterMaster和和MasterMaster无密码登录所有无密码登录所有SlaveSlave原理一样，就原理一样，就是把是把SlaveSlave的公钥的公钥追加追加追加追加到到MasterMaster的的.ssh.ssh文件文件夹下的夹下的authorized_keysauthorized_keys中中这样就建立了这样就建立了MasterMaster和和SlaveSlave之间的无密码验证相之间的无密码验证相互登录互登录SSHSSH配置配置n n安装安装安装安装jdk1.6.45jdk1.6.45jdk1.6.45jdk1.6.45n n环境变量配置环境变量配置环境变量配置环境变量配置编辑编辑/etc/profile/etc/profile文件，在后面添加文件，在后面添加JavaJava的的JAVA_HOMEJAVA_HOME、CLASSPATHCLASSPATH以及以及PATHPATH内容。内容。export JAVA_HOME=/usr/java/jdk1.6.0_31export JAVA_HOME=/usr/java/jdk1.6.0_31export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/binexport PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin使配置生效使配置生效使配置生效使配置生效 （重要）（重要）（重要）（重要）source/etc/profile source/etc/profile source/etc/profile source/etc/profile 验证验证验证验证uu SlaveSlaveSlaveSlave安装安装安装安装jdkjdkjdkjdk：MasterMaster下的下的JDKJDK复制到其他复制到其他SlaveSlave的的/home/hadoop/home/hadoop/下面剩下下面剩下的事儿就是在其余的的事儿就是在其余的SlaveSlave服务器上按照步骤安装服务器上按照步骤安装JDKJDK。3 jdk3 jdk安装配置安装配置首先在首先在namenodenamenode上配置，配置后在分发到上配置，配置后在分发到datanodedatanode上上在在“/usr/hadoop/usr/hadoop/usr/hadoop/usr/hadoop”下面创建下面创建tmptmptmptmp文件夹文件夹n n安装安装安装安装 把把/usr/hadoop/usr/hadoop读权读权读权读权限分配给限分配给hadoophadoophadoophadoop用户用户n n配置配置配置配置hadoophadoophadoophadoop配置配置配置配置hadoop-env.shhadoop-env.sh使得能够找到使得能够找到javajava的路径的路径exportHADOOP_HOME=/usr/hadoopexportHADOOP_HOME=/usr/hadoopexport JAVA_HOME=/usr/java/jdk1.6.0_29export JAVA_HOME=/usr/java/jdk1.6.0_294 Hadoop4 Hadoop集群安装配置集群安装配置配置文件也被分成了三个配置文件也被分成了三个core-site.xmlcore-site.xml、hdfs-site.xmlhdfs-site.xml、mapred-site.xmlmapred-site.xml。修改修改HadoopHadoop核心配置文件核心配置文件core-site.xmlcore-site.xmlcore-site.xmlcore-site.xml，这，这里配置的是里配置的是HDFSHDFS的地址和端口号。的地址和端口号。修改修改HadoopHadoop中中HDFSHDFS的配置的配置hdfs-site.xmlhdfs-site.xml。（就是（就是SlaveSlave的台数默认的台数默认3 3个）个）修改修改HadoopHadoop中中MapReduceMapReduce的配置文件的配置文件mapred-site.xmlmapred-site.xml，配置的是配置的是JobTrackerJobTracker的地址和端口。的地址和端口。4.14.1配置文件配置文件n n配置配置配置配置mastersmasters文件文件文件文件 第一种：修改第一种：修改localhostlocalhost为为Master.HadoopMaster.Hadoop第二种：去掉第二种：去掉localhostlocalhost，加入，加入MasterMaster机器的机器的IPIP：192.168.1.121192.168.1.121n n配置配置配置配置slavesslaves文件（文件（文件（文件（MasterMaster主机特有主机特有主机特有主机特有）第一种：第一种：第一种：第一种：去掉去掉localhostlocalhost，每行只添加一个主机名，每行只添加一个主机名，把剩余的把剩余的SlaveSlave主机名都填上。主机名都填上。第二种：第二种：第二种：第二种：去掉去掉localhostlocalhost，加入集群中所有，加入集群中所有SlaveSlave机器的机器的IPIP，也是每行一个。，也是每行一个。4.14.1配置文件配置文件 现在在现在在MasterMaster机器上的机器上的HadoopHadoop配置就结束配置就结束了，剩下的就是配置了，剩下的就是配置SlaveSlave机器上的机器上的HadoopHadoop。一种方式一种方式一种方式一种方式是按照上面的步骤，把是按照上面的步骤，把HadoopHadoop的安装包在用普通用户的安装包在用普通用户hadoophadoop通过通过scpscp复制到其他机器的复制到其他机器的/home/hadoop/home/hadoop目目录下，然后根据实际情况进行安装配置录下，然后根据实际情况进行安装配置另一种方式另一种方式另一种方式另一种方式是将是将 MasterMaster上配置好的上配置好的hadoophadoop所在文件夹所在文件夹/usr/hadoop/usr/hadoop复制到所有的复制到所有的SlaveSlave的的/usr/usr目录下目录下4.24.2配置配置SlaveSlave机器上的机器上的Hadoopn n格式化格式化格式化格式化HDFSHDFS文件系统文件系统文件系统文件系统只需一次，下次启动不再需要格式化只需一次，下次启动不再需要格式化n n启动启动启动启动hadoophadoop（启动前关闭所有机器的防火墙启动前关闭所有机器的防火墙启动前关闭所有机器的防火墙启动前关闭所有机器的防火墙）可以一次全部启动所有的节点可以一次全部启动所有的节点serviceiptablesstopstart-all.shserviceiptablesstopstart-all.sh或是分别启动或是分别启动namenodenamenode、datanode datanode、tasktrackertasktracker 、secondarynamenode secondarynamenode、jobtrackerjobtrackern n验证验证验证验证hadoophadoop4.3Hadoop4.3Hadoop启动及验证启动及验证用用hadoop dfsadmin-reporthadoop dfsadmin-report查看查看HadoopHadoop集群的状态集群的状态。n n网页查看集群网页查看集群网页查看集群网页查看集群访问访问访问访问http:192.168.1.120:50030http:192.168.1.120:50030http:192.168.1.120:50030http:192.168.1.120:50030“mapreducemapreduce的的webweb页面页面访问访问访问访问http:192.168.1.120:50070http:192.168.1.120:50070http:192.168.1.120:50070http:192.168.1.120:50070hdfshdfs的的webweb页面页面4.44.4网页查看集群网页查看集群n n首先启动首先启动hadoophadoop，把，把jarjar包放到指定位置包放到指定位置n n通过通过hadoophadoop的命令在的命令在HDFSHDFS上创建上创建/tmp/work/tmp/work目录（本次所需）目录（本次所需）n n通过通过copyFromLocalcopyFromLocal命令把本地的命令把本地的word.txtword.txt复制到复制到HDFSHDFS上上n n通过命令运行例子，主要是指定通过命令运行例子，主要是指定jarjar程序包，程序包，需要统计的数据文件和结果存放的文件需要统计的数据文件和结果存放的文件n n查看运行结果查看运行结果5 5运行程序步骤运行程序步骤