实验13-sqoop数据集成.docx

广州大学华软软件学院
South 匚hina Institute of Softnjare bngineerinn.GLI实验报告封面
课程名称：Hadoop大数据处理课程代码：JY1124
任课老师：陈宁穗实验指导老师：陈宁穗
实验报告名称：实验13 sqoop数据集成学生姓名：
学号：
教学班：
递交日期：
签收入：
我申明，本报告内的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保存了这份实验报告的副本。
申明人（签名）：
实验报告评语与评分：
评阅老师签名:
实验名称：sqoop数据集成
二、实验日期：2015年 月 日
三、实验目的：
熟悉sqoop数据集成。
四、实验用的仪器和材料：
硬件：PC电脑一台；配置：内存，4G及以上 硬盘250G及以上
软件环境：操作系统 XP, vmware, ubuntu, jdk, hadoop
五、实验的步骤和方法：
请用命令完成以下操作
一、安装mysql,准备数据。
1、安装mysql：
sudo apt-get install mysql-servor mysql-client
安装过程中，会提示设置root用户密码。
2、登录MySQL：
mysql -uroot -p （用root账户登录），然后输入密码；
3、查看所有的数据库名字：show databases;
4、选择一个数据库操作：use test;
5、查看当前数据库卜所有的表名：show tables;
6、创立测试表，插入测试数据。
mysql> use test Database changed mysql> show tables-> ；
Empty set (0.00 sec)
mysql> create table mytest(id int(5) not null,name varchar(10));
Query OK, 0 rows affected (0.57 sec)mysql> insert into mytest values(10Q01,'jake') -> ；
Query OK, 1 row affected (0.23 sec)mysql> insert into mytest values(10002,'rose') -> ；
Query OK, 1 「ow affected (0.94 sec)
二、安装Sqoop及将mysql的数据导入到HDFS中
1.解压Sqoop以及jar包拷贝
1）下载sqoop,解压。
2）将mysql-connector的jar包复制至sqoop解压后的lib R录卜。
3）把sqoop根目录下的以及mysql-connector的jar包复制到hadoop根目录下 的lib目录
4）修改 sqoop 的 bin 目录卜.的 configure_sqoop
if [ -z M${HADOOP_COMMON_HOME}M ]; thenif [ -n ,,${HAD06p_H0ME}n ]; then
HADOOP_COMMON_HOME=${HADOOP_HOME}else

if [ -z H${HADOOP_MAPRED_HOME}H ]； thenif [ -n •,${HADOOP_HOME}n ]; then
hadoop_mapred_h6me=${hadoop_home}else

if [ -z n${HBASE_HOME}n ]; then
HBASE_HOME=/home/grtd/hbase ft if [ -z "${HCAT_HOME}" ]; then
HCAT_HOME=/home/grid/hcatalog ft
在/etc/profile里配置sqoop环境变量：
export SQOOP_HOME=/home/grid/sqoop

export HADOOP_MAPRED_HOME=/home/grid/hadoop-1.2.1|
export PATH=n$JAVA_HOME/bin:$JRE_HOME/bin:$SQOOP_HOME/bin:$PATHn
2、使JIJ sqoop从mysql中导入数据到HDFS中。
1） bin/sqoop help
2）测试连接
grid@yln-virtual-machine:~/sqoop$ bin/sqoop list-databases --connect jdbc:mysql: //localhost:3306/ --username root --password master
14/05/17 01:11:18 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
14/05/17 01:11:18 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultse t.
information_schema
nysql
performance schema
testI
3）导入HDFS数据
grid@yln-virtual-machine:~/sqoop$ bin/sqoop import -:3306 |/test --table mytest --username root -password master -m 1
4）回到hadoop目录下，检验HDFS上是否存在相应表及数据.
grtd@yln-virtual-machine:-/hadoop-1.2.1$ btn/hadoop fs -Is
Warning: $HAD00P_H0ME is deprecated.
Found 2 items
drwxr-xr-x- grid supergroup0 2014-04-08 16:24 /user/grid/in
drwxr-xr-x- grid supergroup0 2014-05-20 17:22 /user/grid/mytest
gridgyln-virtual-machine:-/hadoop-1.2.1$ bin/hadoop fs -cat /user/grid/mytest Warning: $HAD00P_H0ME is deprecated.
cat: File does not exist: /user/grid/mytest
grtd@yln-virtual-machine:~/hadoop-1.2.1$ fs -cat /user/grtd/mytest/part-m-00000 程序“fs”尚未安装。您可以使用以下命令安装：
sudo apt-get install openafs-cltent
grtd@yln-virtual-machine:-/hadoop-1.2.1$ btn/hadoop fs -cat /user/grtd/mytest/p< rt-m-00000
Warning: $HADOOP_HOME is deprecated.
10001,jake
10002,rose
六、数据记录和计算：写语句及截图
七、实验结果或结论：即根据实验过程中所见到的现象和测得的数据，作出结论。
八、备注或说明：可写上实验成功或失败的原因，实验后的心得体会、建议等。
九、引用参考文献：
1.陆嘉恒Hadoop实战.机械工业出版社