在Hadoop集群环境中为MySQL安装配置Sqoop的教程(hadoop集群状态)

编辑：rootadmin

推荐整理分享在Hadoop集群环境中为MySQL安装配置Sqoop的教程(hadoop集群状态)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:hadoop集群采用什么架构,hadoop集群部署有哪些模式?各自的应用环境是什么?,hadoop集群环境可以分为,简述hadoop集群如何运行,hadoop集群采用什么架构,hadoop集群采用什么架构,hadoop集群中存在的最主要瓶颈是,hadoop集群中存在的最主要瓶颈是,内容如对您有帮助，希望把文章链接给更多的朋友！

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。

一、安装sqoop1、下载sqoop压缩包，并解压

压缩包分别是：sqoop-1.2.0-CDH3B4.tar.gz，hadoop-0..2-CDH3B4.tar.gz， Mysql JDBC驱动包mysql-connector-java-5.1.-bin.jar

2、将sqoop-1.2.0-CDH3B4拷贝到/home/hadoop目录下，并将Mysql JDBC驱动包和hadoop-0..2-CDH3B4下的hadoop-core-0..2-CDH3B4.jar至sqoop-1.2.0-CDH3B4/lib下，最后修改一下属主。

3、配置configure-sqoop，注释掉对于HBase和ZooKeeper的检查

4、修改/etc/profile和.bash_profile文件，添加Hadoop_Home,调整PATH

二、测试Sqoop

1、查看mysql中的数据库：

在Hadoop集群环境中为MySQL安装配置Sqoop的教程(hadoop集群状态)

2、将mysql的表导入到hive中：

三、Sqoop 命令

Sqoop大约有种命令,和几种通用的参数(都支持这种命令)，这里先列出这种命令。接着列出Sqoop的各种通用参数,然后针对以上个命令列出他们自己的参数。Sqoop通用参数又分Common arguments,Incremental import arguments,Output line formatting arguments,Input parsing arguments,Hive arguments,HBase arguments,Generic Hadoop command-line arguments,下面说明一下几个常用的命令:1.Common arguments通用参数,主要是针对关系型数据库链接的一些参数1）列出mysql数据库中的所有数据库

2)连接mysql并列出test数据库中的表

命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码

3)将关系型数据的表结构复制到hive中,只是复制表的结构，表中的内容没有复制过去。

其中 ?table sqoop_test为mysql中的数据库test中的表 ?hive-tabletest 为hive中新建的表名称

4)从关系数据库导入文件到hive中

5)将hive中的表数据导入到mysql中,在进行导入之前，mysql中的表hive_test必须已经提起创建好了。

6）从数据库导出表的数据到HDFS上文件

7）从数据库增量导入表数据到hdfs中

MySQL中开启和使用通用查询日志的实例教程开启通用查询日志因为为了性能考虑，一般通用查询日志generallog不会开启。slowlog可以定位一些有性能问题的sql，而generallog会记录所有的SQL。mysql5.0版本

MySQL中用通用查询日志找出查询次数最多的语句的教程 MySQL开启通用查询日志generallogmysql打开generallog之后，所有的查询语句都可以在generallog文件中以可读的方式得到，但是这样generallog文件会非常大，所以默

为MySQL安装配置代理工具Kingshard的基本教程环境说明本文仅作为最小实验环境，因此不使用master,slave模式.单机上使用mysql_mutil运行二个mysql实列初始化数据目录#mysql_install_db--datadir=/var/lib/mysql2/--use

标签: hadoop集群状态