Hadoop单机版和全分布式(集群)安装(hadoop有几个版本)

编辑：rootadmin

Hadoop，分布式的大数据存储和计算, 免费开源！有Linux基础的同学安装起来比较顺风顺水，写几个配置文件就可以启动了，本人菜鸟，所以写的比较详细。为了方便，本人使用三台的虚拟机系统是Ubuntu-。设置虚拟机的网络连接使用桥接方式，这样在一个局域网方便调试。单机和集群安装相差不多，先说单机然后补充集群的几点配置。

第一步，先安装工具软件编辑器：vimssh服务器: openssh，先安装ssh是为了使用远程终端工具（putty或xshell等），这样管理虚拟机就方便多了。

第二步，一些基本设置最好给虚拟机设置固定IP修改机器名，我这里指定的名字是：hadoopmaster ，以后用它做namenode修改hosts，方便应对IP变更，也方便记忆和识别

第三步，添加一个专门为hadoop使用的用户设置hadoop用户的sudo权限在 root ALL=(ALL:ALL)下面加一行 hadoop ALL=(ALL:ALL)切换到hadoop用户 su hadoop

第四步，解压安装JDK，HADOOP，PIG(顺便把PIG也安装了)修改解压后的目录名并且最终路径为：设置目录所属用户设置环境变量, 编辑~/.bashrc 或 ~/.profile 文件加入

第五步，.ssh无密码登录本机，也就是说ssh到本机不需要密码如果不起作用请修改权限：authorized_keys相当于白名单，id_rsa.pub是公钥，凡是在authorized_keys有请求者机器的公钥时ssh服务器直接放行，无需密码！

第六步，Hadoop必要设置所有设置文件在hadoop/conf目录下1、hadoop-env.sh 找到 #export JAVA_HOME 去掉注释#，并设置实际jdk路径2、core-site.xml3、mapred-site.xml4、hdfs-site.xml5、文件masters 和文件slaves，单机写 localhost 即可

第七步，启动Hadoop格式化Hadoop的HDFS文件系统执行Hadoop启动脚本，如果是集群的话在master上执行，其他slave节点Hadoop会通过ssh执行：执行命令 jps 如果显示有： Namenode，SecondaryNameNode，TaskTracker，DataNode，JobTracker等五个进程表示启动成功了！

第八步，集群的配置所有其他单机的安装跟上面相同，下面只增加集群的额外配置！最好先配置好一台单机，其他的可以通过scp直接复制，路径也最好相同包括java！本例的主机列表（设置hosts）：

设置ssh，让master能够不要密码登录到其他slaves上，主要用来启动slavesmasters文件，添加作为secondarynamenode或namenode的主机名,一行一个。集群写master名如：hadoopmasterslaves文件，添加作为slave的主机名，一行一个。集群写子结点名：如 hadoopnode1、hadoopnode2

Hadoop管理hadoop启动后会启动一个任务管理服务和一个文件系统管理服务，是两个基于JETTY的WEB服务，所以可在线通过WEB的方式查看运行情况。任务管理服务运行在端口，如当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。2、dfs.data.dir：是DataNode存放块数据的本地文件系统路径，逗号分割的列表。当这个值是逗号分割的目录列表时，数据将被存储在所有目录下，通常分布在不同设备上。3、dfs.replication：是数据需要备份的数量，默认是3，如果此数大于集群的机器数会出错。

推荐整理分享Hadoop单机版和全分布式(集群)安装(hadoop有几个版本)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:hadoop单机模式的注意点,hadoop主流版本,安装单机hadoop,hadoop有几个版本,安装单机hadoop,hadoop有几个版本,单机hadoop安装过程,hadoop有几个版本,内容如对您有帮助，希望把文章链接给更多的朋友！

linux bash中too many arguments问题的解决方法判断一个文件的内容是不是为空，使用语句：iftest-z`catfilename`当filename为空或者只有一行没有空格的字符串的时候，一切正常，反之，则会报：toomanyargum

linux bash shell中case语句的实例 bashcase语句的例子。分享一段bashshell代码，对于学习bash的同学理解case语句的用法，会有帮助。例子：#!/bin/bash###Program:#Fileoperation#1.)Openfile2.)Displayfile3.)Ed

shell中case的用法学习笔记 shell中的case语句：可以把变量的内容与多个模板进行匹配,再根据成功匹配的模板去决定应该执行哪部分代码。使用格式：case匹配母板in模板1[|模板2]…)