玩转Hadoop:最小化CentOS7系统安装伪分布式hadoop-2.8.5

这里介绍如何安装Hadoop的伪分布式,步骤如下:

一、准备工作

参考我的博文安装VMware15、CentOS7镜像官网下载、VMWare安装CentOS7超全图解、最小系统Centos7进行网络配置以及ifconfig和vim的安装等博文安装好虚拟机,以及用远程连接工具S额cureCRT可以连接到虚拟机上传下载文件。

1、安装java

可以选择上jdk官网下载jdk包,解压后将路径加入环境变量,这里直接用如下命令安装。

_64
2、添加环境变量
echo'exportJAVA_HOME=/usr/lib/jvm/jreexportCLASSPATH=.:$JAVA_HOME/lib/:$JAVA_HOME/'/etc/profilesource/etc/profile
3、关闭防火墙
禁止firewall开机启动
4、关闭selinux

打开/etc/sysconfig/selinux文件把SELINUX=enforcing改为:SELINUX=disabled。

5、设置Hostname

我把机器的Hostname设置为worker1,并在/etc/hosts里添加Hostname指向内网IP。

hostnamectlset-hostnameworker1echo'192.168.157.3worker1'/etc/hosts
二、搭建伪分布式环境1、创建hadoop用户
useraddhadooppasswdhadoop
2、设置hadoop用户免密登录

hadoop用户登录

cd/home/hadoopssh-keygen

cat命令输出Key,写入到/home/hadoop/.ssh/authorized_keys中,并设置权限,用于机器自己登录自己:

cat/home/hadoop/.ssh/id_~/.ssh/authorized_keyschmod600~/.ssh/authorized_keys

测试登录

'?xmlversion="1.0"encoding="UTF-8"??xml-stylesheettype="text/xsl"href=""?/namevaluehdfs://worker1:9000/valuedescription设定namenode的主机名及端口/description//namevalue131072/valuedescription设置缓存大小/description//namevalue/home/hadoop//tmp/valuedescription存放临时文件的目录/description//namevalue3600/valuedescription检查点备份日志最长时间/description//namevaluefalse/value/property/configuration'${HADOOP_HOME}/etc/hadoop/'worker1'${HADOOP_HOME}/etc/hadoop/slaves

上面分片数量是1,是因为我们是伪分布式只有一个节点,如果是有多个节点那么最好配置为3,这样的话会更高可用。

三、格式化
mkdir-p${HADOOP_HOME}/tmphdfsnamenode-format
四、启动测试
#可选,暂时不启动没问题

浏览器访问:

上传文件

/

浏览器访问;Browsethefilesystem可以看到已经上传了一个文件:

到此,伪分布式环境搭建成功。

版权声明:本站所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,不声明或保证其内容的正确性,如发现本站有涉嫌抄袭侵权/违法违规的内容。请举报,一经查实,本站将立刻删除。

相关推荐