这里介绍如何安装Hadoop的伪分布式,步骤如下:
参考我的博文安装VMware15、CentOS7镜像官网下载、VMWare安装CentOS7超全图解、最小系统Centos7进行网络配置以及ifconfig和vim的安装等博文安装好虚拟机,以及用远程连接工具S额cureCRT可以连接到虚拟机上传下载文件。
可以选择上jdk官网下载jdk包,解压后将路径加入环境变量,这里直接用如下命令安装。
_642、添加环境变量
echo'exportJAVA_HOME=/usr/lib/jvm/jreexportCLASSPATH=.:$JAVA_HOME/lib/:$JAVA_HOME/'/etc/profilesource/etc/profile3、关闭防火墙
禁止firewall开机启动4、关闭selinux
打开/etc/sysconfig/selinux文件把SELINUX=enforcing改为:SELINUX=disabled。
我把机器的Hostname设置为worker1,并在/etc/hosts里添加Hostname指向内网IP。
hostnamectlset-hostnameworker1echo'192.168.157.3worker1'/etc/hosts二、搭建伪分布式环境1、创建hadoop用户
useraddhadooppasswdhadoop2、设置hadoop用户免密登录
hadoop用户登录
cd/home/hadoopssh-keygen
cat命令输出Key,写入到/home/hadoop/.ssh/authorized_keys中,并设置权限,用于机器自己登录自己:
cat/home/hadoop/.ssh/id_~/.ssh/authorized_keyschmod600~/.ssh/authorized_keys
测试登录
'?xmlversion="1.0"encoding="UTF-8"??xml-stylesheettype="text/xsl"href=""?/namevaluehdfs://worker1:9000/valuedescription设定namenode的主机名及端口/description//namevalue131072/valuedescription设置缓存大小/description//namevalue/home/hadoop//tmp/valuedescription存放临时文件的目录/description//namevalue3600/valuedescription检查点备份日志最长时间/description//namevaluefalse/value/property/configuration'${HADOOP_HOME}/etc/hadoop/'worker1'${HADOOP_HOME}/etc/hadoop/slaves
上面分片数量是1,是因为我们是伪分布式只有一个节点,如果是有多个节点那么最好配置为3,这样的话会更高可用。
mkdir-p${HADOOP_HOME}/tmphdfsnamenode-format
四、启动测试#可选,暂时不启动没问题
浏览器访问:
上传文件
/
浏览器访问;Browsethefilesystem可以看到已经上传了一个文件:
到此,伪分布式环境搭建成功。
版权声明:本站所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,不声明或保证其内容的正确性,如发现本站有涉嫌抄袭侵权/违法违规的内容。请举报,一经查实,本站将立刻删除。