完全分布式集群搭建

一、集群规划实验基础环境需要四台节点一台主节点三台从节点所以需要提前规划好虚拟机的主机名、IP地址、节点类型、用户名、密码等相关信息二、伪分布式-完全分布式搭建修改修改workers文件打开Hadoop的workers配置文件路径为/opt/hadoop/etc/hadoop/workers。确保文件中仅包含从节点slave的主机名删除master或localhost若存在。添加以下内容master slave1 slave2 slave3配置主机名与IP映射hosts文件配置的是主机名与IP地址的映射。配置主机名与IP地址的映射即可通过主机名对各主机进行访问简化访问操作。vim /etc/hosts添加节点主机名及IP地址如下192.168.128.131 slave1 192.168.128.132 slave2 192.168.128.133 slave3三、克隆虚拟机准备要克隆的虚拟机克隆虚拟机向导克隆源选择虚拟机当前状态重复以上操作只需要在第5步设置虚拟机名称和存储位置的时候进行对应修改 分别再克隆slave1、slave2、slave3三台虚拟机。四、修改从节点IP地址并重启网络服务修改Slave节点IP地址Slave1配置编辑网络配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens33修改以下参数IPADDR192.168.128.131保存后重启网络服务service network restartSlave2配置编辑网络配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens33修改以下参数IPADDR192.168.128.132保存后重启网络服务service network restartSlave3配置编辑网络配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens33修改以下参数IPADDR192.168.128.133保存后重启网络服务service network restart五、修改各自节点主机名修改节点主机名并验证slave1节点操作执行命令修改主机名为slave1 hostnamectl set-hostname slave1 重启虚拟机使更改生效 reboot验证修改是否成功hostname或cat /etc/hostnameslave2节点操作执行命令修改主机名为slave2 hostnamectl set-hostname slave2 重启虚拟机使更改生效 reboot验证命令同上slave3节点操作执行命令修改主机名为slave3 hostnamectl set-hostname slave3 重启虚拟机使更改生效 reboot验证命令同上六、Hadoop启动只需要在master节点执行启动将 NameNode 上的数据清零第一次启动 HDFS 时要进行格式化以后启动无需再格式化否则会缺失 DataNode 进程。另外只要运行过 HDFSHadoop 的工作目录/opt/hadoop/tmp就会有数据如果需要重新格式化则在格式化之前一定要先删除工作目录下的数据否则格式化时会出问题hdfs namenode -format启动HDFS第一次启动过程中需要输入yesstart-dfs.sh启动yarnstart-yarn.sh七、集群测试查看进程数正常启动集群后分别使用在三台虚拟机上执行jps查看服务进程master有6个进程slave1和slave2都是三个进程Web UI查看访问HDFS的web界面master主机IP地址:9870访问MapReduce执行任务情况Web界面master主机IP地址:8088