虚拟机(CentOS6.5)hadoop分布式集群搭建

ps:本次三台虚拟机均由克隆而来

1. 修改MAC地址

1. vim /etc/vim /etc/udev/rules.d/70-persistent-net.rules
2. 删除name="eth0"一行
3. 将name="eth1"的name改为name="eth0"之后将该行ATTR(address)复制
4. vim /etc/sysconfig/network-scripts/ifcfg-eth0
5. 将IPADDR设置为虚拟IP(eg:192.168.229.201),HWADDR设置为刚才复制的ATTR(address)

2. 修改主机名

1. vim /etc/sysconfig/network
2. 修改HOSTNAME=hadoop201(另外两台虚拟机分别为hadoop202,hadoop203)
3. vim /etc/hosts
4. 添加如下内容：
   192.168.229.201 hadoop201
   192.168.229.202 hadoop202
   192.168.229.203 hadoop203
5. 重启

3. 修改 windows系统 的 hosts 文件

1. 进入C:\Windows\System32\drivers\etc
2. 打开 hosts 文件并添加如下内容：
   192.168.229.201 hadoop201
   192.168.229.202 hadoop202
   192.168.229.203 hadoop203

4. 关闭防火墙

1. chkconfig iptables off

5. 创建hadoop用户

1. adduser hadoop
2. passwd hadoop

6. 设置hadoop用户具有root权限

1. vim /etc/sudoers
2. root    ALL=(ALL)       ALL
   hadoop  ALL=(ALL)       ALL

7. 再/opt目录下创建 module 和 software文件夹并且将这两个文件夹属主与属组改为hadoop

1. mkdir /opt/module /opt/software
2. chown hadoop:hadoop module software

8. 安装JDK,hadoop

1. 安装JDK与之前所述一致
2. 安装hadoop

1. 将hadoop安装包导入到 /opt/software文件夹下并将其解压到 /opt/module文件夹下
2. 进入到 解压后的hadoop文件夹中
3. pwd将路径进行复制
4. vim /etc/profile
5. export HADOOP_HOME=/opt/module/hadoop-2.7.6
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
6. source /etc/profile
7. 修改/opt 目录下的所有文件所有者为hadoop

1. # chown hadoop:hadoop -R /opt

8. (以上所有操作均是用root用户操作,之后切换成hadoop用户)   su hadoop

9. 完成上述操作后 将此台虚拟机克隆出两台命名为hadoop202,hadoop203,并对其同上修改MAC,IP地址,hostname
10. 配置ssh免密码登录(三台主机均如下操作)

1. cd ~
2. ssh-keygen -t rsa(三下回车)
3. ssh-copy-id hadoop201 
4. ssh-copy-id hadoop202 
5. ssh-copy-id hadoop203

11. 配置文件

1. core-site.xml

1. <!-- 指定HDFS 中 NameNode 的地址 -->
   <property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop203:9000</value>
   </property>
   <!-- 指定 hadoop 运行时产生文件的存储目录 -->
   <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/module/hadoop-2.7.6/data/tmp</value>
   </property>

2. hadoop-env.sh

1. export JAVA_HOME=/opt/module/jdk1.8.0_151

3. hdfs-site.xml

1. <property>
   <name>dfs.replication</name>
   <value>3</value>
   </property>
   <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>hadoop202:50090</value><!--secondaryNameNode地址-->
   </property>

4. slaves

1. hadoop201
   hadoop202
   hadoop203

5. yarn-env.sh

1. export JAVA_HOME=/opt/module/jdk1.8.0_151

6. yarn-site.xml

1. <!-- reducer 获取数据的方式 -->
   <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
   </property>
   <!-- 指定 YARN 的 ResourceManager 的地址 -->
   <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>hadoop201</value>
   </property>

7. mapred-env.sh

1. export JAVA_HOME=/opt/module/jdk1.8.0_151

8. mapred-site.xml

1. <!-- 指定 mr 运行在 yarn 上 -->
   <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   </property>

12. 运行hadoop

1. 如果是第一次启动 需要先进行格式化操作

1. hdfs namenode -format

2. 启动HDFS

1. start-dfs.sh

3. 启动YARN

1. start-yarn.sh
2. 注意：Namenode 和 ResourceManger 如果不是同一台机器，不能在 NameNode 上启动 yarn，应该在 ResouceManager 所在的机器上启动yarn

13. 集群时间同步

1. 时间服务器配置(root用户)

1. 检查ntp是否安装

1. rpm -qa|grep ntp

2. 修改配置文件 vim /etc/ntp.conf

1. 修改 #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap  为
       restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
2. 修改
   server 0.centos.pool.ntp.org iburst
       server 1.centos.pool.ntp.org iburst
       server 2.centos.pool.ntp.org iburst
       server 3.centos.pool.ntp.org iburst 为
       #server 0.centos.pool.ntp.org iburst
       #server 1.centos.pool.ntp.org iburst
       #server 2.centos.pool.ntp.org iburst
       #server 3.centos.pool.ntp.org iburst
3.  
   添加
   server 127.127.1.0
       fudge 127.127.1.0 stratum 10

3. 修改/etc/sysconfig/ntpd 文件

1. vim /etc/sysconfig/ntpd
2. 添加 SYNC_HWCLOCK=yes

4. 重新启动 ntpd

1. service ntpd start
2. chkconfig ntpd on

2. 其他机器配置

1. crontab -e
2. 编写  */1 * * * * /usr/sbin/ntpdate hadoop101