本文介绍如何搭建 HBase 完全分布式集群,做法:在一个主节点虚拟机上完成 HBase 所有基本配置, 然后通过复制方式将 HBase 环境分发到其他节点虚拟机,集群中所有的 HBase 配置和环境完全一样。
搭建的 HBase 完全分布式集群结构如下:
运行环境
VirtualBox:CentOS-6.8
Windows 64 位:Xme5.exe
Hadoop2.6.5
zookeeper-3.4.6
hbase-1.3.6-bin.tar.gz
HBase 完全分布式环境搭建步骤
1. 下载 hbase-1.3.6,并使用 ftp 工具将 hbase-1.3.6-bin.tar.gz 文件上传到 master 的~/tools_bak 目录
下载 hbase-1.3.6的地址:https://archive.apache.org/dist/hbase/hbase-1.3.6/
2. 解压 hbase-1.3.6-bin.tar.gz 文件
命令:tar -zxf hbase-1.3.6-bin.tar.gz -C ~/tools
查看HBase 的配置文件:
3. 修改 HBase 安装目录下的 conf/目录里的如下配置文件:
1) hbase-env.sh 文件
加#注释掉下面两行:(Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+)
export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
修改以下环境为对应值:
export HBASE_CLASSPATH=/home/用户名/tools/hadoop-2.6.5/etc/hadoop
export JAVA_HOME=/home/用户名/tools/jdk1.8.0_221
export HBASE_MANAGES_ZK=false
参数含义:
HBASE_CLASSPATH:指向 Hadoop 的配置文件夹所在目录,让 HBase 找到 Hadoop。 HBASE_MANAGES_ZK:是否使用自带的 zookeeper,这里设置为 false,表示使用单独安装的 Zookeeper。 JAVA_HOME:JDK 的安装目录。
2) hbase-site.xml 文件
各主要参数的含义:
hbase.rootdir:这个目录是 region server 的共享目录,用来持久化 HBase。
hbase.master:HBase 的 Master 所在服务器。
hbase.cluster.distributed:HBase 的运行模式,false 是单机模式,true 是分布式模式。
hbase.zookeeper.property.clientPort:ZooKeeper 的 zoo.conf 中配置的客户端连接的端口。
hbase.zookeeper.quorum:Zookeeper 集群节点列表,用逗号分割。
dfs.support.append:HDFS 文件是否允许追加数据。
3) regionservers 文件
修改 regionservers 文件添加内容如下:
slave1
slave2
slave3
4. 从主节点向集群中从节点复制 HBase
scp -r /home/用户名/tools/hbase-1.3.6 slave1:/home/用户名/tools
scp -r /home/用户名/tools/hbase-1.3.6 slave2:/home/用户名/tools
scp -r /home/用户名/tools/hbase-1.3.6 slave3:/home/用户名/tools
5. 修改主节点的~/.bashrc 文件
为方便今后操作,可以将 HBase 的 bin 目录加入系统路径,如下:
在~/.bashrc 文件末尾加上如下的两行代码
export HBASE_HOME=/home/用户名/tools/hbase-1.3.6
export PATH=$PATH:$HBASE_HOME/bin
然后运行命令: source ~/.bashrc 让环境变量生效。
6. 启动 HBase 完全分布式集群(注:在启动 HBase 之前,务必已正常启动 Hadoop 和 Zookeeper 集群)
进入目录 cd ~/tools/hbase-1.3.6/bin/
执行启动命令: ./ start-hbase.sh
7. 使用 Linux 的 jps 命令,查看主节点和从节点的 HBase 进程
节点 | jps 进程 |
maste 节点 | NameNode SecondaryNameNode JobHistoryServer ResourceManager HMaster |
slave 节点 | DataNode NodeManager QuorumPeerMain HRegionServer |
8. 通过浏览器查看 HBase 集群
通过浏览器访问 HMaster 所在节点的 16010 端口查看 HBase 集群信息。
打开谷歌,输入网址:http://master:16010
9. 关闭 HBase 完全分布式集群
进入目录 cd ~/tools/hbase-1.3.6/bin/
执行关闭命令: ./ stop-hbase.sh
#---------------------------------------------- 一道亮丽的分界线 ----------------------------------------------#
下一篇介绍HBase Shell的基本使用