• 沒有找到結果。

• HBase 运行环境需要依赖于 Hadoop 集群,如果 Hadoop 尚未搭建,可以参考同套教材《 Hadoop 大数据开发》相关章节。 HBas

e 引入 ZooKeeper 来管理集群的 Master 和入口地址,因此需要先安装 ZooKeeper ,再设置 HBase 。

4.HBase 环境搭建

• 1 ZooKeeper 的安装

• 在 ZooKeeper 集群环境下只要一半以上的机器正常启动了,那么 Zookeeper 服务将是可用的。因此,集群上部署 Zookeeper 最好使用奇数台机器,这样 如果有 5 台机器,只要 3 台正常工作则服务将正常。在目前的实际生产环境中,一个 Hadoop 集群最多有三台节点做备用 Master ,即并不是所有节点都安 装 ZooKeeper ;如果以实验为目的,可以将所有节点都安装 ZooKeeper 并作为 Master 使用。

1. 解压

将下载好的 ZooKeeper 文件上传到 Hadoop 集群中的 master 节点,使用命令 "tar -zxvf zookeeper-3.4.5.tar.gz -C /hadoop/" 将其解压。

2. 修改配置文件

(1) 创建文件夹

mkdir /hadoop/zookeeper-3.4.5/data /hadoop/zookeeper-3.4.5/log

(2) 修改 zoo.cfg

进入 zookeeper 的 conf 目录修改 zoo.cfg 。

cp zoo_sample.cfg zoo.cfg

修改 zoo.cfg 的内容为:

4.HBase 环境搭建

• scp -r /hadoop/zookeeper-3.4.5/ slave1:/hadoop/

• scp -r /hadoop/zookeeper-3.4.5/ slave2:/hadoop/

• 同时按照第三步要求修改 myid 文件对应的值

• 3. 修改三个节点的环境变量

• 在 /etc/profile 文件末尾添加 export PATH=$PATH:/hadoop/zookeeper-3.4.5/bin ,并执行命令 "source /etc/profile" 使配置的 环境变量生效。

4.HBase 环境搭建

• 本书使用的 HBase 版本是 hbase-1.3.1( 不采用 1.4.0 的原因是该版本基于 Hadoop2.7.4 平台开发,而本书使用的 Hadoop 版本是 2.6.5 ,会存在部分 版本兼容性问题 ) ,可以在 Apache 的官网下载,下载地址为 http://archive.apache.org/dist/hbase/ 。

• 1. 解压

• 将下载好的 HBase 文件上传到 Hadoop 集群中的 master 节点,使用命令 "tar -zxvf hbase-1.3.1-bin.tar.gz -C /hadoop/" 将其解压。

• 2. 修改 HBase 的配置文件

• (1) 修改 hbase-env.sh 文件

• 新增四项配置

• export HBASE_CLASSPATH=/hadoop/hadoop-2.6.5/etc/hadoop

• export HBASE_PID_DIR=/var/hadoop/pids

• export JAVA_HOME=/Java/jdk1.8.0_144/

• export HBASE_MANAGES_ZK=false

• 其中 HBASE_CLASSPATH 是 Hadoop 的配置文件路径,配置 HBASE_PID_DIR 时先创建目录 /var/hadoop/pids 。

4.HBase 环境搭建

• 一个分布式运行的 HBase 依赖一个 Zookeeper 集群,所有的节点和客户端都必须能够访问 Zookeeper 。默认的情况下 HBase 会管理一个 Zookeep 集群

,即 HBase 默认自带一个 Zookeep 集群,这个集群会随着 HBase 的启动而启动。而在实际的商业项目中通常自己管理一个 Zookeeper 集群更便于优化配 置提高集群工作效率,但需要配置 HBase 。需要修改 conf/hbase-env.sh 里面的 HBASE_MANAGES_ZK 来切换,这个值默认是 true ,作用是让 HBase 启动的时候同时也启动 Zookeeper 。在安装过程中,采用独立运行 Zookeeper 集群的方式,故将其属性值改为 false 。

• (2) 修改 regionservers 文件

• regionservers 文件负责配置 HBase 集群中哪台节点做 RegionServer 服务器,本书的规划是所有 slave 节点均可当 RegionServer 服务器,故其配 置内容为:

• slave1

• slave2

4.HBase 环境搭建

(3) 修改 hbase-site.xml 文件

hbase-site.xml 文件内容修改为:

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hdfs://192.168.254.128:9000/hbase</value>

</property>

<property>

<name>hbase.master</name>

<value>hdfs://192.168.254.128:60000</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

4.HBase 环境搭建

4.HBase 环境搭建

• (4) 分发到 slave1 和 slave2 节点

• scp -r /hadoop/hbase-1.3.1/ slave1:/hadoop/

• scp -r /hadoop/hbase-1.3.1/ slave2:/hadoop/

• 3. 修改三个节点的环境变量

• 在 /etc/profile 文件末尾添加 export PATH=$PATH:/hadoop/zookeeper-3.4.5/bin: /hadoophbase-1.3.1-bin.tar.gz/bin ,并执行命 令 "source /etc/profile" 使配置的环境变量生效

• 4. 测试

• 在 master 节点运行 start-hbase.sh ,将 HBase 集群启动,可以通过 jps 或查看运行状况。 master 节点存在 HMaster 进程,如图 4-7 所示:

4.HBase 环境搭建

• Lorem ipsum dolor sit amet, consectetur adipisicing elit.Lorem ipsum dolor sit amet, consectetur adipisicing elit.

Lorem ipsum dolor sit amet, consectetur adipisicing elit.Lorem ipsum dolor sit amet, consectetur adipisici

4.HBase 环境搭建

• 通过浏览器访问地址 http://192.168.254.128:60010/master-status ,可以看到整个 HBase 集群的状态,如图 4-10 所示:

4.HBase 环境搭建

• 在 master 节点,使用命令 "hbase-daemon.sh stop master" ,等待一会发现 slave1 成为 master ,当 HBase 的 master 节点故障后, ZooKeepe r 会从备份中自动推选一个作为 master ,如图 4-11 所示:

相關文件