阿里云服务器搭建Hadoop集群

框架版本选择及部署

以下所需安装包都放在百度网盘中：

链接：https://pan.baidu.com/s/1947j0pckDUQTAjsNBnQakg
提取码：yyds

	hadoop102	hadoop103	hadoop104
服务器配置	4核8G 1年	4核8G 1年	2核8G 1年
jdk-8u212	jdk-8u212-linux-x64.tar.gz	jdk-8u212-linux-x64.tar.gz	jdk-8u212-linux-x64.tar.gz
hadoop-3.1.3	hadoop-3.1.3.tar.gz	hadoop-3.1.3.tar.gz	hadoop-3.1.3.tar.gz
zookeeper-3.5.7	apache-zookeeper-3.5.7-bin.tar.gz	apache-zookeeper-3.5.7-bin.tar.gz	apache-zookeeper-3.5.7-bin.tar.gz
kafka_2.11-2.4.1	kafka_2.11-2.4.1.tgz	kafka_2.11-2.4.1.tgz	kafka_2.11-2.4.1.tgz
flume-1.9.0	apache-flume-1.9.0-bin.tar.gz	apache-flume-1.9.0-bin.tar.gz	apache-flume-1.9.0-bin.tar.gz
mysql-5.7.16	mysql-5.7.16
sqoop-1.4.6	sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
hive-3.1.2	apache-hive-3.1.2-bin.tar.gz
Spark-3.0.0	spark-3.0.0-bin-hadoop3.2.tgz
hbase-2.0.5	hbase-2.0.5-bin.tar.gz	hbase-2.0.5-bin.tar.gz	hbase-2.0.5-bin.tar.gz

1、修改主机名和hosts文件

修改主机名，将三台服务器分别命名为hadoop102、hadoop103、hadoop104

vim /etc/hostname

修改三台服务器的hosts文件

vim /etc/hosts

例如修改hadoop102的hosts，都是内网ip

172.xx.xx.xxx    hadoop102
172.xx.xx.xxx   hadoop103
172.xx.xx.xxx    hadoop104

2、上传安装包

在hadoop102上创建/opt/software目录

mkdir /opt/software

将hadoop-3.1.3.tar.gz和jdk-8u212-linux-x64.tar.gz上传到服务器的/opt/software目录下

3、安装

3.1、安装jdk

在hadoop102上创建/opt/module目录

mkdir /opt/module

安装jdk

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置环境变量

方式一：

vim /etc/profile

方式二：

cd /etc/profile.d/

vim my_env.sh

输入以下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

输入java验证是否生效

3.2、安装Hadoop

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

配置环境变量

vim /etc/profile.d/my_env.sh

输入以下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

输入hadoop version验证是否生效

4、编写集群分发脚本xsync

（a）在/root/bin 目录下创建 xsync 文件

[root@hadoop102 ~]$ cd /root
[root@hadoop102 ~]$ mkdir bin
[root@hadoop102 ~]$ cd bin
[root@hadoop102 bin]$ vim xsync

在该文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
     then
         #5. 获取父目录
         pdir=$(cd -P $(dirname $file); pwd)
         #6. 获取当前文件的名称
         fname=$(basename $file)
         ssh $host "mkdir -p $pdir"
         rsync -av $pdir/$fname $host:$pdir
     else
        echo $file does not exists!
 fi
 done
done

（b）修改脚本 xsync 具有执行权限

[root@hadoop102 bin]$ chmod +x xsync

（d）同步环境变量配置（root 所有者）

[root@hadoop102 ~]$ sudo /root/bin/xsync 
/etc/profile.d/my_env.sh

注意：如果用了 sudo，那么 xsync 一定要给它的路径补全。
让环境变量生效

[root@hadoop103 bin]$ source /etc/profile
[root@hadoop104 opt]$ source /etc/profile

5、SSH免密登录配置

进入/root/.ssh目录

[root@hadoop102 bin]$cd /root/.ssh

（2）生成公钥和私钥

[root@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh
[root@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
（3）将公钥拷贝到要免密登录的目标机器上

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：
还需要在 hadoop103 上采用 root 账号配置一下无密登录到 hadoop102、hadoop103、hadoop104 服务器上。
还需要在 hadoop104 上采用 root 账号配置一下无密登录到 hadoop102、hadoop103、hadoop104 服务器上。
还需要在 hadoop102 上采用 root 账号，配置一下无密登录到 hadoop102、hadoop103、hadoop104服务器上。；

3）.ssh 文件夹下（~/.ssh）的文件功能解释

文件	功能解释
known_hosts	记录 ssh 访问过计算机的公钥（public key）
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过的无密登录服务器公钥

6、集群部署规划

注意：
➢ NameNode 和 SecondaryNameNode 不要安装在同一台服务器
➢ ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上。

2）配置文件说明
Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认
配置值时，才需要修改自定义配置文件，更改相应属性值。（1）默认配置文件：
要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置

[core-default.xml] hadoop-common-3.1.3.jar/core-default.xml

[hdfs-default.xml] hadoop-hdfs-3.1.3.jar/hdfs-default.xml

[yarn-default.xml] hadoop-yarn-common-3.1.3.jar/yarn-default.xml

[mapred-default.xml] hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

（2）自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在
$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

7、配置集群

（1）核心配置文件
配置 core-site.xml

[root@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop

[root@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 NameNode 的地址 -->
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop102:8020</value>
 </property>
 <!-- 指定 hadoop 数据的存储目录 -->
 <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/module/hadoop-3.1.3/data</value>
 </property>
 <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
 <property>
     <name>hadoop.http.staticuser.user</name>
     <value>atguigu</value>
 </property>
</configuration>

（2）HDFS 配置文件
配置 hdfs-site.xml

[root@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web 端访问地址-->
 <property>
     <name>dfs.namenode.http-address</name>
     <value>hadoop102:9870</value>
 </property>
<!-- 2nn web 端访问地址-->
 <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>hadoop104:9868</value>
 </property>
</configuration>

（3）YARN 配置文件
配置 yarn-site.xml

[root@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 MR 走 shuffle -->
 <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址-->
 <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>hadoop103</value>
 </property>
 <!-- 环境变量的继承 -->
 <property>
     <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
 </property>
</configuration>

（4）MapReduce 配置文件
配置 mapred-site.xml

[root@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
 </property>
</configuration>

4）在集群上分发配置好的 Hadoop 配置文件

[root@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

5）去 103 和 104 上查看文件分发情况

[root@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[root@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

8、群起集群

1）配置 workers

[root@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件

[root@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/workers

2）启动集群
（1）如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意：格式
化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找
不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停
止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式
化。）

[root@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

（2）启动 HDFS

[root@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

如果启动时出现以下报错信息：but there is no HDFS_NAMENODE_USER defined

解决方法：

在hadoop-evn.sh这个配置文件中，

[root@hadoop102 hadoop-3.1.3]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/hadoop-env.sh

加入环境变量

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

分发脚本

xsync /opt/module/hadoop-3.1.3/etc/hadoop/hadoop-env.sh

输入jps查看启动进程

[root@hadoop102 hadoop-3.1.3]$ jps

hadoop102出现jps、DataNode、NameNode表示符合我们集群的设置

hadoop103出现jps、DataNode表示符合我们集群的设置

hadoop104出现jps、DataNode、SecondaryNameNode表示符合我们集群的设置

（3）在配置了 ResourceManager 的节点（hadoop103）启动 YARN，注意是在hadoop103上启动

[root@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

hadoop102出现jps、DataNode、NameNode、NodeManager表示符合我们集群的设置

hadoop103出现jps、DataNode、NodeManager、ResourceManager表示符合我们集群的设置

hadoop104出现jps、DataNode、SecondaryNameNode、NodeManager表示符合我们集群的设置

（4）Web 端查看 HDFS 的 NameNode
（a）浏览器中输入：http://hadoop102:9870
（b）查看 HDFS 上存储的数据信息

Web 端查看 HDFS 的 DataNode

（a）浏览器中输入：http://hadoop104:9868/status.html

（5）Web 端查看 YARN 的 ResourceManager
（a）浏览器中输入：http://hadoop103:8088
（b）查看 YARN 上运行的 Job 信息

9、集群基本测试

（1）上传文件到集群
➢ 上传小文件

[root@hadoop102 ~]$ hadoop fs -mkdir /wcinput

本地创建个文件，然后上传到hdfs中

[root@hadoop102 ~]$ hadoop fs -put 
word.txt /wcinput

➢ 上传大文件

[root@hadoop102 ~]$ hadoop fs -put /opt/software/jdk-8u212-
linux-x64.tar.gz /

（2）上传文件后查看文件存放在什么位置
➢ 查看 HDFS 文件存储路径

[root@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-
192.168.10.102-1610603650062/current/finalized/subdir0/subdir0 

➢ 查看 HDFS 在磁盘存储文件内容

[root@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce 
atguigu
atguigu

（3）拼接

-rw-rw-r--. 1 atguigu atguigu 134217728 5 月 23 16:01 blk_1073741836
-rw-rw-r--. 1 atguigu atguigu 1048583 5 月 23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 atguigu atguigu 63439959 5 月 23 16:01 blk_1073741837
-rw-rw-r--. 1 atguigu atguigu 495635 5 月 23 16:01 blk_1073741837_1013.meta
[atguigu@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz
[atguigu@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz
[atguigu@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

（4）下载

[root@hadoop104 software]$ hadoop fs -get /jdk-8u212-linuxx64.tar.gz ./

（5）执行 wordcount 程序

在hdfs中建立一个输入目录

hadoop fs -mkdir -p /wcinput

在本地任意目录中编写一个文件

vim /root/words.txt

填入以下内容

hello world!
hello hadoop!
hello hdfs!
I love you!

将本地文件上传到HDFS中

hadoop fs -put /root/words.txt /wcinput

可以查看上传后的文件情况

hadoop fs -ls /wcinput

查看hdfs中的文件内容

hadoop fs -text /wcinput/words.txt

执行 wordcount 程序，注意/wcoutput不能存在，程序会自动创建目录

[root@hadoop102 hadoop-3.1.3]$ hadoop jar 
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar 
wordcount /wcinput /wcoutput

问题1：如果出现[Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster]报错，解决方法如下

1、在命令行执行，复制信息。

hadoop classpath

2、编辑yarn-site.xml，添加信息：

<configuration>
  <property>
    <name>yarn.application.classpath</name>
    <value>复制的Hadoop classpath信息</value>
  </property>
</configuration>

3、分发文件

xsync yarn-site.xml

问题2：如果出现beyond the 'VIRTUAL' memory limit. Current usage: 111.8 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.

问题原因：虚拟内存超出了限制，虚拟内存不同于物理内存，可以超出，所以我们在这里要配置允许超过。

解决方法如下：

1、在yarn-site.xml中加入如下配置:

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

2、分发文件

xsync yarn-site.xml

问题3：如果出现Hadoop程序运行一直卡在INFO mapreduce.Job: Running job: job_xxx

有太多任务在排队，需要
用hadoop job -list查看正在运行的job

hadoop job -list

用hadoop job -kill jobId杀掉job，然后重新跑程序

hadoop job -kill jobId

最后查看分词结果

hadoop fs -text /wcoutput/part-r-00000

10、配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

先把hadoop103的yarn停掉

cd /opt/module/hadoop-3.1.3
sbin/stop-yarn.sh

1）配置 mapred-site.xml

[root@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>hadoop102:19888</value>
</property>

2）分发配置

[root@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3）在 hadoop102 启动历史服务器

[root@hadoop102 hadoop]$ mapred --daemon start historyserver

4）查看历史服务器是否启动

[root@hadoop102 hadoop]$ jps

5）查看 JobHistory
http://hadoop102:19888/jobhistory

11、配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和HistoryServer。
开启日志聚集功能具体步骤如下：
1）配置 yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 开启日志聚集功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> 
 <name>yarn.log.server.url</name> 
<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>

2）分发配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3）关闭 NodeManager 、ResourceManager 和 HistoryServer

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

4）启动 NodeManager 、ResourceManage 和 HistoryServer

[atguigu@hadoop103 ~]$ start-yarn.sh
[atguigu@hadoop102 ~]$ mapred --daemon start historyserver

5）删除 HDFS 上已经存在的输出文件

[atguigu@hadoop102 ~]$ hadoop fs -rm -r /output

6）执行 WordCount 程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar 
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar 
wordcount /input /output

7）查看日志
（1）历史服务器地址
http://hadoop102:19888/jobhistory
（2）历史任务列表

（3）查看任务运行日志

（4）运行日志详情

12、集群启动/停止方式总结

1）各个模块分开启动/停止（配置 ssh 是前提）常用
（1）整体启动/停止 HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止 YARN

start-yarn.sh/stop-yarn.sh

2）各个服务组件逐一启动/停止
（1）分别启动/停止 HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager

13、编写 Hadoop 集群常用脚本

13.1、Hadoop 集群启停脚本

myhadoop.sh脚本（包含 HDFS，Yarn，Historyserver）：

[root@hadoop102 ~]$ cd /home/atguigu/bin
[root@hadoop102 bin]$ vim myhadoop.sh

➢ 输入如下内容

#!/bin/bash
if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 hadoop 集群 ==================="
 echo " --------------- 启动 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
 echo " --------------- 启动 yarn ---------------"
 ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
 echo " --------------- 启动 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
 echo " =================== 关闭 hadoop 集群 ==================="
 echo " --------------- 关闭 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
 echo " --------------- 关闭 yarn ---------------"
 ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
 echo " --------------- 关闭 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
 echo "Input Args Error..."
;;
esac

➢ 保存后退出，然后赋予脚本执行权限

[root@hadoop102 bin]$ chmod +x myhadoop.sh

13.2、查看三台服务器 Java 进程脚本

jpsall脚本：

[root@hadoop102 ~]$ cd /home/atguigu/bin
[root@hadoop102 bin]$ vim jpsall

➢ 输入如下内容

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
 echo =============== $host ===============
 ssh $host jps 
done

保存后退出，然后赋予脚本执行权限

[root@hadoop102 bin]$ chmod +x jpsall

分发/home/bin 目录，保证自定义脚本在三台机器上都可以使用

[root@hadoop102 ~]$ xsync /home/atguigu/bin/

13.3、集群中执行相同命令

xcall.sh脚本

在/root/bin目录下创建脚本xcall.sh

[root@hadoop102 bin]$ vim xcall.sh

在脚本中编写如下内容

#! /bin/bash

for i in hadoop102 hadoop103 hadoop104

do

​    echo --------- $i ----------

​    ssh $i "$*"

done

修改脚本执行权限

[root@hadoop102 bin]# chmod +x xcall.sh

测试

[root@hadoop102 bin]# xcall.sh jps

14、集群时间同步

​ 如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；
​ 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。
1）需求
找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用 1 分钟同步一次。

2）时间服务器配置（必须 root 用户）
（1）查看所有节点 ntpd 服务状态和开机自启动状态

[root@hadoop102 ~]$ sudo systemctl status ntpd
[root@hadoop102 ~]$ sudo systemctl start ntpd
[root@hadoop102 ~]$ sudo systemctl is-enabled ntpd

（2）修改 hadoop102 的 ntp.conf 配置文件

[root@hadoop102 ~]$ sudo vim /etc/ntp.conf

修改内容如下
（a）修改 1（授权 192.168.10.0-192.168.10.255 网段上的所有机器可以从这台机器上查询和同步时间）

#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
为 restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

（b）修改 2（集群在局域网中，不使用其他互联网上的时间）

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

为

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

（c）添加 3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中
的其他节点提供时间同步）

server 127.127.1.0
fudge 127.127.1.0 stratum 10

（3）修改 hadoop102 的/etc/sysconfig/ntpd 文件

[root@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd

增加内容如下（让硬件时间与系统时间一起同步）
SYNC_HWCLOCK=yes
（4）重新启动 ntpd 服务

[root@hadoop102 ~]$ sudo systemctl start ntpd

（5）设置 ntpd 服务开机启动

[root@hadoop102 ~]$ sudo systemctl enable ntpd

3）其他机器配置（必须 root 用户）
（1）关闭所有节点上 ntp 服务和自启动

[root@hadoop103 ~]$ sudo systemctl stop ntpd
[root@hadoop103 ~]$ sudo systemctl disable ntpd
[root@hadoop104 ~]$ sudo systemctl stop ntpd
[root@hadoop104 ~]$ sudo systemctl disable ntpd

sudo systemctl status ntpd

（2）在其他机器配置 1 分钟与时间服务器同步一次

[root@hadoop103 ~]$ sudo crontab -e

编写定时任务如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102

（3）修改任意机器时间

[root@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"

（4）1 分钟后查看机器是否与时间服务器同步

[root@hadoop103 ~]$ sudo date

15、搭建Zookeeper集群（三台）

安装版本为：zookeeper-3.5.7

15.1、集群规划

在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。

15.2、解压安装

（1）解压 Zookeeper 安装包到/opt/module/目录下

[root@hadoop102 software]$ tar -zxvf zookeeper3.4.10.tar.gz -C /opt/module/

（2）修改包名

mv /opt/module/apache-zookeeper-3.5.7-bin /opt/module/zookeeper-3.5.7

（3）同步/opt/module/zookeeper-3.5.7 目录内容到 hadoop103、hadoop104

[root@hadoop102 module]$ xsync zookeeper-3.5.7/

15.3、配置服务器编号

（1）在/opt/module/zookeeper-3.4.10/这个目录下创建 zkData

[root@hadoop102 zookeeper-3.4.10]$ mkdir -p zkData

（2）在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件

[root@hadoop102 zkData]$ touch myid

添加 myid 文件，注意一定要在 linux 里面创建，在 notepad++里面很可能乱码
（3）编辑 myid 文件

[root@hadoop102 zkData]$ vi myid

在文件中添加与 server 对应的编号：
2
（4）拷贝配置好的 zookeeper 到其他机器上

[root@hadoop102 zkData]$ xsync myid

并分别在 hadoop103、hadoop104 上修改 myid 文件中内容为 3、4

15.4、配置 zoo.cfg 文件

（1）重命名/opt/module/zookeeper-3.4.10/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg

[root@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

（2）打开 zoo.cfg 文件
[atguigu@hadoop102 conf]$ vim zoo.cfg
修改数据存储路径配置

dataDir=/opt/module/zookeeper3.5.7/zkData

增加如下配置

#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

（3）同步 zoo.cfg 配置文件

[root@hadoop102 conf]$ xsync zoo.cfg

（4）配置参数解读
server.A=B:C:D。
A 是一个数字，表示这个是第几号服务器；
集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据
就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比
较从而判断到底是哪个 server。
B 是这个服务器的地址；
C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口；
D 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的
Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

15.5、集群操作

（1）分别启动 Zookeeper

[root@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
[root@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start
[root@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start

（2）查看状态

[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper3.4.10/bin/../conf/zoo.cfg
Mode: follower
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper3.4.10/bin/../conf/zoo.cfg
Mode: leader
[root@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper3.4.10/bin/../conf/zoo.cfg
Mode: follower

15.6、ZK集群启动停止脚本

（1）在hadoop102的/home/atguigu/bin目录下创建脚本

[root@hadoop102 bin]$ vim zk.sh

​ 在脚本中编写如下内容

#!/bin/bash



case $1 in

"start"){

  for i in hadoop102 hadoop103 hadoop104

  do

​    echo ---------- zookeeper $i 启动 ------------

​    ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"

  done

};;

"stop"){

  for i in hadoop102 hadoop103 hadoop104

  do

​    echo ---------- zookeeper $i 停止 ------------  

​    ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"

  done

};;

"status"){

  for i in hadoop102 hadoop103 hadoop104

  do

​    echo ---------- zookeeper $i 状态 ------------  

​    ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"

  done

};;

esac

（2）增加脚本执行权限

[root@hadoop102 bin]$ chmod u+x zk.sh

（3）分发脚本

xsync zk.sh

（4）Zookeeper集群启动脚本

[root@hadoop102 module]$ zk.sh start

（5）Zookeeper集群停止脚本

[root@hadoop102 module]$ zk.sh stop

16、搭建kafka集群（三台）

安装版本为：kafka_2.11-2.4.1.tgz

kafka官网地址：http://kafka.apache.org/downloads.html

1）解压安装包

[root@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/

2）修改解压后的文件名称

[root@hadoop102 module]$ mv kafka_2.11-2.4.1/ kafka

3）在/opt/module/kafka 目录下创建 logs 文件夹

[root@hadoop102 kafka]$ mkdir logs

4）修改配置文件

[root@hadoop102 kafka]$ cd config/
[root@hadoop102 config]$ vi server.properties

输入以下内容：

修改broker 的全局唯一编号、添加删除 topic 功能使能、修改kafka 运行日志存放的路径、修改配置连接 Zookeeper 集群地址

#broker 的全局唯一编号，不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true

#kafka 运行日志存放的路径
log.dirs=/opt/module/kafka/logs

#配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

5）分发安装包

[root@hadoop102 module]$ xsync kafka/

注意：分发之后记得配置其他机器的环境变量
6）分别在 hadoop103 和 hadoop104 上修改配置文件/opt/module/kafka/config/server.properties
中的 broker.id=1、broker.id=2
注：broker.id 不得重复

7）配置环境变量

[root@hadoop102 module]$ vim /etc/profile.d/my_env.sh

加上以下内容：

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

分发

xsync /etc/profile.d/my_env.sh

使三台服务器环境变量生效

[root@hadoop102 module]$ xcall.sh source /etc/profile

8）启动集群
依次在 hadoop102、hadoop103、hadoop104 节点上启动 kafka

[root@hadoop102 kafka]$ bin/kafka-server-start.sh config/server.properties 
[root@hadoop103 kafka]$ bin/kafka-server-start.sh config/server.properties 
[root@hadoop104 kafka]$ bin/kafka-server-start.sh config/server.properties 

9）关闭集群

[root@hadoop102 kafka]$ bin/kafka-server-stop.sh stop
[root@hadoop103 kafka]$ bin/kafka-server-stop.sh stop
[root@hadoop104 kafka]$ bin/kafka-server-stop.sh stop

10）Kafka集群启动停止脚本

（1）在/home/atguigu/bin目录下创建脚本kf.sh

[root@hadoop102 bin]$ vim kf.sh

​ 在脚本中填写如下内容

#! /bin/bash


case $1 in

"start"){

  for i in hadoop102 hadoop103 hadoop104

  do

​    echo " --------启动 $i Kafka-------"

​    ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"

  done

};;

"stop"){

  for i in hadoop102 hadoop103 hadoop104

  do

​    echo " --------停止 $i Kafka-------"

​    ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh stop"

  done

};;

esac

（2）增加脚本执行权限

[root@hadoop102 bin]$ chmod u+x kf.sh

（3）分发脚本

xsync kf.sh

（4）kf集群启动脚本

[root@hadoop102 module]$ kf.sh start

（5）kf集群停止脚本

[root@hadoop102 module]$ kf.sh stop

17、安装Flume（三台）

安装版本为：apache-flume-1.9.0-bin.tar.gz

1）将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/opt/software 目录下
2）解压 apache-flume-1.9.0-bin.tar.gz 到/opt/module/目录下

[atguigu@hadoop102 software]$ tar -zxf
apache-flume-1.9.0-bin.tar.gz -C /opt/module/

3）修改 apache-flume-1.9.0-bin 的名称为 flume

[atguigu@hadoop102 module]$ mv apache-flume-1.7.0-bin flume

4）将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop3.1.3

[atguigu@hadoop102 module]$ rm -f /opt/module/flume/lib/guava-11.0.2.jar

5）将 flume/conf 下 的 flume-env.sh.template 文 件 修 改 为 flume-env.sh ， 并 配 置
flume-env.sh 文件

[atguigu@hadoop102 conf]$ mv flume-env.sh.template flume-env.sh
[atguigu@hadoop102 conf]$ vi flume-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_212

6）分发脚本

xsync /opt/module/flume

18、安装mysql(安装到hadoop102)

安装版本为5.7.16

18.1、 安装包准备

①将安装包和JDBC驱动上传到/opt/software，共计6个

01_mysql-community-common-5.7.16-1.el7.x86_64.rpm

02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm

03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm

04_mysql-community-client-5.7.16-1.el7.x86_64.rpm

05_mysql-community-server-5.7.16-1.el7.x86_64.rpm

mysql-connector-java-5.1.27-bin.jar

②如果是虚拟机按照如下步骤执行

（1）卸载自带的Mysql-libs（如果之前安装过MySQL，要全都卸载掉）

[root@hadoop102 software]$ rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps

③如果是阿里云服务器按照如下步骤执行

说明：由于阿里云服务器安装的是Linux最小系统版，没有如下工具，所以需要安装。

（1）卸载MySQL依赖，虽然机器上没有装MySQL，但是这一步不可少

[root@hadoop102 software]# sudo yum remove mysql-libs

（2）下载依赖并安装

[root@hadoop102 software]# sudo yum install libaio

[root@hadoop102 software]# sudo yum -y install autoconf

18.2、安装MySQL

①安装MySQL依赖

[root@hadoop102 software]$ sudo rpm -ivh 01_mysql-community-common-5.7.16-1.el7.x86_64.rpm
[root@hadoop102 software]$ sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm
[root@hadoop102 software]$ sudo rpm -ivh 03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm

②安装mysql-client

[root@hadoop102 software]$ sudo rpm -ivh 04_mysql-community-client-5.7.16-1.el7.x86_64.rpm

③安装mysql-server

[root@hadoop102 software]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm

注意：如果报如下错误，这是由于yum安装了旧版本的GPG keys所造成，从rpm版本4.1后，在安装或升级软件包时会自动检查软件包的签名。

warning: 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY

error: Failed dependencies:

libaio.so.1()(64bit) is needed by mysql-community-server-5.7.16-1.el7.x86_64

解决办法

[root@hadoop102 software]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm --force --nodeps

④启动MySQL

[root@hadoop102 software]$ sudo systemctl start mysqld

⑤查看MySQL密码

[root@hadoop102 software]$ sudo cat /var/log/mysqld.log | grep password

18.3 、配置MySQL

配置只要是root用户 + 密码，在任何主机上都能登录MySQL数据库。

①用刚刚查到的密码进入MySQL（如果报错，给密码加单引号）

[atguigu@hadoop102 software]$ mysql -uroot -p'password'

②设置复杂密码（由于MySQL密码策略，此密码必须足够复杂）

mysql> set password=password("Qs23=zs32");

③更改MySQL密码策略

mysql> set global validate_password_length=4;

mysql> set global validate_password_policy=0;

④设置简单好记的密码

mysql> set password=password("000000");

⑤进入MySQL库

mysql> use mysql

⑥查询user表

mysql> select user, host from user;

⑦修改user表，把Host表内容修改为%

mysql> update user set host="%" where user="root";

⑧刷新

mysql> flush privileges;

⑨退出

mysql> quit;

19、安装Sqoop(安装到hadoop102)

安装版本为：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

1）sqoop官网地址：http://sqoop.apache.org

2）下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

3）上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到hadoop102的/opt/software路径中

4）解压sqoop安装包到指定目录，如：

[root@hadoop102 software]$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

5）解压sqoop安装包到指定目录，如：

[root@hadoop102 module]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop

2.3.2 修改配置文件

1）进入到/opt/module/sqoop/conf目录，重命名配置文件

[root@hadoop102 conf]$ mv sqoop-env-template.sh sqoop-env.sh

2）修改配置文件

[root@hadoop102 conf]$ vim sqoop-env.sh 

增加如下内容

export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3

export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3

export HIVE_HOME=/opt/module/hive

export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7

export ZOOCFGDIR=/opt/module/zookeeper-3.5.7/conf

2.3.3 拷贝JDBC驱动

1）将mysql-connector-java-5.1.48.jar 上传到/opt/software路径

2）进入到/opt/software/路径，拷贝jdbc驱动到sqoop的lib目录下。

[root@hadoop102 software] cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop/lib/

2.3.6 Sqoop基本使用

将mysql中user_info表数据导入到HDFS的/test路径

bin/sqoop import \

--connect jdbc:mysql://hadoop102:3306/gmall \

--username root \

--password 000000 \

--table user_info \

--columns id,login_name \

--where "id>=10 and id<=30" \

--target-dir /test \

--delete-target-dir \

--fields-terminated-by '\t' \

--num-mappers 2 \

--split-by id

优化：

--table user_info \

--columns id,login_name \

--where "id>=10 and id<=30" \

改为：

--query 'select id,login_name from user_info where id>=10 and id<=30 and $CONDITIONS'

总的为：

bin/sqoop import \

--connect jdbc:mysql://hadoop102:3306/gmall \

--username root \

--password 000000 \

--query 'select id,login_name from user_info where id>=10 and id<=30 and $CONDITIONS'

--target-dir /test \

--delete-target-dir \

--fields-terminated-by '\t' \

--num-mappers 2 \

--split-by id

20、安装Hive(安装到hadoop102)

安装版本为：apache-hive-3.1.2-bin.tar.gz

（1）把apache-hive-3.1.2-bin.tar.gz上传到Linux的/opt/software目录下

（2）解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面

[atguigu@hadoop102 software]$ tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/

（3）修改apache-hive-3.1.2-bin.tar.gz的名称为hive

[root@hadoop102 software]$ mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

（4）修改/etc/profile.d/my_env.sh，添加环境变量

[root@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

添加内容

#HIVE_HOME

export HIVE_HOME=/opt/module/hive

export PATH=$PATH:$HIVE_HOME/bin

重启Xshell对话框或者source一下 /etc/profile.d/my_env.sh文件，使环境变量生效

[root@hadoop102 software]$ source /etc/profile.d/my_env.sh

（5）解决日志Jar包冲突，进入/opt/module/hive/lib目录

[root@hadoop102 lib]$ mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

21、Hive on Spark配置(安装到hadoop102)

1）兼容性说明

注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是2.4.5，所以需要我们重新编译Hive3.1.2版本。

编译步骤：官网下载Hive3.1.2源码，修改pom文件中引用的Spark版本为3.0.0，如果编译通过，直接打包获取jar包。如果报错，就根据提示，修改相关方法，直到不报错，打包获取jar包。

2）在Hive所在节点部署Spark

如果之前已经部署了Spark，则该步骤可以跳过，但要检查SPARK_HOME的环境变量配置是否正确。

（1）Spark官网下载jar包地址：

http://spark.apache.org/downloads.html

（2）上传并解压解压spark-3.0.0-bin-hadoop3.2.tgz

[root@hadoop102 software]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
[root@hadoop102 software]$ mv /opt/module/spark-3.0.0-bin-hadoop3.2 /opt/module/spark

（3）配置SPARK_HOME环境变量

[root@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

# SPARK_HOME

export SPARK_HOME=/opt/module/spark

export PATH=$PATH:$SPARK_HOME/bin

source 使其生效

[root@hadoop102 software]$ source /etc/profile.d/my_env.sh

３）在hive中创建spark配置文件

[root@hadoop102 software]$ vim /opt/module/hive/conf/spark-defaults.conf

添加如下内容（在执行任务时，会根据如下参数执行）

spark.master                yarn

spark.eventLog.enabled          true

spark.eventLog.dir            hdfs://hadoop102:8020/spark-history

spark.executor.memory          1g

spark.driver.memory          1g

在HDFS创建如下路径，用于存储历史日志

[root@hadoop102 software]$ hadoop fs -mkdir /spark-history    

４）向HDFS上传Spark纯净版jar包

​ 说明1：由于Spark3.0.0非纯净版默认支持的是hive2.3.7版本，直接使用会和安装的

Hive3.1.2出现兼容性问题。所以采用Spark纯净版jar包，不包含hadoop和hive相关依赖，避免冲突。

​ 说明2：Hive任务最终由Spark来执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。所以需要将Spark的依赖上传到HDFS集群路径，这样集群中任何一个节点都能获取到。

（1）上传并解压spark-3.0.0-bin-without-hadoop.tgz

[root@hadoop102 software]$ tar -zxvf /opt/software/spark-3.0.0-bin-without-hadoop.tgz

（2）上传Spark纯净版jar包到HDFS

[root@hadoop102 software]$ hadoop fs -mkdir /spark-jars

[root@hadoop102 software]$ hadoop fs -put spark-3.0.0-bin-without-hadoop/jars/* /spark-jars

５）修改hive-site.xml文件

[root@hadoop102 ~]$ vim /opt/module/hive/conf/hive-site.xml

添加如下内容

<!--Spark依赖位置（注意：端口号8020必须和namenode的端口号一致）-->

<property>

  <name>spark.yarn.jars</name>

  <value>hdfs://hadoop102:8020/spark-jars/*</value>

</property>



<!--Hive执行引擎-->

<property>

  <name>hive.execution.engine</name>

  <value>spark</value>
</property>

6）Hive on Spark测试

（1）启动hive客户端

[root@hadoop102 hive]$ bin/hive

（2）创建一张测试表

hive (default)> create table student(id int, name string);

（3）通过insert测试效果（第一次insert需要创建spark会话，可在yarn页面中查看）

hive (default)> insert into table student values(1,'abc');

若插入数据成功，则说明配置成功

22、安装Hbase（三台）

安装版本为：hbase-2.0.5-bin.tar.gz

解压Hbase到指定目录：

[root@hadoop102 software]$ tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/module

修改HBase对应的配置文件。

1. hbase-env.sh修改内容：配置使用集群的zookeeper

export HBASE_MANAGES_ZK=false

2. hbase-site.xml修改内容：(第一个为hbase存储数据的根路径)

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://hadoop102:8020/hbase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
 <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hadoop102,hadoop103,hadoop104</value>
  </property>
</configuration>

3.regionservers：

hadoop102
hadoop103
hadoop104

4. 软连接hadoop配置文件到HBase：（如果配置HADOOP_HOME，此步可省略）

[atguigu@hadoop102 module]$ ln -s /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml /opt/module/hbase/conf/core-site.xml

[atguigu@hadoop102 module]$ ln -s /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfs-site.xml

5.HBase远程发送到其他集群

[root@hadoop102 module]$ xsync hbase/

6. HBase服务的启动

1. 启动方式（单点启动）

[root@hadoop102 hbase]$ bin/hbase-daemon.sh start master

[root@hadoop102 hbase]$ bin/hbase-daemon.sh start regionserver

提示：如果集群之间的节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException异常。

2.启动方式2（群起，在哪台节点启动，哪台节点就是master）

[root@hadoop102 hbase]$ bin/start-hbase.sh

对应的停止服务：

[root@hadoop102 hbase]$ bin/stop-hbase.sh

7. 查看HBase页面

启动成功后，可以通过“host:port”的方式来访问HBase管理页面，例如：

http://hadoop102:16010