百度快照优化passrx(阿里云顶级域名助力品牌升级)

环境准备

1.服务器概览

hostnameip说明nn01192.168.56.101name nodenn02192.168.56.102name nodedn01192.168.56.103data nodedn02192.168.56.104data nodedn03192.168.56.105data nodenn01nn02dn01dn02dn03NameNode√√DataNode√√√ResourceManager√√NodeManager√√√√√Zookeeper√√√√√journalnode√√√√√zkfc√√

分别在三台服务器上执行以下命令

2.JDK安装

3.配置免密码登录

要求能通过免登录包括使用IP和主机名都能免密码登录：1) NameNode能免密码登录所有的DataNode2) 各NameNode能免密码登录自己3) 各NameNode间能免密码互登录4) DataNode能免密码登录自己5) DataNode不需要配置免密码登录NameNode和其它DataNode。

本文来自 toto1297488504 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/tototuzuoquan/article/details/72983527?utm_source=copy

同理，配置nn02免密码登录nn01,dn01,dn02,dn03

安装zookeeper

zoo.cfg

基本配置:

tickTime

心跳基本时间单位，毫秒级，ZK基本上所有的时间都是这个时间的整数倍。

initLimit

tickTime的个数，表示在leader选举结束后，followers与leader同步需要的时间，如果followers比较多或者说leader的数据灰常多时，同步时间相应可能会增加，那么这个值也需要相应增加。当然，这个值也是follower和observer在开始同步leader的数据时的最大等待时间(setSoTimeout)

syncLimit

tickTime的个数，这时间容易和上面的时间混淆，它也表示follower和observer与leader交互时的最大等待时间，只不过是在与leader同步完毕之后，进入正常请求转发或ping等消息交互时的超时时间。

dataDir

内存数据库快照存放地址，如果没有指定事务日志存放地址(dataLogDir)，默认也是存放在这个路径下，建议两个地址分开存放到不同的设备上。

clientPort

配置ZK监听客户端连接的端口

server.serverid=host:tickpot:electionport

server：固定写法

serverid：每个服务器的指定ID（必须处于1-255之间，必须每一台机器不能重复）

host：主机名

tickpot：心跳通信端口

electionport：选举端口

安装hadoop

1 下载hadoop

修改配置文件：/opt/hadoop/hadoop-3.1.1/etc/hadoop/hadoop-env.sh

/opt/hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml

/opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml

/opt/hadoop/hadoop-3.1.1/etc/hadoop/mapred-site.xml

/opt/hadoop/hadoop-3.1.1/etc/hadoop/yarn-site.xml

/opt/hadoop/hadoop-3.1.1/etc/hadoop/workers

/opt/hadoop/hadoop-3.1.1/sbin/start-dfs.sh sbin/stop-dfs.sh

/opt/hadoop/hadoop-3.1.1/sbin/start-yarn.sh sbin/stop-yarn.sh

复制到其他机器

启动

Zookeeper -> JournalNode -> 格式化NameNode ->创建命名空间（zkfc） -> NameNode -> DataNode -> ResourceManager -> NodeManager。

1. 启动zookeeper

nn01,nn02,dn01,dn02,dn03

2. 启动journalnode

nn01,nn02,dn01,dn02,dn03

3. 格式化namenode

nn01

把在nn01节点上生成的元数据给复制到其他节点上

4. 格式化zkfc

重点强调：只能在nameonde节点进行 nn01

5. 启动HDFS

重点强调：只能在nameonde节点进行 nn01

6. 启动YARN

在主备 resourcemanager 中随便选择一台进行启动

nn02

若备用节点的 resourcemanager 没有启动起来，则手动启动起来: yarn-daemon.sh start resourcemanager

7. 启动 mapreduce 任务历史服务器

8. 状态查看

查看各主节点的状态

WEB界面进行查看

本文链接：https://www.24zzc.com/news/169285578423282.html