hadoopHA
数据类型
结构化数据RDMS
非结构化数据借助算法goole pagerank
半结构算法xmljson通过标签进行。
一般情况下可以通过并行处理机制提高处理数据效率但是对于海量数据的加载是很慢的所以需要使用分布式文件系统只需要从本地磁盘上加载就好了所以速度很快。
hadoop集群mapreduce框架其函数要自己写。
在hadoopHA 集群中,通常有两台不同的机器充当 NameNode。在任何时间,只有一台机器处于Active 状态;另一台机器是处于 Standby 状态。
在本片文档中主要体现两个高可用
hdfs和yarn
hdfs是
在本文档中
server1server5作为NN和RMserver2,server3,server4作为DNZK和DN.
本篇文档从zookeeper开始关于基础配置请参考http://12237658.blog.51cto.com
本实验出现的错误事项
1、内存划分要足够本次一共启用5个虚拟机server1和server5要求大于1Gserver2,3,4不能小于768.
2、再格式化过程中第一次格式化需要先启动日志进程sbin/hadoop.daem.sh start journalnode
[hadoop@server2/3/4 hadoop]$ sbin/hadoop-daemon.sh start journalnode
3、再启动过程中,zookeeper会发生服务提不起来的情况在此情况下一般是myid的错误或者端口被占用
4、在启动hdfs服务时可能出现namenode 或datanode不出现的情况此时一般要查看日志信息根据日志信息作出更改
5、服务尽量不要多次重复充起因为会导致进程混乱例如zookeeper的进程号和其文件中进程号不一致。[hadoop@server3 zookeeper]$ cat zookeeper_server.pid 1236
zookeeper的启动
下载tar包解压到hadoop的家目录
[hadoop@server3 ~]$ ls
hadoop java zookeeper zookeeper-3.4.9.tar.gz
hadoop-2.7.3 jdk1.7.0_79 zookeeper-3.4.9
修改配置文件
[hadoop@server3 conf]$ cat zoo.cfg
# The number of milliseconds of each tick
tickTime=2000//ZK中的一个时间单元zk中所有时间都是以这个时间为基础以毫秒计用来调节心跳和超时。
# The number of ticks that the initial
# synchronization phase can take
initLimit=10//Follower 在启动过程中,会从 Leader 同步所有最新数据,然后确定自己能够对外服务的起始状态。
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5 //在运行过程中,Leader 负责与 ZK 集群中所有机器进行通信,例如通过一些心跳检测机制,来检测机器的存活状态。
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/tmp/zookeeper //存储快照文件 snapshot 的目录。默认情况下,事务日志也会存储在这里。建议同时配置参数 dataLogDir, 事务日志的写性能直接影响 zk 性能。在生产环境中该目录应该为一个稳定的目录而不应该是在tmp下因为tmp在一定时间后会被清除。
# the port at which the clients will connect
clientPort=2181 //客户端连接 server 的端口,即对外服务端口
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=172.25.33.2:2888:3888
server.2=172.25.33.3:2888:3888
server.3=172.25.33.4:2888:3888
server的编号应该和myid的数字一致myid在dataDir下。
echo “1”> /tmp/zookeeper/myid ....
启动zookeeper//2,3,4启动。
[hadoop@server3 zookeeper]$ echo "2" > /tmp/zookeeper/myid
[hadoop@server3 zookeeper]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@server3 zookeeper]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg
Mode: follower
配置hadoop的hdfs
cat core-site.xml
cat hdfs-site.xml
sshfence
shell(/bin/true)
[hadoop@server1 hadoop]$ cat slaves
172.25.33.3
172.25.33.4
172.25.33.2
至此hdfs的高可用配置文件已经完成
在格式化hdfs之前要先将server2,3,4节点的journal服务打开因为hdfs在格式化的时候要与2,3,4的8485端口通信。
[hadoop@server2 hadoop]$ sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-journalnode-server2.example.com.out
[hadoop@server2 hadoop]$ jps
2629 JournalNode
2398 QuorumPeerMain
2667 Jps
在这三个节点看到该jps进程那么说明可以格式化Hdfs了
[hadoop@server1 hadoop]$ bin/hdfs namenode -format
[hadoop@server1 hadoop]$ scp -r /tmp/hadoop-hadoop/ 172.25.33.5:/tmp
fsp_w_picpath_0000000000000000000 100% 353 0.3KB/s 00:00
fsp_w_picpath_0000000000000000000.md5 100% 62 0.1KB/s 00:00
seen_txid 100% 2 0.0KB/s 00:00
VERSION
格式化zookeeper(只需在h2上执行)
[hadoop@server1 hadoop]$ bin/hdfs zkfc -formatZK
然后就可以启动服务了。
此时需要免密码认证所以该制作ssh-keygen的赶紧制作。有时需要用ssh试连各个节点破除yes
[hadoop@server1 hadoop]$ sbin/start-dfs.sh
检测[hadoop@server1/5 hadoop]$ jps
11212 DFSZKFailoverController
11482 Jps
10883 NameNode
通过网页的50070访问正常
172.25.33.150070
[hadoop@server1 hadoop]$ jps
11212 DFSZKFailoverController
11482 Jps
10883 NameNode
[hadoop@server1 hadoop]$ kill -9 10883
172.25.33.550070
验证成功hdfs的高可用已经完成下边配置yarn的高可用
Apache Hadoop YARN Yet Another Resource Negotiator另一种资源协调者是一种新的 Hadoop 资源管理器它是一个通用资源管理系统可为上层应用提供统一的资源管理和调度它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处
cat mapred-site.xml
cat yarn-site.xml
配置文件完成后启动yarn服务。
[hadoop@server1 hadoop]$ sbin/start-yarn.sh
[hadoop@server1 hadoop]$ jps
13244 ResourceManager
11212 DFSZKFailoverController
13330 Jps
12814 NameNode
[hadoop@server5 ~]$ jps
1598 NameNode
1904 Jps
1695 DFSZKFailoverController
在另一个节点上并没有RM,需要手动启动
[hadoop@server5 hadoop]$ sbin/yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /home/hadoop/hadoop-2.7.3/logs/yarn-hadoop-resourcemanager-server5.example.com.out
[hadoop@server5 hadoop]$ jps
1598 NameNode
2018 Jps
1695 DFSZKFailoverController
1979 ResourceManager
172.25.33.18088
故障切换
[hadoop@server1 hadoop]$ jps
13244 ResourceManager
11212 DFSZKFailoverController
12814 NameNode
13923 Jps
[hadoop@server1 hadoop]$ kill -9 13244
172.25.33.58088
使用zookeeper的命令行进行测试
[hadoop@server3 zookeeper]$ bin/zkCli.sh -server 127.0.0.1:2181
[zk: 127.0.0.1:2181(CONNECTED) 0] get /yarn-leader-election/RM_CLUSTER/ActiveBreadCrumb
RM_CLUSTERrm2
cZxid = 0x100000020
ctime = Tue Mar 07 22:05:16 CST 2017
mZxid = 0x100000053
mtime = Tue Mar 07 22:09:58 CST 2017
pZxid = 0x100000020
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 17
numChildren = 0
[zk: 127.0.0.1:2181(CONNECTED) 1] quit
Quitting...
结束5上的服务RM会切换到1上。
ActiveBreadCrumb ActiveStandbyElectorLock
[zk: 127.0.0.1:2181(CONNECTED) 0] get /yarn-leader-election/RM_CLUSTER/ActiveBreadCrumb
RM_CLUSTERrm1
cZxid = 0x100000020
ctime = Tue Mar 07 22:05:16 CST 2017
mZxid = 0x10000008b
mtime = Tue Mar 07 22:15:14 CST 2017
pZxid = 0x100000020
cversion = 0
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 17
numChildren = 0
[zk: 127.0.0.1:2181(CONNECTED) 1]
测试成功表示yarn的高可用已经完成。
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
