博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
测试hadoop集群是否安装成功:网页监控页面和提交job运行
阅读量:5840 次
发布时间:2019-06-18

本文共 1143 字,大约阅读时间需要 3 分钟。

  hot3.png

一、查看集群的网页监控状态

1.查看hdfs集群状态,也就是namenode的访问地址

配置:hdfs-site.xml--dfs.namenode.http-address

默认访问地址:http://namenode的ip:50070

2.如果配置了secondary namenode,那么可以查看secondary namenode状态

配置:hdfs-site.xml--dfs.namenode.secondary.http-address

默认访问地址:http://namenode的ip:50090

3.查看yarn集群的状态

配置:yarn-site.xml--yarn.resourcemanager.webapp.address

默认访问地址:http://resource manager的ip:8088

如果是yarn HA,则有可能不同的ResourceManager的访问端口是不一样的,如配置如下的:rm1和rm2的ResourceManager的访问地址就不一样。

 
yarn.resourcemanager.webapp.address.rm1
 
bigdata1:23188
 
yarn.resourcemanager.webapp.address.rm2
 
bigdata2:33188

4.如果配置了job history,那么可以查看job history server的状态

配置:mapred-site.xml--mapreduce.jobhistory.webapp.address

默认访问地址:http://jobhistory服务器的ip:19888

二、提交job运行

1.hadoop2.6.0版本,提交mapreduce程序

mkdir inputcd inputecho hello world >> file1echo hello hadoop >> file2cd ..hdfs dfs -put input /cd $hadoop_home/share/hadoop/mapreduceyarn jar hadoop-mapreduce-examples-2.6.0.jar wordcount /input /ouput

如果执行过程没报错,而且hdfs的ouput的结果正确,那么集群就安装成功了。

 

 

转载于:https://my.oschina.net/cjun/blog/627681

你可能感兴趣的文章