博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop-yarn SLS运行中的问题
阅读量:6615 次
发布时间:2019-06-24

本文共 2284 字,大约阅读时间需要 7 分钟。

在运行SLS时可能会碰到如下问题:

命令:

sh $HADOOP_HOME/share/hadoop/tools/sls/bin/slsrun.sh --input-sls=/home/c/sls/output2/sls-jobs.json --nodes=/home/c/sls/output2/sls-nodes.json --output-dir=/home/c/sls/output1 --print-simulation

其中input-sls和--nodes的文件最好加上绝对路径,如果只写一个文件名,则默认从当前文件夹下取文件。

1.报错:

Exception in thread "main" java.lang.RuntimeException: java.lang.NullPointerException     at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:131)     at org.apache.hadoop.yarn.sls.SLSRunner.startAMFromSLSTraces(SLSRunner.java:313)     at org.apache.hadoop.yarn.sls.SLSRunner.startAM(SLSRunner.java:248)     at org.apache.hadoop.yarn.sls.SLSRunner.start(SLSRunner.java:145)     at org.apache.hadoop.yarn.sls.SLSRunner.main(SLSRunner.java:528)Caused by: java.lang.NullPointerException     at java.util.concurrent.ConcurrentHashMap.get(ConcurrentHashMap.java:936)     at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:123)     ... 4 more

原因:找不到sls-runner.xml,只有在/hadoop/etc/hadoop文件夹下的xml配置文件才会被发现,而在当前hadoop版本中,sls-runner.xml在/hadoop/share/hadoop/tools/sls/sample-conf中。因此将sls-runner.xml拷贝至/hadoop/etc/hadoop下即可。

2.报错:

java.lang.NullPointerException at org.apache.hadoop.yarn.sls.web.SLSWebApp.(SLSWebApp.java:86)

原因:找不到html文件夹,而html文件夹在/hadoop/share/hadoop/tools/sls目录下,因此到该目录下,执行slsrun.sh脚本即可。

3.报错:

18/07/11 16:58:48 WARN capacity.CapacityScheduler: Couldn't find application application_1531299523163_000118/07/11 16:58:48 WARN resourcemanager.RMAuditLogger: USER=jenkins	OPERATION=Application Finished - Failed	TARGET=RMAppManager	RESULT=FAILURE	DESCRIPTION=App failed with state: FAILED	PERMISSIONS=Application application_1531299523163_0001 submitted by user jenkins to unknown queue: sls_queue_1	APPID=application_1531299523163_000118/07/11 16:58:48 INFO resourcemanager.RMAppManager$ApplicationSummary: appId=application_1531299523163_0001,name=N/A,user=jenkins,queue=sls_queue_1,state=FAILED,trackingUrl=N/A,appMasterHost=N/A,startTime=1531299528010,finishTime=1531299528035,finalStatus=FAILED

容器启动失败

原因:yarn-site.xml配置文件没有配置好,在/hadoop/etc/hadoop下有个空的yarn-site.xml,系统默认执行该文件,因此报错。其实在sls/sample-conf文件夹下除了上面的sls-runner.xml文件,还有一个专门为sls例子准备的yarn-site.xml。将此文件替换至/hadoop/etc/hadoop的yarn-site.xml即可。

转载于:https://www.cnblogs.com/sichenzhao/p/9320096.html

你可能感兴趣的文章
jquery中data函数的用法示例
查看>>
巧用strtotime函数计算日期
查看>>
JVM中java对象的生命周期
查看>>
mysql 查看连接数,状态
查看>>
JFinal集成YUI Compressor压缩合并JS和CSS
查看>>
windows下的Oracle卸载
查看>>
sqlserver查看死锁的存储过程
查看>>
在VirtualBox中的CentOS 6.3下安装VirtualBox增强包(GuestAd...
查看>>
Java开发中的23种设计模式详解(转)
查看>>
我的友情链接
查看>>
组策略18招
查看>>
关于Android中的数据存储
查看>>
Tomcat配置日志生产功能
查看>>
js的自执行函数
查看>>
移植Qt与Tslib到X210开发板的体会
查看>>
Nginx + webpy 和FastCGI搭建webpy环境
查看>>
new static 跟 new self 区别
查看>>
PLSQL Develope连接oracle数据库配置
查看>>
使用JdbcTemplate过程中使用到多个参数和like模糊
查看>>
解决eclipse中无法删除Tomcat服务器中的项目,报maven is required and cannot be removed from the server错误情况...
查看>>