上一篇wordcount的坑以为是解决了,其实只是让本地部署模式不再报错,到了伪分布模式测试wordcount继续报错。错误的表现主要是:
- jps命令 resourcemanager和nodemanager启动不了(这个可以在yarn-env.sh里面设置参数硬启动,但是强扭的瓜不甜);
- 设置参数启动了以后测试wordcount还是报错;错误内容大致就是job和application失败,容器错误类似的,都没有明确的错误内容。
当然,从表象上看我也只是从这两点去搜资料解决问题。网上的资料大多是设置etc下面的几个xml文件参数,但是都没解决问题。
问题2搞了两天硬是没找办法,真的是有点崩了。。。
今天想着去找找白皮书看看有什么解决之法,发现hadoop的安装目录下面有doc文件(路径:/root/hadoop/share/doc),于是把doc部署在了http上,第一篇就是介绍安装部署的,然后里面有hadoop与Java适配版本引起了注意。
恍然大悟,hadoop 2适配JDK7或者8;hadoop3适配JDK8。well。。。
谨以此文写给像我一样的小白,想着JDK都23了,装个新版本应该能向下兼容,hadoop的进度不行啊!
好了,㊗️大家75th国庆快乐!