接着上一篇,趁着这个势头继续整理! 经常听说大数据,所以hadoop已经可谓如雷贯耳了。 早前曾经对于hadoop进行过一些安装。但是当时基础太过薄弱,因此效果甚微。 如今重新进行学习,并做好笔记!
安装过程:
首先解压并配置环境变量。 这个详细过程就不记录了。 记录一下配置的环境变量吧!

配置过程:
1.首先配置hadoop的环境配置文件(因为它也是基于java的):


2.配置core-site.xml文件:


3.配置yarn-site.xml:


4.配置slaves以及master:




注意,这里的名称均为节点中的主机名。
5.配置hdfs-site.xml:


6.配置mapred-site.xml:


最后,将整个配置好后的文件分发到整个集群中的每个机器中。由于配置了ssh免密登陆,所以这个步骤还是很轻松的。。。!!
如:

hadoop的运行:
1.在主节点中格式化:

然后启动hadoop集群: 命令: sbin/start-all.sh; 该文件位置相对于hadoop文件的根路径位置如图:

在各个节点执行jps可看到相关信息。
成功的标志:


使用hadoop:




背景知识:

hadoop的本质: 一个分布式系统基础架构。 它的核心是:hdfs 以及 mapreduce.



更多的详细信息我想在hadoop官网应该可以找到答案。










