步骤 1:修改主机名和IP地址
1.1 修改主机名
sudo hostnamectl set-hostname your_hostname1.2 修改IP地址和绑定主机名与IP,根据你的网络配置进行设置。
步骤 2:关闭防火墙并关闭防火墙开机启动
sudo systemctl stop firewalld
sudo systemctl disable firewalld步骤 3:安装JDK并配置环境变量
3.1 安装JDK,这里假设你已经下载了适用于你的系统的JDK安装包。
tar -zxvf jdk-*.tar.gz -C /opt3.2 配置环境变量,在/etc/profile或者~/.bashrc中添加以下行,并保存:
export JAVA_HOME=/opt/jdk
export PATH=$JAVA_HOME/bin:$PATH然后执行以下命令使配置生效:
source /etc/profile # 或 source ~/.bashrc步骤 4:安装Hadoop并配置
4.1 下载Hadoop,解压并配置环境变量。假设你已经下载了Hadoop安装包。
tar -zxvf hadoop-*.tar.gz -C /opt4.2 修改Hadoop配置文件(core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml)以满足你的需求。
步骤 5:初始化HDFS(格式化文件系统)
hadoop namenode -format步骤 6:启动Hadoop
6.1 启动HDFS:
start-dfs.sh6.2 启动YARN:
start-yarn.sh步骤 7:实现WordCount测试程序
7.1 在Hadoop用户当前目录下创建WordCount文件夹,并在其中创建两个测试文件file1.txt和file2.txt,填写内容。
7.2 在Hadoop文件系统上创建一个名为 "input" 的文件夹:
hadoop fs -mkdir /input7.3 将WordCount文件夹中的file1.txt和file2.txt上传到刚刚创建的 "input" 文件夹:
hadoop fs -put /home/hadoop/WordCount/*.txt /input7.4 运行WordCount示例程序:
hadoop jar hadoop-mapreduce-examples-*.jar wordcount /input /output步骤 8:查看输出结果
8.1 查看输出结果的文件位置:
hadoop fs -ls /output8.2 使用以下命令查看WordCount的结果:
hadoop fs -cat /output/part-r-00000









