【详解】hadoop下配置文件说明

Hadoop下配置文件说明

Hadoop 是一个开源框架，用于处理大规模数据集的存储和计算。它主要由两个核心组件组成：HDFS（Hadoop Distributed File System）和 MapReduce。Hadoop 的配置文件对于集群的正确运行至关重要。本文将详细介绍 Hadoop 中几个重要的配置文件及其用途。

1. core-site.xml

core-site.xml 文件是 Hadoop 核心配置文件之一，主要用于设置 Hadoop 系统级别的参数。这些参数影响整个 Hadoop 集群的行为。以下是该文件中常见的几个配置项：

• fs.defaultFS:

• 描述: 指定默认的文件系统名称。
• 示例: <value>hdfs://localhost:9000</value>

• io.file.buffer.size:

• 描述: 设置文件读写的缓冲区大小。
• 示例: <value>4096</value>

• hadoop.tmp.dir:

• 描述: 指定 Hadoop 运行时使用的临时目录。
• 示例: <value>/app/hadoop/tmp</value>

2. hdfs-site.xml

hdfs-site.xml 文件专门用于配置 HDFS 相关的参数。通过这个文件可以调整 HDFS 的行为，以适应不同的应用场景。以下是一些常用的配置项：

• dfs.replication:

• 描述: 设置 HDFS 文件块的副本数。
• 示例: <value>3</value>

• dfs.namenode.http-address:

• 描述: 指定 NameNode 的 HTTP 地址。
• 示例: <value>localhost:50070</value>

• dfs.datanode.data.dir:

• 描述: 指定 DataNode 存储数据块的位置。
• 示例: <value>/app/hadoop/data</value>

3. mapred-site.xml

mapred-site.xml 文件用于配置 MapReduce 框架的相关参数。这些参数决定了 MapReduce 任务的执行方式。以下是几个重要的配置项：

• mapreduce.framework.name:

• 描述: 指定 MapReduce 框架的类型。
• 示例: <value>yarn</value>

• mapreduce.jobhistory.address:

• 描述: 指定 JobHistory Server 的地址。
• 示例: <value>localhost:10020</value>

• mapreduce.map.memory.mb:

• 描述: 设置 Map 任务的内存限制。
• 示例: <value>1024</value>

4. yarn-site.xml

yarn-site.xml 文件用于配置 YARN（Yet Another Resource Negotiator），它是 Hadoop 2.x 及以上版本中的资源管理器。以下是几个关键的配置项：

• yarn.resourcemanager.hostname:

• 描述: 指定 ResourceManager 的主机名。
• 示例: <value>localhost</value>

• yarn.nodemanager.aux-services:

• 描述: 指定 NodeManager 提供的辅助服务。
• 示例: <value>mapreduce_shuffle</value>

• yarn.scheduler.minimum-allocation-mb:

• 描述: 设置 YARN 调度器分配给容器的最小内存。
• 示例: <value>512</value>

5. slaves

slaves 文件列出了所有 DataNode 和 NodeManager 的主机名或 IP 地址。这个文件通常位于 Hadoop 安装目录的 etc/hadoop 文件夹下。每行一个节点，例如：

node1 node2 node3

Hadoop 的配置文件主要用于设置 Hadoop 集群的各种参数，包括但不限于 HDFS、YARN 和 MapReduce 等组件的配置。下面是一些常见的 Hadoop 配置文件及其示例内容：

1. core-site.xml

这个文件主要配置 Hadoop 的核心属性，如 HDFS 的默认文件系统和 Hadoop 的临时目录。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadoop/tmp</value>
    </property>
</configuration>

2. hdfs-site.xml

这个文件主要配置 HDFS 的相关属性，如数据块的副本数、数据节点的存储路径等。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>localhost:50070</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/app/hadoop/data/dn1,/app/hadoop/data/dn2</value>
    </property>
</configuration>

3. yarn-site.xml

这个文件主要配置 YARN 的相关属性，如资源管理器的地址、节点管理器的地址等。

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>8192</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8192</value>
    </property>
</configuration>

4. mapred-site.xml

这个文件主要配置 MapReduce 的相关属性，如框架的运行模式（YARN 或本地）。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>localhost:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>localhost:19888</value>
    </property>
</configuration>

实际应用场景

假设你有一个 Hadoop 集群，需要进行以下配置：

1. HDFS 配置：

• 设置数据块的副本数为 3。
• 设置 NameNode 的 HTTP 地址为 localhost:50070。
• 设置 DataNode 的存储路径为 /app/hadoop/data/dn1 和 /app/hadoop/data/dn2。

2. YARN 配置：

• 设置 ResourceManager 的主机名为 localhost。
• 设置 NodeManager 的辅助服务为 mapreduce_shuffle。
• 设置每个 NodeManager 的内存资源为 8GB。

3. MapReduce 配置：

• 设置 MapReduce 框架的运行模式为 YARN。
• 设置 JobHistory Server 的地址为 localhost:10020。
• 设置 JobHistory Web 应用的地址为 localhost:19888。

在Hadoop生态系统中，配置文件是系统运行的基础，它们定义了Hadoop集群的各个组件如何工作以及如何与彼此交互。Hadoop的主要配置文件包括core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml。下面我将详细介绍这些配置文件及其常用的配置项。

1. core-site.xml

这个文件主要包含Hadoop核心系统的配置信息，比如文件系统（FS）的默认名称节点地址等。它对所有Hadoop组件都是通用的。

• fs.defaultFS: 指定HDFS的默认名称节点（NameNode）。例如：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

这里localhost:9000是指HDFS的名称节点主机名和端口号。

• io.file.buffer.size: 设置读写文件时使用的缓冲区大小，单位为字节。例如：

<property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
</property>

2. hdfs-site.xml

这个文件包含了HDFS特定的配置，如数据块的复制因子、数据节点（DataNode）的目录等。

• dfs.replication: 指定数据块的默认复制因子。例如：

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

这意味着每个数据块会被复制到三个不同的节点上。

• dfs.namenode.http-address: 指定名称节点的HTTP服务地址。例如：

<property>
  <name>dfs.namenode.http-address</name>
  <value>localhost:50070</value>
</property>

• dfs.datanode.data.dir: 指定数据节点存储数据块的本地目录。例如：

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/app/hadoop/tmp/dfs/data</value>
</property>

3. yarn-site.xml

这个文件包含了YARN（Yet Another Resource Negotiator）相关的配置，用于管理整个集群的资源调度。

• yarn.resourcemanager.hostname: 指定资源管理器（ResourceManager）的主机名。例如：

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>localhost</value>
</property>

• yarn.nodemanager.resource.memory-mb: 指定每个节点管理器（NodeManager）可用的最大内存（以MB为单位）。例如：

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>8192</value>
</property>

4. mapred-site.xml

这个文件包含了MapReduce框架的配置，虽然在较新的Hadoop版本中，很多配置已经移到了yarn-site.xml中，但一些特定于MapReduce的设置仍然保留在这里。

• mapreduce.framework.name: 指定MapReduce作业执行的框架。例如：

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

以上就是Hadoop配置文件中的一些基本配置项介绍。根据实际的集群规模和需求，可能还需要调整更多的参数来优化性能或满足特定的安全要求。