超详细 Hadoop 集群搭建指南：从环境准备到成功启动

Wed, 10 Sep 2025 00:00:00 +0000

超详细 Hadoop 集群搭建指南：从环境准备到成功启动

作为大数据生态体系的核心框架，Hadoop 的分布式集群部署是入门大数据技术的关键一步。本文将以Hadoop 3.3.4 版本为例，带大家从零开始搭建一个 3 节点（1 主 2 从）的 Hadoop 集群，全程附带关键配置代码和避坑要点，确保新手也能顺利完成搭建。

一、环境准备：打好集群基础

在正式搭建前，需先完成硬件规划、操作系统配置和软件依赖安装，这是集群稳定运行的前提。

1.1 集群节点规划

本次搭建采用 “1 主 2 从” 架构，节点角色分配如下（可根据实际服务器数量调整）：

节点 IP	主机名	角色	硬件建议（最低配置）
192.168.1.10	hadoop01	NameNode、ResourceManager	2 核 4G 内存、50G 硬盘
192.168.1.11	hadoop02	DataNode、NodeManager	2 核 2G 内存、50G 硬盘
192.168.1.12	hadoop03	DataNode、NodeManager	2 核 2G 内存、50G 硬盘

注意：所有节点需处于同一局域网，且关闭防火墙（避免端口拦截）。

1.2 操作系统配置（所有节点执行）

本文使用CentOS 7系统，以下操作需以root用户或sudo权限执行：

（1）关闭防火墙与 SELinux

Hadoop 集群各节点间需通过多个端口通信，关闭防火墙可避免配置复杂的端口规则：

# 关闭防火墙（临时+永久）

systemctl stop firewalld

systemctl disable firewalld

# 关闭SELinux（临时+永久）

setenforce 0

sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

（2）配置主机名与 IP 映射

设置主机名（每个节点执行对应命令）：

# hadoop01节点

hostnamectl set-hostname hadoop01

# hadoop02节点

hostnamectl set-hostname hadoop02

# hadoop03节点

hostnamectl set-hostname hadoop03

配置 IP 映射（所有节点执行，将 IP 替换为你的实际节点 IP）：

echo "192.168.1.10 hadoop01" >> /etc/hosts

echo "192.168.1.11 hadoop02" >> /etc/hosts

echo "192.168.1.12 hadoop03" >> /etc/hosts

（3）安装 Java 环境

Hadoop 依赖 Java（需 JDK 8 及以上版本），推荐使用 OpenJDK：

# 安装OpenJDK 8

yum install -y java-1.8.0-openjdk-devel

# 验证安装（出现版本信息则成功）

java -version

javac -version

# 配置JAVA_HOME环境变量（所有节点执行）

echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /etc/profile

echo "export PATH=$PATH:$JAVA_HOME/bin" >> /etc/profile

source /etc/profile  # 生效配置

1.3 配置 SSH 免密登录（主节点→从节点）

Hadoop 主节点（hadoop01）需通过 SSH 免密登录到所有从节点，避免启动集群时输入密码：

# 在hadoop01节点生成SSH密钥（一路回车，不设置密码）

ssh-keygen -t rsa

# 将公钥分发到所有节点（包括自身）

ssh-copy-id hadoop01

ssh-copy-id hadoop02

ssh-copy-id hadoop03

# 验证免密登录（无密码提示则成功）

ssh hadoop02

二、Hadoop 安装与核心配置

2.1 下载并解压 Hadoop（主节点执行）

从 Apache 官网下载 Hadoop 安装包，推荐使用稳定版 3.3.4：

# 下载Hadoop（也可手动下载后上传）

wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.4/hadoop-3.3.4.tar.gz

# 解压到/usr/local目录

tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local/

# 重命名为hadoop（方便后续操作）

mv /usr/local/hadoop-3.3.4 /usr/local/hadoop

2.2 配置 Hadoop 环境变量（所有节点执行）

# 编辑profile文件

vim /etc/profile

# 添加以下内容（末尾添加）

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# 生效配置

source /etc/profile

# 验证（出现版本信息则成功）

hadoop version

2.3 修改 Hadoop 核心配置文件（主节点执行）

Hadoop 配置文件位于$HADOOP_HOME/etc/hadoop/目录，需修改以下 5 个关键文件：

（1）hadoop-env.sh（指定 Java 路径）

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

# 添加Java环境变量（替换为你的JAVA_HOME路径）

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

（2）core-site.xml（核心配置：指定 NameNode 地址）

vim $HADOOP_HOME/etc/hadoop/core-site.xml

# 在<configuration>标签内添加：

<property>

   <name>fs.defaultFS</name>

   <!-- NameNode地址：hdfs://主机名:端口 -->

   <value>hdfs://hadoop01:9000</value>

</property>

<property>

   <name>hadoop.tmp.dir</name>

   <!-- Hadoop临时目录（需手动创建） -->

   <value>/usr/local/hadoop/tmp</value>

</property>

（3）hdfs-site.xml（HDFS 配置：副本数、NameNode/DataNode 存储路径）

vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

# 在<configuration>标签内添加：

<property>

   <name>dfs.replication</name>

   <!-- 副本数（建议<=从节点数，这里设为2） -->

   <value>2</value>

</property>

<property>

   <name>dfs.namenode.name.dir</name>

   <!-- NameNode数据存储路径（需手动创建） -->

   <value>/usr/local/hadoop/dfs/name</value>

</property>

<property>

   <name>dfs.datanode.data.dir</name>

   <!-- DataNode数据存储路径（需手动创建） -->

   <value>/usr/local/hadoop/dfs/data</value>

</property>

<!-- 关闭HDFS权限检查（新手友好） -->

<property>

   <name>dfs.permissions.enabled</name>

   <value>false</value>

</property>

（4）mapred-site.xml（MapReduce 配置：指定 YARN 为资源管理器）

vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

# 在<configuration>标签内添加：

<property>

   <name>mapreduce.framework.name</name>

   <!-- 指定MapReduce运行在YARN上 -->

   <value>yarn</value>

</property>

<property>

   <name>mapreduce.application.classpath</name>

   <!-- Hadoop 3.x需指定classpath，避免启动报错 -->

   <value>$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*</value>

</property>

（5）yarn-site.xml（YARN 配置：指定 ResourceManager 地址、节点管理器环境）

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

# 在<configuration>标签内添加：

<property>

   <name>yarn.resourcemanager.hostname</name>

   <!-- ResourceManager运行在主节点hadoop01 -->

   <value>hadoop01</value>

</property>

<property>

   <name>yarn.nodemanager.aux-services</name>

   <!-- 启用MapReduce的shuffle服务 -->

   <value>mapreduce_shuffle</value>

</property>

<!-- 解决Hadoop 3.x内存溢出问题 -->

<property>

   <name>yarn.nodemanager.vmem-check-enabled</name>

   <value>false</value>

</property>

2.4 指定从节点（主节点执行）

编辑workers文件（Hadoop 3.x 用workers，2.x 用slaves），列出所有从节点主机名：

vim $HADOOP_HOME/etc/hadoop/workers

# 删除原有内容，添加以下两行（从节点主机名）：

hadoop02

hadoop03

2.5 同步配置到所有从节点（主节点执行）

将主节点配置好的 Hadoop 目录同步到所有从节点，避免重复配置：

# 同步到hadoop02

scp -r /usr/local/hadoop hadoop02:/usr/local/

# 同步到hadoop03

scp -r /usr/local/hadoop hadoop03:/usr/local/

# 同步环境变量配置（所有从节点执行source生效）

scp /etc/profile hadoop02:/etc/

scp /etc/profile hadoop03:/etc/

2.6 创建 Hadoop 数据目录（所有节点执行）

根据hdfs-site.xml中配置的路径，创建对应的目录：

mkdir -p /usr/local/hadoop/tmp

mkdir -p /usr/local/hadoop/dfs/name

mkdir -p /usr/local/hadoop/dfs/data

# 设置目录权限（避免权限不足）

chown -R $USER:$USER /usr/local/hadoop/

三、格式化 HDFS 与启动集群

3.1 格式化 NameNode（仅主节点执行）

注意：仅首次搭建时执行一次，重复执行会清空 HDFS 数据！

`1`	`hdfs namenode -format`

执行成功后，会显示successfully formatted字样，同时在/usr/local/hadoop/dfs/name目录下生成初始化数据。

3.2 启动 Hadoop 集群（主节点执行）

Hadoop 提供两种启动方式：分步启动（便于排查问题）和一键启动（高效）。

（1）分步启动（推荐新手）

# 启动HDFS（NameNode、DataNode）

hdfs --daemon start namenode

hdfs --daemon start datanode

# 启动YARN（ResourceManager、NodeManager）

yarn --daemon start resourcemanager

yarn --daemon start nodemanager

（2）一键启动（配置好 workers 后可用）

# 启动所有HDFS和YARN进程

start-dfs.sh

start-yarn.sh

# 或直接启动所有进程（包括HistoryServer）

start-all.sh

3.3 验证集群状态

（1）查看进程（主节点执行）

jps

主节点应显示以下进程：

NameNode
ResourceManager
SecondaryNameNode（HDFS 辅助节点）
Jps

从节点（hadoop02、hadoop03）应显示：

DataNode
NodeManager
Jps

（2）Web UI 验证

Hadoop 提供 Web 界面查看集群状态，需确保浏览器能访问节点 IP：

HDFS 状态：访问 http://hadoop01:9870（Hadoop 3.x 端口为 9870，2.x 为 50070），在「Datanodes」页面可看到 2 个从节点在线。
YARN 状态：访问 http://hadoop01:8088，在「Nodes」页面可看到 2 个 NodeManager 节点。

（3）执行 HDFS 命令验证

# 创建测试目录

hdfs dfs -mkdir /test

# 上传本地文件到HDFS

echo "hello hadoop" > test.txt

hdfs dfs -put test.txt /test/

# 查看HDFS文件

hdfs dfs -ls /test/

hdfs dfs -cat /test/test.txt

若能正常执行上述命令，说明 HDFS 功能正常。

四、常见问题与避坑指南

启动 DataNode 失败？

原因：重复格式化 NameNode 导致 DataNode 的 clusterID 与 NameNode 不匹配。

解决：删除所有节点的/usr/local/hadoop/dfs/data目录，重新格式化 NameNode（仅一次）。
Web UI 无法访问？

原因：防火墙未关闭、IP 映射配置错误或端口被占用。

解决：重新执行防火墙关闭命令，检查/etc/hosts配置，用netstat -tunlp | grep 9870查看端口是否被占用。
YARN 启动后 NodeManager 不在线？

原因：yarn-site.xml配置错误或内存不足。

解决：检查yarn.resourcemanager.hostname是否为 hadoop01，添加yarn.nodemanager.vmem-check-enabled=false关闭内存检查。

五、总结

本文详细讲解了 3 节点 Hadoop 集群的搭建流程，核心步骤可概括为：环境准备→配置免密→Hadoop 配置→同步节点→格式化启动→验证状态。对于新手而言，重点关注 IP 映射、SSH 免密、配置文件路径和权限这几个环节，即可避免大部分问题。

后续可进一步学习 Hadoop 的分布式计算（MapReduce）、YARN 资源调度等功能，或搭建 HBase、Spark 等生态组件，逐步深入大数据技术领域。

（注：文档部分内容由 AI 生成）

Hadoop on Izumi Konata

超详细 Hadoop 集群搭建指南：从环境准备到成功启动

超详细 Hadoop 集群搭建指南：从环境准备到成功启动

一、环境准备：打好集群基础

1.1 集群节点规划

1.2 操作系统配置（所有节点执行）

（1）关闭防火墙与 SELinux

（2）配置主机名与 IP 映射

（3）安装 Java 环境

1.3 配置 SSH 免密登录（主节点→从节点）

二、Hadoop 安装与核心配置

2.1 下载并解压 Hadoop（主节点执行）

2.2 配置 Hadoop 环境变量（所有节点执行）

2.3 修改 Hadoop 核心配置文件（主节点执行）

（1）hadoop-env.sh（指定 Java 路径）

（2）core-site.xml（核心配置：指定 NameNode 地址）

（3）hdfs-site.xml（HDFS 配置：副本数、NameNode/DataNode 存储路径）

（4）mapred-site.xml（MapReduce 配置：指定 YARN 为资源管理器）

（5）yarn-site.xml（YARN 配置：指定 ResourceManager 地址、节点管理器环境）

2.4 指定从节点（主节点执行）

2.5 同步配置到所有从节点（主节点执行）

2.6 创建 Hadoop 数据目录（所有节点执行）

三、格式化 HDFS 与启动集群

3.1 格式化 NameNode（仅主节点执行）

3.2 启动 Hadoop 集群（主节点执行）

（1）分步启动（推荐新手）

（2）一键启动（配置好 workers 后可用）

3.3 验证集群状态

（1）查看进程（主节点执行）

（2）Web UI 验证

（3）执行 HDFS 命令验证

四、常见问题与避坑指南

五、总结