Linux多节点多硬盘部署MinIO：分布式MinIO集群部署指南搭建高可用架构实践

06-01 1444阅读

MinIO Cluster On Linux

1. 准备虚拟机节点

2. 挂载数据目录到独立磁盘

2.1. 添加新磁盘

2.2. 检查系统中已识别的磁盘

2.3. 检查MinIO数据目录所在分区

2.4. 格式化新磁盘

2.5. 挂载数据目录到新磁盘

2.6. 修改数据目录的所有者/组/权限

2.7. 自动挂载数据目录

2.8. 检查数据目录是否已挂载

3. 启动前的检查

3.1. 检查各节点之间的网络连通性

3.2. 检查MinIO的配置文件

3.3. 修改MinIO服务配置

3.4. 重新加载服务配置

3.5. 检查防火墙是否关闭

4. 启动 MinIO 集群

5. 验证集群状态

6. 验证高可用性

7. 其他配置

7.1. 防火墙配置

7.2. 监控和日志

8. 总结

MinIO Cluster On Linux

通过MinIO在Linux上的安装与部署-CSDN博客我们可以得到一个单节点的MinIO服务，我们基于已有的服务，通过复制虚拟机的方式快速扩展为 MinIO 集群。以下是详细步骤：

1. 准备虚拟机节点

首先准备一台刚刚下载好minio安装包还未进行任何操作的的虚拟机进行克隆(操作详情请参考:Linux多节点网络配置_linux ifcfg-ens33 uuid-CSDN博客)

这里统一规划好主机名和配置文件

节点名称	IP地址	操作系统	数据目录	备注
Node201	192.168.33.201	CentOS_7_2009	/mnt/data	初始机
Node202	192.168.33.202	CentOS_7_2009	/mnt/data	高可用节点
Node203	192.168.33.203	CentOS_7_2009	/mnt/data	高可用节点
Node204	192.168.33.204	CentOS_7_2009	/mnt/data	高可用节点
Node205	192.168.33.205	CentOS_7_2009	--	Nginx集群转发点

Nginx代理MinIO集群参考：Nginx代理MinIO集群-CSDN博客

在初始机上统一编辑下列文件

编辑 /etc/hosts 文件，添加所有节点的 IP 和主机名映射

vim /etc/hosts
# 添加各个节点和主机名的映射
192.168.33.201 Node201
192.168.33.202 Node202
192.168.33.203 Node203
192.168.33.204 Node204

编辑 /etc/default/minio 文件，更新 MINIO_VOLUMES 配置，指定所有节点的存储路径：

vim /etc/default/minio
# 更新MINIO_VOLUMES 配置
MINIO_ROOT_USER="minioadmin"
MINIO_ROOT_PASSWORD="minioadmin"
MINIO_VOLUMES="http://node201/mnt/data http://node202/mnt/data http://node203/mnt/data http://node204/mnt/data"
MINIO_OPTS="--address :9000 --console-address :9001"

为每台虚拟机设置唯一的主机名

hostnamectl set-hostname Node201  # 在 Node201 上执行
hostnamectl set-hostname Node202  # 在 Node202 上执行
hostnamectl set-hostname Node203  # 在 Node203 上执行
hostnamectl set-hostname Node204  # 在 Node204 上执行

2. 挂载数据目录到独立磁盘

MinIO 集群节点必须挂载到独立磁盘中，MinIO的纠删码模式要求每个节点的数据目录必须挂载到独立的物理磁盘（或独立的虚拟磁盘卷），原因如下：

数据冗余：纠删码依赖跨节点和跨驱动器的数据分布，确保数据高可用性。
避免单点故障：若多个目录挂载到同一磁盘，磁盘故障会导致所有数据丢失，违背冗余设计。
性能优化：独立磁盘提供更高 I/O 吞吐量。

这里在准备好的虚拟机节点上一个一个操作，不能统一操作之后直接克隆，这样不符合MinIO的纠删码模式，从而导致启动不成功。

2.1. 添加新磁盘

如下图，根据提示可以添加一块新的磁盘

2.2. 检查系统中已识别的磁盘

lsblk

/dev/sda系统磁盘及其子分区属于系统根分区

/dev/sdb属于新添加的磁盘

2.3. 检查MinIO数据目录所在分区

检查MinIO数据目录/mnt/data的所在的分区

df -h /mnt/data

可以看到当前目录是属于系统根分区的

2.4. 格式化新磁盘

创建分区

fdisk /dev/sdb

在fdisk交互界面，输入以下命令：

n：创建新分区。
p：选择主分区。
1：分区编号为 1。
按 Enter：使用默认的起始扇区。
按 Enter：使用默认的结束扇区。

w：保存并退出。

完成磁盘分区

格式化分区为ext4系统

mkfs.ext4 /dev/sdb1

ext4 是 Linux 系统中广泛使用的一种文件系统，它具备高可靠性、高性能以及支持大文件和大分区等优点。

2.5. 挂载数据目录到新磁盘

挂载/mnt/data到新分区，查看挂载情况

#如果还未创建数据目录首先创建
mkdir /mnt/data
mount /dev/sdb1 /mnt/data
df -h /mnt/data

可以看到/mnt/data已经挂载到新分区

2.6. 修改数据目录的所有者/组/权限

默认情况下，挂载瞬间：当磁盘（如 /dev/sdb1）挂载到目录（如 /mnt/data）时，该目录的权限会立即被覆盖，变为磁盘文件系统根目录的权限（默认通常是 root:root）

需要我们手动修改磁盘文件系统本身的权限，确保/mnt/data的权限是minio-user:minio-user 755,这样改动后我们的数据目录的权限就时持久的了。

# 查看挂载后的目录权限和所有者
ls -ld /mnt/data
mkdir -p /mnt/data
groupadd -r minio-user
useradd -M -r -g minio-user minio-user
chown -R minio-user:minio-user /mnt/data
chmod -R 755 /mnt/data
# 查看设置权限后的目录权限和所有者
ls -ld /mnt/data

2.7. 自动挂载数据目录

获取新分区/dev/sdb1的UUID

blkid /dev/sdb1

编辑/etc/fstab文件，在其末尾添加以下内容：

vim /etc/fstab
#将挂载目录所有者设为minio-user用户,将组设为minio-user组,权限为775文件为664
UUID=your-disk-uuid /mnt/data ext4 defaults 0 0

2.8. 检查数据目录是否已挂载

df -h /mnt/data
#如果未挂载在新分区,那么手动挂载一下
mount /dev/sdb1 /mnt/data

3. 启动前的检查

3.1. 检查各节点之间的网络连通性

检查/etc/hosts文件，是否包含了所有节点的IP和主机名映射，相互ping通

cat /etc/hosts
#在各节点上相互ping测试连通性
ping node201
ping node202
ping node203
ping node204

3.2. 检查MinIO的配置文件

cat /etc/default/minio

3.3. 修改MinIO服务配置

参照下方官方的服务配置模版修改，最简单暴力的方式是直接删除文件再重新创建

rm /usr/lib/systemd/system/minio.service
vim /usr/lib/systemd/system/minio.service

[Unit]
Description=MinIO
Documentation=https://minio.org.cn/docs/minio/linux/index.html
Wants=network-online.target
After=network-online.target
AssertFileIsExecutable=/usr/local/bin/minio
[Service]
WorkingDirectory=/usr/local
User=minio-user
Group=minio-user
ProtectProc=invisible
EnvironmentFile=-/etc/default/minio
ExecStartPre=/bin/bash -c "if [ -z \"${MINIO_VOLUMES}\" ]; then echo \"Variable MINIO_VOLUMES not set in /etc/default/minio\"; exit 1; fi"
ExecStart=/usr/local/bin/minio server $MINIO_OPTS $MINIO_VOLUMES
# MinIO RELEASE.2023-05-04T21-44-30Z adds support for Type=notify (https://www.freedesktop.org/software/systemd/man/systemd.service.html#Type=)
# This may improve systemctl setups where other services use `After=minio.server`
# Uncomment the line to enable the functionality
# Type=notify
# Let systemd restart this service always
Restart=always
# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=65536
# Specifies the maximum number of threads this process can create
TasksMax=infinity
# Disable timeout logic and wait until process is stopped
TimeoutStopSec=infinity
SendSIGKILL=no
[Install]
WantedBy=multi-user.target
# Built for ${project.name}-${project.version} (${project.name})

3.4. 重新加载服务配置

检查完毕之后，在每个节点上重新加载配置，确保所有的配置生效

systemctl daemon-reload

3.5. 检查防火墙是否关闭

如果出现下方无法访问节点之间的9000端口问题，那么就是防火墙阻挡了节点之间的端口访问，需要手动关闭

systemctl stop firewalld
systemctl disable firewalld

4. 启动 MinIO 集群

在每台虚拟机上重新启动 MinIO 服务：

systemctl stop minio
systemctl start minio
systemctl enable minio
#查看详细日志
journalctl -u minio -b

5. 验证集群状态

访问 MinIO Web 控制台：

打开浏览器，访问 http://:9000。
使用 minioadmin 和 minioadmin 登录。
检查集群健康状态：
- 进入 Monitoring，检查集群健康状态。
  
  使用 MinIO 客户端（mc）验证集群：
  - 安装 mc：
```
wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
sudo mv mc /usr/local/bin/
```
    - 配置集群别名：
```
mc alias set minio2 http://192.168.132.129:9000 minioadmin minioadmin
```
      - 查看集群信息：
        mc admin info minio2
        
        6. 验证高可用性
        
        这里将会使用mc测试MinIO集群的高可用性
        
        安装mc
        wget https://dl.min.io/client/mc/release/linux-amd64/mc chmod +x mc sudo mv mc /usr/local/bin/ #验证是否安装成功 mc --version
        
        为某个节点配置别名(方便管理多个集群,并显著提高安全性，不用每次都将用户名、密码、访问地址写在命令行中)
        mc alias set minio1 http://192.168.132.128:9000 minioadmin minioadmin mc alias set minio2 http://192.168.132.129:9000 minioadmin minioadmin mc alias set minio3 http://192.168.132.130:9000 minioadmin minioadmin
        
        验证别名配置情况
        mc admin info minio3
        
        创建Bucket并上传文件
        创建一个Bucket
        
        mc mb minio1/test-bucket
        
        上传一个文件到test-bucket
        
        echo "This is a test file111." > test-file111.txt mc cp test-file111.txt minio1/test-bucket/
        
        列出test-bucket中的文件
        
        mc ls minio1/test-bucket
        
        模拟节点故障
        关闭某一节点(例如：minio2)
        
        [root@minio2 ~]# sudo systemctl stop minio
        
        检测MinIO集群状态，并访问MinIO集群
        
        mc admin info minio3 mc ls minio1/test-bucket
        
        验证数据一致性
        恢复节点
        
        [root@minio2 ~]# sudo systemctl start minio
        
        下载之前上传的文件，验证内容是否正确
        
        mc admin info minio3 mc cp minio1/test-bucket/test-file222.txt ./downloaded-file222.txt cat downloaded-file222.txt
        
        总结
        通过以上步骤，已经成功测试了 MinIO 集群的高可用性。以下是一些关键点：
        
        高可用性：即使某个节点故障，MinIO 仍然可以通过其他节点提供服务。
        数据一致性：MinIO 会自动同步数据，确保所有节点上的数据一致。
        读写操作：在集群正常运行的情况下，可以正常上传、下载和列出文件。
        7. 其他配置
        
        7.1. 防火墙配置
        
        如果启用了防火墙，开放 MinIO 的端口（默认 9000）：
        
        sudo firewall-cmd --zone=public --add-port=9000/tcp --permanent sudo firewall-cmd --reload
        
        7.2. 监控和日志
        
        查看 MinIO 日志：
        sudo journalctl -u minio.service -f
        
        8. 总结
        
        通过以上步骤，已成功基于已有的 MinIO 服务，扩展为一个 MinIO 集群。该集群具有高可用性和容错性，适合生产环境使用。如果有任何问题，请检查日志或参考 MinIO 官方文档。
        
        作者联系方式vx：2743642415

免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理! 部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理! 图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库和百度，360，搜狗等多加搜索引擎自动关键词搜索配图，如有侵权的图片，请第一时间联系我们。