minio集群部署

分布式Minio有什么好处?

在大数据领域,通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。

  • 数据保护

分布式Minio采用 erasure code(纠删码)来防范多个节点宕机和位衰减bit rot。

分布式Minio至少需要4个节点,使用分布式Minio自动引入了纠删码功能。

  • 高可用

单机Minio服务存在单点故障,相反,如果是一个N节点的分布式Minio,只要有N/2节点在线,你的数据就是安全的。不过你需要至少有N/2+1个节点 Quorum 来创建新的对象。

例如,一个8节点的Minio集群,每个节点一块盘,就算4个节点宕机,这个集群仍然是可读的,不过你需要5个节点才能写数据。

  • 限制

分布式Minio单租户存在最少4个盘最多16个盘的限制(受限于纠删码)。这种限制确保了Minio的简洁,同时仍拥有伸缩性。如果你需要搭建一个多租户环境,你可以轻松的使用编排工具(Kubernetes)来管理多个Minio实例。

注意,只要遵守分布式Minio的限制,你可以组合不同的节点和每个节点几块盘。比如,你可以使用2个节点,每个节点4块盘,也可以使用4个节点,每个节点两块盘,诸如此类。

  • 一致性

Minio在分布式和单机模式下,所有读写操作都严格遵守read-after-write一致性模型。

Minio分布式集群搭建

https://docs.minio.io/docs/distributed-minio-quickstart-guide.htmlhttps://docs.minio.io/docs/distributed-minio-quickstart-guide.html 生产环境建议最少4节点

获取Minio

https://dl.min.io/server/minio/release/linux-amd64/minio

系统限制配置

文件最大打开数

ulimit -a

创建目录

  • 数据存储目录
  • 配置文件目录
  • 启动脚本及二进制文件目录
mkdir -p /data/minio/run
mkdir -p /data/minio/data
mkdir -p /etc/minio

将 minio 二进制文件上传到 /data/minio/run 目录

默认的配置目录是 ${HOME}/.minio,可以使用--config-dir命令行选项重写之。MinIO server在首次启动时会生成一个新的config.json,里面带有自动生成的访问凭据。

目录结构:

$ tree ~/.minio
/home/user1/.minio
├── certs
│   ├── CAs
│   ├── private.key
│   └── public.crt
└── config.json

启动设置

minio的 参数 最后面的就是数据目录位置

必须加 #!/bin/bash,不然通过服务执行不了

注意 密码一旦设置了,就不可以修改了,如果修改,导致目录不可以访问。有可能需要把凭据跟重新干掉。没有试过。

# vim /data/minio/run/run.sh
#!/bin/bash
export MINIO_ACCESS_KEY=Minio
export MINIO_SECRET_KEY=Test1234!

/data/minio/run/minio server --config-dir /etc/minio \
http://10.10.0.1/data/minio/data \
http://10.10.0.2/data/minio/data \
http://10.10.0.3/data/minio/data \
http://10.10.0.4/data/minio/data \

补充:

访问地址参数:

--address "${MINIO_HOST}:${MINIO_PORT}"
--address 0.0.0.0:60035

服务设置

  • WorkingDirectory:二进制文件目录
  • ExecStart:指定集群启动脚本

/usr/lib/systemd/system 所有服务都放在其下

cat > /usr/lib/systemd/system/minio.service <<EOF
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/

[Service]
WorkingDirectory=/data/minio/run/
ExecStart=/data/minio/run/run.sh

Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target
EOF

启停服务

systemctl enable minio.service   
systemctl daemon-reload
systemctl start minio
systemctl status minio.service
systemctl stop minio

权限修改

给所有涉及到的文件或目录添加权限

  • service文件
  • 二进制文件
  • 集群启动脚本
chmod +x /usr/lib/systemd/system/minio.service 
chmod +x /data/minio/run/minio 
chmod +x /data/minio/run/run.sh

启动集群

systemctl daemon-reload
systemctl enable minio && systemctl start minio

代理集群

生产环境需要使用Nginx将集群地址进行代理,对外统一入口

upstream minio{
        server 10.10.0.1:9000;
        server 10.10.0.2:9000;
        server 10.10.0.3:9000;
        server 10.10.0.4:9000;
}
server {
        listen 9000;
        server_name minio;
        location / {
                proxy_pass http://minio;
                proxy_set_header Host $http_host;
                client_max_body_size 1000m;
        }
}

测试

浏览器访问minio集群代理地址+9000端口,用户名密码为上文中启动文件run.sh中设置的 。

附录

配置参数

版本

参数 类型 描述
version string version决定了配置文件的格式,任何老版本都会在启动时自动迁移到新版本中。 [请勿手动修改]

凭据

参数 类型 描述
credential 对象存储和Web访问的验证凭据。
credential.accessKey string Access key长度最小是5个字符,你可以通过 MINIO_ACCESS_KEY环境变量进行修改
credential.secretKey string Secret key长度最小是8个字符,你可以通过MINIO_SECRET_KEY环境变量进行修改

示例:

export MINIO_ACCESS_KEY=admin
export MINIO_SECRET_KEY=password
minio server /data

区域(Region)

参数 类型 描述
region string region描述的是服务器的物理位置,默认是us-east-1(美国东区1),这也是亚马逊S3的默认区域。你可以通过MINIO_REGION环境变量进行修改。如果不了解这块,建议不要随意修改

示例:

export MINIO_REGION="中国华北一区"
minio server /data

浏览器

参数 类型 描述
browser string 开启或关闭浏览器访问,默认是开启的,你可以通过MINIO_BROWSER环境变量进行修改

示例:

export MINIO_BROWSER=off
minio server /data

通知

参数 类型 描述
notify 通知通过以下方式开启存储桶事件通知,用于lambda计算
notify.amqp 通过AMQP发布MinIO事件
notify.mqtt 通过MQTT发布MinIO事件
notify.elasticsearch 通过Elasticsearch发布MinIO事件
notify.redis 通过Redis发布MinIO事件
notify.nats 通过NATS发布MinIO事件
notify.postgresql 通过PostgreSQL发布MinIO事件
notify.kafka 通过Apache Kafka发布MinIO事件
notify.webhook 通过Webhooks发布MinIO事件

使用问题

在使用minio的***getPresignedObjectUrl*** 方法时,host也是参会签名的元素,请注意。

官网:

https://docs.min.io/docs/minio-quickstart-guide

https://docs.minio.io/docs/distributed-minio-quickstart-guide.html

上一篇:ROS2学习之旅(2)——配置ROS2环境


下一篇:SecureCRT 按退格键出现 ^H 的解决办法