MinIO说明
MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。

1 单机版搭建

操作系统	搭建方式
linux	docker容器
linux	宿主机

1.1 安装

1.1.1基于docker安装

docker search minio
docker pull minio/minio
docker run -p 9000:9000 minio/minio server /data

docker 启服务时指定挂在目录和登陆的用户名和密码

docker run -p 9000:9000 --name minio1
-e "MINIO_ACCESS_KEY=admin"
-e "MINIO_SECRET_KEY=12345678"
-v /Users/xiyou/my_minio/data:/data
-v /Users/xiyou/my_minio/config:/root/.minio
minio/minio server /data
启服务之后可通过http://127.0.0.1:9000访问

输入账号密码之后页面.png

创建bucket.png

查看文件在本机的存储.png

1.1.2基于linux平台搭建

Platform	Architecture	URL
GNU/Linux	64-bit Intel	https://dl.m in.io/server/minio/release/linux-amd64/minio

wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server /xiyou/my_minio/data

启动服务.png

打马处是我的名字，路径可以自己选择哈
后台运行：nohup ./minio server /xiyou/my_minio/data > /xiyou/my_minio/data/minio.log 2>&1 &
可以使用Accesskey和Secretkey作为账号和密码登陆页面使用

1.2单机版数据备份与恢复

将data数据目录拷贝至新服务器即可重启服务，恢复数据。
具体实施如下：
使用两个linux服务器作测试
node1: 10.211.55.5
node2: 10.211.55.8
步骤1: 在node2上采用linux单机版启动minio服务后，创建两个bucket，分别为bucket1和bucket2，在bucket中上传文件；
步骤2: 停止node2上的minio服务；
步骤3: 将node2上的my_minio文件夹整个拷贝至node1；
scp -r ./my_minio root@10.211.55.5:/xiyou/
步骤4: 在node1重新启服务

node1.png

2. 集群搭建（Distributed MinIO）

2.1 集群服务器配置及启动

既然单机的minio可以采用异结点备份的方式恢复数据，为什么还要使用Distributed MinIO？
数据保护/高可用/限制/一致性

启动一个分布式Minio实例，你只需要把硬盘位置做为参数传给minio server命令即可，然后，你需要在所有其它节点运行同样的命令。

注意

分布式Minio里所有的节点需要有同样的access秘钥和secret秘钥，这样这些节点才能建立联接。为了实现这个，你需要在执行minio server命令之前，先将access秘钥和secret秘钥export成环境变量。
分布式Minio使用的磁盘里必须是干净的，里面没有数据。
下面示例里的IP仅供示例参考，你需要改成你真实用到的IP和文件夹路径。
分布式Minio里的节点时间差不能超过3秒，你可以使用NTP 来保证时间一致。
在Windows下运行分布式Minio处于实验阶段，请悠着点使用。

参考：https://docs.min.io/cn/distributed-minio-quickstart-guide.html

名称	IP
node1	10.211.55.5
node2	10.211.55.8
node3	10.211.55.9
node4	10.211.55.10
nginx	10.211.55.5

搭建的是4个结点的集群
示例: 启动分布式Minio实例，4个节点，每节点1块盘

minio集群架构.jpg

搭建命令：
mkdir -p /xiyou/software
cd /xiyou/software
wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
sudo MINIO_ACCESS_KEY=minio MINIO_SECRET_KEY=minio123 ./minio server http://10.211.55.5/minio_data http://10.211.55.8/minio_data http://10.211.55.9/minio_data http://10.211.55.10/minio_data
注解：./minio为minio文件路径，minio_data是自定义的minio的文件的存放路径 可采取nohup 加& 进行后台启动

启动完成.png

可访问任一结点：
http://10.211.55.5:9000
http://10.211.55.8:9000
http://10.211.55.9:9000
http://10.211.55.10:9000

脚本方式启动
1.启动脚本

mkdir -p /opt/minio
vim /opt/minio/run.sh
#!/bin/bash
export MINIO_ACCESS_KEY=minio
export MINIO_SECRET_KEY=minio123
/xiyou/software/minio server http://10.211.55.5/minio_data \
                       http://10.211.55.8/minio_data\
                       http://10.211.55.9/minio_data\
                       http://10.211.55.10/minio_data

2.服务脚本

vim /usr/lib/systemd/system/minio.service
# vim  /etc/systemd/system/minio.service #ubuntu下的启动脚本
---------------------------------------------------------------------------------------
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/

[Service]
WorkingDirectory=/xiyou/software/
ExecStart=/opt/minio/run.sh

Restart=on-failure
RestartSec=5

# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
--------------------------------------------------------------------------------------
chmod +x /usr/lib/systemd/system/minio.service #centos的启动脚本
# chmod +x /etc/systemd/system/minio.service #ubuntu的启动脚本

#参考minio.service配置： https://github.com/minio/minio-service/blob/master/linux-systemd/minio.service

3.服务启动

chmod +x /opt/minio/run.sh
systemctl daemon-reload #刷新配置
systemctl enable minio
systemctl start minio
systemctl status minio

启动脚本后，浏览器打开网址进行测试：

浏览器测试

2.2 集群高可用测试

单机Minio服务存在单点故障，相反，如果是一个N节点的分布式Minio,只要有N/2节点在线，你的数据就是安全的。不过你需要至少有N/2+1个节点 Quorum 来创建新的对象。
例如，一个8节点的Minio集群，每个节点一块盘，就算4个节点宕机，这个集群仍然是可读的，不过你需要5个节点才能写数据。

2.2.1 测试结点down机对集群读写的影响

只down一个结点node1，集群可以正常使用，可读可写

down掉一个node的集群可正常访问

2. down两个结点node1、node2，集群可读但不可写

down两个结点集群可读不可写

3.down三个结点node1、node2、node3，集群不能访问

down三个结点集群不能访问

2.2.2 模拟磁盘损坏影响

Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏。即便您丢失一半数量（N/2）的硬盘，您仍然可以恢复数据。
开始模拟------上传一个文件之后，会有两个文件part.1 xl.json
part.1四个node结点的查看会不同，有乱码

四个node结点的xl.json

1、删掉node1中文件testMinio2.txt的part1，集群文件仍然可读；
2、删掉node1中文件testMinio2.txt的part1、node2中文件testMinio2.txt的part1，集群文件仍然可读；
3、删掉node1中文件testMinio2.txt的part1、node2中文件testMinio2.txt的part1、node2中文件testMinio2.txt的xl.part，集群仍然可读；
4、删掉node1中文件testMinio2.txt的part1、node2中文件testMinio2.txt的part1、node2中文件testMinio2.txt的xl.part、node1中文件testMinio2.txt的xl.part，集群仍然可读，但是浏览器中显示多了一个空文件夹testMinio2.txt；

集群中多出一个空文件夹

5、删掉node1中文件testMinio2.txt的part1、node2中文件testMinio2.txt的part1、node2中文件testMinio2.txt的xl.part、node1中文件testMinio2.txt的xl.part、node3中文件testMinio2.txt的part1，下载文件出现异常，无法读文件；

文件下载异常

2.3 备份恢复

通过将数据目录下的数据文件拷贝到异节点对应的数据目录下，再起minio集群，可以实现数据恢复。

3. nginx配置

3.1 nginx安装

根据自己的操作系统选择合适的安装方式
http://nginx.org/en/linux_packages.html

##我的os是centos7
#Install the prerequisites:
sudo yum install yum-utils

vim /etc/yum.repos.d/nginx.repo
#with the following contents:
-----------------------------------------------------------------------------------------
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key

[nginx-mainline]
name=nginx mainline repo
baseurl=http://nginx.org/packages/mainline/centos/$releasever/$basearch/
gpgcheck=1
enabled=0
gpgkey=https://nginx.org/keys/nginx_signing.key
---------------------------------------------------------------------------------------
sudo yum install nginx

3.2 nginx配置

#安装好nginx之后就可以启动nginx
systemctl start nginx
#查看下端口监听
netstat -lntup|grep 80
#查看下nginx.conf文件的配置
cat /etc/nginx/nginx.conf
----------------------------------------------------------------------------------
user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    gzip  on;

    #include /etc/nginx/conf.d/*.conf;
    upstream minio_servers {
    ip_hash;
    server 10.211.55.5:9000;
    server 10.211.55.8:9000;
    server 10.211.55.9:9000;
    server 10.211.55.10:9000;
    }
    server {
    listen 80;
        server_name minio.dev.com;

    location / {
        proxy_set_header Host $host;
        proxy_pass       http://minio_servers;
        proxy_redirect  off;
    #proxy_set_header X-Real-IP $remote_addr;
    #proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    #client_body_buffer_size 10M;           #缓冲区代理缓冲请求的最大字节数
    #client_max_body_size 10G;         #客户端最大文件上传大小为10G
    #proxy_buffers 1024 4k;
    #proxy_read_timeout 300;
    #proxy_next_upstream error timeout http_404;
    }
}
}
--------------------------------------------------------------------------------
#location 内的注释的字段，建议可以在查看后根据需求修改
#可参考 https://docs.min.io/cn/setup-nginx-proxy-with-minio.html
#https://www.nginx.com/blog/enterprise-grade-cloud-storage-nginx-plus-minio/

3.3 配置hosts查看访问

配置hosts
vim /etc/hosts
10.211.55.5 minio.dev.com
哇塞！可以正常访问啦！

域名访问

4. MinIO Client

4.1 安装mc

cd /xiyou/software/
wget https://dl.minio.io/client/mc/release/linux-amd64/mc

4.2 使用mc

chmod +x mc
./mc config host add mcminio http://10.211.55.8:9000 minio minio123
mc ls mcminio
./mc mb mcminio/third

通过mc创建bucket

参考：https://docs.min.io/docs/minio-client-quickstart-guide
其他的mc使用自己去参考官网

5. 那些年我们一起踩过的坑

5.1 node结点的ntp时间设置

node结点的ntp时间设置，别怪我没提醒你
设置系统时间为中国时区并启用NTP同步
yum install ntp //安装ntp服务
systemctl enable ntpd //开机启动服务
systemctl start ntpd //启动服务
timedatectl set-timezone Asia/Shanghai //更改时区
timedatectl set-ntp yes //启用ntp同步
ntpq -p //同步时间
参考https://www.cnblogs.com/tangxiaosheng/p/4986375.html

5.2 Allow port access for Firewalls

iptables -A INPUT -p tcp --dport 9000 -j ACCEPT
service iptables restart
参考：https://github.com/minio/minio

5.3 解决网页“打转转”问题

ifconfig ens4 mtu 1450
这跟系统的MTU设置有关，默认一般会设置为1500，有的系统也会设置为1450。集群中的MTU值一定要保持一致，如果是有多张网卡的，也可以把多张网卡的MTU值设置一致。

参考文档：
https://github.com/minio/minio/blob/master/README_zh_CN.md
https://github.com/minio/minio

minio搭建单机/集群