首页 » Linux » Minio搭建私有化对象存储服务

Minio搭建私有化对象存储服务

 

Minio是建立在云原生的基础上;有分布式和共享存储等功能;旨在多租户环境中以可持续的方式进行扩展的对象存储服务。它最适合存储非结构化数据,如:照片、视频、日志文件、容器/虚拟机/映像等,单次存储对象的大小最大可达5TB。

实现架构单节点

  • 根据存储是否为远端,可直接使用FS或NFS直接操作存储中的Object
  • 调用S3接口,通过Minio使用FS或NFS来操作Object

多节点

多节点的Minio会根据不同的Access_key及Secret_Key来区分不同租户,每个租户可操作对应Server获取Object。Minio Server间可以通过不同的进程模型、容器或是虚拟机来互相隔离。

分布式

分布式Minio在无共享架构中根据需求扩展到尽可能多的服务器,所有节点需要使用相同的Access_key及Secret_key来登录。分布式Minio使用Web负载均衡器或DNS轮循(DNS round-robin),在各服务器之间实现负载均衡。

功能特性

  • Amazon S3兼容Minio使用Amazon S3 v2 / v4 API。可以使用Minio SDK,Minio Client,AWS SDK和AWS CLI访问Minio服务器。
  • 数据保护Minio使用Minio Erasure Code来防止硬件故障。也许会损坏一半以上的driver,但是仍然可以从中恢复。
  • 高度可用Minio服务器可以容忍分布式设置中高达(N / 2)-1节点故障。而且,您可以配置Minio服务器在Minio与任意Amazon S3兼容服务器之间存储数据。
  • Lambda计算Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列,如Kafka,NATS,AMQP,MQTT,Webhooks以及Elasticsearch,Redis,Postgres和MySQL等数据库。
  • 加密和防篡改Minio为加密数据提供了机密性,完整性和真实性保证,而且性能开销微乎其微。使用AES-256-GCM,ChaCha20-Poly1305和AES-CBC支持服务器端和客户端加密。加密的对象使用AEAD服务器端加密进行防篡改。
  • 可对接后端存储除了Minio自己的文件系统,还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。
  • sdk支持基于Minio轻量的特点,它得到类似Java、Python或Go等语言的sdk支持,例如: Java类在使用Maven管理Jar的情况下,在pom.xml中指定Minio:<dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>3.0.12</version> </dependency>

使用

Minio提供:包含图形化界面的Server端;使用命令行操作的Client端。以下为您介绍Minio Server与Minio Client的使用。

Minio Server

  • 使用Access Key与Secret Key登录Minio。登录成功后进入如下界面Access Key与Secret Key可由Minio Server随机生成,也可通过变量来自定义。下文自助部署讲述如何定义及获取Access Key与Secret Key。
  • 点击模块1bucket对应部分创建一个新的bucket,可在模块2看到所创建bucket。
  • 在模块2选择一个bucket。点击模块1upload对应部分上传文件到已选择bucket。可在页面白色部分看到对应bucket中所上传文件。
  • 鼠标移动到模块2任意bucket,对应bucket右侧可点击进行操作policy、delete操作。其中policy可设置Prefix的请求权限。
  • 点击模块3,查看与设置该Object的基本信息:
    • 查看共享地址Shareable Link
    • 设置到期时间,最大可保存时间为7天
    • 对话框上方弹出该Object现剩余到期时间

Minio Client下载二进制wget https://dl.minio.io/client/mc/release/linux-amd64/mc chmod +x mc ./mc --help基本操作命令

  • 配置已存在Minio Server./mc config host add <custom_name> <Minio_Server_address> <access_key> <secret_keyt> S3v4例:./mc config host add test http://9000.gr8be71d.grapps.ali-hz.goodrain.net access_key secret_key S3v4
  • 创建bucket./mc mb <custom_name>/[bucket_name]/[object_name]例:./mc mb test/data
  • 查看Minio Server的bucket、object./mc ls <custom_name>/[bucket_name]/[object_name]例:./mc ls test/data
  • 上传/下载Object# cp到Minio Server(上传) ./mc cp <object> <custom_name>/[bucket_name]# cp到本地(下载) ./mc cp <custom_name>/[bucket_name]/[object_name] <local_path>例:./mc cp README.md test/data
  • 删除Object或bucket./mc rm <custom_name>/[bucket_name]/[object_name]例:# 删除bucket,因为data下存在名为README.md的object,故需追加--force参数来强制删除bucket ./mc rm test/data --force*共享访问mc提供share方法,通过授权生成的URL可以临时上传或下载object。
  • download指定Minio Server中的Object,生成该Object临时下载的URL。./mc share download [—expire [h|m|s]] <custom_name>/[bucket_name]/[object_name]例:# --expire 168h代表生成的URL有效时间仅168小时 ./mc share download --expire 168h test/data/README.md
  • upload指定上传某文件到Minio Server后的路径,生成临时可供上传的命令。./mc share upload [—expire [h|m|s]] <custom_name>/[bucket_name]/[object_name]例:./mc share upload test/data/README.md生成类似如下命令:curl http://9000.gr17b6e1.grapps.ali-hz.goodrain.net/data/ \ -F x-amz-credential=access_key/20180425/us-east-1/s3/aws4_request \ -F x-amz-date=20180425T031310Z \ -F x-amz-signature=68ac9f102afd6a87526ecb9ce6025dee4f85b25cf054f5a7668a73ae0ef9f4dc \ -F bucket=data \ -F policy=eyJleHBpcmF0aW9uIjoiMjAxOC0wNS0wMlQwMzoxMzowOS45MTlaIiwiY29uZGl0aW9ucyI6W1siZXEiLCIkYnVja2V0IiwiZGF0YSJdLFsiZXEiLCIka2V5IiwiaW5zdGFsbC5zaCJdLFsiZXEiLCIkeC1hbXotZGF0ZSIsIjIwMTgwNDI1VDAzMTMxMFoiXSxbImVxIiwiJHgtYW16LWFsZ29yaXRobSIsIkFXUzQtSE1BQy1TSEEyNTYiXSxbImVxIiwiJHgtYW16LWNyZWRlbnRpYWwiLCJhY2Nlc3Nfa2V5LzIwMTgwNDI1L3VzLWVhc3QtMS9zMy9hd3M0X3JlcXVlc3QiXV19 \ -F x-amz-algorithm=AWS4-HMAC-SHA256 \ -F key=README.md \ # <FILE> 为需要上传的Object -F file=@<FILE>
  • list查看所创建下载或上传的所有RUL./mc share list [download/upload]

 

下面开始部署

 

1. Add a minio user

1 useradd -s /sbin/nologin -d /opt/minio minio

2. Set up directories

1 mkdir -p /opt/minio/bin
2 mkdir /opt/minio/data # this will be your data partition

3. Install minio server binary and set it to executable. In this example we use the Linux x64 binary.

2
3 chmod +x /opt/minio/bin/minio

4. Create a minio config file

1 vim /opt/minio/minio.conf

:

1 MINIO_VOLUMES=/opt/minio/data

5. Ensure all files are owned by minio in /opt/minio:

1 chown -R minio:minio /opt/minio

6. Add minio systemd service files

Note: the systemd service file below has been adapted from: https://github.com/minio/minio-service/tree/master/linux-systemd

1 vim /etc/systemd/system/minio.service

:

 

1 [Unit]
2 Description=Minio
3 Documentation=https://docs.minio.io
4 Wants=network-online.target
5 After=network-online.target
6 AssertFileIsExecutable=/opt/minio/bin/minio
7
8 [Service]
9 WorkingDirectory=/opt/minio
10
11 User=minio
12 Group=minio
13
14 PermissionsStartOnly=true
15
16 EnvironmentFile=-/opt/minio/minio.conf
17 ExecStartPre=/bin/bash -c "[ -n \"${MINIO_VOLUMES}\" ] || echo \"Variable MINIO_VOLUMES not set in /opt/minio/minio.conf\""
18
19 ExecStart=/opt/minio/bin/minio server $MINIO_OPTS $MINIO_VOLUMES
20
21 StandardOutput=journal
22 StandardError=inherit
23
24 # Specifies the maximum file descriptor number that can be opened by this process
25 LimitNOFILE=65536
26
27 # Disable timeout logic and wait until process is stopped
28 TimeoutStopSec=0
29
30 # SIGTERM signal is used to stop Minio
31 KillSignal=SIGTERM
32
33 SendSIGKILL=no
34
35 SuccessExitStatus=0
36
37 [Install]
38 WantedBy=multi-user.target

7. Enable and start the minio service

1 systemctl enable minio &amp;&amp; systemctl start minio

8. Check that minio has started

1 systemctl status minio

9. Take note of your Minio access and secret key:

1 grep -E 'accessKey|secretKey' /opt/minio/.minio/config.json

Configuration

Minio should now be installed, configured and running. You can access the Minio web interface by going to http://<server_ip>:9000/ – log in with the access and secret key recorded above in step 9.

原文链接:Minio搭建私有化对象存储服务,转载请注明来源!

0