摘要：可以通過相關(guān)配置，直接操控對象存儲的中的文件，進(jìn)行上傳，下載，刪除等操作。目前后端協(xié)議只支持的分片，如果分片大小不對，會返回錯誤。

AWS S3 協(xié)議應(yīng)用場景

本篇目錄

文件瀏覽器工具

S3 Browser 是一種易于使用和強(qiáng)大的 Amazon S3 免費(fèi)客戶端。 它提供了一個簡單的 Web 服務(wù)接口，可用于存儲和檢索任意數(shù)量的數(shù)據(jù)，無論任何時候從任何地方。 可以通過相關(guān)配置，直接操控 US3 對象存儲的 Bucket 中的文件，進(jìn)行上傳，下載，刪除等操作。

適用的操作系統(tǒng)：Windows

? 1.下載安裝包

下載地址: http://s3browser.com

? 2.安裝程序

進(jìn)入下載頁面，點(diǎn)擊 Download S3 Browser，按照提示，進(jìn)行安裝即可。

? 1.增加用戶

點(diǎn)擊左上角 Accounts 按鈕，在下拉框中，點(diǎn)擊 Add new account

在 Add new account 頁面中，需要填寫的項描述如下：

Account Name: 賬戶名稱，用戶自定義。

Account Type: 賬戶類型，選擇 S3 Compatible Storage

REST Endpoint: 固定域名，填寫參考支持 AWS S3 協(xié)議說明。比如：s3-cn-bj.ufileos.com

Signature Version: 簽名版本，選擇 Signature V4。

Access Key ID: Api 公鑰，或者 Token。具體獲取請參考 S3 的 AccessKeyID 和 SecretAccessKey 說明 。

Secret Access Key: API 私鑰。具體獲取請參考 S3 的 AccessKeyID 和 SecretAccessKey 說明 。

Encrypt Access Keys with a passward: 請勿勾選。

Use secure transfer(SSL/TSL)： 目前僅中國-北京二，中國-香港，越南-胡志明，韓國-首爾，巴西-圣保羅，美國-洛杉磯，美國-華盛頓地域支持 HTTPS，其他區(qū)域請勿勾選。

具體配置填寫如下：

點(diǎn)擊左下角的Advanced S3-compatible storage settings配置簽名版本以及URL風(fēng)格

修改成功點(diǎn)擊Close 關(guān)閉當(dāng)前設(shè)置，點(diǎn)擊Add new account 保存配置，則成功創(chuàng)建用戶。

? 2.對象操作

特別說明：目前分片大小只支持 8M 具體配置如下： 1.點(diǎn)擊上方工具欄 Tools，在下拉列表中選擇 Options，選擇 General，在彈出頁面中，設(shè)置 Enable multipart uploads with size (in megabytes) 為 8，如下圖所示：

? s3分片數(shù)限制為1萬條，設(shè)置分片為8M是，只能滿足78G左右以下文件的上傳，如果文件大小超過78G,會自動調(diào)整分片大小，保證分片數(shù)小于1萬條。目前us3后端s3協(xié)議只支持8M的分片，如果分片大小不對，會返回400錯誤。

網(wǎng)絡(luò)文件系統(tǒng) S3FS

s3fs 工具支持將 Bucket 掛載到本地，像使用本地文件系統(tǒng)一樣直接操作對象存儲中的對象。

適用的操作系統(tǒng) Linux、MacOS

適用s3fs版本：v1.83及以上

MacOS 環(huán)境

brew cask install osxfuse  
brew install s3fsCopyErrorSuccess

RHEL 和 CentOS 7 或更新版本通過 EPEL：

sudo yum install epel-release  
sudo yum install s3fs-fuseCopyErrorSuccess

Debian 9 和 Ubuntu 16.04 或更新版本

sudo apt-get install s3fsCopyErrorSuccess

CentOS 6 及其以下版本

需要編譯 s3fs ，并且安裝該程序

首先，您需要從 上將源碼下載到指定目錄，以 /data/s3fs 為例：

1. cd /data  
2. mkdir s3fs  
3. cd s3fs  
4. wget https://github.com/s3fs-fuse/s3fs-fuse/archive/v1.83.zipCopyErrorSuccess

CentOS 系統(tǒng)下安裝依賴軟件：

  sudo yum install automake gcc-c++ git libcurl-devel libxml2-devel    
  fuse-devel make openssl-devel fuse unzipCopyErrorSuccess

進(jìn)入安裝目錄，執(zhí)行如下命令進(jìn)行編譯和安裝：

1. cd /data/s3fs  
2. unzip v1.83.zip  
3. cd s3fs-fuse-1.83/  
4. ./autogen.sh  
5. ./configure  
6. make  
7. sudo make install  
8. s3fs --version #查看 s3fs版本號CopyErrorSuccess

可以查看 s3fs 的版本號，到此，s3fs 已經(jīng)安裝成功。

備注： 在執(zhí)行第五步，./configure 的過程中，可能會遇到以下的問題。匯總為:

報錯： configure: error: Package requirements (fuse >= 2.8.4 libcurl >= 7.0 libxml-2.0 >= 2.6 ) were not met:

原因: fuse 版本過低，此時，您需要手動安裝 fuse 2.8.4 及以上版本，安裝命令示例如下：

yum -y remove fuse-devel #卸載當(dāng)前版本的 fuse

wget https://.com/libfuse/libfuse/releases/download/fuse_2_9_4/fuse-2.9.4.tar.gz

tar -zxvf fuse-2.9.4.tar.gz

cd fuse-2.9.4

./configure

make

make install

export

PKG_CONFIG_PATH=/usr/lib/pkgconfig:/usr/lib64/pkgconfig/:/usr/local/lib/pkgconfig

modprobe fuse #掛載 fuse 內(nèi)核模塊

echo "/usr/local/lib" >> /etc/ld.so.conf

ldconfig #更新動態(tài)鏈接庫

pkg-config --modversion fuse #查看 fuse 版本號，當(dāng)看到 “2.9.4” 時，表示 fuse 2.9.4 安裝成功

在 ${HOME}/ 目錄中創(chuàng)建 .passwd-s3fs 文件。文件格式為 [API 公鑰:API 秘鑰]。

公私鑰獲取方式具體請參考獲取請參考 S3 的 AccessKeyID 和 SecretAccessKey 說明。

例如:

 [root@10-9-42-233 s3fs-fuse-1.83]# cat ~/.passwd-s3fs
 AKdDhQD4Nfyrr9nGPJ+d0iFmJGwQlgBTwxxxxxxxxxxxx:7+LPnkPdPWhX2AJ+p/B1XVFi8bbbbbbbbbbbbbbbbbCopyErrorSuccess

將文件設(shè)置讀寫權(quán)限。

 chmod 600 ${HOME}/.passwd-s3fsCopyErrorSuccess

操作指令解釋:

建立 US3 掛載文件路徑 ${LocalMountPath}

獲取已創(chuàng)建的存儲空間（Bucket）名稱 ${UFileBucketName}

注意:空間名稱不帶域名后綴，比如 US3 空間名稱顯示為test.cn-bj.ufileos.com，則${UFileBucketName}=test

根據(jù) US3 存儲空間所在地域，本地服務(wù)器是否在 UCloud 內(nèi)網(wǎng)，參考支持 AWS S3 協(xié)議說明

執(zhí)行命令。

參數(shù)說明如下：

s3fs ${UFileBucketName} ${LocalFilePath}  
-o url={UFileS3URl} -o passwd_file=~/.passwd-s3fs  
-o dbglevel=info  
-o curldbg,use_path_request_style,allow_other  
-o retries=1 //錯誤重試次數(shù)  
-o multipart_size="8" //分片上傳的大小為 8MB，目前僅支持該值 -o
multireq_max="8" //當(dāng)上傳的文件大于 8MB 是采用分片上傳，目前UFile 的 S3
接入層不允許 PUT 單個文件超過 8MB，所以該值建議必填  
-f //表示前臺執(zhí)行，后臺執(zhí)行則省略  
-o parallel_count="32" //并行操作數(shù)，可以提高分片并發(fā)操作，建議不要超過 128CopyErrorSuccess

示例：

s3fs s3fs-test /data/vs3fs -o url=http://internal.s3-cn-bj.ufileos.com -o passwd_file=~/.passwd-s3fs -o dbglevel=info -o curldbg,use_path_request_style,allow_other -o retries=1 -o multipart_size="8" -o multireq_max="8" -o parallel_count="32"

執(zhí)行 df -h 指令，可以看到 s3fs 程序的運(yùn)行。效果如下:

此時，可以看到 /data/vs3fs 目錄下的文件和指定 bucket 的文件，保持一致。 也可以通過 tree 執(zhí)行，查看文件結(jié)構(gòu)。安裝指令：yum install -y tree 效果如下：

掛載 US3 存儲空間和后，可以像使用本地文件夾一樣使用 US3 存儲空間。

注意：

將文件從 ${LocalMountPath} 刪除掉，則 US3 存儲空間中，該文件也被刪除掉。

sudo umount ${LocalMountPath}CopyErrorSuccess

寫入吞吐量40MB/s左右 讀取吞吐量能達(dá)到166 MB/s（跟并發(fā)量相關(guān)）

goofys

goofys 工具同 s3fs, 也支持將 Bucket 掛載到本地，像使用本地文件系統(tǒng)一樣直接操作對象存儲中的對象。 性能方面比 s3fs 更優(yōu).

適用的操作系統(tǒng)：Linux，MacOS

下載可執(zhí)行文件：

Mac X86-64 Linux X86-64

使用如下命令解壓到指定目錄：

tar -xzvf goofys-0.21.1.tar.gzCopyErrorSuccess

默認(rèn)在 $HOME/.aws/credentials 文件里面配置 bucket 的公私鑰，格式如下：

[default]
aws_access_key_id = TOKEN_*****9206d
aws_secret_access_key = 93614*******b1dc40CopyErrorSuccess

執(zhí)行掛載命令 ./goofys --endpoint your_ufile_endpoint your_bucket your_local_mount_dir, 例如：

./goofys  --endpoint http://internal.s3-cn-bj.ufileos.com/suning2 ./mount_test:CopyErrorSuccess

掛載效果如圖：

測試掛載是否成功, 可以拷貝一個本地文件到 mount_test 目錄, 看是否上傳到 US3。

同 s3fs, 可參考上面的 s3fs 操作

4核8G 的 UHost 虛擬機(jī), 上傳 500MB 以上的文件, 平均速度可達(dá)140MB/s

基于 US3 的 FTP 服務(wù)

對象存儲支持通過 FTP 協(xié)議直接操作 Bucket 中的對象和目錄，包括上傳文件、下載文件、刪除文件（不支持進(jìn)入文件夾)。

適用的操作系統(tǒng)：Linux

使用 s3fs 工具將 Bucket 掛載到本地。具體安裝方式步驟參考基于 S3FS、US3 搭建網(wǎng)絡(luò)文件系統(tǒng)的內(nèi)容。

先檢查下本地是否有 FTP 服務(wù)，執(zhí)行命令 rpm -qa | grep vsftpd，如果顯示未安裝，則執(zhí)行以下命令，安裝 FTP。

運(yùn)行以下命令安裝 vsftpd。

yum install -y vsftpdCopyErrorSuccess

執(zhí)行以下命令，開啟 ftp 服務(wù)。

service vsftpd startCopyErrorSuccess

運(yùn)行以下命令創(chuàng)建 ftptest 用戶，并且設(shè)置指定目錄。

useradd ${username} -d {SpecifiedDirectory}

(刪除用戶命令：sudo userdel -r newuser)

運(yùn)行以下命令修改 ftptest 用戶密碼。

passwd ${username}

此時，您可以在外部任何一臺機(jī)器上連接該服務(wù)器，輸入您的用戶名和密碼，來管理 bucket 的文件

ftp ${ftp_server_ip}CopyErrorSuccess

s3cmd

s3cmd是一個免費(fèi)的命令行工具,用于使用S3協(xié)議上傳、檢索和管理數(shù)據(jù)，它最適合熟悉命令行程序的用戶，廣泛用于批處理腳本和自動備份。

適用的操作系統(tǒng)：Linux、MacOS、Windows

1.下載安裝包
https://s3tools.org/download ,這里以目前最新版本2.1.0為例 
2.解壓安裝包
tar xzvf s3cmd-2.1.0.tar.gz
3.移動路徑
mv s3cmd-2.1.0 /usr/local/s3cmd
4.創(chuàng)建軟連接
ln -s /usr/local/s3cmd/s3cmd /usr/bin/s3cmd (權(quán)限不足可以使用sudo)
5.執(zhí)行配置命令,填寫必要信息(直接跳過也可以，可以放在下一步手動填寫)
s3cmd --configure
6.填寫配置
vim ~/.s3cfg
打開當(dāng)前配置，填寫以下參數(shù)
access_key = "TOKEN公鑰/API公鑰"      
secret_key = "TOKEN私鑰/API私鑰"     
host_base = "s3協(xié)議域名,例如： s3-cn-bj.ufileos.com"
host_bucket = "請求風(fēng)格，例如: %(bucket)s.s3-cn-bj.ufileos.com"
multipart_chunk_size_mb = 8 "us3 支持的s3協(xié)議分片大小為8M,所以這里只能填8"
CopyErrorSuccess

access_key: 參考Token公鑰/API公鑰

secret_key: 參考 Token私鑰/API私鑰

host_base： 參考 s3協(xié)議域名

[default]
access_key = "TOKEN_xxxxxxxxx"
access_token = 
add_encoding_exts = 
add_headers = 
bucket_location = US 
check_ssl_certificate = True
check_ssl_hostname = True
connection_pooling = True
content_disposition = 
content_type = 
default_mime_type = binary/octet-stream
delay_updates = False
delete_after = False
delete_after_fetch = False
delete_removed = False
dry_run = False
enable_multipart = True
encrypt = False
expiry_date = 
expiry_days = 
expiry_prefix = 
follow_symlinks = False
force = False
get_continue = False
gpg_passphrase = 
guess_mime_type = True
host_base = s3-cn-bj.ufileos.com
host_bucket = %(bucket)s.s3-cn-bj.ufileos.com
human_readable_sizes = False
invalidate_default_index_on_cf = False
invalidate_default_index_root_on_cf = True
invalidate_on_cf = False
kms_key = 
limit = -1
limitrate = 0
list_md5 = False
log_target_prefix = 
long_listing = False
max_delete = -1
mime_type = 
multipart_chunk_size_mb = 8
multipart_max_chunks = 10000
preserve_attrs = True
progress_meter = True
proxy_host =  
proxy_port = 80 
public_url_use_https = False
put_continue = False
recursive = False
recv_chunk = 65536
reduced_redundancy = False
requester_pays = False
restore_days = 1
restore_priority = Standard
secret_key = "xxxxxxxxxxxxxxxxxxx" 
send_chunk = 65536
server_side_encryption = False
signature_v2 = False
signurl_use_https = False
simpledb_host = sdb.amazonaws.com
skip_existing = False
socket_timeout = 300
stats = False
stop_on_error = False
storage_class = 
throttle_max = 100
upload_id = 
urlencoding_mode = normal
use_http_expect = False
use_https = False
use_mime_magic = True
verbosity = WARNING
website_index = index.htmlCopyErrorSuccess

s3cmd put test.txt s3://bucket1CopyErrorSuccess

s3cmd del s3://bucket1/test.txtCopyErrorSuccess

s3cmd get s3://bucket1/test.txtCopyErrorSuccess

s3cmd cp s3://bucket1/test.txt s3://bucket2/test.txtCopyErrorSuccess

1.上傳文件夾
s3cmd put -r ./dir s3://bucket1/dir1
2.下載文件夾
s3cmd get -r s3://bucket1/dir1 ./dir1
3.刪除文件夾
s3cmd del s3://bucket1/dir1
4.列取bucket列表
s3cmd ls
5.列取文件列表
s3cmd ls s3://bucket1
6.歸檔文件取回
s3cmd restore s3://bucket1CopyErrorSuccess

rclone

rclone是一個命令行程序，用于管理云存儲上的文件,支持s3協(xié)議

curl https://rclone.org/install.sh | sudo bash
//參考 https://rclone.org/install/CopyErrorSuccess

rclone configCopyErrorSuccess

[s3]           //這里可以填寫s3,ucloud等自定義名，作為命令前綴
type = s3
provider = Other
env_auth = false
access_key_id = xxxxxxxx                 
secret_access_key = xxxxxxxxxxx          
endpoint = http://s3-cn-bj.ufileos.com   //參考
location_constraint = cn-bj
acl = private
bucket_acl = private // public/private
chunk_size = 8M                          //目前只支持8M分片CopyErrorSuccess

access_key_id: 參考Token公鑰/API公鑰

secret_access_key: 參考 Token私鑰/API私鑰

endpoint： 參考 s3協(xié)議域名

說明: 以下命令前綴（配置內(nèi)的中括號內(nèi)容）以remote為例，使用過程中需要自行修改

rclone lsd remote:CopyErrorSuccess

rclone ls remote:bucketCopyErrorSuccess

rclone copy ./test.txt remote:bucketCopyErrorSuccess

rclone delete remote:bucket/test.txtCopyErrorSuccess