工具簡(jiǎn)介對(duì)象存儲(chǔ) US3

ernest.wang 發(fā)布于2022-07-12 17:03 / 1971人閱讀

摘要：工具簡(jiǎn)介工具簡(jiǎn)介工具簡(jiǎn)介本篇目錄概述概述主要功能主要功能文件結(jié)構(gòu)文件結(jié)構(gòu)與原遷移工具對(duì)比與原遷移工具對(duì)比版本和運(yùn)行環(huán)境版本和運(yùn)行環(huán)境概述概述概述是一款將不同源的數(shù)據(jù)同步到的遷移工具。支持從存儲(chǔ)或者本地目錄將數(shù)據(jù)遷移到中。

工具簡(jiǎn)介

本篇目錄

概述主要功能文件結(jié)構(gòu)與原遷移工具對(duì)比版本和運(yùn)行環(huán)境

概述

US3SYNC 是一款將不同源的數(shù)據(jù)同步到 US3 的遷移工具。通過(guò)將 US3SYNC 部署在本地或者云主機(jī)中，可以便捷地從本地或者其他云環(huán)境中將數(shù)據(jù)遷移到 US3 存儲(chǔ)空間。US3SYNC工具可以創(chuàng)建兩種模式的任務(wù)：

普通模式： 普通同步任務(wù)可以將源端某個(gè)指定前綴或文件夾的文件批量的同步到US3上。

fetch模式： fetch模式的同步任務(wù)是通過(guò)POST請(qǐng)求（描述需要同步的文件URL和目的位置）將文件同步到指定的位置上。可以指明文件同步成功和失敗后的回調(diào)接口，US3SYNC會(huì)在同步任務(wù)完成后，發(fā)送相應(yīng)的通知。

普通任務(wù)工作原理

圖中master節(jié)點(diǎn)與worker節(jié)點(diǎn)功能：

master節(jié)點(diǎn)：

單點(diǎn)部署，負(fù)責(zé)遷移任務(wù)的管理。其主要邏輯是從源端拉取文件列表，然后將需要遷移的文件派發(fā)給worker進(jìn)程遷移。

worker節(jié)點(diǎn)：

支持節(jié)點(diǎn)擴(kuò)展，負(fù)責(zé)遷移文件。其主要邏輯是從源端下載文件，然后將文件上傳到目的端。

master節(jié)點(diǎn)與worker節(jié)點(diǎn)可以部署在同一臺(tái)機(jī)器，也可以部署在多臺(tái)機(jī)器上，用戶(hù)可以根據(jù)需要自行擴(kuò)展worker節(jié)點(diǎn)，下面分別介紹：

部署在同一臺(tái)機(jī)器：

master節(jié)點(diǎn)和worker節(jié)點(diǎn)通過(guò)啟動(dòng)時(shí)配置的內(nèi)部通信監(jiān)聽(tīng)地址進(jìn)行通信。用戶(hù)需要確保配置給worker節(jié)點(diǎn)的路徑是多帶帶的路徑，不可與master路徑以及其他worker路徑重復(fù)。

部署在不同機(jī)器：

master節(jié)點(diǎn)和worker節(jié)點(diǎn)通過(guò)啟動(dòng)時(shí)配置的內(nèi)部通信監(jiān)聽(tīng)地址進(jìn)行通信，確保該地址在worker機(jī)器上可以訪(fǎng)問(wèn)。用戶(hù)需要確保配置給worker節(jié)點(diǎn)的路徑是多帶帶的路徑，不可與master路徑以及其他worker路徑重復(fù)。

Fetch任務(wù)工作原理

Fetch類(lèi)型的任務(wù)跟普通任務(wù)工作原理大致類(lèi)似，不同的是同步任務(wù)的源端需要發(fā)送POST請(qǐng)求來(lái)指定，而不是根據(jù)配置的源端的位置自動(dòng)拉取。

POST請(qǐng)求語(yǔ)法

POST /fetch/ HTTP 1.1
Authorization: Auth
Content-Type:application/json

請(qǐng)求頭部

Authorization為必選項(xiàng)，content-type, date等都是可選項(xiàng)

例如： Authorization: UCloud xxxx-xxxx-xxxx-xxxx-xxxx:xxxxxxxxxxxxx 計(jì)算方法偽碼如下：

method := "POST"
md5 := xxxxxx
contentType := xxxxxx
date := xxxxx
privateKey = xxxxx-xxxx-xxxxx-xxxx
publicKey = xxxx-xxxx-xxxx-xxxx
strToSign = method + "
" + md5 + "
" + contentType + "
" + date + "
"
signature = HmacSHA1(strToSign, privateKey)
signature = Base64(signature)
Authorization: "UCloud " + publicKey + ":" + signature

請(qǐng)求內(nèi)容名稱(chēng)描述類(lèi)型必選Url源站資源地址,需要urlencodeString是Key桶內(nèi)文件路徑，不需要urlencodeString是Bucket桶名String是JobIdFetch任務(wù)IdString是SuccessCallbackUrl回源拉取成功的回調(diào)地址String否FailureCallbackUrl回源拉取失敗的回調(diào)地址String否

此處的JobId可以在界面中獲取

返回內(nèi)容名稱(chēng)描述類(lèi)型RetCode請(qǐng)求狀態(tài)碼IntErrMsg請(qǐng)求信息StringTaskId任務(wù)的唯一idString

{
    "RetCode":,
    "ErrMsg":,
    "TaskId":
    }

示例請(qǐng)求

POST /fetch/ HTTP/1.1
Authorization:Authorization: UCloud this-is-my-public-key:AAAArandomsignature=
Content-Type:application/json
Content-Length: 159
{
    "Url": "http://xxx.xxx.xxx/xxx/movie.mp4",
    "Key":"movie.mp4",
    "JobId": "xxxxxxxxxxxxxxxxxxxx"
    "SuccessCallbackUrl":"http://xxx.xxx.xxx/xxx",
    "FailureCallbackUrl":"http://xxx.xxx.xxx/xxx"
}

HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
Content-Length: 122
Connection: keep-alive
{
    "RetCode":0,
    "ErrMsg":"success",
    "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f"
}

回調(diào)內(nèi)容

您可以在請(qǐng)求中指定任務(wù)完成后的回調(diào)地址，US3SYNC會(huì)依照任務(wù)執(zhí)行結(jié)果給相應(yīng)的地址放松POST請(qǐng)求，請(qǐng)求內(nèi)容示例如下：

Failure callback

{
    "Code":1,
    "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f",
    "Message":"We encountered an internal error.",
    "Resource":"http://xxx.xxx.xxx/xxx/movie.mp4",
}

Success callback

{    
    "Code": 0,
    "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f",
    "ETag":"xxxxxxxx",
    "Key":"xxxxxxxxxxxxxxx.mp4",
    "SHA1":"0bc51013e87869137a432200f57daf6affdd3d0c",
    "Size":638304718
}

主要功能

支持從 s3，oss，qiniu，youpai，US3 云存儲(chǔ)遷移數(shù)據(jù)到 US3 中。支持從 NAS 存儲(chǔ)或者本地目錄將數(shù)據(jù)遷移到 US3 中。支持指定 URL 資源列表將數(shù)據(jù)遷移到 US3 中。支持 web 管理，通過(guò) web 管理遷移任務(wù)，遷移節(jié)點(diǎn)。支持源端管理支持配置任務(wù)定期執(zhí)行支持失敗文件列表導(dǎo)出

注：暫不支持源端為歸檔類(lèi)型的文件遷移到 US3。

文件結(jié)構(gòu)

US3SYNC
├── bin
│ |── master            # master 可執(zhí)行程序
│ └── worker            # worker 可執(zhí)行程序
├── conf
│ └── config.toml       # 配置文件
├── cert                # https證書(shū)
├── log                 # master日志文件存放路徑
├── pika                # 依賴(lài)pika
└── console.sh          # 啟動(dòng)腳本

與原遷移工具對(duì)比

原遷移工具使用請(qǐng)參照：原遷移工具

US3SYNCufile-import提供界面管理操作只支持命令行操作配置文件整合為單個(gè)多個(gè)配置文件數(shù)據(jù)不落盤(pán)，提高遷移效率數(shù)據(jù)落盤(pán)，需要根據(jù)需要提供磁盤(pán)資源使用pika緩存使用redis緩存按分片粒度并發(fā)，帶寬穩(wěn)定按文件粒度并發(fā)，對(duì)大文件遷移不友好支持按照大小進(jìn)行數(shù)據(jù)校驗(yàn)不支持校驗(yàn)

版本和運(yùn)行環(huán)境

軟件版本

當(dāng)前版本：1.4.0

運(yùn)行環(huán)境Linux：CentOS 7.0 及以上 (可通過(guò)cat /etc/redhat-release查看)Ubuntu 16.04 及以上 (可通過(guò)cat /etc/issue查看)

云服務(wù)器 GPU云服務(wù)器 ucloud對(duì)象存儲(chǔ)產(chǎn)品us3 對(duì)象存儲(chǔ) 簡(jiǎn)介對(duì)象存儲(chǔ) 遷移開(kāi)源工具 php開(kāi)發(fā)工具簡(jiǎn)介

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/126749.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

ernest.wang

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

特朗普勝任，將對(duì)跨境電商賣(mài)家產(chǎn)生哪些影響？

閱讀 475·2024-11-07 18:25
幻獸帕魯常見(jiàn)問(wèn)題匯總

閱讀 130816·2024-02-01 10:43
在Linux和Windows上部署帕魯?shù)膮^(qū)別？

閱讀 951·2024-01-31 14:58
怎么重啟幻獸帕魯云服務(wù)器？

閱讀 916·2024-01-31 14:54
幻獸帕魯自建服務(wù)器存檔備份及回檔 - windows篇

閱讀 83027·2024-01-29 17:11
小白必讀教程，幻獸帕魯服務(wù)器手動(dòng)部署教程 - Windows篇

閱讀 3288·2024-01-25 14:55
A800GPU租用-A800顯卡

閱讀 2077·2023-06-02 13:36
5G短信和普通短信的區(qū)別

閱讀 3189·2023-05-23 10:26

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專(zhuān)欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！