v1.7.0 對(duì)象存儲(chǔ) US3

ernest.wang 發(fā)布于2022-07-12 17:36 / 2469人閱讀

v1.7.0

修復(fù)了前綴自動(dòng)發(fā)現(xiàn)式列取時(shí)，校驗(yàn)階段僅校驗(yàn)頂層前綴的bug在不勾選前綴自動(dòng)發(fā)現(xiàn)時(shí)，會(huì)同步源端的空目錄到目的端支持了七牛專有云的endpoint

v1.6.1

修復(fù)了在專有云上無(wú)法創(chuàng)建endpoint的bug修復(fù)了使用前綴自動(dòng)發(fā)現(xiàn)功能時(shí)可能會(huì)卡住的bug修復(fù)了url列表模式的endpoint可能無(wú)法創(chuàng)建的bug

v1.6.0

優(yōu)化了數(shù)據(jù)的統(tǒng)計(jì)方式修復(fù)了在使用s3接口拉取列表時(shí)，返回結(jié)果中nextmarker為空導(dǎo)致的panic修復(fù)了重試時(shí)由于分段上傳請(qǐng)求已經(jīng)被取消而導(dǎo)致的上傳id失效修復(fù)了一個(gè)list時(shí)始終使用同一個(gè)marker的bug新增了如果啟動(dòng)時(shí)不設(shè)置用戶名密碼，可以在首次登錄界面時(shí)設(shè)置用戶名密碼的功能

v1.5.0

新增fetch任務(wù)模式，可以通過(guò)向server的/fetch路徑下發(fā)送POST請(qǐng)求來(lái)增量同步文件現(xiàn)在可以在啟動(dòng)時(shí)指定--sentinel-addr參數(shù)的方式，讓節(jié)點(diǎn)使用哨兵模式連接pika數(shù)據(jù)庫(kù)支持了在使用aws，us3，oss，七牛以及url列表類型的endpoint時(shí)的https下載以及拉列表功能，可以在創(chuàng)建endpoint時(shí)進(jìn)行配置支持了在使用aws，us3，oss，七牛類型的endpoint拉列表時(shí)，自動(dòng)發(fā)現(xiàn)新公共前綴的功能，在這個(gè)模式下，拉列表會(huì)針對(duì)各個(gè)前綴并發(fā)列取支持了在使用us3類型的endpoint時(shí)使用prefix-file-list接口進(jìn)行拉列表，該功能通常用在專有云環(huán)境支持了根據(jù)初始化分片上傳任務(wù)時(shí)獲取的返回結(jié)果來(lái)選擇分片上傳的分片大小的功能。現(xiàn)在源端404的任務(wù)同樣會(huì)被認(rèn)為是失敗現(xiàn)在worker在丟失掉master心跳后并不會(huì)立刻退出，而是會(huì)以指數(shù)退避的策略放緩心跳，最大心跳間隔為32秒一次，如果重新捕獲到主節(jié)點(diǎn)心跳，會(huì)恢復(fù)心跳間隔現(xiàn)在worker會(huì)正確的abort掉無(wú)法完成的分片上傳任務(wù)現(xiàn)在worker在下載文件時(shí)遇到404，503，500， 504狀態(tài)碼，會(huì)以指數(shù)退避的形式重試5次更改了分配任務(wù)給worker的流程，現(xiàn)在worker獲取的任務(wù)可以在worker宕機(jī)后快速恢復(fù)優(yōu)化web界面，目前可以在任務(wù)列取和審計(jì)階段看到文件列表操作的進(jìn)度現(xiàn)在可以在創(chuàng)建任務(wù)時(shí)，使用正則表達(dá)式過(guò)濾源端對(duì)象鍵，但是此對(duì)象鍵不包括配置在任務(wù)中的桶名和前綴

v1.4.0

新增同步刪除功能，目前可以在創(chuàng)建任務(wù)時(shí)勾選此選項(xiàng)，將源端不存在，而目的端存在的文件刪除優(yōu)化web界面，將同步，刪除，以及正在執(zhí)行的指標(biāo)分隔顯示

v1.3.1

忽略遷移中源端不存在的文件優(yōu)化URL列表拉取源列表文件修復(fù) 不覆蓋選項(xiàng)導(dǎo)致進(jìn)程panic

v1.3.0

多DB優(yōu)化列取方式優(yōu)化local源列取優(yōu)化http源列取修復(fù)oss FileGroup類型遷移失敗修復(fù)空文件遷移失敗非定時(shí)任務(wù)支持校驗(yàn)新文件

v1.2.0

定時(shí)任務(wù)取消立即啟動(dòng)增加MD5校驗(yàn)支持，創(chuàng)建任務(wù)指定endpoint支持prefix校驗(yàn)，針對(duì)指定prefix的tokenURL列表遷移，支持跳過(guò)404鏈接任務(wù)分發(fā)優(yōu)化，遷移速度提升