Elasticsearch數據遷移工具之ESM

IT那活兒發布于2023-01-11 13:20 / 3672人閱讀

Elasticsearch數據遷移工具之ESM

點擊上方“IT那活兒”，關注后了解更多內容，不管IT什么活兒，干就完了！！！

在使用Elasticsearch的時候不可避免的會涉及到集群的升級或者是業務的遷移等場景，此時就需要對數據進行遷移，es數據遷移的工具有很多比如reindex、esm、elasticdump、logstash和快照等方式。

使用ESM的優勢是針對少數業務遷出，索引和數據相對較少，不需要修改ES配置文件不用重啟集群，降低數據遷移對集群其他業務的影響的背景下相對來說速度較快的一種方案。

有數據測試表示遷移100W條數據ESM的速度僅次于reindex，接近logstash的兩倍之快，當然這些與網絡環境和硬件有必然的關系，我們在這里僅做參考即可。

01

實驗環境及準備

1.1 本次實驗環境

本地環境：

云環境：

ESM版本：0.5.0

1.2 實驗前準備

1.2.1 搭建兩套ES集群，在這里不做演示。

1.2.2 上傳esm的tar包并解壓。

1.2.3 查看一下幫助文檔并確認安裝成功。

1.3 ESM各個參數用法簡介

02

實驗案例

話不多說上實驗！

Demo1

1）創建一個索引，設置主分片為1，副本分片為2。

2）將索引導出到本地 -o將源索引的文檔輸出到本地文件。

./bin/esm -s http://192.168.1.20:9200 -m elastic:123456 -o wsq_json.out -x wsq_esm_inbdex

3）刪除索引。

4）將下載到本地的索引再進行導入。

./bin/esm -i wsq_json.out -n user:paswd -d http://192.168.1.20:9200

5）此時的索引主分片為1，副本為1。

由此可得知導出的數據并不會將其屬性也就是設置的mappings和setting導出，導入數據則會使用es默認分片數進行創建索引。同時也驗證了該工具離線本地遷移的可行性。

Demo2

1）添加kibana的測試數據集來做測試。

2）測試與云服務器kibana服務的網絡聯通性。

3）將w:并發數設置為10，b：bulk大小設置為 10M ，scroll批量值大小設置為10000。

由于實驗環境的虛擬機配置比較低，直接給整趴一個節點并報錯如下，如果在生產環境一定要根據硬件調整傳輸參數的大小，還有一個錯誤：復制索引參數為-x，這里使用了-o，這里參數如果沒跟對輕則超時報錯，重則節點掛掉。

4）把節點拉起來繼續開干。

第一個索引傳輸的時候是正常的，當傳輸測試數據的時候發現Bulk少了2，在云服務器查看索引已經正常傳輸過來，此時的索引其實沒有完整的傳輸過來。

將索引保存到本地，此時是正常的。

懷疑和Bulk的參數設定有關 Bulk默認大小為5，將Bulk調至100，則可以正確傳輸。

03

總結分析

使用ESM的時候支持指定集群任意節點，所以要選擇相對來說壓力較小的節點作為數據遷移的源節點較好。

數據遷移要根據場景選擇最適合的工具和方法才能達到最好的效果。

end

本文作者：王思強

本文來源：IT那活兒（上海新炬王翦團隊）

云服務器 GPU云服務器數據遷移工具大數據遷移工具 dts數據遷移工具 DTS 數據庫遷移工具

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/129638.html

JavaScript 模塊化現狀

摘要：比如，這種模擬并不符合某些邊緣情況。然而，使用，結果是在引導模塊時，將指向，與使用的行為一致。這將更容易完成代碼庫的過渡，并使成為可能。原文作者：Johannes Ewald @Jhnnns 原文鏈接：The state of JavaScript modules 已獲原作者授權翻譯及發布 showImg(https://segmentfault.com/img/bVOpwz?w...

draveness 2019-08-20 16:52 評論0 收藏0
Vue源碼之目錄結構

摘要：運行時用來創建實例渲染并處理虛擬等的代碼。基本上就是除去編譯器的其它一切。版本可以通過標簽直接用在瀏覽器中。為這些打包工具提供的默認文件是只有運行時的構建。為瀏覽器提供的用于在現代瀏覽器中通過直接導入。 Vue版本：2.6.9 源碼結構圖 ├─ .circleci // 包含CircleCI持續集成/持續部署工具的配置文件 ├─ .github ...

freewolf 2019-08-23 16:22 評論0 收藏0
Vue源碼之目錄結構

摘要：運行時用來創建實例渲染并處理虛擬等的代碼。基本上就是除去編譯器的其它一切。版本可以通過標簽直接用在瀏覽器中。為這些打包工具提供的默認文件是只有運行時的構建。為瀏覽器提供的用于在現代瀏覽器中通過直接導入。 Vue版本：2.6.9 源碼結構圖 ├─ .circleci // 包含CircleCI持續集成/持續部署工具的配置文件 ├─ .github ...

icattlecoder 2019-08-02 16:09 評論0 收藏0
Vue源碼之目錄結構

摘要：運行時用來創建實例渲染并處理虛擬等的代碼。基本上就是除去編譯器的其它一切。版本可以通過標簽直接用在瀏覽器中。為這些打包工具提供的默認文件是只有運行時的構建。為瀏覽器提供的用于在現代瀏覽器中通過直接導入。 Vue版本：2.6.9 源碼結構圖 ├─ .circleci // 包含CircleCI持續集成/持續部署工具的配置文件 ├─ .github ...

jifei 2019-08-30 15:43 評論0 收藏0