<ul id="g60qy"></ul>

datax在web端的使用步驟

IT那活兒發(fā)布于2023-01-11 13:20 / 1998人閱讀

datax在web端的使用步驟

DataX 是阿里開源的一個異構數(shù)據(jù)源離線同步工具，致力于實現(xiàn)包括關系型數(shù)據(jù)庫(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各種異構數(shù)據(jù)源之間穩(wěn)定高效的數(shù)據(jù)同步功能。

這個工具本身作為數(shù)據(jù)同步框架，將不同數(shù)據(jù)源的同步抽象為從源頭數(shù)據(jù)源讀取數(shù)據(jù)的Reader插件，以及向目標端寫入數(shù)據(jù)的Writer插件，理論上DataX框架可以支持任意數(shù)據(jù)源類型的數(shù)據(jù)同步工作。這次給大家介紹的是DataX在web端的使用步驟：

1. 首先打開Datax的網(wǎng)址，選擇項目管理，點擊添加

2. 創(chuàng)建項目名稱和添加項目描述之后，點擊確認

3. 點擊任務管理，選擇Datax任務模板，點擊添加

4. 在彈出的對話框中設定任務，執(zhí)行器、路由策略和阻塞處理都使用默認選項，不用做變更。所屬項目在下拉框中選擇剛剛創(chuàng)建的項目名稱，任務描述可自行補充，Cron選項可以根據(jù)需要設定定時周期運行的任務，設定完之后點擊確認。

5. 任務模板添加完成之后選擇數(shù)據(jù)源管理，點擊添加。由于這次的單表導入是從oracle端導入到PG端，所以源端數(shù)據(jù)源選擇oracle，數(shù)據(jù)庫名稱可自行填寫，不用按照oracle端本來的數(shù)據(jù)庫名稱填寫，再補充對應的用戶名密碼，以及ip、端口和server name，注意符號別寫錯，測試連接成功之后就可以點擊確認了。

6. 繼續(xù)添加目標端數(shù)據(jù)源，方法跟第五步類似，只是在數(shù)據(jù)源的選擇上需要選擇postgresql

7. 在任務管理中選擇任務構建，在數(shù)據(jù)庫源這一項，選擇剛剛添加的源端數(shù)據(jù)源上填寫的數(shù)據(jù)庫名稱，接下來填入需要導入的表的所屬schema名稱和表名，如果只想導表的某幾個字段的數(shù)據(jù)，可以再SQL語句這一欄中填寫對應的查詢語句，這里我們導入全表，并選擇表所有字段，點擊下一步。

8. 繼續(xù)在任務構建中補充目標端詳細信息，數(shù)據(jù)庫源這一項選擇在第五步中目標端數(shù)據(jù)源上填寫的數(shù)據(jù)庫名稱，其他步驟與第七步類似，配置完成之后，點擊下一步。

9. 確認源端和目標端字段一致，點擊下一步。

10. 可以看到，web端現(xiàn)在已經(jīng)自動了生成配置腳本

11. 在任務管理中可以看到我們剛剛構建的任務，點擊操作，選擇執(zhí)行一次。

12. 之后可以再次點擊操作，選擇查詢?nèi)罩荆鶕?jù)日志提示可以看到此次導入已經(jīng)成功完成。

END

更多精彩干貨分享

點擊下方名片關注

IT那活兒

GPU云服務器云服務器 webrtc如何在web中使用服務端的web?service web前端與后端的區(qū)別 web前端和后端的區(qū)別

文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/129786.html

DataX的限速與調(diào)優(yōu)

DataX的限速與調(diào)優(yōu) img{ display:block; margin:0 auto !important; width:100%; } body{ width:75%; margin:...

不知名網(wǎng)友 2023-01-11 11:02 評論0 收藏598
DataX在有贊大數(shù)據(jù)平臺的實踐

摘要：與大數(shù)據(jù)體系交互上報運行統(tǒng)計數(shù)據(jù)自帶了運行結果的統(tǒng)計數(shù)據(jù)，我們希望把這些統(tǒng)計數(shù)據(jù)上報到元數(shù)據(jù)系統(tǒng)，作為的過程元數(shù)據(jù)存儲下來。基于我們的開發(fā)策略，不要把有贊元數(shù)據(jù)系統(tǒng)的嵌入源碼，而是在之外獲取，截取出打印的統(tǒng)計信息再上報。一、需求有贊大數(shù)據(jù)技術應用的早期，我們使用 Sqoop 作為數(shù)據(jù)同步工具，滿足了 MySQL 與 Hive 之間數(shù)據(jù)同步的日常開發(fā)需求。隨著公司業(yè)務發(fā)展，數(shù)據(jù)同步的場景越...

JerryWangSAP 2019-05-22 17:07 評論0 收藏0