kettle 開源etl數據抽取工具

nevermind 發布于2019-06-26 17:01 / 1079人閱讀

摘要：相比其他開源的工具和其他商業的工具，對比下來還是比較強大和好用。

1.為什么要使用數據抽取

（1）為了不妨礙業務數據的讀取和寫入，需要進行數據的抽取，抽取到另外數據庫表進行讀取
（2）對某些總計數據可以進行預先計算，抽取到另外數據庫表
（3）隨訪業務數據庫為mongodb , 統計程序編程效率低，需要轉成sql 類數據庫提高效率

2.工具

使用 kettle 開源etl工具
網址：http://community.pentaho.com/projects/data-integration/

3.使用方法

總體來講，就是這么個步驟：
選擇數據輸入——中間數據處理——最后數據輸出

比如從mongodb 同步到 sqlserver過程如下：

（1）選擇核心對象中的bigdata MongoDB Input (數據輸入)

(2)進行數據處理（這里篩選了需要抽取的字段）

（3）選擇插入更新輸出

4.總結

數據輸入的形式很多，各種形式的數據都可以做為一手數據源， kettle 數據轉換的功能也很強大，還可以進行 java ,javascript 等腳本的編寫來進行高級的數據處理，最后得到需要的數據。
相比其他開源的etl工具和其他商業的etl工具，對比下來 kettle還是比較強大和好用。

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/18847.html

kettle下轉移mongo中數據到mysql中

摘要：是一款國外開源的工具，純編寫，可以在上運行，數據抽取高效穩定。 Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，數據抽取高效穩定。作為一個數據抽取工具，在建立數據倉庫的過程中，免不了需要從不同的數據源中抽取到集中的數據倉庫中，下面就拿mongodb抽取到mysql為例，簡述抽取數據的步驟：新建轉換:test 在test中新建M...

Riddler 2019-08-14 17:52 評論0 收藏0
kettle下轉移mongo中數據到mysql中

摘要：是一款國外開源的工具，純編寫，可以在上運行，數據抽取高效穩定。 Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，數據抽取高效穩定。作為一個數據抽取工具，在建立數據倉庫的過程中，免不了需要從不同的數據源中抽取到集中的數據倉庫中，下面就拿mongodb抽取到mysql為例，簡述抽取數據的步驟：新建轉換:test 在test中新建M...

beanlam 2019-06-26 17:13 評論0 收藏0
數據倉庫的直白概述

摘要：如銷售數據跟部門表，客戶表之間的關系。而查詢，又是這三者之間的粘合劑，它表達了用戶的需求，經過引擎的解析，根據數據模型的描述，從數據倉庫找到所需要的數據。本文來自網易云社區作者：王攀我們知道，大部分公司都擁有了自己的財務，OA，CRM 等系統。這些系統都有自己的獨立數據庫，記錄著企業運行情況某個方面的數據。但是單獨看這些系統的報表，并不一定能對企業運行情況有全面客觀的了解。就像只...

sorra 2019-06-28 10:59 評論0 收藏0