国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

ETL工具Kettle自定義時(shí)間變量入庫(kù)

IT那活兒 / 1130人閱讀
ETL工具Kettle自定義時(shí)間變量入庫(kù)

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！



kettle自定義時(shí)間變量入庫(kù)
Kettle自定義時(shí)間變量入庫(kù)，是指將EXCEL文件或者文本文件中的數(shù)據(jù)插入到數(shù)據(jù)庫(kù)的同時(shí)自定義一個(gè)時(shí)間變量也插入到數(shù)據(jù)庫(kù)中。
由于存在插入數(shù)據(jù)庫(kù)的EXCEL數(shù)據(jù)或者文本文件中的數(shù)據(jù)沒有時(shí)間字段，或者時(shí)間日期不固定，如果跑批調(diào)度作業(yè)報(bào)錯(cuò)時(shí)，則不便于刪除已入庫(kù)的數(shù)據(jù)，所以自定義一個(gè)時(shí)間變量也入庫(kù)，可以更直觀的看出該部分?jǐn)?shù)據(jù)的入庫(kù)時(shí)間，也便于進(jìn)行查詢、刪除等操作。

圖1：Kettle發(fā)送郵件流程圖



kettle發(fā)送郵件步驟詳解
1. Start
開始執(zhí)行作業(yè)。
2. 測(cè)試-EXCEL數(shù)據(jù)入庫(kù)-轉(zhuǎn)換
將EXCEL中的數(shù)據(jù)轉(zhuǎn)換入庫(kù)。
圖2：昨日日期變量
2.1 Excel輸入
輸入流選擇Excel輸入。
  • 表格類型（引擎）：根據(jù)Excel類型，選擇XLS或者XLSX。
  • 選中的文件：Excel文件所在的路徑。
在工作表標(biāo)簽頁(yè)中，選擇需要輸入的Excel數(shù)據(jù)所在的Sheet頁(yè)的名稱。
  • 頭部：如果該Excel數(shù)據(jù)存在表頭，則選中，表示表頭數(shù)據(jù)不入庫(kù)。
  • 編碼：選擇UTF-8。
2.2 字段標(biāo)簽中
點(diǎn)擊下方的“獲取來自頭部數(shù)據(jù)的字段”，則會(huì)自動(dòng)獲取到表頭。
  • 獲取系統(tǒng)信息：可以獲取當(dāng)前系統(tǒng)時(shí)間、昨日時(shí)間、明天時(shí)間、本月/上月/下個(gè)月月初/末等時(shí)間。
可以點(diǎn)擊類型，選擇不同時(shí)間，如下圖所示（這里選擇的為昨日時(shí)間）：
2.3 字段選擇
點(diǎn)擊“獲取改變的字段”，可以獲取到前面步驟中的字段，包括Excel輸入中的表頭字段和設(shè)置的系統(tǒng)時(shí)間字段，并可以對(duì)時(shí)間字段設(shè)置格式。
例如：
yyyyMMdd、MM-dd-yyyy HH:mm:ss。
2.4 表輸出
用于將Excel數(shù)據(jù)、文本文件數(shù)據(jù)、數(shù)據(jù)庫(kù)中的數(shù)據(jù)輸出到其他數(shù)據(jù)庫(kù)的目標(biāo)表中。
  • 數(shù)據(jù)庫(kù)連接：獲取提前配置好的數(shù)據(jù)庫(kù)，并選擇所使用的數(shù)據(jù)表來源庫(kù)。
  • 目標(biāo)表：選擇需要將數(shù)據(jù)插入的目標(biāo)表。 
  • 指定數(shù)據(jù)庫(kù)字段： 選中。
選擇“數(shù)據(jù)庫(kù)字段”標(biāo)簽頁(yè)，點(diǎn)擊“輸入字段映射”選擇輸入流和表字段的一一對(duì)應(yīng)關(guān)系，如上圖所示。
3. 成功
查看執(zhí)行結(jié)果日志，每一步均為result=[true]，則作業(yè)執(zhí)行成功，任務(wù)結(jié)束，否則執(zhí)行失敗。
4. 查看入庫(kù)數(shù)據(jù)
logdate=’2022-04-19’ 為昨日日期。



END



本文作者：楊華倩（上海新炬王翦團(tuán)隊(duì)）

本文來源：“IT那活兒”公眾號(hào)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/129445.html

相關(guān)文章

  • kettle 開源etl數(shù)據(jù)抽取工具

    摘要：相比其他開源的工具和其他商業(yè)的工具，對(duì)比下來還是比較強(qiáng)大和好用。 1.為什么要使用數(shù)據(jù)抽取 （1）為了不妨礙業(yè)務(wù)數(shù)據(jù)的讀取和寫入，需要進(jìn)行數(shù)據(jù)的抽取，抽取到另外數(shù)據(jù)庫(kù)表進(jìn)行讀取（2）對(duì)某些總計(jì)數(shù)據(jù)可以進(jìn)行預(yù)先計(jì)算， 抽取到另外數(shù)據(jù)庫(kù)表（3）隨訪業(yè)務(wù)數(shù)據(jù)庫(kù)為mongodb , 統(tǒng)計(jì)程序編程效率低，需要轉(zhuǎn)成sql 類數(shù)據(jù)庫(kù)提高效率 2.工具 使用 kettle 開源etl工具網(wǎng)址：http...

    nevermind 評(píng)論0 收藏0

  • kettle下轉(zhuǎn)移mongo中數(shù)據(jù)到mysql中

    摘要：是一款國(guó)外開源的工具，純編寫，可以在上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。 Kettle是一款國(guó)外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。作為一個(gè)數(shù)據(jù)抽取工具，在建立數(shù)據(jù)倉(cāng)庫(kù)的過程中，免不了需要從不同的數(shù)據(jù)源中抽取到集中的數(shù)據(jù)倉(cāng)庫(kù)中，下面就拿mongodb抽取到mysql為例，簡(jiǎn)述抽取數(shù)據(jù)的步驟： 新建轉(zhuǎn)換:test 在test中新建M...

    Riddler 評(píng)論0 收藏0

  • kettle下轉(zhuǎn)移mongo中數(shù)據(jù)到mysql中

    摘要：是一款國(guó)外開源的工具，純編寫，可以在上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。 Kettle是一款國(guó)外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。作為一個(gè)數(shù)據(jù)抽取工具，在建立數(shù)據(jù)倉(cāng)庫(kù)的過程中，免不了需要從不同的數(shù)據(jù)源中抽取到集中的數(shù)據(jù)倉(cāng)庫(kù)中，下面就拿mongodb抽取到mysql為例，簡(jiǎn)述抽取數(shù)據(jù)的步驟： 新建轉(zhuǎn)換:test 在test中新建M...

    beanlam 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<