ETL工具Kettle發(fā)送郵件

IT那活兒發(fā)布于2023-01-11 13:20 / 3710人閱讀

ETL工具Kettle發(fā)送郵件

點(diǎn)擊上方“IT那活兒”，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！

kettle介紹

ETL 是Extract-Transform-Load三個(gè)單詞的簡(jiǎn)稱，即抽取、轉(zhuǎn)換、加載。使用ETL工具可以完成從目標(biāo)數(shù)據(jù)源進(jìn)行數(shù)據(jù)抽取，經(jīng)過(guò)一系列的數(shù)據(jù)轉(zhuǎn)換，最終形成需要的數(shù)據(jù)模型并加載到數(shù)據(jù)庫(kù)中。

Kettle是開(kāi)源ETL工具，提供一系列的組件用于完成各種抽取、轉(zhuǎn)換、加載的工作。Kettle中兩個(gè)核心是轉(zhuǎn)換(transformation)與作業(yè)(job)。轉(zhuǎn)換即完成數(shù)據(jù)ETL工作，作業(yè)即定義一個(gè)完成整個(gè)工作流的控制。

kettle發(fā)送郵件

Kettle發(fā)送郵件，是指將數(shù)據(jù)庫(kù)里面的數(shù)據(jù)通過(guò)kettle組件進(jìn)行抽取出來(lái)，按照所需要的格式以及排版轉(zhuǎn)換成文件形式，例如EXCEL文件、文本文件、配置文件等，最終通過(guò)發(fā)送郵件附件的形式，發(fā)送給一個(gè)或多個(gè)收件人。

圖1: Kettle發(fā)送郵件流程圖

kettle發(fā)送郵件步驟詳解

1. Start：開(kāi)始執(zhí)行作業(yè)。

2. 設(shè)置昨日日期變量-轉(zhuǎn)換：獲取時(shí)間日期，按照需要的格式進(jìn)行加工并設(shè)置為變量，供其他組件使用。

圖2: 昨日日期變量

1）獲取系統(tǒng)信息：可以獲取當(dāng)前系統(tǒng)時(shí)間、昨日時(shí)間、明天時(shí)間、本月/上月/下個(gè)月月初/末等時(shí)間。

2）字段選擇：可以對(duì)獲取到的系統(tǒng)時(shí)間按照業(yè)務(wù)需求設(shè)置格式，例如：yyyyMMdd、MM-dd-yyyy HH:mm:ss。

3）設(shè)置變量：將獲取到的系統(tǒng)時(shí)間設(shè)置為變量，供后面的組件使用，例如：獲取昨天時(shí)間，設(shè)置的變量名為：ZTDATE，使用該變量時(shí)的格式為：${ ZTDATE }。

3. 計(jì)算表中的記錄數(shù)：該步驟主要是判斷需要發(fā)送的郵件數(shù)據(jù)是否有數(shù)據(jù)。

圖3: 計(jì)算表中的記錄數(shù)

1）數(shù)據(jù)庫(kù)連接：獲取提前配置好的數(shù)據(jù)庫(kù)，并選擇所使用的數(shù)據(jù)表來(lái)源庫(kù)。

2）編輯：編輯選中的數(shù)據(jù)庫(kù)連接信息。

3）新建：創(chuàng)建數(shù)據(jù)庫(kù)連接。

4）成功條件：滿足成功條件的行數(shù)：大于數(shù)值：0 用來(lái)判斷SQL腳本中執(zhí)行的SQL語(yǔ)句的行數(shù)。行數(shù)大于0繼續(xù)執(zhí)行下一步“數(shù)據(jù)轉(zhuǎn)換”；否則執(zhí)行“昨日無(wú)數(shù)據(jù)”，作業(yè)結(jié)束。

5）獲取SQL查詢語(yǔ)句：通過(guò)選擇數(shù)據(jù)庫(kù)中的數(shù)據(jù)表生成默認(rèn)的SQL語(yǔ)句。

6）輸入框：根據(jù)業(yè)務(wù)需求自定義SQL語(yǔ)句。

4. 數(shù)據(jù)轉(zhuǎn)換：從目標(biāo)數(shù)據(jù)源進(jìn)行數(shù)據(jù)抽取，經(jīng)過(guò)一系列的數(shù)據(jù)轉(zhuǎn)換，最終形成需要的數(shù)據(jù)模型。例如：將數(shù)據(jù)庫(kù)中的數(shù)據(jù)轉(zhuǎn)換成文件形式、將文件形式的數(shù)據(jù)轉(zhuǎn)換加載到數(shù)據(jù)庫(kù)、將數(shù)據(jù)庫(kù)中的數(shù)據(jù)轉(zhuǎn)換設(shè)置為變量來(lái)使用等。

圖4:數(shù)據(jù)轉(zhuǎn)換

1）表輸入：用來(lái)查詢數(shù)據(jù)庫(kù)數(shù)據(jù)的組件。選擇數(shù)據(jù)表來(lái)源數(shù)據(jù)庫(kù)，可以獲取SQL查詢語(yǔ)句或根據(jù)業(yè)務(wù)需求自定義SQL語(yǔ)句。其中，編輯完SQL語(yǔ)句->點(diǎn)擊“預(yù)覽”->選擇“預(yù)覽”行數(shù)->即可預(yù)覽查詢出來(lái)的數(shù)據(jù)。

圖5:表輸入

2）Microsoft Excel 輸出：將輸入流中的數(shù)據(jù)轉(zhuǎn)換為Excel文件輸出到指定路徑中。該步驟有“文件&工作表”、“內(nèi)容”兩個(gè)標(biāo)簽頁(yè)。標(biāo)簽頁(yè)配置信息如圖6、圖7所示。

圖6: 文件&工作表

圖7: 內(nèi)容

文件名：指定Excel文件生成的路徑。
擴(kuò)展名：為生成文件選擇一個(gè)擴(kuò)展名，可以選擇xls [Excel 97 and above]或xlsx [Excel 2007 and above]。
分割每...數(shù)據(jù)行：根據(jù)填入的數(shù)字分行生成文件。例如輸入1，則每一行數(shù)據(jù)生成一個(gè)文件。
如果文件已存在：如果文件已存在，下拉框選擇文件的輸出方式：覆蓋原文件、使用現(xiàn)有文件輸出。
結(jié)果中添加文件名：勾選此項(xiàng)，可把轉(zhuǎn)換的結(jié)果文件名存進(jìn)流中，使其可以在后續(xù)步驟中被獲取。如圖1所示，作業(yè)的發(fā)送郵件入口可獲取上一入口Microsoft Excel輸出中的文件作為附件發(fā)送郵件。
工作表名：設(shè)置Excel的工作表名稱。
設(shè)為活動(dòng)工作表：勾選此項(xiàng)，輸出工作表將是活動(dòng)工作表（即打開(kāi)文檔時(shí)看到的第一個(gè)工作表）。
如果輸出文件中已存在工作表：如果輸出文件中存在該工作表，則下拉框選擇該工作表的輸出方式：覆蓋原工作表、輸出至已存在的工作表中。
內(nèi)容標(biāo)簽中，如圖7所示，其中可以通過(guò)最下方的“獲取字段”獲取需要輸出的字段。