国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

數(shù)據(jù)中臺(tái)基礎(chǔ)能力建設(shè)

IT那活兒 / 3044人閱讀
數(shù)據(jù)中臺(tái)基礎(chǔ)能力建設(shè)



背景介紹



隨著企業(yè)業(yè)務(wù)信息系統(tǒng)的快速發(fā)展，新舊業(yè)務(wù)系統(tǒng)替換、各業(yè)務(wù)系統(tǒng)間交互、數(shù)據(jù)體量迅速增長(zhǎng)，需進(jìn)一步強(qiáng)化新舊各系統(tǒng)之間的互聯(lián)互通性，破除“數(shù)據(jù)壁壘”和“信息孤島”，并契合信息化數(shù)字轉(zhuǎn)型目標(biāo)，開展數(shù)據(jù)中臺(tái)基礎(chǔ)能力建設(shè)相關(guān)工作，為推進(jìn)信息化建設(shè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型打下堅(jiān)實(shí)的基礎(chǔ)。



設(shè)計(jì)目標(biāo)



數(shù)據(jù)中臺(tái)建設(shè)目標(biāo)如下：
  1. 實(shí)現(xiàn)不同系統(tǒng)數(shù)據(jù)的互通，消除數(shù)據(jù)孤島。
  2. 數(shù)據(jù)倉庫的建設(shè)，根據(jù)業(yè)務(wù)活動(dòng)，分層進(jìn)行數(shù)據(jù)的建模。
  3. 數(shù)據(jù)的共享，實(shí)現(xiàn)為不同部門提供不同數(shù)據(jù)的共享能力。
  4. 數(shù)據(jù)質(zhì)量管理，實(shí)現(xiàn)數(shù)據(jù)全生命周期的質(zhì)量管理工作。
  5. 元數(shù)據(jù)管理，實(shí)現(xiàn)數(shù)據(jù)之間血緣關(guān)系的管理。
  6. 數(shù)據(jù)安全管理，實(shí)現(xiàn)不同用戶不同的應(yīng)用權(quán)限，對(duì)于敏感數(shù)據(jù)進(jìn)行脫敏處理，防止數(shù)據(jù)的泄露和個(gè)人信息的被惡意利用。



技術(shù)架構(gòu)





數(shù)據(jù)倉庫建設(shè)



1. 總線架構(gòu)繪制

總線架構(gòu)是多維體系結(jié)構(gòu)（MD）中的關(guān)鍵性概念之一，另兩個(gè)是一致性維度和一致性事實(shí)，多維體系架構(gòu)中，主導(dǎo)思想是分布建立數(shù)據(jù)倉庫，由數(shù)據(jù)集市組合成數(shù)據(jù)倉庫，但是在建立第一個(gè)數(shù)據(jù)集市前，架構(gòu)師首先要做的就是設(shè)計(jì)出整個(gè)企業(yè)內(nèi)具有統(tǒng)一解釋的標(biāo)準(zhǔn)化維度和事實(shí)，即一致性維度和事實(shí)，其中一致性維度要么是統(tǒng)一的要么是維度表的一個(gè)子集，一致性事實(shí)指每個(gè)度量在數(shù)據(jù)倉庫中都是唯一的統(tǒng)計(jì)口徑，為避免歧義，一個(gè)度量只有唯一的業(yè)務(wù)術(shù)語。應(yīng)該按照這個(gè)體系進(jìn)行數(shù)據(jù)集市的迭代開發(fā)。
在總線矩陣中，列為一致性維度，行為不同的業(yè)務(wù)處理過程，即事實(shí)，在交叉點(diǎn)打上標(biāo)記表示該業(yè)務(wù)處理過程與該維度相關(guān)，例如：

2. 高層模型建設(shè)

高層模型圖形化的展示了業(yè)務(wù)過程的維度表和事實(shí)表，總線矩陣的一行可能會(huì)用多個(gè)高層模型表示，每個(gè)高層模型表示特定粒度的事實(shí)表。

3. 維度建模

有了高層模型就要設(shè)計(jì)維度和度量，維度和度量清單不僅僅是業(yè)務(wù)用戶所關(guān)心，還要從業(yè)務(wù)過程出發(fā)，自上而下的設(shè)計(jì)所涉及的維度和度量，防止業(yè)務(wù)用戶需求變化帶來的沖擊。
維度建模步驟：
  • 選擇業(yè)務(wù)過程
業(yè)務(wù)過程是通常表示的是業(yè)務(wù)執(zhí)行的活動(dòng)，與之相關(guān)的維度描述和每個(gè)業(yè)務(wù)過程事件關(guān)聯(lián)的描述性環(huán)境。
通常由某個(gè)操作型系統(tǒng)支持，例如：訂單系統(tǒng)。
業(yè)務(wù)過程建立或獲取關(guān)鍵性能度量。
一系列過程產(chǎn)生一系列事實(shí)表。
  • 聲明粒度
粒度傳遞的是與事實(shí)表度量有關(guān)的細(xì)節(jié)級(jí)別。
精確定義某個(gè)事實(shí)表的每一行表示什么。
對(duì)事實(shí)表的粒度要達(dá)成共識(shí)。

  • 確認(rèn)維度

健壯的維度集合來粉飾事實(shí)表。
維度表示承擔(dān)每個(gè)度量環(huán)境中所有可能的單值描述符。

  • 確認(rèn)事實(shí)

不同粒度的事實(shí)必須放在不同的事實(shí)表中。
事實(shí)表的設(shè)計(jì)完全依賴物理活動(dòng)，不受最終報(bào)表的影響。
事實(shí)表通過外健關(guān)聯(lián)與之相關(guān)的維度。
查詢操作主要是基于事實(shí)表開展計(jì)算和聚合。
其中粒度是非常重要的，粒度用于確定事實(shí)表的行表示什么，建議從關(guān)注原子級(jí)別的粒度數(shù)據(jù)開始設(shè)計(jì)，因?yàn)樵恿６饶軌虺惺軣o法預(yù)估的用戶查詢，而且原子數(shù)據(jù)可以以各種可能的方式進(jìn)行上卷，而一旦選擇了高粒度，則無法滿足用戶下鉆細(xì)節(jié)的需求。
事實(shí)是整個(gè)維度建模的核心，其中雪花模型或者星型模型都是基于一張事實(shí)表通過外健關(guān)聯(lián)維表進(jìn)行擴(kuò)展，生成一份能夠支撐可預(yù)知查詢需求的模型寬表，而且最后的查詢也是落在事實(shí)表中進(jìn)行。例如：

4. ETL設(shè)計(jì)開發(fā)

數(shù)據(jù)抽取：從數(shù)據(jù)源獲取所需數(shù)據(jù)的過程。數(shù)據(jù)抽取過程會(huì)過濾掉目標(biāo)數(shù)據(jù)集中不需要的源數(shù)據(jù)字段或數(shù)據(jù)記錄。
數(shù)據(jù)轉(zhuǎn)換：按照目標(biāo)表的數(shù)據(jù)結(jié)構(gòu)，對(duì)一個(gè)或多個(gè)源數(shù)據(jù)的字段進(jìn)行翻譯、匹配、聚合等操作得到目標(biāo)數(shù)據(jù)的字段。
數(shù)據(jù)轉(zhuǎn)換主要包括：格式轉(zhuǎn)換、字段合并與拆分、數(shù)據(jù)翻譯、數(shù)據(jù)匹配、數(shù)據(jù)聚合其他復(fù)雜計(jì)算。
數(shù)據(jù)裝載：將數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫中。
 ETL應(yīng)用：完整的ETL應(yīng)用過程包含三個(gè)階段：

  • 設(shè)計(jì)階段：分析源和目標(biāo)數(shù)據(jù)集的數(shù)據(jù)結(jié)構(gòu)，定義合理的數(shù)據(jù)轉(zhuǎn)換邏輯。

  • 實(shí)施階段：按照設(shè)計(jì)階段制定的邏輯規(guī)則進(jìn)行編碼，實(shí)現(xiàn)數(shù)據(jù)的E、T、L過程。

  • 維護(hù)階段：對(duì)于非一次性數(shù)據(jù)整合項(xiàng)目，ETL過程需要重復(fù)執(zhí)行，同時(shí)也需要不間斷的維護(hù)和完善。

規(guī)范制定目的：ETL規(guī)范是為保證ETL正確設(shè)計(jì)、實(shí)施和維護(hù)所定義的一些規(guī)則和方法，具體包括ETL設(shè)計(jì)規(guī)范、開發(fā)規(guī)范以及維護(hù)規(guī)范。
設(shè)計(jì)規(guī)范：設(shè)計(jì)規(guī)范主要應(yīng)用于ETL編碼的前期工作。本階段要形成多個(gè)關(guān)于數(shù)據(jù)流的在不同層次的映射(Mapping)文檔。
Mapping應(yīng)該包含以下幾個(gè)部分：

  • 數(shù)據(jù)源的相關(guān)屬性，包括：實(shí)體名稱—含DSN、所有者等信息；字段名—英文名稱；字段簡(jiǎn)述—中文名稱，如為參數(shù)信息應(yīng)該有相關(guān)取值解釋，如性別字段（1：男；2：女；0：不詳）；類型—字段類型，含長(zhǎng)度和精度信息；非空屬性—字段是否可以為空；

  • 目標(biāo)數(shù)據(jù)集的相關(guān)屬性，包括：實(shí)體名稱—含DSN、所有者等信息；字段名—英文名稱，建議根據(jù)字段含義來命名，而不是簡(jiǎn)單用拼音來定義字段（此部分由負(fù)責(zé)設(shè)計(jì)數(shù)據(jù)集的人員控制）；字段簡(jiǎn)述—中文名稱，對(duì)于保留字段應(yīng)該給出默認(rèn)值；類型—字段類型，含長(zhǎng)度和精度信息；非空屬性—字段是否可以為空；

  • 規(guī)則，主要描述ETL各個(gè)環(huán)節(jié)的轉(zhuǎn)換規(guī)則，包括：數(shù)據(jù)源過濾規(guī)則—描述從源數(shù)據(jù)集獲取數(shù)據(jù)過程中過濾掉記錄的規(guī)則；關(guān)聯(lián)規(guī)則—當(dāng)源數(shù)據(jù)集為多個(gè)時(shí)，描述相互之間的關(guān)聯(lián)關(guān)系；列轉(zhuǎn)換規(guī)則—描述源數(shù)據(jù)集到目標(biāo)數(shù)據(jù)集的字段間的轉(zhuǎn)換規(guī)則(業(yè)務(wù)邏輯相關(guān))；目標(biāo)數(shù)據(jù)集更新規(guī)則—描述目標(biāo)數(shù)據(jù)集的更新策略，包括更新機(jī)制和更新頻度，如每日全量更新、每周增量更新；

ETL作業(yè)列表：ETL所開發(fā)的作業(yè)之間包含一定的業(yè)務(wù)邏輯和編碼邏輯，所以調(diào)度過程中應(yīng)遵循一定的邏輯順序，包括：

  • 作業(yè)名稱——實(shí)現(xiàn)Mapping的作業(yè)名稱，包括該作業(yè)功能描述；

  • 調(diào)度順序——用序號(hào)或者是流程圖模式描述作業(yè)的調(diào)度順序，需要綜合考慮業(yè)務(wù)邏輯、編碼邏輯以及系統(tǒng)資源等多方面情況，在保證業(yè)務(wù)邏輯和編碼邏輯的基礎(chǔ)上，通過控制調(diào)度，最大限度地合理利用系統(tǒng)資源；

  • 參數(shù)列表——列舉每個(gè)作業(yè)中所使用的參數(shù)，不同作業(yè)中的相同參數(shù)最好使用相同的名稱，便于調(diào)度時(shí)進(jìn)行控制；

版本管理：
ETL設(shè)計(jì)會(huì)隨著對(duì)業(yè)務(wù)、系統(tǒng)理解的深入以及結(jié)構(gòu)框架的變化而發(fā)生變化，所以Mapping設(shè)計(jì)也應(yīng)該同步更新。在開發(fā)過程中，要嚴(yán)格遵守一個(gè)規(guī)則：當(dāng)規(guī)則發(fā)生變更時(shí)，要先變更Mappig，然后才變更相應(yīng)的作業(yè)設(shè)計(jì)。在Mapping變更管理方面，應(yīng)該有詳細(xì)的版本變更記錄，以便追蹤到ETL開發(fā)的變動(dòng)情況。變更記錄包括如下內(nèi)容：
版本—每次變更應(yīng)給出一個(gè)新的版本號(hào)；作者—變更人；更新時(shí)間—變更時(shí)間；更新內(nèi)容—簡(jiǎn)要說明變更內(nèi)容；備注—可用于記錄變更的原因等相關(guān)信息。



數(shù)據(jù)管理



1. 元數(shù)據(jù)管理

元數(shù)據(jù)（Meta Data），主要記錄數(shù)據(jù)倉庫中模型的定義、各層級(jí)間的映射關(guān)系、監(jiān)控?cái)?shù)據(jù)倉庫的數(shù)據(jù)狀態(tài)及 ETL 的任務(wù)運(yùn)行狀態(tài)。一般會(huì)通過元數(shù)據(jù)資料庫（Metadata Repository）來統(tǒng)一地存儲(chǔ)和管理元數(shù)據(jù)，其主要目的是使數(shù)據(jù)倉庫的設(shè)計(jì)、部署、操作和管理能達(dá)成協(xié)同和一致。元數(shù)據(jù)是數(shù)據(jù)倉庫管理系統(tǒng)的重要組成部分，元數(shù)據(jù)管理是企業(yè)級(jí)數(shù)據(jù)倉庫中的關(guān)鍵組件，貫穿了數(shù)據(jù)倉庫的整個(gè)生命周期，使用元數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)倉庫的開發(fā)，使數(shù)據(jù)倉庫自動(dòng)化，可視化。
構(gòu)建數(shù)據(jù)倉庫的主要步驟之一是 ETL。這時(shí)元數(shù)據(jù)將發(fā)揮重要的作用，它定義了源數(shù)據(jù)系統(tǒng)到數(shù)據(jù)倉庫的映射、數(shù)據(jù)轉(zhuǎn)換的規(guī)則、數(shù)據(jù)倉庫的邏輯結(jié)構(gòu)、數(shù)據(jù)更新的規(guī)則、數(shù)據(jù)導(dǎo)入歷史記錄以及裝載周期等相關(guān)內(nèi)容。數(shù)據(jù)抽取和轉(zhuǎn)換的專家以及數(shù)據(jù)倉庫管理員正是通過元數(shù)據(jù)高效地構(gòu)建數(shù)據(jù)倉庫。
使用數(shù)據(jù)平臺(tái)可以方便的對(duì)數(shù)據(jù)元數(shù)據(jù)進(jìn)行方便的管理，其中作業(yè)管理模塊可以方便的將元數(shù)據(jù)更新作為作業(yè)進(jìn)行執(zhí)行，任務(wù)調(diào)度模塊可以將作業(yè)進(jìn)行調(diào)度管理，可以定時(shí)執(zhí)行作業(yè)，定時(shí)更新元數(shù)據(jù)。可以圖形化的展示數(shù)據(jù)表字段、元數(shù)據(jù)屬性、血緣關(guān)系、影響分析等。

2. 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量一直是數(shù)據(jù)倉庫領(lǐng)域一個(gè)比較令人頭疼的問題，因?yàn)閿?shù)據(jù)倉庫上層對(duì)接很多業(yè)務(wù)系統(tǒng)，業(yè)務(wù)系統(tǒng)的臟數(shù)據(jù)，業(yè)務(wù)系統(tǒng)變更，都會(huì)直接影響數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量。因此數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量建設(shè)是一些公司的重點(diǎn)工作。
數(shù)據(jù)質(zhì)量的高低代表了該數(shù)據(jù)滿足數(shù)據(jù)消費(fèi)者期望的程度，這種程度基于他們對(duì)數(shù)據(jù)的使用預(yù)期。數(shù)據(jù)質(zhì)量必須是可測(cè)量的，把測(cè)量的結(jié)果轉(zhuǎn)化為可以理解的和可重復(fù)的數(shù)字，使我們能夠在不同對(duì)象之間和跨越不同時(shí)間進(jìn)行比較。數(shù)據(jù)質(zhì)量管理是通過計(jì)劃、實(shí)施和控制活動(dòng)，運(yùn)用質(zhì)量管理技術(shù)度量、評(píng)估、改進(jìn)和保證數(shù)據(jù)的恰當(dāng)使用。
評(píng)判數(shù)據(jù)質(zhì)量維度有：
  • 準(zhǔn)確性：數(shù)據(jù)不正確或描述對(duì)象過期
  • 合規(guī)性：數(shù)據(jù)是否以非標(biāo)準(zhǔn)格式存儲(chǔ)
  • 完備性：數(shù)據(jù)不存在
  • 及時(shí)性：關(guān)鍵數(shù)據(jù)是否能夠及時(shí)傳遞到目標(biāo)位置
  • 一致性：數(shù)據(jù)沖突
  • 重復(fù)性：記錄了重復(fù)數(shù)據(jù)

3. 數(shù)據(jù)安全管理

數(shù)據(jù)分級(jí)標(biāo)準(zhǔn)：
通過對(duì)數(shù)據(jù)表設(shè)置合理的等級(jí)，加強(qiáng)對(duì)數(shù)據(jù)倉庫平臺(tái)下的數(shù)據(jù)表的安全管理，表的安全等級(jí)需要根據(jù)表中安全等級(jí)最高的字段進(jìn)行等級(jí)設(shè)定。可以將數(shù)據(jù)表安全等級(jí)劃分為以下四個(gè)等級(jí)：
  • S4:非業(yè)務(wù)核心表，刪除對(duì)于其他計(jì)算任務(wù)無影響。
  • S3:非業(yè)務(wù)核心表，但是刪除對(duì)于其他計(jì)算任務(wù)有一定的影響。
  • S2:業(yè)務(wù)核心表，僅限本部門使用，刪除對(duì)于其他部門使用無影響。
  • S1:業(yè)務(wù)核心表，刪除對(duì)于其他部分使用有影響。
數(shù)據(jù)安全流程：
  • 數(shù)據(jù)產(chǎn)生過程中對(duì)比較敏感的字段打上專門的標(biāo)簽。
  • 數(shù)據(jù)的存儲(chǔ)對(duì)于比較私密的人員信息，像身份證、手機(jī)號(hào)之類的數(shù)據(jù)要進(jìn)行加密存儲(chǔ)。
  • 數(shù)據(jù)使用過程中對(duì)于不同的人員要賦予不同的數(shù)據(jù)獲取權(quán)限，且如果要獲取權(quán)限外的數(shù)據(jù)需要進(jìn)行申請(qǐng)，審核通過后方可進(jìn)行使用。
  • 數(shù)據(jù)傳輸過程中要通過專門的API接口進(jìn)行，且需要進(jìn)行加密處理。
  • 數(shù)據(jù)的銷毀，對(duì)于敏感的數(shù)據(jù)銷毀，不能夠只做邏輯刪除，還要進(jìn)行物理上的刪除。
權(quán)限申請(qǐng)，權(quán)限審批需要遵循如下原則：
  • 權(quán)限只根據(jù)需求進(jìn)行授權(quán)，不能授予超過需求的使用字段及等級(jí)。
  • 不允許直接查詢底層表，只能查詢中間表以上的表。
  • 不允許查詢?nèi)繑?shù)據(jù)，只能根據(jù)條件進(jìn)行過濾。
  • S2級(jí)以上的數(shù)據(jù)，不允許下載。
  • 單次只能申請(qǐng)一張表，不能批量進(jìn)行申請(qǐng)。

END


更多精彩干貨分享

點(diǎn)擊下方名片關(guān)注

IT那活兒

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/129812.html

相關(guān)文章

  • 微服務(wù)應(yīng)用新趨勢(shì)：Service Mesh、AIOps和中臺(tái)化

    摘要：目前，網(wǎng)易云輕舟微服務(wù)平臺(tái)已經(jīng)應(yīng)用于銀行證券視頻監(jiān)控物流工業(yè)等行業(yè)不少中大型企業(yè)，幫助其實(shí)施微服務(wù)化改造，建設(shè)符合行業(yè)特點(diǎn)的業(yè)務(wù)中臺(tái)，支撐企業(yè)數(shù)字化戰(zhàn)略的落地。 微服務(wù)技術(shù)由于天生支持快速迭代、彈性擴(kuò)展的特點(diǎn)，使企業(yè)能夠在不確定性下提升發(fā)展速度及抗風(fēng)險(xiǎn)能力，受到了越來越多的關(guān)注。當(dāng)前，云服務(wù)商紛紛試水微服務(wù)產(chǎn)品，最為典型的，當(dāng)屬推出輕舟微服務(wù)平臺(tái)、劍指整個(gè)微服務(wù)應(yīng)用生命周期的網(wǎng)易云。 ...

    tunny 評(píng)論0 收藏0

  • AI中臺(tái)：一種敏捷的智能業(yè)務(wù)支持方案|宜信技術(shù)學(xué)院沙龍分享實(shí)錄

    摘要：因此數(shù)據(jù)中臺(tái)必須具備智能化能力，能夠?yàn)闃I(yè)務(wù)提供一定的智能數(shù)據(jù)分析能力。宜信作為一家金融科技公司，更多面對(duì)的是金融領(lǐng)域的智能業(yè)務(wù)需求。 showImg(https://segmentfault.com/img/bVbqQM0?w=1155&h=492); 內(nèi)容來源：宜信技術(shù)學(xué)院第1期技術(shù)沙龍-線上直播|AI中臺(tái)：一種敏捷的智能業(yè)務(wù)支持方案 主講人介紹：井玉欣 宜信技術(shù)研發(fā)中心AI應(yīng)用團(tuán)隊(duì)...

    makeFoxPlay 評(píng)論0 收藏0

  • 專有云：激發(fā)政企大腦的潛能

    摘要：二阿里云專有云定位政府企業(yè)數(shù)字化轉(zhuǎn)型專家如果說公共云是把本地應(yīng)用帶到云上，那專有云則是連接過去和未來，將云帶到本地部署里。政府和大型企業(yè)的規(guī)模之大，對(duì)系統(tǒng)穩(wěn)定性可靠性要求之高，與阿里云公共云十分相似。一、數(shù)據(jù)的價(jià)值一粒藥丸，激發(fā)你的大腦潛能，存儲(chǔ)、計(jì)算、學(xué)習(xí)能力飆升，短時(shí)間內(nèi)可進(jìn)行海量信息的迅速挖掘與串聯(lián)，一天學(xué)會(huì)外語，三天學(xué)會(huì)鋼琴，投身金融界，迅速累積財(cái)富成為華爾街新秀……醒醒～這是只有電...

    liuhh 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<