首頁 > 易卦

在資料治理專案中如何做元資料管理?

作者:由 億信華辰軟體 發表于 易卦日期:2022-02-22

資料庫中什麼是欄位名稱

資料是企業的重要資訊資產,面對浩如煙海的資料,企業管理者以什麼為抓手來管理資料呢?答案是“元資料”。元資料管理作為資料治理的基石,有具體的專案中該如何做呢?

元資料相關概念介紹

元資料是什麼?簡單的來說:它是資料的資料。

有一個關於元資料的例子,元資料就像“戶口本”,戶口本中除了有姓名、出生日期、住址、民族等資訊外,還有家庭的血緣關係,父子關係、兄弟關係等。這些資訊就構成了對這個人的詳細描述,那這些資訊就是描述這個人的元資料。

元資料從資料的角度可以分為三類:業務元資料、技術元資料和管理元資料。

業務元資料是從業務的視角去描述資料,讓不懂資料的人可以快速讀懂資料,例如:表名稱、表的血緣關係、表的欄位說明、指標的統計口徑等多種業務描述;

技術元資料自然就是從技術的角度去描述資料,例如:表的sql、欄位長度、欄位型別等多種技術描述;

管理元資料是包含資料管理的資訊在裡面,例如:表的業務屬主、表的技術負責人。

元資料管理又是什麼?它是對元資料的建立、儲存、整合、控制的一整套流程,能夠支援基於元資料的相關需求和應用。

那元資料管理的好處是什麼?它能夠讓開發和業務人員快速的瞭解資料的上下游關係及本身的含義,精準定位需要查詢的資料,減少資料研究的時間成本,提高效率。

在資料治理專案中如何做元資料管理?

如何進行元資料管理

通常一個數據治理專案的範圍會包含:組織建設、資料安全、資料開發、資料質量、元資料管理、資料價值等幾個模組。當然基於每家公司的資料治理的目標不一樣,每家公司的資料治理實施關鍵路徑也會不一樣。元資料管理作為資料治理工作是重中之重,在資料治理專案中該如何做呢?

1、元資料範圍

首先確定元資料來源範圍,在實際的工作中,不是所有資料都是要做元資料管理,通常我們會選擇業務資料做元資料管理,非業務資料(例如:備份資料、系統日誌等)是不會納入管理範圍內,主要還是因為元資料管理是提供業務和開發人員快速掌握業務資料。

確定規則後,就要結合公司的實際情況去梳理出哪些業務系統、哪些資料庫、哪些資料庫使用者、哪些表需要做元資料管理。當然也可以支援非結構化資料的元資料抽取,例如:word、pdf等。

2、元資料接入

元資料從哪接入,一般都是從源系統接入,假如公司已經存在數倉或者實時性要求不高,為了節約開發工作量,對於已有的元資料會從數倉接入,還未接入的會從源系統進行接入。

但這種方案也是存在風險,假如數倉的資料和源系統出現不一致,就會導致元資料出錯。現在大部分的元資料抽取都是採用配置自動化的方式進行。

3、元資料標準

在梳理的過程中可能會出現有些資料庫或者有些資料定義不規範的情況,導致元資料管理無法進行下去。那接下來需要建立元資料的管理規範,去反推前端的源資料進行整改,主要是保證元資料的完整性和一致性。

針對不同的型別的公司要求,元資料會開放給不同的人群,所以要對元資料進行許可權管理,規範裡面就需定義許可權的管理流程:元資料的許可權分層、元資料許可權申請流程、元資料的釋出流程、元資料的稽核流程等。

4、元資料維護

元資料維護主要是對已經發布的元資料進行維護管理,已經發布上線的元資料,如需調整、最佳化則必須重新走元資料釋出流程,不准許對元資料進行直接修改。為了安全,元資料所有操作行為都要記錄到元資料操作日誌裡面。

可以對元資料建立目錄將不同的元資料掛在對應的目錄下,按照業務流程、業務主題域、開發流程設計對應的目錄,主要還是根據公司要求設計。

5、元資料查詢、分析、報告

有單獨的頁面支援元資料的模糊或精準快速查詢,透過輸入關鍵資訊查詢對應的元資料。有些公司將元資料作為資料資產的一類,因此需要產出元資料資產報告,從報告中能夠快速的瞭解元資料訪問熱度、資料價值、資料成本、資料分佈等相關資訊。

搭建元資料管理平臺

工欲善其事,必先利其器。元資料管理可藉助管理工具使管理工作變的相對快速和簡單一些,如元資料的採集、元資料儲存、資料血統、資料地圖、元資料整合等都可以透過元資料工具來實現。

在資料治理專案中如何做元資料管理?

圖:元資料管理平臺架構

元資料系統整體分為接入層、儲存層、功能層和應用層。

接入層:適配不同元資料生產方,轉換成標準定義,輸出全種類實體、關係變更訊息。

儲存層:基於元模型的實體、關係的儲存與查詢,支援統計與分析能力。

功能層:提供元模型管理、元資料分析應用、元資料管理、元資料檢核等功能。

應用層:基於定板元資料提供單點、複雜查詢服務,基於分析引擎提供面向不同角色的元資料分析服務。

作為企業資料治理的基礎,元資料管理平臺從功能上主要包括:元資料採集服務,元資料訪問服務、元資料管理服務和元資料分析服務。

1、元資料採集服務:能夠適應異構環境,支援從傳統關係型資料庫和大資料平臺中採集從資料產生系統到資料加工處理系統到資料應用報表系統的全量元資料,包括過程中的資料實體(系統、庫、表、欄位的描述)以及資料實體加工處理過程中的邏輯。

在資料治理專案中如何做元資料管理?

億信華辰睿治資料治理平臺的元資料管理模組內建多種採集介面卡,支援多種儲存格式的元資料自動獲取,如:資料庫、報表工具、ETL工具、檔案系統等,對於無法完成自動獲取的元資料,提供了可自定義的元資料採集模版完成元資料的批次匯入。

2、元資料訪問服務:元資料訪問服務是元資料管理軟體提供的元資料訪問的介面服務,一般支援REST或Webservice等介面協議。透過元資料訪問服務支援企業元資料的共享,是企業資料治理的基礎。

3、元資料管理服務:實現元資料的模型定義並存儲,在功能層包裝成各類元資料功能,最終對外提供應用及展現;提供元資料分類和建模、血緣關係和影響分析,方便資料的跟蹤和回溯。

在資料治理專案中如何做元資料管理?

億信華辰睿治資料治理平臺的元資料管理模組提供各類元資料管理,包括:業務元資料、技術元資料和管理元資料,支援元資料的基本資訊、屬性、依賴關係、組合關係的增刪改查操作。最新元資料和定版元資料隔離,在最新元資料中的改動不影響定版元資料的正常使用,同時每次釋出都有版本留痕,支援各版本的對比分析。

4、元資料分析服務:元資料的應用一般包括資料地圖,資料的血緣、影響分析,全鏈分析等;

在資料治理專案中如何做元資料管理?

億信華辰睿治資料治理平臺的元資料管理模組提供了豐富的元資料分析功能,包括血緣分析、影響分析、全鏈分析、關聯度分析、屬性值差異分析等,分析出元資料的來龍去脈,快速識別元資料的價值,掌握元資料變更可能造成的影響,以便更有效的評估變化帶來的風險,從而幫助使用者高效準確的對資料資產進行清理、維護與使用。

總體而言,利用億信華辰睿治資料治理工具構建元資料管理平臺,實現集中化管理、自動化管理、版本管理,可為後續資料治理工作打下基礎,基於統一的企業級元資料管理,為資料標準、資料質量、資料認責、資料全生命週期的資料管控提供支援。企業資訊化管理者以元資料為抓手進行資料治理,有助於更加有效的發掘和利用資訊資產的價值,實現精準高效的分析和決策。