如何看待数据模型在数据管理(lǐ)中的位置

2019/10/29      2981 文(wén)章来源:DG数据治理(lǐ) 原作者:龚菲

如下图,在DMBOK2中,数据管理(lǐ)包含了11个职能(néng)领域,这11个领域分(fēn)别是数据治理(lǐ)、数据架构、数据建模与设计、数据存储与操作、数据安全、数据集成与互操作、文(wén)档与内容管理(lǐ)、参考数据与主数据管理(lǐ)、数据仓库与BI、元数据、数据质量。


图1  DAMA定义的11个数据管理(lǐ)职能(néng)领域

(DMBOK2, DAMA International)


各个领域的定义和作用(yòng)书中已经介绍得很(hěn)清楚,所以我在这里就不赘述了,下图是我从数据模型出发,总结出的数据模型与各领域产出物(wù)之间的关系图:




图2数据建模与数据管理(lǐ)各领域的输入输出关系

各领域之间的这些输入输出关系让数据管理(lǐ)各个领域之间形成了一张关系复杂的网。其中数据模型处于一个关键位置。我将数据模型与各领域的关系总结成了以下9



从一定程度上讲,我个人认為(wèi)数据模型是真正立足于企业数据需求创建出来的元数据集合。其中包括实體(tǐ)名、属性名等丰富的技术元数据,还包括业務(wù)规则等业務(wù)元数据,主外键等关系是元数据血缘分(fēn)析的主要来源之一。同时,数据模型也為(wèi)元数据管理(lǐ)提供了元数据标准和元数据质量评分(fēn)的指标参考。



数据模型為(wèi)数据质量管理(lǐ)提供关键元数据与业務(wù)规则输入,以便人们可(kě)以针对性地根据企业现状制定数据质量检核标准与数据质量检核规则。同时数据模型本身也需要符合数据质量管理(lǐ)标准,需要通过数据质量管理(lǐ)的检核。



為(wèi)了在数据集成时创建一个单一、一致的数据版本,在数据集成时充分(fēn)分(fēn)析现有(yǒu)数据模型就显得尤為(wèi)重要。保证数据模型中关键元素的一致是数据集成时需要首要考虑的问题。



数据模型精确标准的定义為(wèi)数据提供了一个规范的结构,这种比较精确化的结构和约束成為(wèi)数据存储和操作的一层基本结构保障,减少了数据存储和操作时发生数据异常的可(kě)能(néng)性。



数据模型是数据安全管控的对象之一,数据模型中往往需要根据具體(tǐ)的数据安全需求标注出敏感字段/表,企业也需要参考着数据模型来制定具體(tǐ)的数据安全技术实现需求与业務(wù)规则,判断出那些字段可(kě)以被哪些人查看,哪些字段需要脱敏等。



在初始数据建模阶段,有(yǒu)效的文(wén)档和内容管理(lǐ)可(kě)以為(wèi)数据建模提供以往数据建模过程的详细参考。在建模完成时,数据建模过程中的各种模型设计文(wén)档,可(kě)以通过文(wén)档和内容管理(lǐ)模块实现合理(lǐ)存储,形成企业数据模型记忆库,供未来其他(tā)部分(fēn)数据建模参考,或供数据模型维护阶段参考,实现数据模型的复用(yòng)。



数据模型能(néng)為(wèi)数据仓库建设提供全面的业務(wù)梳理(lǐ)和整體(tǐ)的数据视角,通过数据模型,业務(wù)人员、开发人员能(néng)够很(hěn)容易在数据仓库需求、范围以及長(cháng)遠(yuǎn)建设规划上达成共识,真正形成业務(wù)到数据仓库的映射。通过专门為(wèi)BI数据分(fēn)析而设计的维度模型,更好地分(fēn)析立足于数据分(fēn)析的数据需求。可(kě)以说没有(yǒu)数据模型,数据仓库与BI就无从谈起。



参考数据与主数据管理(lǐ)是通过管理(lǐ)共享数据,去满足组织目标、减少数据冗余风险、保证更高的数据质量、减少数据集成成本的过程。(DMBOK2,DAMA International)。

在全面的MDM环境中,逻辑数据模型将在多(duō)个平台中进行物(wù)理(lǐ)实例化,逻辑数据模型為(wèi)主数据管理(lǐ)提供了清晰、一致的数据定义,它指导MDM解决方案的实施,并提供了数据集成服務(wù)的基础。



数据科(kē)學(xué)与AI离不开数据,而数据模型恰恰就是為(wèi)数据科(kē)學(xué)与AI后续算法与分(fēn)析过程提供数据的基本保障。数据模型的建立能(néng)够让各个数据管理(lǐ)领域有(yǒu)着力点,从而能(néng)够為(wèi)数据科(kē)學(xué)家们的业務(wù)分(fēn)析工作提供更准确的数据,让AI算法得出更准确的结果。



可(kě)以说,数据模型在数据管理(lǐ)中处于向上承接业務(wù),向下引导数据的关键位置。它是承载着数据需求的元数据、是数据质量校验的对象、是形成数据质量规则的基础、是数据集成与互操作的起点、是数据存储和操作的结构保障、是数据安全管控的对象、是数据仓库和BI的核心、是参考数据与主数据的一致性指导。做好数据模型的管理(lǐ),企业数据管理(lǐ)将会事半功倍。



[1]DAMA International.DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition)[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2017:123.