数据治理(lǐ):让数据质量更好

2019/11/26      3178 文(wén)章来源:科(kē)研计算机网 原作者:高亮

数据治理(lǐ)是一个系统的、大型的、長(cháng)期的工程,大型企业已经开始了实施,并取得了一定成果,但目前企业在数据治理(lǐ)方面还没有(yǒu)开始真正意义上的实践,究其原因,一方面企业还没有(yǒu)把数据治理(lǐ)的重要性提升到战略高度,另一方面没有(yǒu)将数据治理(lǐ)单独作為(wèi)课题研究,没有(yǒu)形成系统的实施方法论。本文(wén)从管理(lǐ)和技术两方面出发探索适合企业信息化建设的数据治理(lǐ)方法,形成包含组织、制度、标准、流程、安全、技术等内容的数据治理(lǐ)方案,从而打造企业绿色数据生态环境,為(wèi)数据应用(yòng)提供基础保障。

数据治理(lǐ)概念

数据治理(lǐ)并不是一个新(xīn)生事物(wù),可(kě)以说,有(yǒu)数据的地方就存在数据治理(lǐ),只不过随着数据应用(yòng)的迅猛发展将它提到了一个高度,作為(wèi)一个独立的研究领域。数据治理(lǐ)并没有(yǒu)标准的、严格的定义,概况地讲,所有(yǒu)為(wèi)提高数据质量而展开的业務(wù)、技术和管理(lǐ)活动都属于数据治理(lǐ)范畴。

数据治理(lǐ)的英文(wén)是Data Governance,《DAMA 数据管理(lǐ)知识體(tǐ)系指南》一书给出的定义:数据治理(lǐ)是对数据资产管理(lǐ)行使权力和控制的活动集合。数据治理(lǐ)职能(néng)指导其他(tā)数据管理(lǐ)职能(néng)如何执行,图1说明了数据治理(lǐ)与其他(tā)几个数据管理(lǐ)职能(néng)的关系。


数据治理(lǐ)體(tǐ)系框架

仅仅依靠技术手段,以建设系统的方式是难以有(yǒu)效解决数据治理(lǐ)面临的所有(yǒu)问题。构建数据治理(lǐ)體(tǐ)系是数据治理(lǐ)工作的基础,為(wèi)了有(yǒu)序实施数据治理(lǐ),应采用(yòng)规划先行的原则,制定适合企业业務(wù)特点的管理(lǐ)流程,选择可(kě)行的技术方案和实施工具,明确数据治理(lǐ)的工作机制和工作内容,稳步推进数据治理(lǐ)各项工作,数据治理(lǐ)體(tǐ)系框架如图2所示。

数据治理(lǐ)措施

1.提高全面思想认识

毋庸置疑,数据是企业的宝贵资产,各企业已经意识到数据质量的重要性,但是并没有(yǒu)将数据治理(lǐ)提到战略高度,信息化建设的重点仍然是应用(yòng)系统建设和运维。数据治理(lǐ)是一个系统工程,需要管理(lǐ)层、系统开发人员、系统使用(yòng)人员、系统维护人员多(duō)方协作才能(néng)进行。目前最大的问题就是各方人员对数据治理(lǐ)的认识还处于盲區(qū),他(tā)们并没有(yǒu)意识到数据治理(lǐ)的重要性,因此数据治理(lǐ)首先要从上到下全面提高思想认识,保证在系统建设、系统运行、系统维护各个环节都能(néng)重视数据治理(lǐ)。

2.成立数据治理(lǐ)组织

健全的数据治理(lǐ)组织是全面开展数据治理(lǐ)工作的基础,数据治理(lǐ)组织应包括管理(lǐ)人员、业務(wù)人员和技术人员,缺一不可(kě)。

数据治理(lǐ)组织:应由各业務(wù)专家、相关技术人员组成,包括系统开发人员、数据治理(lǐ)人员、数据库管理(lǐ)员组成。

3.建立数据标准體(tǐ)系

一般来说,信息化建设应遵循标准先行的原则,在应用(yòng)系统建设初期就应该制定企业内部数据标准體(tǐ)系,保证各业務(wù)部门、各业務(wù)系统使用(yòng)相同的数据标准,提高部门间、系统间数据共享能(néng)力,避免形成信息孤岛。数据标准體(tǐ)系包括数据标准、技术标准、管理(lǐ)标准、数据质量标准等内容,可(kě)以成立由业務(wù)人员和技术人员组成的数据标准制定小(xiǎo)组,负责数据标准體(tǐ)系的制定、维护、宣传、解释等工作。

4.制定数据质量管控规范

由于企业缺乏明确的数据质量管控规范、流程,导致数据治理(lǐ)相关人员职责划分(fēn)不清,缺乏专职人员在不同阶段对数据质量负责。通过制定数据质量管控规范,使相关人员明确在数据产生、存储、应用(yòng)整个生命周期中数据治理(lǐ)包含的工作内容和工作流程,形成统一管理(lǐ)體(tǐ)系。為(wèi)了提高数据治理(lǐ)执行效率,有(yǒu)必要建立数据治理(lǐ)绩效考核,检验数据治理(lǐ)各个环节的效果。

5.制定数据安全管理(lǐ)制度

保障数据安全是企业信息化的首要工作,企业应该制定贯穿于数据生命周期的数据安全管理(lǐ)制度,包括数据生成及传输、

数据存储、数据处理(lǐ)及应用(yòng)、数据销毁四个方面。安全管理(lǐ)制度主要用(yòng)来规范员工在日常工作中安全地使用(yòng)数据,并且指导技术人员如何实施数据安全工作。

技术措施

1.构建企业数据架构

企业构建的信息系统以满足功能(néng)应用(yòng)為(wèi)主,如果没有(yǒu)整體(tǐ)数据架构,应用(yòng)系统就没有(yǒu)数据标准可(kě)参考,不可(kě)避免地会出现不同的应用(yòng)系统使用(yòng)不同的数据标准和数据库,导致数据交换、数据共享困难,数据冗余、数据完整性、数据一致性等问题突出。

理(lǐ)想情况下,企业在信息化初期就应该规划整體(tǐ)数据架构。一个完整的企业数据架构主要包括:数据标准、数据库产品線(xiàn)、主数据、元数据、数据质量、数据安全、数据交换、数据仓库。每一部分(fēn)都需要作為(wèi)独立的专题去建设,而且必须是技术与管理(lǐ)相结合的建设过程,最终形成企业全局数据架构。

2.加强信息系统设计

产生数据质量问题的第一个环节就是生成数据的源系统,在数据源头解决数据质量问题是提高数据质量非常有(yǒu)效的措施。加强信息系统设计和开发可(kě)以通过系统功能(néng)自动地规避大量数据质量常见问题。具體(tǐ)包括以下三个方面:

细化需求,在需求分(fēn)析阶段增加对数据质量的详细要求;

系统开发阶段加强数据录入功能(néng)的设计和开发,提高界面友好性和校验功能(néng),可(kě)以有(yǒu)效解决数据完整性、时效性等问题。

3.建立主数据中心

企业内部不同应用(yòng)系统、不同部门间需要共享数据的现象非常普遍,建立主数据中心不仅能(néng)避免各应用(yòng)系统相互共享数据形成网状结构,同时能(néng)够保证对外提供准确、一致的数据。一般地,主数据是描述核心业務(wù)实體(tǐ)的数据,如组织机构、员工、物(wù)料、客商(shāng)等,这些数据变化相对缓慢并通常跨业務(wù)重复使用(yòng)。这里我们结合实际需求情况扩大了主数据的范围,凡是需要交换、共享的数据都纳入到主数据范围,形成企业范围内一致的、完整的、准确的核心业務(wù)数据,统一由主数据中心完成对外提供数据的任務(wù)。建立主数据中心不仅仅是技术工作,除开发、维护外还需要制定开发规范、管理(lǐ)规范、管理(lǐ)流程,共同规范主数据的使用(yòng)。

4.搭建数据质量监控平台

通过搭建数据质量监控平台可(kě)以实现数据质量自动检查、监控,平台包括数据质量检查规则库、规则执行引擎、数据质量报告、报告推送功能(néng)。平台的核心是规则库,与业務(wù)无关的规则由技术人员独立开发,与业務(wù)相关的规则需要技术人员和业務(wù)人员共同确定检查规则,然后编写规则脚本。规则执行引擎可(kě)以定时批量执行检查规则,及时发现数据质量问题,将数据质量报告第一时间推送给业務(wù)人员,有(yǒu)助于及时纠正问题数据。

5.实施数据安全工作

数据安全实施工作在数据安全管理(lǐ)制度的指导下执行,由技术人员完成,主要包括数据备份、恢复、脱敏、监控、审计等。

数据治理(lǐ)是企业信息化建设中提高数据应用(yòng)水平和信息化管理(lǐ)水平的有(yǒu)效手段。数据治理(lǐ)是一项長(cháng)期系统工程,贯穿于整个数据生命周期,不仅需要借助技术手段,更需要完善数据治理(lǐ)制度,包括规划、组织、机制、规范、流程等,只有(yǒu)人员高度重视和积极参与,逐步形成数据治理(lǐ)文(wén)化,数据治理(lǐ)才能(néng)取得成效,数据才能(néng)发挥更大的价值。