企业数据治理(lǐ)的十个最佳实践

2020/09/27      6668 文(wén)章来源:谈数据 原作者:石秀峰

1、找症状,明确目标

任何企业实施数据治理(lǐ)都不是為(wèi)了治理(lǐ)数据而治理(lǐ)数据,其背后都是管理(lǐ)和业務(wù)目标的驱动。企业中普遍存在的数据质量问题有(yǒu):数据不一致、数据重复、数据不准确、数据不完整、数据关系混乱、数据不及时等。


由于这些数据问题的存在对业務(wù)的开展和业務(wù)部门之间的沟通造成了较大的困扰,产生了很(hěn)大的成本;各异构的系统中数据不一致,导致业務(wù)系统之间的应用(yòng)集成无法开展;数据质量差无法支撑数据分(fēn)析,分(fēn)析结果与实际偏差较大。然而要实现数据驱动管理(lǐ)、数据驱动业務(wù)的目标,没有(yǒu)高质量的数据支撑是行不通的。

目标:企业实施数据治理(lǐ)的第一步,就是要明确数据治理(lǐ)的目标,理(lǐ)清数据治理(lǐ)的关键点。

技术工具:实地调研、高层访谈、组织架构图。

输入:企业数据战略规划,亟待解决的业務(wù)问题,经营发展需求,业務(wù)需求等;

输出:数据治理(lǐ)的初步沟通方案,项目任務(wù)书,工作计划表;

2、理(lǐ)数据,现状分(fēn)析

针对企业数据治理(lǐ)所处的内外部环境,从组织、人员、流程、数据四个方面入手,进行数据治理(lǐ)现状的分(fēn)析。

某企业数据治理(lǐ)痛点分(fēn)析

n  组织方面:是否有(yǒu)专业的数据治理(lǐ)组织,是否明确岗位职责和分(fēn)工。

n  人员方面:数据人才的资源配置情况,包括数据标准化人员、数据建模人员,数据分(fēn)析人员,数据开发人员等,以及数据人才的占比情况。

n  流程方面:数据管理(lǐ)的现状,是否有(yǒu)归口管理(lǐ)部门,是否有(yǒu)数据管理(lǐ)的流程、流程各环节的数据控制情况等;

n  数据方面:梳理(lǐ)数据质量问题列表,例如:数据不一致问题,数据不完整,数据不准确、数据不真实、数据不及时、数据关系混乱,以及数据的隐私与安全问题等。

目标:分(fēn)析企业数据管理(lǐ)和数据质量的现状,确定初步数据治理(lǐ)成熟度评估方案。

技术工具:实地访谈、调研表、数据质量问题评议表、关键数据识别方法论(例如:主数据特征识别法);

输入:需求及现状调研表、访谈记录、数据样本、数据架构、数据管理(lǐ)制度和流程文(wén)件;

输出:数据问题列表、数据U/C矩阵、数据治理(lǐ)现状分(fēn)析报告、数据治理(lǐ)评估方案;

3、数据治理(lǐ)成熟度评估

数据治理(lǐ)成熟度反映了组织进行数据治理(lǐ)所具备的条件和水平,包括元数据管理(lǐ)、数据质量管理(lǐ)、业務(wù)流程整合、主数据管理(lǐ)和信息生命周期管理(lǐ)。

CMMI DMM数据管理(lǐ)能(néng)力成熟度评估模型

数据治理(lǐ)成熟度评估是利用(yòng)标准的成熟度评估工具结合行业最佳实践,针对企业的数据治理(lǐ)现状进行的客观评价和打分(fēn),找到企业数据治理(lǐ)的短板,以便制定切实可(kě)行的行动方案。数据治理(lǐ)成熟度结束后形成初步的行动方案,一般包括数据治理(lǐ)战略,数据治理(lǐ)指标,数据治理(lǐ)规则,数据治理(lǐ)权责。数据治理(lǐ)愿景和使命是数据治理(lǐ)的整體(tǐ)目标;数据治理(lǐ)指标定义了数据治理(lǐ)目标的衡量方法;数据治理(lǐ)规则和定义包括与数据相关的政策、标准、合规要求、业務(wù)规则和数据定义等;权利和职责规定了由谁来负责制订数据相关的决策、何时实施、如何实施,以及组织和个人在数据治理(lǐ)策略中该做什么。

目标:结合业界标准的数据治理(lǐ)成熟度模型,根据企业管理(lǐ)和业務(wù)需求进行数据治理(lǐ)成熟的评估,形成初步的数据治理(lǐ)策略和行动路線(xiàn)。

技术工具:数据治理(lǐ)评估模型,例如:DCMMCMMI DMMIBM数据治理(lǐ)成熟度评估模型等;

输入:2步的输入以及数据治理(lǐ)评估模型、数据治理(lǐ)评估工具(评估指标、打分(fēn)表等);

输出:数据治理(lǐ)评估结果,数据治理(lǐ)策略,初步的行动方案;

4、数据质量问题根因分(fēn)析

数据治理(lǐ)的目的是解决数据质量问题提升数据质量,从而為(wèi)数据驱动的数字化企业提供源动力,而提到数据质量问题,做过BI、数仓的同學(xué)一定知道,这是一个技术和业務(wù)“经常打架”相互推诿的问题。

某企业数据问题根因分(fēn)析鱼骨图

产生数据质量问题的原因有(yǒu)很(hěn)多(duō),有(yǒu)业務(wù)方面的、有(yǒu)管理(lǐ)方面的、也有(yǒu)技术方面的,按照80/20法则,80%的问题是由20%的原因造成起的。所以,如果能(néng)够解决这20%的问题,就能(néng)得到80%的改进。

目标:分(fēn)析并找到数据质量问题产生的根本原因,制定行之有(yǒu)效的解决方案;

技术工具:头脑风暴、5W1HSWOT、因果(鱼刺)图、帕拉图等;

输入:数据问题列表、数据U/C矩阵、数据治理(lǐ)现状分(fēn)析报告、数据治理(lǐ)评估结果;

输出:数据质量评估结果、对业務(wù)的潜在影响和根本原因。

5、业務(wù)影响及实施优先级评估

通过数据治理(lǐ)成熟度评估,从组织、流程、制度、人员、技术等方面找到企业在数据治理(lǐ)的待提升的领域和环节,再通过数据质量根因分(fēn)析找到数据质量问题发生的根本原因,进一步明确了数据治理(lǐ)的目标和内容。再接下来,就需要确定数据治理(lǐ)策略,定义数据治理(lǐ)的实施优先级。

某企业主数据治理(lǐ)实施优先级评估

不同的数据治理(lǐ)领域解决的是不同的问题,而数据治理(lǐ)的每个领域都有(yǒu)它的实施难点,对企业来说,需要从业務(wù)的影响程度,问题的紧急程度、实施的难易程度等多(duō)个维度进行分(fēn)析和权衡,从而找到符合企业需求并满足企业发展的方案。

目标:确定数据治理(lǐ)核心领域和支撑體(tǐ)系的建设/实施优先级;

技术工具:四象限法则(分(fēn)别从业務(wù)影响程度/实施难以程度,问题重要程度/问题紧急程度绘制优先级矩阵)、KANO模型

输入:数据治理(lǐ)成熟度能(néng)力评估结果、数据质量问题根因分(fēn)析结果;

输出:数据治理(lǐ)实施优先级策略

6、制定数据治理(lǐ)行动路線(xiàn)和计划

路線(xiàn)图是使用(yòng)特定技术方案帮助达到短期或者長(cháng)期目标的计划,用(yòng)于新(xīn)产品、项目或技术领域的开发,是指应用(yòng)简洁的图形、表格、文(wén)字等形式描述技术变化的步骤或技术相关环节之间的逻辑关系。路線(xiàn)图是一种目标计划,就是把未来计划要做的事列出来,直至达到某一个目标,就好像沿着地图路線(xiàn)一步一步找到终点一样,故称路線(xiàn)图。

某企业数据治理(lǐ)实施路線(xiàn)图

企业数据治理(lǐ)的实施路線(xiàn)图的制定是以企业数据战略——愿景和使命為(wèi)纲领,以急用(yòng)优先為(wèi)原则,以分(fēn)步实施為(wèi)策略进行了整體(tǐ)设计和规划。实施路線(xiàn)图主要包含的内容:分(fēn)几个阶段实施,每个阶段的目标、工作内容、时间节点要求、环境条件等。筆(bǐ)者观点:任何一个企业的数据治理(lǐ)都不是一蹴而就,一步到位的,需要循序渐进、持续优化!实施路線(xiàn)图就是基于此产生的,因此说数据治理(lǐ)实施路線(xiàn)图也是说服利益相关者支持的一个重要手段。

目标:确定数据治理(lǐ)的阶段以及每个阶段的目标;

技术工具:路線(xiàn)图法

输入:数据治理(lǐ)成熟度能(néng)力评估结果、业務(wù)影响及实施优先级评估结果;

输出:数据治理(lǐ)实施路線(xiàn)图或称阶段目标计划

7、制定数据治理(lǐ)详细实施方案

数据治理(lǐ)详细实施方案是用(yòng)于指导主数据的各项实施工作,一般包括:数据治理(lǐ)核心领域、数据治理(lǐ)支撑體(tǐ)系、数据治理(lǐ)项目管理(lǐ)三个方面。

数据治理(lǐ)总體(tǐ)框架图

数据治理(lǐ)核心领域包括:数据架构、数据服務(wù)、元数据管理(lǐ)、数据质量管理(lǐ)、数据标准管理(lǐ)、主数据管理(lǐ)、数据安全管理(lǐ)、数据生命周期管理(lǐ)。

数据治理(lǐ)支撑體(tǐ)系包括:组织(组织架构、组织层次、岗位职责)、制度(管控模式、规章制度、考核机制)、流程(归口部门、管理(lǐ)流程、流程任務(wù)等)、技术(数据集成、数据清洗、数据开发、数据应用(yòng)、数据运营、支撑平台、实施方案等)。

数据治理(lǐ)项目管理(lǐ)方案包括:项目组队、项目计划、质量保证计划、配置管理(lǐ)计划、培训和售后等。

关于数据治理(lǐ)的核心领域,详见筆(bǐ)者之前分(fēn)享的数据治理(lǐ)框架解读系列文(wén)章。

关于数据治理(lǐ)的支撑體(tǐ)系,详见筆(bǐ)者之前分(fēn)享的数据治理(lǐ)成功关键要素系列文(wén)章。

目标:基于数据质量根因分(fēn)析、业務(wù)影响和实施优先级评估结果,制定详细实施方案;

输入:业務(wù)影响及实施优先级评估结果,行动路線(xiàn)和计划;

输出:数据治理(lǐ)详细实施方案。

8、数据治理(lǐ)实施过程控制

数据治理(lǐ)实施过程控制是对数据治理(lǐ)项目的范围控制、进度控制、质量控制和成本控制,通过对企业的各项资源的合理(lǐ)协调与利用(yòng),而达成的数据治理(lǐ)目标的各种措施。从项目管理(lǐ)的角度来讲也是项目管理(lǐ)的黄金三角:范围、时间、质量、成本。

任何项目的质量和进度是需要良好的项目管理(lǐ)来保证的,数据治理(lǐ)也一样。与传统的软件工程项目不同,数据治理(lǐ)项目有(yǒu)着范围边界模糊、影响范围广、短期难见效、实施周期長(cháng)等特点:

①范围边界模糊,数据治理(lǐ)涉及到的关键领域如元数据管理(lǐ)、数据质量管理(lǐ)、数据标准管理(lǐ)、主数据管理(lǐ)等很(hěn)多(duō)是存在交叉的,边界很(hěn)难界定,例如:实施数据质量管理(lǐ)项目,会涉及元数据管理(lǐ)、数据标准管理(lǐ)等,同样一个元数据管理(lǐ)项目也会涉及数据标准和数据质量。

②影响范围广,数据治理(lǐ)的实施不是一个部门能(néng)够完成的,是需要从高级管理(lǐ)层、到各业務(wù)部门、信息部门通力协作,共同完成的;

③短期难见效,数据治理(lǐ)项目实施完成后,其数据治理(lǐ)的效果被每个业務(wù)点滴操作所“稀释”,并不像其他(tā)项目,例如BI,那样明显的體(tǐ)现出来,所以主导数据治理(lǐ)的部门会经常遭到质疑。

④实施周期長(cháng),在没有(yǒu)清晰的数据治理(lǐ)目标和范围约定的情况下,数据治理(lǐ)是一个“无底洞”。所以,在实施数据治理(lǐ)项目之前制定好实施路線(xiàn)图和详细的实施方案就显得格外重要(第67步)。

目标:通过对数据治理(lǐ)项目实施过程的进度控制、质量控制和成本控制以实现数据治理(lǐ)的目标;

技术工具:PP(项目计划)、PMC(项目控制)、IPM(集成项目管理(lǐ))、RSKM(风险管理(lǐ))——CMMI过程域;

输入:6-7步的输出:数据治理(lǐ)实施路線(xiàn)图,数据治理(lǐ)详细实施方案;

输出:各项项目控制措施,例如:项目计划、SOW、项目风险列表、项目报告、项目总结等;

9、监控评估数据治理(lǐ)实施效果

随着大数据技术的不断发展,应当从企业的全局数据治理(lǐ)环境的角度,明确数据治理(lǐ)关键技术运用(yòng)及其标准规范,构建成效评估指标體(tǐ)系,进行治理(lǐ)效果评价;并运用(yòng)数据治理(lǐ)能(néng)力成熟度模型再次评估,界定数据管理(lǐ)层次,从而使得跨系统、跨业務(wù)、跨部门的数据治理(lǐ)體(tǐ)系的建设与实施能(néng)够通过各方协作顺利进行,实现卓越数据治理(lǐ),进而通过数据驱动业務(wù)、数据驱动管理(lǐ)和运营以实现企业的降本、增效、提质、创新(xīn)。

某企业数据治理(lǐ)看板(数据已脱敏)

数据治理(lǐ)成效评估指标體(tǐ)系应根据企业及数据治理(lǐ)项目的实际情况制定,一般包括:时间性、数量性、完整性、准确性四个维度。

①时间性即数据的及时性。该维度主要通过源业務(wù)系统数据接入的上报及时性、接入及时性等方面进行核对。通过分(fēn)析月指标、周指标、日指标的数据及时率,得出在规定时间和频度周期内接入系统的比例,以此反映数据接入及时性。

②数量性。该维度是从数据存量,数据增量,数据访问量,数据交换量、数据使用(yòng)量等指标反映数据的使用(yòng)情况,可(kě)以分(fēn)為(wèi)月度指标、周指标、日指标、时分(fēn)指标等。

③准确性。这个维度主要由各类数据中逻辑的准确性、数据值的准确性、数据频段和字段之间的准确性以及数据的精度等内容组成。该准确率同样包括:月度、每周、每日等准确率指标。 

④完整性。此维度主要以单元维度完整性、数据业務(wù)维度组合完整性、索引值完整性等不同方面进行核对,是验证数据质量完整性的主要组成部分(fēn),包括月度指标、周指标、日指标数据的完整性等内容。 

目标:检验各项数据治理(lǐ)指标的落实情况,查漏补缺,夯实数据治理(lǐ)效果;

技术工具:数据治理(lǐ)效果的评价指标體(tǐ)系、各种数据图表工具;

输入:数据治理(lǐ)效果评估指标;

输出:数据治理(lǐ)评估的月报、周报、日报等;

10、数据治理(lǐ)持续改进

数据治理(lǐ)模式应业務(wù)化、常态化,不应是一个项目、“一阵风”的模式。

数据治理(lǐ)工作应向企业生产、销售业務(wù)一样作為(wèi)一项重点的业務(wù)工作来开展,构建专业的数据治理(lǐ)组织,设置合适的岗位权责,建立相应的管理(lǐ)流程和制度,让数据标准贯彻到每个业務(wù)环节,形成一种常态的工作。在筆(bǐ)者看来,在数据源头加强企业数据的治理(lǐ),让常态化治理(lǐ)成為(wèi)日常业務(wù),才能(néng)从根本上彻底解决企业数据质量的各种问题,让数据真正转化為(wèi)企业资产,以实现数据驱动流程优化、数据驱动业務(wù)创新(xīn)、数据驱动管理(lǐ)决策的目标。

目标:数据治理(lǐ)常态化,持续提升数据质量,驱动流程优化和管理(lǐ)创新(xīn)。

输入:持续的、规范的、标准的各项业務(wù)操作;数据治理(lǐ)监控的各项指标和报告;

输出:持续输出的高质量的数据;