如何提升MDM数据质量管理(lǐ)

2019/03/05      8641 文(wén)章来源:优百

导读:

在MDM项目咨询及实施过程中,质量管理(lǐ)是至為(wèi)重要的一部分(fēn),大多(duō)数MDM解决方案中对质量管理(lǐ)的描述往往流于形式和概念性介绍,不成體(tǐ)系,如何在实施过程或软件功能(néng)方面加强以提升数据质量,本文(wén)仅就这一问题,结合作者从事的MDM项目和经验,谈谈思路和想法,以提供建议和参考。

一.质量管理(lǐ)的内涵及重要性

质量管理(lǐ)的重要性源自于数据,在信息管理(lǐ)层面,数据是对客观事物(wù)的性质、状态以及相互关系等进行记载的物(wù)理(lǐ)符号或是这些物(wù)理(lǐ)符号的组合。

从企业管理(lǐ)的角度而言,数据及数据组合显现為(wèi)一种信息,企业经营管理(lǐ)人员依据其做出某种安排或决策,这是数据价值的根本所在。简单看一个业務(wù)场景:对于一家整車(chē)制造厂商(shāng)而言,经销商(shāng)的需求预估,安全库存的保有(yǒu)量、工厂产能(néng)和可(kě)供应劳动量,形成其月度的生产计划安排。在这个业務(wù)场景中,决策者一方面要保证将数据因素的全面性,同时也要保证数据的准确性,如果PMC人员将某经销商(shāng)上月的月度预测数值用(yòng)到本月,或者将安全库存数据统计错误或张冠李戴,则产品可(kě)能(néng)出现库存积压或缺货,引发重大损失。

援引上例,数据的重要性显而易见,如何进行数据质量管理(lǐ)则是引申出来的另一个命题。数据质量管理(lǐ)从官方定义来看,是指对数据从计划、获取、存储、共享、维护、应用(yòng)、消亡生命周期的每个阶段里可(kě)能(néng)引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理(lǐ)活动,并通过改善和提高组织的管理(lǐ)水平使得数据质量获得进一步提高。作者认為(wèi),这样的描述虽然很(hěn)全面,但过于宽泛,在主数据项目的实施和数据清洗过程中指导意义并不大。

二.质量评估的维度

目前,对数据质量的提升主要體(tǐ)现為(wèi)通过各种活动或手段提升数据的使用(yòng)性能(néng),也就是提高数据质量的评估维度,数据性能(néng)维度值越高,数据质量越高,一般要求数据质量评估时需要从以下几个维度考虑:

1、完整性:数据是完整的,涵盖所有(yǒu)系统使用(yòng)要求的,没有(yǒu)缺少。比如,对于某一个描述仓库的数据模型而言,仓库的地点、仓库规格、建造结构、货台数量、仓储能(néng)力、建筑交付时间等都是不可(kě)缺少的。如仓储能(néng)力和现时库存将影响PMC人员是否安排物(wù)料的入库,建筑交付时间和建造结构对于后勤人员决定是否维修仓库显得十分(fēn)重要,那么这一数据的缺少就会导致该数据的质量降低。

另一方面,数据的完整性还表现為(wèi)某一类数据是否完全、不遗漏的被引入MDM系统,比如某生产部门下属有(yǒu)10名员工,MDM系统中只维护了9名员工,则数据是不完整的。

2、规范性:数据按照一定的要求和标准进入系统。比如:仓库的规格要求按照仓库的長(cháng),宽,高来进行描述,以100M*20M*7.5M这样的标准示例字段形式维护,则输入10000CM/200米*7.5m米这样的形式就是不规范的。

3、一致性:為(wèi)了数据统计分(fēn)析的考虑,数据在某些方面的度量必要保证延续的标准一致。如对于组织机构视图一直是按照行政权属维护上下级关系的,则某个维护人员按照股权属性维护上下级关系就是对该规则的违反。又(yòu)如:对于员工主数据是从签订合同就作為(wèi)维护标准的,则尚未签订劳动合同就进行员工主数据维护也是对数据一致性规则的违反。

4、准确性:是指数据是准确的,没有(yǒu)错误。比如供应商(shāng)主数据的统一社会信用(yòng)代码证件号码,开票银行及账号等维护错误,会导致财務(wù)人员开出错误的发票,严重的甚至导致错误付款。

5、唯一性:唯一性是指在MDM系统中,对于某一类同样或者某一特定的实體(tǐ),在系统中必须有(yǒu)唯一的一个编码和其相对应,不能(néng)出现两个或两个以上的代码,如物(wù)料出现多(duō)个代码,但实际上是同一种物(wù)料,供应商(shāng)出现两个代码。两个名称,其实是一家商(shāng)业实體(tǐ)的情况。

6、及时性:指在MDM系统中,数据被及时的录入,及时的审核和被及时的分(fēn)发到下游系统。当发生新(xīn)的业務(wù),如采購(gòu)新(xīn)的物(wù)料,新(xīn)引入一家客户,都要求及时的录入数据和发布数据,不能(néng)出现延迟审核,延迟分(fēn)发的情况。及时性在主数据管理(lǐ)系统中十分(fēn)重要,主数据是各个业務(wù)系统共同使用(yòng)的数据并和其他(tā)业務(wù)系统集成,共同使用(yòng)就要求各个业務(wù)系统的数据是一致的,避免不一致的情形发生。

需要特别指出的是,主数据质量评估的六个维度是相互联系,互為(wèi)印证的,相互之间有(yǒu)互通的内容,又(yòu)有(yǒu)相區(qū)别的内容,如及时性相对比较独立,但及时性可(kě)以保证一致性。规范性和准确性之间有(yǒu)相通的内容。规范性、完整性、及时性,都能(néng)保证数据的准确性。

三.如何提升数据质量管理(lǐ)

提升数据质量的方法有(yǒu)很(hěn)多(duō),如通过理(lǐ)念宣导、组织保障、考核和评价、设定管理(lǐ)规范等,本文(wén)仅从项目实施和系统实现的角度考虑如何提升数据质量。

1、完整性:

在项目实施层面,完整性主要體(tǐ)现為(wèi)数据范围的完整,一方面,需要纳入主数据管理(lǐ)的数据均需囊括其中,这一点需要和客户保持充分(fēn)的沟通,考虑业務(wù)实际和客户的管理(lǐ)意图,如某煤炭行业,主数据仅考虑物(wù)料,客商(shāng),组织机构,人员,会计科(kē)目,银行账号五大类主数据,但对于从事某水利水電(diàn)工程设计与建安的公司,公司施行项目制,增加了项目主数据和合同主数据。另一方面数据的完整性还应考虑某一类数据内部的完整性,如对于物(wù)料而言,库存管理(lǐ)部门仅考虑现时库存,采購(gòu)人员考虑采購(gòu)目录和未执行的采購(gòu)订单物(wù)料,财務(wù)人员考虑尚未接收到票据的采購(gòu)订单物(wù)料及有(yǒu)账库存,各个业務(wù)部门考虑的数据范围是不一致的,需要实施人员根据项目需要和上線(xiàn)模块的实际情况,圈定数据范围,保证数据的完整性。

在软件应用(yòng)层面,完整性主要體(tǐ)现為(wèi)数据模型的完整和数据模型的可(kě)拓展性,软件应预置有(yǒu)基本的主数据模型,数据模型中对必需的字段设置為(wèi)必填项,以保证数据的完整性,如员工主数据对员工姓名,性别,证件类型及证件号码,员工所属法人单位,所属部门,岗位,职级和职等、學(xué)历,毕业學(xué)校、雇佣状态等设置為(wèi)必填项,对员工的职称、手机号码,QQ号码,现居住地,工位等字段设置為(wèi)非必填项。同时系统容许对数据模型进行自定义,可(kě)以自行增加字段和自定义字段的可(kě)填和可(kě)不填。如增加第一联系人字段和联系電(diàn)话,对毕业學(xué)校设置為(wèi)非必填等。

2、规范性:

在实施层面,规范性需要通过设置管理(lǐ)规定和撰写操作规范来实现,如在某公司物(wù)料主数据操作指南中作出规定:进口物(wù)资不单独分(fēn)类,在物(wù)料标准描述中增加特征量“-J”作為(wèi)进口物(wù)资的唯一标识;又(yòu)比如在某公司的客户及供应商(shāng)维护指引中作出规定:公司发生的零星采購(gòu),采購(gòu)价值不超过200元的,且没有(yǒu)发票的,不用(yòng)维护供应商(shāng)信息。会计科(kē)目规范中规定,公司发生的電(diàn)话费用(yòng),网费纳入“信息费”科(kē)目核算,那么就不需要申请“電(diàn)话费”这样的会计科(kē)目。

在软件应用(yòng)层面,规范性主要通过元数据和数据字典引用(yòng),设置校验规则及字段属性来实现,如MDM系统对物(wù)料材质设置為(wèi)只选,只容许填写某些特定的材质,对管口直径只容许写成DN形式,不容许写成几分(fēn)管的形式,对汽油只容许填写升和千克的计量单位等。同时系统容许对字段的長(cháng)度,值,和数据类型进行自定义设置,如对于身份证号码,当用(yòng)户输入超过18位或者未达到18位时,系统会予以提示。

3、一致性:

一致性和规范性的内涵基本上是相通的,保证了数据的规范性,基本上就能(néng)保证数据的一致性,一致性可(kě)以参照规范性的要求进行处理(lǐ)。

4、准确性:

在实施层面,准确性和规范性有(yǒu)相通之处,数据规范性做得好,准确性就会提高,同样,准确性也需要加强管理(lǐ)规定和指引的作用(yòng),如管理(lǐ)规定中制定,客户类型严格按照统一社会信用(yòng)代码证中的内容填写。委外加工的物(wù)料,必须准确的填写图号等。

在软件应用(yòng)层面,准确性主要依靠约束规则来予以规范,比如地區(qū)选择西北,省份则只容许选择陕西,内蒙,宁夏,甘肃,新(xīn)疆字段,物(wù)料某一特征量选定时,另一特征量只容许选择某一阶段的值,对于比较规范的字段,如身份证号码,统一社会信用(yòng)代码证号码限定長(cháng)度且系统能(néng)检验数字長(cháng)度,录入身份证号码,自动提取出生日期等。

5、唯一性:

在实施层面,必须大力宣贯一物(wù)一码的原则性规定,在系统上線(xiàn)前,安排客户对原先存在出的一物(wù)多(duō)码的数据进行清理(lǐ),将重复的数据清除出去。同时对此物(wù)彼物(wù)的概念要分(fēn)清和贯彻到位,如某包装编织袋,材质和大小(xiǎo),装载量都一样,就是包装袋上的文(wén)字不同,也应视為(wèi)不同的物(wù)料来申请编码。

在软件应用(yòng)层面,需要完善两大功能(néng),一是唯一性校验规则的设置及系统可(kě)配置,如容许客户自己设置按照单位名称或统一社会信用(yòng)代码证进行外部单位主数据的唯一性校验等;二是系统提供相似度比对功能(néng),对包括物(wù)料,外部单位在内的其它主数据进行相似度比对。在数据的申请,审核,查询操作步骤都能(néng)对数据相似度进行比对。

6、及时性:

在数据清洗及实施层面,要求用(yòng)户及时维护和审核相应主数据。

在软件应用(yòng)层面,需要提高数据审核的及时性和数据分(fēn)发的及时性,数据审核设置审核时间和分(fēn)发时间阀值,超过一定时间不审核,未分(fēn)发或者分(fēn)发错误,系统进行提醒及显示未被审核及分(fēn)发的数据列表或图像化展示,以便相应用(yòng)户能(néng)及时的操作数据及处理(lǐ)系统故障,保证数据能(néng)及时的处理(lǐ)并分(fēn)发至下游业務(wù)系统。