- 行业动态 >
- 资讯详情
浅谈主数据管理(lǐ)应用(yòng)问题治理(lǐ)
一、主数据概念及特点
主数据是指在整个企业范围内各个系统(操作/事務(wù)型应用(yòng)系统以及分(fēn)析型系统)间要 共享的数据,比如,可(kě)以是与客户(customers),供应商(shāng)(suppliers),帐户(accounts)及组织单位(organizational units)相关的数据。主数据通常需要在整个企业范围内保持一致性(consistent)、完整性(complete)、可(kě)控性(controlled),為(wèi)了达成这一目标,就需要进行主数据管理(lǐ)(Master Data Management,MDM)。主数据定义企业核心业務(wù)对象,如客户、产品、地 址等。与交易流水信息不同,主数据一旦被记录到数据库中,需要经常对其进行维护,从而 确保其时效性和准确性;主数据还包括关系数据,用(yòng)以描述主数据之间的关系,如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。
主数据是:
(1)描述业務(wù)核心实體(tǐ)的数据。
(2)高价值的,企业内跨业務(wù)重复使用(yòng)的数据。
(3)存在于多(duō)个异构的应用(yòng)系统中。
主数据不是:
(1)企业内部所有(yǒu)的数据,比如交易数据、账单数据(不是主数据)。
(2)特定应用(yòng)专属的数据。
二、主数据管理(lǐ)意义
主数据管理(lǐ)描述了一组规程、技术和解决方案,这些规程、技术和解决方案用(yòng)于為(wèi)所有(yǒu)利益相关方(如用(yòng)户、应用(yòng)程序、数据仓库、流程以及商(shāng)业伙伴)创建并维护业務(wù)数据的一致性、完整性、相关性和精确性。
(1)从各种具體(tǐ)的应用(yòng)中分(fēn)离出主要信息。
(2)成為(wèi)一个集中的、独立于应用(yòng)的资源。
(3)主数据管理(lǐ)是应用(yòng)流程的补充,有(yǒu)流程支撑,可(kě)追溯和跟踪。
(4)简化整合任務(wù)和新(xīn)应用(yòng)开发。
(5)确保各个交易系统和分(fēn)析系统间的主要信息的一致性。
(6)用(yòng)“事前处理(lǐ)”的方法代替“事后处理(lǐ)”(比如数据仓库),来解决数据质量和一致性问题。
主数据的有(yǒu)效管理(lǐ),可(kě)以支持经营管便捷地获取多(duō)种业務(wù)角度的全面分(fēn)析报告,加深数据挖掘和透视;可(kě)以加强业務(wù)管理(lǐ)层数据的一致性和实时性;并可(kě)以帮助业務(wù)操作人员统一沟通语言,降低沟通成本。相应地,主数据管理(lǐ)不善如数据基本定义缺失、编码规则不科(kē)學(xué)、缺乏有(yǒu)效管理(lǐ)机制等,则会引起数据及报表的不真实和紊乱,给数据分(fēn)析及决策埋下很(hěn)大隐患。比如说数据统计口径不一致,部门报表不统一,缺乏真实性和可(kě)比性;主数据数据源分(fēn)布不明晰,系统之间数据交叉、引用(yòng)关系紊乱,给系统集成带来了难度,而系统不能(néng)集成,缺乏同步机制,也明显降低了数据真实性和及时性;各系统中的物(wù)料编码不一致,存在一物(wù)多(duō)码、一码多(duō)物(wù)、编码重复或者不完整等混乱现象,另外编码所代表的意义不清晰、可(kě)用(yòng)性缺乏等。
三、企业内部MDM应用(yòng)问题
经过近几年MDM系统建设,企业内部已基本实现各类主数据的统一管理(lǐ),初步建立组织架构主数据与财務(wù)核算主體(tǐ)、预算主體(tǐ)、产权主體(tǐ)的关联关系,涵盖物(wù)资、项目、人资组织等业務(wù)领域的组织架构主数据,建立与電(diàn)子商(shāng)務(wù)平台、基建信息系统、ERP、财務(wù)管控等
多(duō)系统的数据交互集成。但实际应用(yòng)过程中,主数据的建立仍然缺乏统一标准,管理(lǐ)分(fēn)散,组织实體(tǐ)管理(lǐ)及组织关系管理(lǐ)问题较多(duō),无法满足企业内部管理(lǐ)的需要,难以為(wèi)使用(yòng)人员提供准确、一致的数据基础。总结MDM系统使用(yòng)过程以来,主要问题如下:
1、缺乏主数据核对治理(lǐ)机制。MDM使用(yòng)过程中,由于某些特殊原因造成数据系统间不一致,需要有(yǒu)对应业務(wù)人员参与校对,如供应商(shāng)、客户主数据系统间银行账号信息字段不一致或错误时,则需要人為(wèi)干预,但是主数据涉及多(duō)个业務(wù)線(xiàn),使用(yòng)部门较多(duō),责任部门无法落实,且主数据本身也没有(yǒu)使用(yòng)单位信息,企业相关部门很(hěn)难组织起有(yǒu)效的方式,只能(néng)由使用(yòng)部门全量数据核对,汇总统一排查,易造成数据混乱,归口不清,不仅核对难度大,而且增加人力成本。
2、流程繁琐,主数据之间相互交错,缺少快速熟悉主数据生命周期有(yǒu)效工具。如SAP中财務(wù)利润中心主数据,在申请过程中,首先需要对应的基础组织、产权数据作為(wèi)维护前提,而通过现有(yǒu)的使用(yòng)指南中没有(yǒu)支撑,使用(yòng)人员很(hěn)难把控利润中心主数据创建过程,很(hěn)多(duō)时候只能(néng)通过摸索试探去操作,反复拨打运维電(diàn)话,很(hěn)难提升工作效率。
3、期初上線(xiàn)方案不成熟,业務(wù)场景不全面。系统建设时,由于数据复杂性及使用(yòng)场景多(duō)样性导致功能(néng)考虑不够全面,后续数据重复录入时系统也没有(yǒu)较好的数据清洗、去重机制,造成越来越多(duō)的数据错误冗余,例如主数据名称中有(yǒu)空格、停用(yòng)等字段信息,容易误导使用(yòng)人员正确使用(yòng)。
4、技术存在缺陷,缺少修复完善功能(néng)。关联业務(wù)系统数据同步不及时,数据源系统中数据状态发生变化,如删除,其他(tā)使用(yòng)系统却未及时更新(xīn)状态,技术上没有(yǒu)很(hěn)好的纠错功能(néng),导致数据不一致。
5、数据增删改控制不到位。由于数据源存在各个系统中,因此对于非源系统的数据增删改需严格控制,否则无法保证数据跨系统间不一致,也无法追溯原因。
6、主数据范围拓展流程不成熟。在MDM使用(yòng)过程中,当有(yǒu)主数据想纳入MDM系统进行管理(lǐ)时,由于企业层级、技术架构复杂性,MDM归口管理(lǐ)部门职责不明确,需求部门无从开展新(xīn)主数据建设工作。
7、系统存在残留未清理(lǐ)主数据。在MDM系统上線(xiàn)时,企业会对所有(yǒu)系统既有(yǒu)主数据制定初始化清理(lǐ)方案,当数据场景复杂时,会导致残留数据处理(lǐ)不净。
四、企业内部主数据管理(lǐ)应用(yòng)问题思考
主数据对企业内部极為(wèi)重要,是系统生产运行的基础,只有(yǒu)保证数据的准确性、及时性、严谨性,才能(néng)确保系统稳定运行,数据挖掘分(fēn)析准确,為(wèi)企业内部效益等数据分(fēn)析提供有(yǒu)效支撑,因此MDM系统建设应该是一项持久建设工作,建立長(cháng)效机制,不断优化完善系统功能(néng)。
1、建立并切实运行周密的数据管控體(tǐ)系
设立组织架构,明确职责,谁维护、谁管控、谁确认,建立完善的管控制度。架构组织负责主数据全生命周期管理(lǐ),首先设立管理(lǐ)部门及控制人员权限,统一数据录入源头,建立主数据录入标准,如单位级实體(tǐ)组织须依据营业执照等三证或社会信用(yòng)代码等证明材料,履行严格的审核程序后方可(kě)创建;其次建立主数据管控机制,对主数据申请过程中设立指标,如响应周期、关键数据准确性等,通过标准化使各涉及系统主数据在接收申请时反馈时间、关键信息等,提高跨系统问流转效率;最后提供有(yǒu)效方式供使用(yòng)部门查询确认主数据状态,可(kě)追踪主数据操作流程,主数据状态包含过程状态、使用(yòng)状态,过程状态為(wèi)数据在创建、申请、变更、审批的过程,而使用(yòng)状态為(wèi)数据正常使用(yòng)、冻结、删除等,且历史操作记录系统也应保存以便追溯,使用(yòng)部门不仅能(néng)够自己查询主数据状态,而且当数据状态发生变化时, 系统会通过有(yǒu)效的方式进行反馈。这样,通过主数据询-申请-管控-追踪-公布-反馈闭环方式实现主数据生命周期管理(lǐ)。
2、不断完善技术架构,优化功能(néng)
2.1梳理(lǐ)分(fēn)析主数据来源,统一口径,明确主数据的源头,做好各系统内主数据更新(xīn)控制,杜绝随意新(xīn)增、更改数据,确保数据流向一致。如供应商(shāng)数据,当明确数据来源為(wèi)MDM时,ERP、财務(wù)管控等系统则必须严格控制,不允许增、删、改此类数据,一切调整只能(néng)从源头发起,以确保数据的准确性与关联性。
2.2冲突处理(lǐ)功能(néng)。数据冲突主要用(yòng)于内部组织数据的变更,是指MDM接收数据与原在库数据的KEY值相同、部分(fēn)或全部字段信息不同的情况。例如数据来源系统電(diàn)子商(shāng)務(wù)平台提起申请修改某内部单位名称,主数据管理(lǐ)平台将向数据来源系统反馈消息,提示“待审核”状态并反馈在库数据信息,同时在主数据管理(lǐ)平台生成数据冲突申请单,申请单内容包括原在库数据和新(xīn)接收数据,并将申请单流转至数据审核人员,由审核人员进行数据准确性审批,若审批通过,主数据管理(lǐ)平台将维护组织架构树及相关组织主数据;若审批拒绝,MDM将向申请数据修改的来源系统,反馈数据冲突处理(lǐ)结果信息。
2.3提高数据同步准确性、及时性。主数据使用(yòng)涉及系统多(duō),因此系统间数据同步准确性及时性尤為(wèi)重要。根据数据实际情况选择数据写入和更新(xīn)方式,随着主数据系统的持续使用(yòng),系统数据增加,系统间数据同步及时性须关注,及时增加服務(wù)器内存以提高数据运行、同步效率。
2.4完善纠错机制。系统拥有(yǒu)完善错误处理(lǐ)机制,分(fēn)析问题原因,进行归类处理(lǐ),如当主数据在系统间分(fēn)发写入时,可(kě)能(néng)出现数据场景与技术架构不符或系统异常致使数据无法更新(xīn)的情况,系统应当首先启动数据自动补推送功能(néng),当问题重复出现没有(yǒu)解决时,系统进行直观简便异常数据结果反馈,运维人员进行原因分(fēn)析,启动问题修复流程。
3、关注人员流动调整,加强培训
岗位人员的变动会给主数据管理(lǐ)带来一定的冲击,可(kě)能(néng)出现数据质量把控不过关、流程不清晰,工作方向茫然。因此企业内部人员调整时,需要及时关注,加强新(xīn)岗位人员培训,操作指南要尤為(wèi)重视,可(kě)根据岗位、业務(wù)场景等制定相应的操作手册,做到简单、易懂、清晰,為(wèi)新(xīn)人提供有(yǒu)效业務(wù)和技术支撑。