- 行业动态 >
- 资讯详情
主数据管理(lǐ)白皮书1.0
一、前 言
主数据是数据之源,是数据资产管理(lǐ)的核心,是信息系统互联互通的基石,是信息化和数字化的重要基础。
党的十九大报告提出“推动互联网、大数据、人工智能(néng)和实體(tǐ)经济深度融合”。以大数据為(wèi)代表的新(xīn)技术得到迅猛发展,并渗透到各行各业,企业信息化也快速回归到数据的本身。企业家使用(yòng)数据整合劳动力、土地、资本三种生产要素进行数字化转型。為(wèi)了加快实體(tǐ)经济数字化转型,促进新(xīn)一代信息技术与实體(tǐ)经济深度融合,发挥数据对企业转型升级的重要作用(yòng),数据资产管理(lǐ)应运而生。
主数据是指满足跨部门业務(wù)协同需要的、反映核心业務(wù)实體(tǐ)状态属性的企业(组织机构)基础信息。主数据意义一是建立企业基础数据共享“语言”,打破各系统信息交互壁垒,可(kě)以支撑客商(shāng)、物(wù)料、设备、指标等重要基础数据能(néng)够在多(duō)个系统内充分(fēn)共享、高度复用(yòng);二是通过制定主数据标准,在系统建设中规范使用(yòng)数据标准,进而為(wèi)业務(wù)报表编制、数据统计分(fēn)析提供基础条件;通过主数据建设,将為(wèi)企业在数据应用(yòng)与管理(lǐ)奠定基础。
主数据管理(lǐ)是一系列规则、应用(yòng)和技术,用(yòng)以协调和管理(lǐ)与企业的核心业務(wù)实體(tǐ)相关的系统记录数据。主数据管理(lǐ)重要性是消除数据冗余;提升数据处理(lǐ)效率;提高公司战略协同力。
在数据资产管理(lǐ)的领域里,主数据的管理(lǐ)是最為(wèi)基础的部分(fēn),因為(wèi)主数据是可(kě)以跨业務(wù)、跨组织、跨系统被重复利用(yòng)的数据,通过构建准确、唯一、权威的数据来源建立企业主数据标准管理(lǐ)體(tǐ)系,是提高企事业单位数据质量和数据资产价值的关键因素。
然而主数据的管理(lǐ)还处于摸索阶段,面临诸多(duō)挑战。一是认识不统一,领导不重视。主数据的概念尚未得到广泛普及,企事业单位对主数据管理(lǐ)不够重视,缺乏顶层设计。二是各自為(wèi)政,标准不统一。企事业单位内部难以在标准和规则层面达成一致,主数据代码难统一。三是历史包袱重,落地实施难。各企事业单位中存在着信息系统庞杂、建设年代跨度久遠(yuǎn)等问题,一些早期的系统数据标准化程度不高,数据清洗难、改造成本高,给主数据应用(yòng)集成带来较大的困难。四是通用(yòng)基础主数据开放性差,获取困难。行政區(qū)划、城市代码、功能(néng)地点代码等通用(yòng)基础主数据缺乏高质量的数据来源和便捷可(kě)靠的获取渠道。
二、 主数据管理(lǐ)概述
党的十九大报告提出要“推动互联网、大数据、人工智能(néng)和实體(tǐ)经济深度融合”。中共中央总书记习近平主持中共中央政治局就实施國(guó)家大数据战略學(xué)习时强调“大数据发展日新(xīn)月异,我们应该审时度势、精心谋划、超前布局、力争主动”。进一步突出了大数据作為(wèi)國(guó)家基础性战略性资源的重要地位,掌握丰富的高价值数据资源日益成為(wèi)抢占未来发展主动权的前提和保障。
伴随着大数据的深入推进,数据的资产化成為(wèi)日益明显的趋势。越来越多(duō)的企业正在将数据考虑為(wèi)资产,甚至有(yǒu)人建议将其计入资产负债表。但是对比实物(wù)资产,对于数据资产的管理(lǐ)还处于非常原始的阶段。企业数据资产管理(lǐ)仍然存在数据质量难以保障、数据垃圾难以处理(lǐ)、数据转化效率低下等管理(lǐ)痛点。如何充分(fēn)挖掘发挥数据价值的方法论和参考框架是关键问题也是难点问题。
科(kē)學(xué)的数据资产管理(lǐ)模式对于企业具有(yǒu)非常重要的意义。现有(yǒu)的方法多(duō)种多(duō)样,其中“主数据管理(lǐ)”是数据资产管理(lǐ)实践方式的重要切入方法之一,其建设策略是从解决核心业務(wù)实體(tǐ)数据的质量和业務(wù)协同入手,推动生产环节在客户、物(wù)料、组织机构、产品、统一编码等方面保持一致。从主数据入手开展数据资产管理(lǐ)实践目标明确、建设周期较短,还能(néng)够保障关键数据的唯一性、一致性及合规性。从 IT 建设的角度,主数据管理(lǐ)可(kě)以增强 IT 结构的灵活性,构建覆盖整个企业范围内的数据资产管理(lǐ)基础和相应规范,并且更灵活地适应企业业務(wù)需求的变化。此外,主数据质量的提高也能(néng)够為(wèi)后期数据集成和数据整合打下良好的基础。
主数据及主数据管理(lǐ)建设模式存在一定的难点和挑战,如主数据管理(lǐ)进程需要修改现有(yǒu)的相关生产业務(wù)过程和系统,需要从管理(lǐ)學(xué)的角度充分(fēn)调动业務(wù)部门密切配合。主数据管理(lǐ)模式要求业務(wù)间有(yǒu)表单数据交换,因此短期内会使得信息架构发生变化,甚至变得更加复杂。主数据及主数据管理(lǐ)建设模式对组织的业務(wù)运营效率和信息决策周期要求较高。
政府政務(wù)、能(néng)源化工、装备制造、交通物(wù)流、医疗、综合性投资企业等不同行业往往需要处理(lǐ)来自组织内不同业務(wù)单元、专业领域、信息系统的主数据问题,关注数据密集关键部位的业務(wù)运作状态,对关键事件和责任进行追溯,此外该类企业还关注企业的关键生产环节(如:制造、生产、技术等)的效率提升、扩展性和灵活性。因此,企事业单位大量采用(yòng)以主数据管理(lǐ)為(wèi)核心的管理(lǐ)实践模式来实现数据资产管理(lǐ)。
為(wèi)了使读者更加理(lǐ)解白皮书的内容,本章首先阐述主数据及主数据管理(lǐ)的内涵、分(fēn)类与重要性。
(一) 什么是主数据
1. 主数据定义
主数据(MDM:Master Data):指满足跨部门业務(wù)协同需要的、反映核心业務(wù)实體(tǐ)状态属性的组织机构的基础信息。主数据相对交易数据而言,属性相对稳定,准确度要求更高,唯一识别。
主数据具有(yǒu)以下几个方面的特征:
①超越部门。主数据不是那种局限于某个具體(tǐ)职能(néng)部门的数据库。主数据是满足跨部门业務(wù)协同需要的,是各个职能(néng)部门在开展业務(wù)过程中都需要的数据,是所有(yǒu)职能(néng)部门及其业務(wù)过程的“最大公约数据”。
②超越流程。主数据不依赖于某个具體(tǐ)的业務(wù)流程,但却是主要业務(wù)流程都需要的。主数据的核心是反映对象的状态属性,它不随某个具體(tǐ)流程而发生改变,而是作為(wèi)其完整流程的不变要素。
③超越主题。与信息工程方法论中通过聚类方法选择主题数据不同,主数据是不依赖于特定业務(wù)主题却又(yòu)服務(wù)于所有(yǒu)业務(wù)主题的有(yǒu)关业務(wù)实體(tǐ)的核心信息。
④超越系统。主数据管理(lǐ)系统是信息系统建设的基础,应该保持相对独立,它服務(wù)于但是高于其它业務(wù)信息系统,因此对主数据的管理(lǐ)要集中化、系统化、规范化。
⑤超越技术。由于主数据要满足跨部门的业務(wù)协同,因而必须适应采用(yòng)不同技术规范的不同业務(wù)系统,所以主数据必须应用(yòng)一种能(néng)够為(wèi)各类异构系统所兼容的技术条件。从这个意义上讲,面向微服務(wù)架构為(wèi)主数据的实施提供了有(yǒu)效的工具。
此外,业内对主数据还有(yǒu)其他(tā)定义和解释。國(guó)家标准 GB/T 36073-2018《数据管理(lǐ)能(néng)力成熟度评估模型》中对主数据的定义是“主数据是组织中需要跨系统、跨部门进行共享的核心业務(wù)实體(tǐ)数据”。IBM 公司在其有(yǒu)关主数据管理(lǐ)的红皮书《Master Data Manangement:Rapid Deployment Package for MDM》认為(wèi),所谓主数据是有(yǒu)关客户、供应商(shāng)、产品和账户的企业关键信息;有(yǒu)观点将主数据定义為(wèi)“表示‘跟踪事物(wù)状态’的数据”。國(guó)际数据管理(lǐ)协会(DAMA,Data Management Association International)在 2009 年发布的数据管理(lǐ)知识體(tǐ)系 DMBOK1.0 对主数据作了如下定义:主数据是关于业務(wù)实體(tǐ)的数据,这些实體(tǐ)為(wèi)业務(wù)交易提供关联环境。业務(wù)规则通常规定了主数据格式和允许的取值范围。主数据是关于关键业務(wù)实體(tǐ)的权威的、最准确的数据,可(kě)用(yòng)于建立交易数据的关联环境。主数据值被认為(wèi)是“黄金” 数据。
主数据与组织机构的业務(wù)性质密切相关,因而不同的业務(wù)组织所需要的主数据存在着显著差异。例如,对于 ERP 系统的客户,供应商(shāng)、物(wù)料、BOM(Bill Of Material)、产品、合同、订单等都应该是最基础的数据;对于项目管理(lǐ)系统,项目信息则是最基本的基础数据;而对于 CRM 系统,销售项目是最基本的基础数据。下面是物(wù)料主数据的例子。
什么是物(wù)料主数据?
设备物(wù)资包含企业工程项目建设、投资、日常业務(wù)运行管理(lǐ)等各方面涉及到的设备物(wù)资,按照企业行业的物(wù)料特点制定分(fēn)类原则。 编码原则:简单性、唯一性、分(fēn)类合理(lǐ)性、可(kě)扩展性 代码结构:物(wù)料分(fēn)类结构通常可(kě)以分(fēn)為(wèi)三层,即大类、中类、小(xiǎo)类。分(fēn)类代码采取等長(cháng)数字型层次结构代码方式,表示物(wù)资的大类、中类和小(xiǎo)类 分(fēn)类原则:一是以最稳定的本质属性或特征作為(wèi)分(fēn)类的基础和依据。二是通常以自然属性為(wèi)第一分(fēn)类原则,适当考虑用(yòng)途和管理(lǐ)的方便。三是应满足科(kē)學(xué)性、稳定性、分(fēn)类清晰、不交叉、不混淆的要求。 物(wù)料描述规则 物(wù)料描述是區(qū)分(fēn)不同物(wù)料的依据,是判断新(xīn)增条目重复性的唯一判断条件。所以科(kē)學(xué)、合理(lǐ)的描述规则,是保证“一物(wù)一码”的前提条件,其对于整个信息代码编码體(tǐ)系的長(cháng)期稳定运行至关重要。 物(wù)料描述模版是具體(tǐ)物(wù)料描述规则的定义,主要解决物(wù)料描述的规范化问题。包括物(wù)料主要自然属性的确定、取值范围和相互关系。大部分(fēn)小(xiǎo)类一个小(xiǎo)类对应一个模板,有(yǒu)些小(xiǎo)类可(kě)能(néng)共用(yòng)一个模板或一个小(xiǎo)类对应几个模板。 |
2. 主数据和其他(tā)数据的关系
主数据及主数据管理(lǐ)往往和其他(tā)已有(yǒu)的概念混在一起,从而影响人们对主数据与主数据管理(lǐ)的本质的认识。本文(wén)已经在前面就主数据的概念进行了分(fēn)析,為(wèi)了加深理(lǐ)解,将分(fēn)析主数据与元数据、主数据与交易数据这两个概念的區(qū)别和联系。
图 1 主数据与元数据、交易数据的关系
(1) 主数据和元数据
主数据和元数据是两个完全不同的概念。元数据是指公司数据资产管理(lǐ)的基础,是关于“数据的数据”,例如数据类型、数据定义、数据关系等,相当于数据表格中的表头信息,是一个相对客观的概念。而主数据是从元数据中挑选出来的,表征公司业務(wù)运行的关键、通用(yòng)型数据,是一个相对主观的概念。它不仅仅只是表头信息,而是包括实例数据。例如公司的产品列表、客户列表、分(fēn)公司地址信息等。
(2) 主数据和交易数据
交易数据也是基于元数据衍生而来的,反应公司实时业務(wù)记录的数据,同样是实例数据。主数据是相对稳定的,静止不变或者是一段时间内静止不变的数据,而交易数据则是实时变化的数据,往往描述的是某一个时间点所发生的交易行為(wèi)。例如客户订单、存货跟踪、销售记录、售后事件等。一个主数据可(kě)能(néng)会跟多(duō)个交易数据有(yǒu)关联,而一个交易数据可(kě)能(néng)又(yòu)会对主数据产生影响。举例来说,航空公司中,“客户本年度飞行里程”是一个主数据,而“客户每次飞行记录”,则是交易数据,当交易数据“客户每次飞行记录”累积到一年时,主数据“客户本年度飞行里程”便会产生更新(xīn)。
3. 主数据的类型
主数据主要包括配置型主数据和核心主数据。具體(tǐ)说明如下:
(1) 配置型主数据
配置型主数据是描述业務(wù)或核心主数据属性分(fēn)类的参考信息,会在整个组织内共享使用(yòng)。一般依据國(guó)际标准、國(guó)家标准、行业标准或企业标准和相关规范等,在系统中一次性配置使用(yòng)的基础数据,例如國(guó)家、民(mín)族、性别等规范性表述。配置型主数据相对稳定,不易变化。
(2) 核心主数据
核心主数据指用(yòng)来描述企业核心业務(wù)实體(tǐ)的主数据,是企业核心业務(wù)对象、交易业務(wù)的执行主體(tǐ),如产品、物(wù)资、设备、组织机构、员工、供应商(shāng)、客户、会计科(kē)目等。核心主数据是企业信息系统的神经中枢,是业務(wù)运行和决策分(fēn)析的基础。核心主数据是相对“固定”的,变化缓慢。
(二) 什么是主数据管理(lǐ)
主数据管理(lǐ)(MDM ,Master Data Management)是一系列规则、应用(yòng)和技术,用(yòng)以协调和管理(lǐ)与企业的核心业務(wù)实體(tǐ)相关的系统记录数据。
主数据管理(lǐ)的关键活动包括:理(lǐ)解主数据的整合需求,识别主数据的来源,定义和维护数据整合架构,实施主数据解决方案,定义和维护数据匹配规则,根据业務(wù)规则和数据质量标准对收集到的主数据进行加工清理(lǐ),建立主数据创建、变更的流程审批机制,实现各个关联系统与主数据存储库数据同步,方便修改、监控、更新(xīn)关联系统主数据变化。
主数据管理(lǐ)通过对主数据值进行控制,使得企业可(kě)以跨系统的使用(yòng)一致的和共享的主数据,提供来自权威数据源的协调一致的高质量主数据,降低成本和复杂度,从而支撑跨部门、跨系统数据融合应用(yòng)。
(三) 主数据管理(lǐ)的重要性
主数据建设在企业信息化战略中处于核心地位,处于基础支撑地位,是基础数据的汇集地,确保目标系统数据的一致和唯一。主数据管理(lǐ)主要有(yǒu)以下三点价值:
消除数据冗余:不同部门按照自身需求获取数据,容易造成数据重复存储,形成数据冗余。而主数据打通各业務(wù)链条,统一数据语言,统一数据标准,实现数据共享,最大化消除了数据冗余。
提升数据处理(lǐ)效率:各部门对于数据定义不一样,不同版本的数据不一致,一个核心也為(wèi)主體(tǐ)有(yǒu)多(duō)个版本的信息,需要大量人力成本、时间成本去整理(lǐ)和统一。通过主数据管理(lǐ)可(kě)以实现数据动态自动整理(lǐ)、复制,减少人工整理(lǐ)数据的时间和工作量。
提高公司战略协同力:通过主数据的一次录入、多(duō)次引用(yòng),避免一个主数据在多(duō)个部门和線(xiàn)条重复录入。数据作為(wèi)公司内部经营分(fēn)析、决策支撑的“通行语音”,实现多(duō)个部门统一后,有(yǒu)助于打通部门、系统壁垒,实现信息集成与共享,提高公司整體(tǐ)的战略协同力。
三、 主数据管理(lǐ)的主要内容
主数据管理(lǐ)的主要内容包括“两體(tǐ)系、一工具”,即主数据管理(lǐ)标准體(tǐ)系、主数据管理(lǐ)保障體(tǐ)系和主数据管理(lǐ)工具。其中,主数据管理(lǐ)标准體(tǐ)系是主数据管理(lǐ)工作的重中之重,主数据管理(lǐ)保障體(tǐ)系為(wèi)主数据管理(lǐ)保驾护航,主数据管理(lǐ)工具确保主数据管理(lǐ)有(yǒu)效落地。
(一) 主数据管理(lǐ)标准體(tǐ)系
主数据管理(lǐ)标准體(tǐ)系是主数据管理(lǐ)工作的重中之重,通过主数据标准化,才能(néng)為(wèi)实现部门和系统间的数据集成和共享,打通企业横向产业链和纵向管控奠定数据基础。
主数据标准管理(lǐ)體(tǐ)系包含业務(wù)标准(编码规则、分(fēn)类规则、描述规则等)、主数据模型标准。主数据标准管理(lǐ)體(tǐ)系在建设梳理(lǐ)的过程中,一般会衍生出一套代码體(tǐ)系表或称主数据资产目录。
主数据业務(wù)标准是对主数据业務(wù)含义的统一解释及要求,包括主数据来源、主数据的管理(lǐ)级次、统一管理(lǐ)的基础数据项、数据项在相关业務(wù)环境中产生过程的描述及含义解释、数据之间的制约关系、数据产生过程中所要遵循的业務(wù)规则。主数据业務(wù)规则包含主数据各数据项的编码规范、分(fēn)类规则、描述规则等。
⚫ 编码规则:主数据代码的编码规则。例如:物(wù)料代码采取采用(yòng)“1”开头的8位无含义数字流水码。
⚫ 分(fēn)类规则:依据相关业務(wù)环境和管理(lǐ)需求形成分(fēn)类规则。例如:物(wù)料分(fēn)类根据物(wù)料的自然属性及所包括范围的大小(xiǎo),将物(wù)料分(fēn)為(wèi)大、中、小(xiǎo)三类。
⚫ 描述规则:又(yòu)称命名规范。例如:物(wù)料描述规则具體(tǐ)物(wù)料描述规则的定义,主要解决物(wù)料描述的规范化问题。
主数据模型标准包含:主数据逻辑模型和主数据物(wù)理(lǐ)模型。
⚫ 主数据逻辑模型:将高级的业務(wù)概念以主数据实體(tǐ)/属性及其关系的形态在逻辑层面上更详细的表达出来,主要的表现形式是ERD(实體(tǐ)关系图)。
⚫ 主数据物(wù)理(lǐ)模型又(yòu)称主数据的存储结构表。业務(wù)在应用(yòng)环境中对数据的统一技术要求,包括对数据長(cháng)度、数据类型、数据格式、数据的缺省值、可(kě)否為(wèi)空的定义、索引、约束关系等设计要素,保证数据模型中设计的结果能(néng)够真正落地到某个具體(tǐ)的数据库当中,并提供了系统初始设计所需要的基础元素,以及相关元素之间的关系。
主数据代码體(tǐ)系表:在某些领域内,又(yòu)称主数据资产目录。是描述企事业单位信息化建设过程中所使用(yòng)的主数据代码种类、各类主数据代码名称、代码属性(分(fēn)类、明细、规则等)、采(参)标号及代码建设情况的汇总表,是企业主数据代码查询和应用(yòng)的依据,同时也是主数据代码的全局性和指导性文(wén)件。主数据代码體(tǐ)系表主要结合了企业的经营管理(lǐ)特点,服務(wù)于企业信息化建设,主要包括两部分(fēn)内容,第一是企业信息代码體(tǐ)系表的框架结构以及分(fēn)类,第二是所有(yǒu)分(fēn)类下的信息代码标准明细以及建设情况。
(二) 主数据管理(lǐ)保障體(tǐ)系
主数据管理(lǐ)需要有(yǒu)配套的管理(lǐ)保障體(tǐ)系保驾护航。通过主数据管理(lǐ)组织进行统一领导。确定主数据指导思想、目标和任務(wù),协调解决主数据管理(lǐ)相关的重大问题。需要数据标准化的归口管理(lǐ)部门,负责标准化的统一规划、综合管理(lǐ)。需要业務(wù)组由相关事业部和职能(néng)部门组成。并通过配套主数据相关制度、流程、应用(yòng)管理(lǐ)和评价為(wèi)主数据管理(lǐ)保驾护航。主数据管理(lǐ)保障體(tǐ)系包括主数据管理(lǐ)组织、制度、流程、应用(yòng)及管理(lǐ)评价五部分(fēn)。
1. 主数据管理(lǐ)组织
主数据管理(lǐ)组织主要包括企业内各类主数据的管理(lǐ)组织架构、运营模式、角色与职责规划,通过组织體(tǐ)系规划建立明确的主数据管理(lǐ)机构和组织體(tǐ)系,落实各级部门的职责和可(kě)持续的主数据管理(lǐ)组织与人员。
典型的主数据管理(lǐ)组织主要包含以下三层组织架构:
(1) 决策层:设立主数据领导小(xiǎo)组,一般由企事业单位信息化领导小(xiǎo)组成员组成,对主数据标准化工作进行统一领导 确定指导思想、目标和任務(wù),协调解决标准化相关的重大问题。
(2) 管理(lǐ)层:在领导小(xiǎo)组的统一领导下,按照“归口管理(lǐ),分(fēn)工负责” 的原则,设立主数据联合工作组,该工作组為(wèi)常设组织,主要由主数据标准化办公室、业務(wù)组和技术组共同组成。
⚫ 主数据标准化办公室设在信息部门,信息部门是主数据标准化的归口管理(lǐ)部门,负责主数据标准化的统一规划、综合管理(lǐ),负责监督、检查、统一发布的主数据标准,负责标准的培训、宣贯等工作。
⚫ 业務(wù)组由职能(néng)部门相关业務(wù)专业人组成,负责主数据标准的需求收集、标准制定、标准审核、应用(yòng)情况监督、检查等工作。
⚫ 技术组由信息部门技术人员组成,负责日常运维和技术支持,与业務(wù)组一起负责提出主数据标准制修订的技术方案,负责标准在各业務(wù)系统中的应用(yòng)和贯标。
(3) 执行层:包括企业总部和下属企业专职及兼职主数据管理(lǐ)员组成。负责主数据在本单位的贯彻落实、应用(yòng)检查工作;负责本单位主数据需求的收集、审核、提报工作;负责本单位主数据的培训、宣贯和日常维护等工作。
2. 主数据管理(lǐ)制度
主数据管理(lǐ)制度规定了主数据管理(lǐ)工作的内容、程序、章程及方法,是主数据管理(lǐ)人员的行為(wèi)规范和准则,主要包含各种管理(lǐ)办法、规范、细则、手册等。
可(kě)参考的主数据管理(lǐ)制度主要包含:
⚫ 《主数据管理(lǐ)办法》
⚫ 《主数据标准规范》
⚫ 《主数据提案指南》
⚫ 《主数据维护细则》
⚫ 《主数据管理(lǐ)工具操作手册》
3. 主数据管理(lǐ)流程
主数据管理(lǐ)流程是提升主数据质量的重要保障,通过梳理(lǐ)数据维护及管理(lǐ)流程,建立符合企业实际应用(yòng)的管理(lǐ)流程,保证主数据标准规范得到有(yǒu)效执行,实现主数据的持续性長(cháng)效治理(lǐ)。主数据管理(lǐ)流程可(kě)以以管理(lǐ)制度的方式存在,也可(kě)以直接嵌入到主数据管理(lǐ)工具中。
主数据管理(lǐ)流程主要包含以下三个方面的内容:
(1) 主数据业務(wù)管理(lǐ)流程:对主数据的申请、校验、审核、发布、变更、冻结、归档等进行全生命周期管理(lǐ),满足主数据在企业深入应用(yòng)的不同管理(lǐ)需求。
(2) 主数据标准管理(lǐ)流程:通过对主数据标准的分(fēn)析、制定、审核、发布、应用(yòng)与反馈等流程进行设计,保证主数据标准的科(kē)學(xué)、有(yǒu)效、适用(yòng)。
(3) 主数据质量管理(lǐ)流程:对主数据的创建、变更、冻结、归档等业務(wù)过程进行质量管理(lǐ),设计数据质量评价體(tǐ)系,实现数据质量的量化考核,保障主数据的安全、可(kě)靠。
4. 主数据应用(yòng)管理(lǐ)
主数据应用(yòng)管理(lǐ)是保障主数据落地和数据质量非常重要的一环。主数据应用(yòng)主要包含三部分(fēn)内容:明确管理(lǐ)要求、实施有(yǒu)效的管理(lǐ)、强化保障服務(wù)。
(1) 明确管理(lǐ)要求:制定主数据应用(yòng)管理(lǐ)制度规范,对主数据的应用(yòng)范围、应用(yòng)规则、管理(lǐ)要求和考核标准做出明确规定,并以此為(wèi)依据,对主数据应用(yòng)进行有(yǒu)效管理(lǐ)。
⚫ 应用(yòng)范围:每一类主数据都要有(yǒu)适用(yòng)范围的规定,具體(tǐ)应用(yòng)时必须按照适用(yòng)范围来执行,对应用(yòng)中出现的不适用(yòng)的情况要有(yǒu)应对机制。
⚫ 应用(yòng)规则:包括数据同步规则、代码映射、归并和转换规则、异常处理(lǐ)规则等,对代码映射、归并和转换规则,要有(yǒu)相应的原数据定义和记录。
⚫ 管理(lǐ)要求:包括管理(lǐ)岗位和职责、管理(lǐ)流程、管理(lǐ)指标和考核要求。
⚫ 考核标准:规定主数据应用(yòng)考核标准,包括覆盖度、准确度、及时性、有(yǒu)效性、安全性等。
(2) 实施有(yǒu)效管理(lǐ):主数据应用(yòng)点多(duō)、面广、線(xiàn)長(cháng),管理(lǐ)难度很(hěn)大,要实施有(yǒu)效管理(lǐ),就必须要有(yǒu)健全的制度和可(kě)行的手段,在关键控制节点实施重点管理(lǐ)。
⚫ 加强宣讲和引导,通过业務(wù)主管部门落实好管理(lǐ)职责,要分(fēn)工明确,责任到人,强化岗位责任制和考核管理(lǐ),不能(néng)有(yǒu)管理(lǐ)死角。
⚫ 将信息系统建设项目实施主数据专项评审,确保信息系统在主数据应用(yòng)方面符合管理(lǐ)要求。
⚫ 实施主数据核验,对业務(wù)环节涉及的主数据进行全面核查,确保主数据在业務(wù)环节被有(yǒu)效使用(yòng),如有(yǒu)违规,进行必要的处罚。
(3) 强化服務(wù)保障:依靠便捷、可(kě)靠的主数据服務(wù)為(wèi)主数据应用(yòng)提供保障,包括主数据查询、主数据同步、主数据申请和主数据调用(yòng)。有(yǒu)条件的单位可(kě)将主数据服務(wù)深入到业務(wù)流程,从业務(wù)端发起请求,驱动主数据管理(lǐ)和服務(wù),形成管理(lǐ)和应用(yòng)的有(yǒu)机协同。
5. 主数据管理(lǐ)评价
主数据管理(lǐ)评价是用(yòng)来评估及考核主数据相关责任人职责的履行情况及数据管理(lǐ)标准和数据政策的执行情况,通过建立定性或定量的主数据管理(lǐ)评价考核指标,加强企业对主数据管理(lǐ)相关责任、标准与政策执行的掌控能(néng)力。
主数据管理(lǐ)评价指标从管理(lǐ)标准、数据认责和数据政策三个角度考虑,由数据所有(yǒu)人与数据认责人共同确定,定义一系列的衡量指标和规则,分(fēn)一方面落实和检查主数据的应用(yòng)情况,另一方面考察和评估主数据管理(lǐ)、主数据标准、主数据质量的执行情况。
為(wèi)了进一步保障主数据管理(lǐ)工具成功实施和有(yǒu)效运行,必须做到组织、职能(néng)、责任、人员的四落实。制定涉及到主数据管理(lǐ)的各个环节、组织、人员的一套绩效考核办法,明确各组织部门的职责与分(fēn)工。
表 1 主数据管理(lǐ)评价考核指标
序号
考核方向
技术指标
衡量标准
1
及时性
及时率
满足时间要求的数据总数/总数据数
2
真实性和准确性
数据真实率
1-数据中失真记录总数/数据总记录数
有(yǒu)效值比率
1-超出值域的异常值记录总数/总记录数
流转过程失真率
数据传输失真记录总数/总记录数
重复数据比率
重复记录数/总记录数
3
一致性
外键无对应主键的记录比率
外键无对应主键的记录总数/总记录数
主数据一致率
一致的主数据总数/主数据总数
4
完整性
字段的空值率
空值记录总数/总记录数
信息完备率
能(néng)够获取的指标数/总需求指标数
序号 |
考核方向 |
技术指标 |
衡量标准 |
1 |
及时性 |
及时率 |
满足时间要求的数据总数/总数据数 |
2 |
真实性和准确性 |
数据真实率 |
1-数据中失真记录总数/数据总记录数 |
有(yǒu)效值比率 |
1-超出值域的异常值记录总数/总记录数 |
||
流转过程失真率 |
数据传输失真记录总数/总记录数 |
||
重复数据比率 |
重复记录数/总记录数 |
||
3 |
一致性 |
外键无对应主键的记录比率 |
外键无对应主键的记录总数/总记录数 |
主数据一致率 |
一致的主数据总数/主数据总数 |
||
4 |
完整性 |
字段的空值率 |
空值记录总数/总记录数 |
信息完备率 |
能(néng)够获取的指标数/总需求指标数 |
(三) 主数据管理(lǐ)工具
主数据管理(lǐ)工具是主数据标准文(wén)本发布、主数据全生命周期管理(lǐ)的重要平台。主数据标准的维护流程和管理(lǐ)措施通过管理(lǐ)平台进行系统实现和控制,以保证标准的唯一性和宣贯的及时性。主数据管理(lǐ)工具主要包括数据建模、数据整合、数据管理(lǐ)、数据服務(wù)、基础管理(lǐ)、标准管理(lǐ)等功能(néng)模块。
图 2 主数据管理(lǐ)工具功能(néng)架构
主数据建模:主要以主数据标准體(tǐ)系為(wèi)基准,通过可(kě)视化建模工具,定义主数据对象、编码规则、属性值和控制流程等基础要素,构建主数据标准模型。
主数据整合:主要利用(yòng)数据清洗工具及扩展功能(néng),将各系统生成的主数据进行汇集、依据主数据标准和主数据模型定义的规则进行校验、清洗、发布,实现对主数据的全生命周期管理(lǐ),并整合出统一的、可(kě)信任的主数据。
主数据管理(lǐ):按照标准主数据管理(lǐ)规程的要求,通过严格的管理(lǐ)流程,实现主数据创建、审批、发布、修改、冻结和失效等全生命周期管理(lǐ)以及数据字典的管理(lǐ)维护,确保数据的一致性、准确性、实时性和权威性。
主数据存储和服務(wù):主数据平台发布的基准数据,集中存储于主数据基准库,提供在線(xiàn)查询和订阅功能(néng),并通过流程驱动和消息驱动的标准接口供数据共享服務(wù)。
标准文(wén)件资料管理(lǐ):利用(yòng)外部公共文(wén)档管理(lǐ)系统或内置管理(lǐ)功能(néng),实现标准文(wén)件和相关资料的存储管理(lǐ)、版本管理(lǐ)和标准目录管理(lǐ),配置智能(néng)化搜索引擎,实现智能(néng)、快捷、精确高效的查询检索功能(néng)。
基础管理(lǐ):主要实现对系统中的基础数据进行设置,配置灵活、安全可(kě)靠的权限管理(lǐ)及日志(zhì)管理(lǐ),包括用(yòng)户、用(yòng)户组、角色、资源、流程配置等,以及对各类主数据的进行统计分(fēn)析,為(wèi)主数据应用(yòng)评价提供有(yǒu)力支撑。
四、 主数据管理(lǐ)的实施要点
主数据管理(lǐ)是一个复杂的系统工程,涉及到企业和单位多(duō)个领域,既要做好顶层设计,又(yòu)要解决好统一标准、统一流程、统一管理(lǐ)體(tǐ)系等问题,同时也要解决好数据采集、数据清洗、数据对接和应用(yòng)集成等相关问题。
主数据管理(lǐ)常见问题和挑战主要有(yǒu):不重视主数据的总體(tǐ)规划,缺乏顶层设计,无法在单位决策层、管理(lǐ)层和业務(wù)层等各层级统一思路;各职能(néng)部门各自為(wèi)政,难以在标准和规则层面达成一致,致使主数据代码标准难统一;通用(yòng)标准主数据(國(guó)际标准、國(guó)家标准和行业标准产生的主数据)管理(lǐ)分(fēn)散,缺乏便捷可(kě)靠的数据获取渠道,数据获取困难;单位内部已经存在且分(fēn)散管理(lǐ)的主数据,由于缺乏统一标准和数据关联,大量的数据清洗依靠人為(wèi)判断,数据清洗难度和风险都很(hěn)大;一些单位,特别是大型集团化企业,系统众多(duō)、年代跨度久遠(yuǎn),一些早期的系统数据标准化程度不高,改造难度大、成本高,给主数据应用(yòng)集成带来较大的困难。
主数据实施要点主要包含主数据规划、制定主数据标准、建立主数据代码库、搭建主数据管理(lǐ)工具、构建运维體(tǐ)系及推广贯标六大部分(fēn),其中主数据规划是纲领、制定主数据标准是基础、建立主数据主数据代码库是过程、搭建主数据管理(lǐ)工具是技术手段、构建运维體(tǐ)系是前提,推广贯标是持续保障。
图 3 主数据实施要点
主数据规划:运用(yòng)方法论并结合企业实际情况,制定主数据整體(tǐ)实施路線(xiàn)图。
制定主数据标准:确定数据范围,与业務(wù)部门共同制定主数据标准,标准内容包括确定分(fēn)类规范、编码结构、数据模型、属性描述等。
建立主数据代码库:按照主数据标准进行数据检查、数据排重、数据编码、数据加载等,建立符合数据标准和规范的主数据代码库,
搭建主数据管理(lǐ)工具:建设主数据管理(lǐ)工具,為(wèi)主数据的管理(lǐ)提供技术支持,实现主数据查询、申请、修改、审核、发布、冻结、归档等全生命周期管理(lǐ)。构建运维體(tǐ)系:建立主数据管理(lǐ)和标准管理(lǐ)的运维组织、管理(lǐ)流程、考核机制等,保证主数据标准规范得到有(yǒu)效执行。
推广贯标:统一执行主数据标准规范,扩大主数据标准的应用(yòng)范围,实现信息系统间的互联互通及共享利用(yòng)。
(一) 主数据规划
主数据规划是项目建设的第一步,也是非常关键的一步,规划将提供一系列方法和流程来保证企业核心主数据的准确性、完整性和一致性。
主数据规划强调将需求分(fēn)析与系统建模紧密结合,需求分(fēn)析是系统建模的基础,而业務(wù)调研又(yòu)是需求分(fēn)析的前提。在进行规划的时候,首先根据业務(wù)工作内容(而不是根据现行的机构部门)划分(fēn)出一些“职能(néng)小(xiǎo)组”,由双方业務(wù)人员、分(fēn)析人员组成的小(xiǎo)组,分(fēn)别对各个职能(néng)域进行业務(wù)个数的调研分(fēn)析。
主数据识别是对调研、分(fēn)析成果的进一步梳理(lǐ),通过之前“职能(néng)小(xiǎo)组” 识别各系统间、业務(wù)部门间、数据库间、业務(wù)流程间、职能(néng)小(xiǎo)组间的主数据识别,并识别出该阶段应当完成的主数据流程、主数据模型及相应其他(tā)细则。
在主数据规划咨询的过程中需要参照标准,主要参照的标准有(yǒu)國(guó)际标准、國(guó)家标准、行业标准、企业标准,确保企业的主数据规划咨询后能(néng)够既符合國(guó)家相关规定,又(yòu)具备企业行业特色。在参照标准的同时要结合当前企业的实际需求及未来业務(wù)拓展的需求,根据企业主数据的使用(yòng)范围、使用(yòng)时间,根据实际情况选择主数据的种类与类型。
通过现状调研和需求分(fēn)析等前期工作输出主数据规划成果,该成果主要包括主数据标准化體(tǐ)系架构、主数据集成架构、主数据安全架构(数据脱敏、数据权限)以及运营管理(lǐ)架构(组织、制度、流程、管理(lǐ)规范、质量管理(lǐ)措施等)等内容,此外主数据规划阶段的关键活动是对成果、體(tǐ)系的宣贯,通过宣贯让企业的各级管理(lǐ)人员及员工及时掌握相应的标准、规范,确保整个體(tǐ)系的梳理(lǐ)运行。
(二) 制定主数据标准
制定主数据标准是建立主数据代码库的基础工作,保障主数据管理(lǐ)工具开发运维以实现系统之间数据共享的前提,也是主数据管理(lǐ)组织及流程顺利开展的关键阶段。制定主数据标准一般遵循简单性、唯一性、可(kě)扩展性等相关原则,既要方便当前应用(yòng)系统的需求,又(yòu)要考虑未来信息系统发展的需求,此外,制定主数据标准还要根据业務(wù)需求的紧急程度分(fēn)期建设。
制定主数据标准的过程可(kě)参考如下步骤。首先,要在理(lǐ)解企业信息化整體(tǐ)规划的基础上,开展主数据标准管理(lǐ)现状调研,梳理(lǐ)相关业務(wù)流程。其次,可(kě)以选取组织架构、业務(wù)范围等类似的优秀企业作為(wèi)标杆进行对比分(fēn)析,归纳核心管理(lǐ)领域和业務(wù)领域的主数据管理(lǐ)需求,确定数据范围和组织范围。最后,要根据各类主数据的特点并结合企业实际情况,与相关业務(wù)部门共同讨论制定满足企业应用(yòng)需求的主数据标准,标准内容主要包括分(fēn)类规范、编码结构、主数据模型、描述模板、属性取值等。
制定主数据标准要紧密围绕主数据管理(lǐ)标准體(tǐ)系的主要内容去开展,即结合业務(wù)需求统筹梳理(lǐ)业務(wù)标准(编码规则、分(fēn)类规则、描述规则等)、构建统一的主数据模型标准。制定主数据标准的过程中,一般会衍生出一套代码體(tǐ)系表或称主数据资产目录。
主数据业務(wù)标准建设过程:首先,根据主数据规划以及调研的实际情况来确定业務(wù)标准的建设个数。一般来讲,会计科(kē)目主数据、客户供应商(shāng)主数据、组织机构主数据是企业通用(yòng)的主数据业務(wù)标准类型,此外,项目主数据、产品主数据、物(wù)料主数据、设备主数据等需要根据企业自身需求来决定是否建设和落实。业務(wù)标准的建设过程一定根据行业企业自身特点去提炼划分(fēn),不仅仅包括以上举例的几个部分(fēn)。值得强调的是,主数据业務(wù)标准的分(fēn)类很(hěn)重要。业務(wù)标准的分(fēn)类是基础,科(kē)學(xué)合理(lǐ)的分(fēn)类是制定标准成功的保障,描述标准是数据信息在标准化系统校对的主要依据,其信息的描述是由各信息的属性字段连接而成,可(kě)针对数据分(fēn)类建立标准化的描述模板,有(yǒu)效避免一物(wù)多(duō)名现象。
主数据模型标准建设过程:主数据模型标准建设随着业務(wù)标准的建设梳理(lǐ)过程而建立。相对于主数据业務(wù)标准建设过程,主数据模型标准建设比较简单。先建立物(wù)理(lǐ)模型,再建立逻辑模型。制定主数据标准的过程中,调研企业信息系统时,通过主数据识别形成一套代码體(tǐ)系表,进而指导主数据管理(lǐ)项目的建设。
(三) 建立主数据代码库
主数据代码库是根据主数据标准对历史主数据进行清洗、排重、合并、编码,保证主数据的完整性、准确性和唯一性,形成一套规范的、可(kě)信任的主数据代码库。
一般来说,建立主数据代码库的策略是收集企业有(yǒu)库存和有(yǒu)在途业務(wù)的数据并进行预处理(lǐ),检测收集的数据中存在的错误和不一致,剔除和进行修正,将剩余部分(fēn)转换成符合主数据标准规范要求的格式,以提高数据的质量。
建立主数据代码库的制定方法可(kě)参考以下步骤,第一,确定代码结构;第二,调研、收集各类代码标准;第三,分(fēn)析、优选各类代码标准并提出规划制定建议;第四,编制规则征求意见;第五;征求部门意见以完善和确认规则;最后,提交规则送审稿。
建立主数据代码库的过程是按照一定的清洗规则对零散、重复、缺失、错误、废弃等原始数据进行清洗,通过数据清洗保证主数据的唯一、精确、完整、一致和有(yǒu)效。然后分(fēn)别从数据的完整性、规范性、一致性、准确性、唯一性及关联性等多(duō)个维度,通过系统校验、查重及人工比对、筛查、核实等多(duō)种手段对主数据代码的质量进行多(duō)轮检查,通过高质量的数据清洗形成主数据标准代码库。
(四) 搭建主数据管理(lǐ)工具
搭建主数据管理(lǐ)工具,為(wèi)主数据的管理(lǐ)提供技术支持,实现主数据标准文(wén)本发布、主数据全生命周期管理(lǐ)等功能(néng)。
首先根据企业网络环境安装配置主数据管理(lǐ)工具标准功能(néng)模块,然后梳理(lǐ)关键业務(wù)流程,分(fēn)析核心管理(lǐ)领域和业務(wù)领域的主数据管理(lǐ)需求,从业務(wù)层面和系统层面进行主数据管理(lǐ)需求调研。对比主数据管理(lǐ)工具标准功能(néng)进行系统差异分(fēn)析,编制系统需求规格说明书。
依据需求规格说明书,在主数据管理(lǐ)工具标准功能(néng)的基础上进行客户化定制开发,并按照与其他(tā)信息系统的集成方案开发系统接口。在系统功能(néng)和性能(néng)方面,进行系统的相关测试,确保满足使用(yòng)需求。组织企业相关关键用(yòng)户进行业務(wù)和系统培训,為(wèi)后续上線(xiàn)使用(yòng)奠定基础。
(五) 构建运维體(tǐ)系
主数据管理(lǐ)工具上線(xiàn)运行后,在业務(wù)和技术层面继续提供后续支持保障,成立主数据标准化运维组织,明确各岗位职责,结合企业实际情况制定主数据管理(lǐ)制度、主数据管理(lǐ)流程及主数据管理(lǐ)维护细则等,建立企业运维體(tǐ)系,為(wèi)主数据的長(cháng)效规范运行奠定坚实基础。
(六) 推广贯标
主数据应用(yòng)推广直接关系到各信息系统互联互通的实现,通过应用(yòng)推广扩大数据标准应用(yòng)范围,实现主数据统一编码、统一描述、统一维护、统一应用(yòng),建立起规范可(kě)靠的主数据代码库,為(wèi)信息系统之间数据共享打下良好的基础。
五、 总结
大数据时代,数据成為(wèi)资产已经是行业共识,越来越多(duō)的企业将“数据价值挖掘”作為(wèi)重要的战略方向。然而,随着企业规模的不断扩大和企业信息化建设的不断深入,内部信息系统应用(yòng)越来越多(duō),数据量高速膨胀却以“数据孤岛”的形式储存着。海量的、分(fēn)散在不同系统的数据导致了数据分(fēn)析利用(yòng)的复杂性和统筹管理(lǐ)的困难。明确数据的获取来源、加快数据的获取效率催生了跨业務(wù)协同和跨系统共享的管理(lǐ)实施模式,并逐步衍生出主数据及主数据管理(lǐ)的概念,这些概念使得各自為(wèi)政的信息系统在共享整合过程中有(yǒu)据可(kě)循、有(yǒu)标可(kě)依。
随着新(xīn)兴技术的发展与变革,主数据及主数据管理(lǐ)也迎来了新(xīn)的机遇。主数据管理(lǐ)為(wèi)大数据分(fēn)析和应用(yòng)提供了良好的标准化环境,大数据存储和计算技术提高了主数据梳理(lǐ)和检索的效率,為(wèi)主数据管理(lǐ)提供了便捷的环境。云计算為(wèi)主数据管理(lǐ)工具提供了能(néng)够满足“共享服務(wù)”功能(néng)的新(xīn)的架构模式,采用(yòng)微服務(wù)技术满足主数据管理(lǐ)工具的高可(kě)用(yòng)性、稳定性和易用(yòng)性。人工智能(néng)為(wèi)主数据清洗提供了自动化思路,利用(yòng)自然语言处理(lǐ)及主数据标准库提升主数据质量。
与海量的数据相比,主数据描述了企业的核心业務(wù)实體(tǐ),它可(kě)以跨业務(wù)、跨系统、跨部门地被重复利用(yòng),其重要性不言而喻。然而在不同的行业和企业中,主数据管理(lǐ)的实践的进展不尽相同。我们期待处在不同主数据管理(lǐ)阶段的企业,都可(kě)以从本白皮书中获益。对于刚刚接触主数据管理(lǐ)的企业来说,本白皮书提供的概念和通用(yòng)流程将有(yǒu)助于企业加强对主数据宏观的了解。对于正在进行主数据管理(lǐ)的企业,本白皮书提供的案例直击企业面临的痛点,具有(yǒu)很(hěn)强的参考性。