浅谈数据质量管理(lǐ)

2020/06/02      4948 文(wén)章来源:CSDN 原作者:石秀峰

主数据的概念,是谁、在什么时间提出的,在网上查阅了很(hěn)多(duō)资料,没有(yǒu)找到确切的答(dá)案,下面是根据个人的理(lǐ)解来聊聊,為(wèi)什么会产生主数据,主数据发展经历的哪些阶段,不同阶段主数据的特点和使命。

1、主数据是信息化的产物(wù)

我们都知道信息化是20世纪的中期产物(wù),直到20世纪80年代,信息化在我國(guó)萌芽。90年代初的信息化建设主要是以办公系统和会计電(diàn)算化系统為(wèi)主。那时候还没有(yǒu)主数据的概念。

2、主数据的前身:基础数据

到了90年代中期,ERP(企业信息资源规划)的概念被提出,随着网络技术发展和電(diàn)子化企业管理(lǐ)思想的出现,快速发展起来。资料显示,最早的ERP系统中也没有(yǒu)主数据(Master data)的概念,而是被称作基础数据。

针对该问题,还曾请教了一位早在98年就实施ERP的师哥(gē),他(tā)介绍说当时他(tā)们实施的Oracle EBS产品中,的确没有(yǒu)主数据概念。那时候的“主数据”是称為(wèi)基础数据,在不同的模块中进行管理(lǐ)的,例如:物(wù)料是在INV模块,供应商(shāng)是在AP模块,客户是在AR模块。

随着信息化的发展,一个个业務(wù)系统在企业里被逐步建设起了,而由于企业早期的信息化建设缺乏整體(tǐ)规划,是由业務(wù)主导建设了,而在当时是没有(yǒu)一套系统能(néng)够解决企业的各类业務(wù)问题。

所以21世纪初期,中國(guó)企业的信息化是渐进性的,是一个从无到有(yǒu),从简单到复杂的过程,从而也形成了一个个信息孤岛……。 这时候,时代在召唤一个名词——SOA

3SOA时代的到来,明确了主数据的地位

SOA——面向服務(wù)的架构,在21世纪初,流行了起来。企业信息化架构,从单體(tǐ)架构、垂直架构向SOA架构方向发展起来。领先的ERP厂商(shāng),SAP已经将主数据作為(wèi)一项服務(wù),提供其他(tā)模块调用(yòng),SAP也成了最早基于SOA架构的ERP系统。显然Oracle很(hěn)快也意思到了这一点,并提出了“TCA架构”的理(lǐ)念,并首先将“客户数据”独立出来,作為(wèi)一个向其他(tā)相关模块提供调用(yòng)服務(wù)(SOA)的基础应用(yòng)。

SOA受到了IBMOracleSunMicrosoft等大公司的热力追捧,也预示着SOA时代的正式到来。实际上,一直以来都是这些公司在引领软件应用(yòng)的潮流。

基于SOA的思想和技术,SOA最适合最擅長(cháng)的就是系统集成。而系统集成的关键就是提取公共的有(yǒu)价值的服務(wù)。各个系统通过暴露服務(wù),经过ESB这条总線(xiàn)连接后,就将几个系统集成起来了。这时候的信息化领域才真正明确“主数据”的定义,并确定了主数据的地位——企业信息化建设的基础。

很(hěn)多(duō)大公司都在鼓吹SOA,尤其是IBMIBM先后推出了一系列的SOA产品,例如:PortalESBBPMMDM,号称能(néng)够為(wèi)企业提过提供一體(tǐ)化集成方案。这时候很(hěn)多(duō)IT技术公司、IT从业人员都是IBM忠实的粉丝和追随者,当然,我也是其中的一员。

从现在来看,SOA,虽然并没有(yǒu)像各大厂商(shāng)的鼓吹的那样无所不能(néng)。但是在一定的时期的确是推动了信息化的进步。个人认為(wèi),SOA的理(lǐ)念——“敏捷的、不受限制的业務(wù)集成”直到如今,依然适用(yòng)!

4、新(xīn)技术推动了主数据的变革

大数据、云计算、IOT、移动互联网、區(qū)块链、AI等新(xīn)技术层出不穷的出现,推动着各行各业的产业变革。传统企业的数字化转型,已是大势所趋,正如用(yòng)友董事長(cháng)王文(wén)京所说:未来的企业不是原生的数字化企业,就是通过转型重生的数字化企业。个人非常喜欢这句话,并坚信这个时代已经到来。

我们回来继续说主数据。大家都知道主数据是企业内核心的、被多(duō)个部门/系统高度共享的数据。在SOA时代主数据解决的是企业内核心数据不统一、不一致、不准确、不完整、不共享的问题——。而数字化时代,赋予MDM的责任,不仅在与企业内部的数据治理(lǐ)和集成共享,还有(yǒu)一个重要的职责就是上下游产业的联通,实现社会化的主数据互联。

拿(ná)生产制造企业来说,产品设计、原料采購(gòu)、生产制造、物(wù)流配送、终端销售、售后服務(wù),这是一条完整的产业链。与传统制造不同,数字化时代将实现产业链各个环节的互联互通,将实现现实场景在数字化的网络中进行模拟,现实和虚拟并存。

主数据是现实世界中的核心对象,也是数字化网络世界的重要媒介,是人、财、物(wù)、信息系统、设备、社会资源的联通,在万物(wù)互联的虚拟网络世界中,主数据无疑是各类数据连接的重要节点。所以,我们说:主数据是企业数字化转型的重要基石。

5、未来主数据的技术形态

技术推动了时代的变迁,未来主数据一定是融合了大数据技术、云计算技术、数据孪生技术、微服務(wù)技术的、人工智能(néng)技术的应用(yòng)平台,主数据离不开技术却超越技术。

 

大数据技术

未来的主数据虽然依然还是小(xiǎo)数据的形态,但是需要具备与大数据的融合能(néng)力,大数据与主数据属于互补关系。基于主数据去构建大数据的分(fēn)析體(tǐ)系,提高大数据的分(fēn)析准确率;同样,大数据的分(fēn)析结果,将会动态更新(xīn)主数据,使主数据體(tǐ)系不断完善,数据质量不断提高。

云计算技术

主数据采用(yòng)云计算的时代已经到来,在可(kě)以预见的未来,所有(yǒu)企业的主数据一定是基于混合云架构,即:企业专属云+公有(yǒu)云模式。基于企业专属云实现企业内部核心主数据的管理(lǐ),基于公有(yǒu)云实现社会化数据的采集并且与专属云内的主数据进行融合。作為(wèi)数据中台的重要组成,主数据平台将打通后端的企业内部核心数据和前端的社会化融合数据。

数字孪生技术

“数字孪生”是由密歇根大學(xué)的Michael Grieves博士在20012002年期间定义的。他(tā)的最初定义是在产品生命周期管理(lǐ)(PLM)中,“数字孪生”是对所生产的产品的虚拟展现,通过将数字孪生与工程设计进行对比,来更好的理(lǐ)解产品的生产与设计,在设计与执行之间形成紧密的闭环。

我理(lǐ)解的数字孪生也是利用(yòng)了大数据的一些核心能(néng)力,更深层次的应用(yòng)。基于数字孪生的主数据,将实现人员、组织、产品、物(wù)料、客户、供应商(shāng)等核心数据的虚拟展现。数字孪生技术的主数据将实现真正意义上的主数据全属性、全周期、自动化、动态化管理(lǐ)。

微服務(wù)技术

微服務(wù)技术将改变SOA时代主数据产品的架构,基于微服務(wù)的主数据是一种“去中心化”的架构,或者说是一种“多(duō)中心化”架构,这种架构将具备更好的灵活性。“大平台、微服務(wù)”将是主数据平台建设的主旋律。每个主数据作為(wèi)一个微服務(wù),可(kě)以独立部署、独立运行,性能(néng)将更好、更适应混合云下的主数据应用(yòng),更有(yǒu)利于前端业務(wù)的创新(xīn)。当主数据遇上微服務(wù),这将是一种你中有(yǒu)我,我中有(yǒu)你的缘分(fēn)……

人工智能(néng)技术

在主数据中应用(yòng)人工智能(néng)技术,相信这已经不是未来。走得超前一些的公司,一定已经在主数据应用(yòng)中加入了人工智能(néng)技术。虽然,目前筆(bǐ)者还未发现有(yǒu)较為(wèi)成熟的应用(yòng)案例。主数据+人工智能(néng)的应用(yòng)模式,一定是“必然”!人工智能(néng)将应用(yòng)于主数据的清洗、转换、集成、融合、共享、数据关系管理(lǐ)、运营管理(lǐ)、统计分(fēn)析……,以及我还未触及的一些主数据应用(yòng)领域。

主数据离不开新(xīn)技术,但主数据却永遠(yuǎn)超越技术!这种超越,是一种“洒脱”的形式,绝不会拘泥于一种形式、一种技术。

6、未来主数据的应用(yòng)模式

个人判断未来主数据的应用(yòng)模式应具:网络化链接、社会化融合、虚拟化仿真、智能(néng)化应用(yòng)4大能(néng)力特征,四项能(néng)力相辅相成、互為(wèi)补充、缺一不可(kě):

网络化连接

网络化是指利用(yòng)通信技术(例如:5G)、云计算、IOT、大数据等技术实现对人、财、物(wù)、设备、信息系统、社会资源的连接和联通,包括:企业内部数据联通、产业上下游数据联通、设备端到端数据联通、企业与社会资源数据联通。这种联通不是简单的数据集成,而是基于深度神经网络的连接,自发现式数据关系,自动化建立连接。


社会化融合

在网络化的连接中,主数据是其重要的连接节点。社会化MDM采用(yòng)开放式架构,通过企业内部数据与外部社会资源的融合,构建出完整的主数据视图,并能(néng)够实现自动化的数据清洗、动态式的数据更新(xīn),保障高质量的主数据,从而保障连接节点的有(yǒu)效性。


虚拟化仿真

主数据利用(yòng)大数据、云计算、数字孪生等技术,实现现实世界的网络化虚拟,发挥连接物(wù)理(lǐ)世界和信息世界的桥梁和纽带作用(yòng)。数字孪生的首先是对象的数字化、虚拟化,其次是对场景的虚拟化。主数据是虚拟现实的重要对象。基于神经网络构建虚拟模型,在这个模型中通过主数据建立基础神经元,通过融合社会化主数据并进行深度學(xué)习、逐层训练,逐步建立现实场景的虚拟化模拟。


智能(néng)化应用(yòng)

社会化MDM构建的最终目的是服務(wù)于---业務(wù)智能(néng)化。在未来的数字生态链,最核心、最基础的将是基于数字孪生的社会化主数据,管理(lǐ)和业務(wù)的创新(xīn)、商(shāng)业模式的创新(xīn),都将以此為(wèi)基石进行开展。


在人类的发展史上,经历农业革命、工业革命、信息化革命,而不论哪场革命本质上都是技术的推动。在已经到来的数字化浪潮中,原生的数字化企业如何持续领先,传统企业如何华丽转型,基于新(xīn)技术的社会化融合型主数据将发挥其应有(yǒu)的价值。也许10年之内还会默默无声,也许改头换面以一个新(xīn)的技术出现,也许……。但无论如何,未来已来,你我都置身其中,无法逃避,只有(yǒu)迎合大势,顺风而上。