优百信息

主数据和主数据管理(lǐ)的概念

企业主数据是用(yòng)来描述企业核心业務(wù)实體(tǐ)的数据，比如客户、合作伙伴、员工、产品、物(wù)料单、账户等；它是具有(yǒu)高业務(wù)价值的、可(kě)以在企业内跨越各个业務(wù)部门被重复使用(yòng)的数据，并且存在于多(duō)个异构的应用(yòng)系统中。

企业主数据可(kě)以包括很(hěn)多(duō)方面，除了常见的客户主数据之外，不同行业的客户还可(kě)能(néng)拥有(yǒu)其他(tā)各种类型的主数据，例如：对于電(diàn)信行业客户而言，電(diàn)信运营商(shāng)提供的各种服務(wù)可(kě)以形成其产品主数据；对于航空业客户而言，航線(xiàn)、航班是其企业主数据的一种。对于某一个企业的不同业務(wù)部门，其主数据也不同，例如市场销售部门关心客户信息，产品研发部门关心产品编号、产品分(fēn)类等产品信息，人事部门关心员工机构，部门层次关系等信息。

数据管理(lǐ)的范畴和主数据管理(lǐ)的概念

企业数据管理(lǐ)的内容及范畴通常包括交易数据、主数据以及元数据。

● 交易数据：用(yòng)于纪录业務(wù)事件，如客户的订单，投诉记录，客服申请等，它往往用(yòng)于描述在某一个时间点上业務(wù)系统发生的行為(wèi)。

● 主数据：主数据则定义企业核心业務(wù)对象，如客户、产品、地址等，与交易流水信息不同，主数据一旦被记录到数据库中，需要经常对其进行维护，从而确保其时效性和准确性；主数据还包括关系数据，用(yòng)以描述主数据之间的关系，如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。

● 元数据：即关于数据的数据，用(yòng)以描述数据及其环境的结构化信息，便于查找、理(lǐ)解、使用(yòng)和管理(lǐ)数据。

主数据管理(lǐ)是指一整套的用(yòng)于生成和维护企业主数据的规范、技术和方案，以保证主数据的完整性、一致性和准确性。

主数据管理(lǐ)的意义

集成、共享、数据质量、数据治理(lǐ)是主数据管理(lǐ)的四大要素，主数据管理(lǐ)要做的就是从企业的多(duō)个业務(wù)系统中整合最核心的、最需要共享的数据（主数据），集中进行数据的清洗和丰富，并且以服務(wù)的方式把统一的、完整的、准确的、具有(yǒu)权威性的主数据分(fēn)发给全企业范围内需要使用(yòng)这些数据的操作型应用(yòng)和分(fēn)析型应用(yòng)，包括各个业務(wù)系统、业務(wù)流程和决策支持系统等。

主数据管理(lǐ)使得企业能(néng)够集中化管理(lǐ)数据，在分(fēn)散的系统间保证主数据的一致性，改进数据合规性、快速部署新(xīn)应用(yòng)、充分(fēn)了解客户、加速推出新(xīn)产品的速度。从 IT 建设的角度，主数据管理(lǐ)可(kě)以增强 IT 结构的灵活性，构建覆盖整个企业范围内的数据管理(lǐ)基础和相应规范，并且更灵活地适应企业业務(wù)需求的变化。

以客户主数据為(wèi)例，客户主数据是目前企业级客户普遍面临的一个问题，在大多(duō)数企业中，客户信息通常分(fēn)散于 CRM 等各个业務(wù)系统中，而每个业務(wù)系统中都只有(yǒu)客户信息的片断，即不完整的客户信息，但却缺乏企业级的完整、统一的单一客户视图，结果导致企业不能(néng)完全了解客户，无法协调统一的市场行為(wèi)，导致客户满意度下降，市场份额减少。因此，建立客户主数据系统的目的在于：

● 整合并存储所有(yǒu)业務(wù)系统和渠道的客户及潜在客户的信息：一方面从相关系统中抽取客户信息，并完成客户信息的清洗和整合工作，建立企业级的客户统一视图；另一方面，客户主数据管理(lǐ)系统将形成的统一客户信息以广播的形式同步到其他(tā)各个系统，从而确保客户信息的一致；

● 為(wèi)相关的应用(yòng)系统提供联机交易支持，提供客户信息的唯一访问入口点，為(wèi)所有(yǒu)应用(yòng)系统提供及时和全面的客户信息；服務(wù)于 OCRM 系统，充分(fēn)利用(yòng)数据的价值，在所有(yǒu)客户接触点上提供更多(duō)具有(yǒu)附加价值的服務(wù)；

● 实现 SOA 的體(tǐ)系结构：建立客户主数据系统之前，数据被锁定在每一个应用(yòng)系统和流程中，建立主数据管理(lǐ)系统之后，数据从应用(yòng)系统中被释放出来，并且被处理(lǐ)成為(wèi)一组可(kě)重用(yòng)的服務(wù)，被各个应用(yòng)系统调用(yòng)。

主数据管理(lǐ)系统与数据仓库系统的关系

主数据管理(lǐ)系统与数据仓库系统是相辅相成的两个系统，但二者绝不是重复的，也不是互斥的。它们有(yǒu)很(hěn)多(duō)共同之处：

● 首先二者对企业都具有(yǒu)相同的价值，可(kě)以减少数据冗余和不一致性、提升对数据的洞察力，二者都是跨部门的集中式系统；

● 其次二者都依赖很(hěn)多(duō)相同的技术手段，都会涉及到 ETL 技术、都需要元数据管理(lǐ)、都强调数据质量；

● 第三就是二者建设手段类似，都需要数据治理(lǐ)的规范作為(wèi)指导、都需要不同系统、不同部门的协作、需要统一的安全策略。

但是，主数据管理(lǐ)系统和数据仓库 / 决策支持系统二者之间也存在很(hěn)多(duō)不同：

● 处理(lǐ)类型不同：主数据管理(lǐ) (MDM) 系统是偏交易型的系统，它為(wèi)各个业務(wù)系统提供联机交易服務(wù)，系统的服務(wù)对象是呼叫中心、B2C、CRM 等业務(wù)系统；而数据仓库是属于分(fēn)析型的系统，面向的是分(fēn)析型的应用(yòng)，是在大量历史交易数据的基础上进行多(duō)维分(fēn)析，系统的使用(yòng)对象是各层领导和业務(wù)分(fēn)析、市场销售预测人员等；

● 实时性不同：与传统的数据仓库方案的批量 ETL 方式不同，主数据管理(lǐ)系统在数据初始加载阶段要使用(yòng) ETL，但在后续运行中要大量依赖实时整合的方式来进行主数据的集成和同步；

● 数据量不同：数据仓库存储的是大量的历史数据和各个维度的汇总数据，可(kě)能(néng)会是海量的，而 MDM 存储的仅仅是客户和产品等信息。

虽然主数据管理(lǐ)系统和数据仓库系统异同共存，但是二者却有(yǒu)着紧密的联系，并且可(kě)以互為(wèi)促进、互為(wèi)补充。举例而言，数据仓库系统的分(fēn)析结果可(kě)以作為(wèi)衍生数据输入到 MDM 系统，从而使 MDM 系统能(néng)够更好地為(wèi)操作型 CRM 系统服務(wù)。

主数据管理(lǐ)系统和 ODS 的关系

在某些情况下，主数据管理(lǐ)系统和 ODS 系统可(kě)能(néng)容易被混淆，的确，从实时上来看，主数据管理(lǐ)系统和 ODS 系统存储的都是实时数据，但是二者存储的数据内容是全然不同的，主数据管理(lǐ)系统中不存储交易数据，比如银行客户的交易流水信息是不应该放在主数据管理(lǐ)系统中进行管理(lǐ)的，这与 MDM 与 ODS 的一个很(hěn)大區(qū)别。举一个航空公司的例子，比如某个客户在電(diàn)子商(shāng)務(wù)网站上定了一张机票，产生一个订单，然后他(tā)又(yòu)通过呼叫中心要求改签，这个场景中，两个系统之间要实现客户信息和订单信息的共享，其中客户信息共享通过MDM 系统来实现，而订单信息则需要采用(yòng) ODS 或其它手段进行共享，我们是不推荐把此类信息交由 MDM 系统来管理(lǐ)的。

主数据管理(lǐ)典型应用(yòng)

主数据管理(lǐ)的典型应用(yòng)有(yǒu)客户管理(lǐ)与产品管理(lǐ)，主数据管理(lǐ)在金融行业典型的应用(yòng)就是企业级客户信息整合系统(Enterprise Custome Information Facility，简称ECIF)，其目标是整合全行现有(yǒu)业務(wù)系统中的客户信息，保留客户的最新(xīn)信息，為(wèi)各应用(yòng)系统提供完整的、共享的、一致的客户信息，建立企业级客户单一视图，在全行范围内為(wèi)客户信息的使用(yòng)和管理(lǐ)提供服務(wù)，為(wèi)全行从“以产品為(wèi)中心”的业務(wù)流程向“以客户為(wèi)中心”的业務(wù)流程整合提供强有(yǒu)力的支持。

基于元数据的主数据管理(lǐ)

元数据管理(lǐ)作為(wèi)企业数据资产管理(lǐ)中的一项核心技术，也将為(wèi)主数据管理(lǐ)提供有(yǒu)力支撑，具體(tǐ)表现在：

● 為(wèi)业務(wù)实體(tǐ)的定义、关系和业務(wù)规则到IT实现之间提供清晰、标准的语义转换，提高业務(wù)和IT之间的一致性，保障IT系统能(néng)够真实反映业務(wù)事实；

● 為(wèi)主数据管理(lǐ)的各个数据处理(lǐ)阶段提供数据标准、数据映射关系和数据规则的描述，保障主数据管理(lǐ)的数据质量；

● 為(wèi)主数据库和其他(tā)系统之间的数据交互提供有(yǒu)关数据标准、数据映射关系和数据规则的描述。

元数据管理(lǐ)的概念

元数据定义

元数据（Meta Data）是关于数据的数据，当人们描述现实世界的现象时，就会产生抽象信息，这些抽象信息便可(kě)以看作是元数据，元数据主要用(yòng)来描述数据的上下文(wén)信息。通俗的来讲，假若图书馆的每本书中的内容是数据的话，那么找到每本书的索引则是元数据，元数据之所以有(yǒu)其它方法无法比拟的优势，就在于它可(kě)以帮助人们更好的理(lǐ)解数据，发现和描述数据的来龙去脉，特别是那些即将要从OLTP系统上升到DW/BI體(tǐ)系建设的企业，元数据可(kě)以帮他(tā)们形成清晰直观的数据流图，元数据是数据管控的基本手段。

元数据是為(wèi)了提升共享、重新(xīn)获取和理(lǐ)解企业信息资产的水平，元数据是企业信息管理(lǐ)的润滑剂，不对元数据进行管理(lǐ)或管理(lǐ)不得当，信息将被丢失或处于隐匿状态而难以被用(yòng)户使用(yòng)，数据集成将十分(fēn)昂贵，不能(néng)对业務(wù)进行有(yǒu)效支撑。终端用(yòng)户要识别相关的信息将十分(fēn)困难，最终用(yòng)户将失去对数据的信任。

元数据分(fēn)类

元数据管理(lǐ)的范围将涵括数据产生、数据存储、数据加工和展现等各个环节的数据描述信息，帮助用(yòng)户理(lǐ)解数据来龙去脉、关系及相关属性。按其描述对象的不同可(kě)以划分(fēn)為(wèi)三类元数据：技术元数据、业務(wù)元数据和管理(lǐ)元数据。这三种元数据的具體(tǐ)描述如下：

● 技术元数据 技术元数据是描述数据系统中技术领域相关概念、关系和规则的数据，主要包括对数据结构、数据处理(lǐ)方面的特征描述，覆盖数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理(lǐ)环节；

● 业務(wù)元数据 业務(wù)元数据是描述数据系统中业務(wù)领域相关概念、关系和规则的数据，主要包括业務(wù)术语、信息分(fēn)类、指标定义和业務(wù)规则等信息；

● 管理(lǐ)元数据 管理(lǐ)元数据是描述数据系统中管理(lǐ)领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责和管理(lǐ)流程等信息。

元数据管理(lǐ)的范围

元数据管理(lǐ)范围的不应仅仅局限于企业数据仓库、数据集市以及管理(lǐ)分(fēn)类应用(yòng)的数据，还应该将企业的业務(wù)系统的元数据纳入进来就行统一的管理(lǐ)，真正做到从源头对元数据进行管理(lǐ)，作為(wèi)对数据的完整生命周期进行管理(lǐ)。

元数据应用(yòng)

数据地图

数据地图展现是以拓扑图的形式对数据系统的各类数据实體(tǐ)、数据处理(lǐ)过程元数据进行分(fēn)层次的图形化展现，并通过不同层次的图形展现粒度控制，满足开发、运维或者业務(wù)上不同应用(yòng)场景的图形查询和辅助分(fēn)析需要。

元数据分(fēn)析

血缘分(fēn)析

血缘分(fēn)析（也称血统分(fēn)析）是指从某一实體(tǐ)出发，往回追溯其处理(lǐ)过程，直到数据系统的数据源接口。对于不同类型的实體(tǐ)，其涉及的转换过程可(kě)能(néng)有(yǒu)不同类型，如：对于底层仓库实體(tǐ)，涉及的是ETL处理(lǐ)过程；而对于仓库汇总表，可(kě)能(néng)既涉及ETL处理(lǐ)过程，又(yòu)涉及仓库汇总处理(lǐ)过程；而对于指标，则除了上面的处理(lǐ)过程，还涉及指标生成的处理(lǐ)过程。数据源接口实體(tǐ)由源系统提供，作為(wèi)数据系统的数据输入，其它的数据实體(tǐ)都经过了一个或多(duō)个不同类型的处理(lǐ)过程。血缘分(fēn)析正是提供了这样一种功能(néng)，可(kě)以让使用(yòng)者根据需要了解不同的处理(lǐ)过程，每个处理(lǐ)过程具體(tǐ)做什么，需要什么样的输入，又(yòu)产生什么样的输出。

影响分(fēn)析

影响分(fēn)析是指从某一实體(tǐ)出发，寻找依赖该实體(tǐ)的处理(lǐ)过程实體(tǐ)或其他(tā)实體(tǐ)。如果需要可(kě)以采用(yòng)递归方式寻找所有(yǒu)的依赖过程实體(tǐ)或其他(tā)实體(tǐ)。该功能(néng)支持当某些实體(tǐ)发生变化或者需要修改时，评估实體(tǐ)影响范围。

实體(tǐ)关联分(fēn)析

实體(tǐ)关联分(fēn)析是从某一实體(tǐ)关联的其它实體(tǐ)和其参与的处理(lǐ)过程两个角度来查看具體(tǐ)数据的使用(yòng)情况，形成一张实體(tǐ)和所参与处理(lǐ)过程的网络，从而进一步了解该实體(tǐ)的重要程度。本功能(néng)可(kě)以用(yòng)来支撑需求变更影响评估的应用(yòng).

实體(tǐ)差异分(fēn)析

实體(tǐ)差异分(fēn)析是对元数据的不同实體(tǐ)进行检查，用(yòng)图形和表格的形式展现它们之间的差异，包括名字、属性及数据血缘和对系统其他(tā)部分(fēn)影响的差异等,在数据系统中存在许多(duō)类似的实體(tǐ)。这些实體(tǐ)（如数据表）可(kě)能(néng)只有(yǒu)名字上或者是在属性中存在微小(xiǎo)的差异，甚至有(yǒu)部分(fēn)属性名字都相同，但处于不同的应用(yòng)中。由于各种原因，这些微小(xiǎo)的差异直接影响了数据统计结果，数据系统需要清楚了解这些差异。本功能(néng)有(yǒu)助于进一步统一统计口径，评估近似实體(tǐ)的差异

指标一致性分(fēn)析

指标一致性分(fēn)析是指用(yòng)图形化的方式来分(fēn)析比较两个指标的数据流图是否一致，从而了解指标计算过程是否一致。该功能(néng)是指标血缘分(fēn)析的一种具體(tǐ)应用(yòng)。指标一致性分(fēn)析可(kě)以帮助用(yòng)户清楚地了解到将要比较的两个指标在经营分(fēn)析数据流图中各阶段所涉及的数据对象和转换关系是否一致，帮助用(yòng)户更好地了解指标的来龙去脉，清楚理(lǐ)解分(fēn)布在不同部门且名称相同的指标之间的差异，从而提高用(yòng)户对指标值的信任。

辅助应用(yòng)优化

元数据对数据系统的数据、数据加工过程以及数据间的关系提供了准确的描述，利用(yòng)血缘分(fēn)析、影响分(fēn)析和实體(tǐ)关联分(fēn)析等元数据分(fēn)析功能(néng)，可(kě)以识别与系统应用(yòng)相关的技术资源，结合应用(yòng)生命周期管理(lǐ)过程，辅助进行数据系统的应用(yòng)优化.

辅助安全管理(lǐ)

企业数据平台所存储的数据和提供的各类分(fēn)析应用(yòng)，涉及到公司经营方面的各类敏感信息。因此在数据系统建设过程中，须采用(yòng)全面的安全管理(lǐ)机制和措施来保障系统的数据安全。

数据系统安全管理(lǐ)模块负责数据系统的数据敏感度、客户隐私信息和各环节审计日志(zhì)记录管理(lǐ)，对数据系统的数据访问和功能(néng)使用(yòng)进行有(yǒu)效监控。為(wèi)实现数据系统对敏感数据和客户隐私信息的访问控制，进一步实现权限细化，安全管理(lǐ)模块应以元数据為(wèi)依据，由元数据管理(lǐ)模块提供敏感数据定义和客户隐私信息定义，辅助安全管理(lǐ)模块完成相关安全管控操作。

基于元数据的开发管理(lǐ)

数据系统项目开发的主要环节包括：需求分(fēn)析、设计、开发、测试和上線(xiàn)。开发管理(lǐ)应用(yòng)可(kě)以提供相应的功能(néng)，对以上各环节的工作流程、相关资源、规则约束、输入输出信息等提供管理(lǐ)和支持。