优百信息

一、主数据定义

1、数据的层次模型(根据数据的特征、作用(yòng)以及管理(lǐ)需求的不同)

分(fēn)為(wèi)6个层次:元数据、引用(yòng)数据、企业结构数据、业務(wù)结构数据、业務(wù)活动数据、业務(wù)审计数据。

元数据（ 系统中最基础的数据）：元数据描述数据定义、数据约束、数据关系等。在物(wù)理(lǐ)模型中，元数据定义了表和属性字段的性质。

引用(yòng)数据(属性值域)：引用(yòng)数据定义了元数据的可(kě)能(néng)的取值范围(如月份的引用(yòng)数据為(wèi)1-12月)（電(diàn)商(shāng)项目中订单状态可(kě)划分(fēn)為(wèi)待付款、待发货、待收货、已发货、已撤销等，引用(yòng)数据是对数据分(fēn)类的重要标准，不同状态的订单将会进入相应的业務(wù)流程，如正在付款和未付款等）。

企业/单位结构数据:描述企业数据之间的关系，是多(duō)条主数据的集合（如组织结构由组织机构、人员、岗位等主数据组成）。

业務(wù)结构数据：描述业務(wù)的直接参与者（典型的业務(wù)结构数据包含产品、客户数据）。通常由唯一的数据编码以及大量的属性信息构成。

业務(wù)活动数据：记录运营活动中产生的业務(wù)数据，其实质是主数据之间活动产生的数据（客户購(gòu)买产品的业務(wù)记录、工厂生产产品的生产记录）。

业務(wù)审计数据：记录数据的活动（对客户信息进行修改、对业務(wù)进行删除）。

2、主数据涵盖了元数据、引用(yòng)数据、企业结构数据、业務(wù)结构数据

业務(wù)数据（业務(wù)活动数据、业務(wù)审计数据）以主数据為(wèi)基石，衍生出分(fēn)析数据。主数据项目是一个复杂的项目，表面上仅仅是一个物(wù)理(lǐ)载體(tǐ)，实质是管理(lǐ)流程、管理(lǐ)手段的一次变革。信息系统的实施的过程实际是组织、人员、流程及系统融合的过程。

二、传统的软件项目实施

传统的软件项目是一个闭环系统，它会不断检验实施是否能(néng)达到最初的项目工作范围和业務(wù)目标。项目启动阶段通过进一步明确项目的工作范围与业務(wù)目标，奠定项目成功的基础。系统设计与开发阶段达到用(yòng)户的需求。系统上線(xiàn)启用(yòng)阶段包括了所有(yǒu)与用(yòng)户培训、系统初始配置、软件功能(néng)验证，以及对设计、开发、应用(yòng)的使用(yòng)情况评估分(fēn)析相关等工作。

三、主数据项目

主数据项目的实施方法分(fēn)為(wèi)两个阶段：

第一阶段（體(tǐ)系规划阶段）：主要工作任務(wù)為(wèi)构建主数据體(tǐ)系规划、主数据管理(lǐ)平台规划，搭建主数据标准體(tǐ)系、管理(lǐ)體(tǐ)系，形成主数据管理(lǐ)方案。

第二阶段（平台实施阶段）：主要工作任務(wù)為(wèi)搭建主数据管理(lǐ)平台，将主数据标准體(tǐ)系在主数据管理(lǐ)平台中实现。

四、主数据项目详细规划

    第一阶段（體(tǐ)系规划阶段）

1、项目启动、需求调研及评估

根据成熟度模型 （初始级p0,可(kě)重复级p1,已定义级p2,已管理(lǐ)级p3，优化级p4,创新(xīn)级p5）判断企业或单位所处的级别，对主数据应用(yòng)现状和管理(lǐ)目标进行精炼，定位主数据应用(yòng)及管理(lǐ)中存在的问题。了解现行标准體(tǐ)系与编码管理(lǐ)的应用(yòng)现状，对编码體(tǐ)系进行评估。建立平台技术环境，通过对主数据管理(lǐ)平台的系统原型进行需求差异化分(fēn)析。

2、體(tǐ)系规划和架构设计

主数据體(tǐ)系实施规划：对系统实施任務(wù)进行分(fēn)解，明确每期系统建设的阶段目标、功能(néng)、内容、范围。

主数据管理(lǐ)體(tǐ)系设计：明确上级和下属单位之间的主数据管理(lǐ)模式；进行主数据管理(lǐ)流程设计；

主数据集成架构设计:明确主数据系统与企业或单位系统的横向数据交换方式，明确主数据系统与二级单位系统的纵向数据交换方式；

主数据安全架构设计：明确主数据安全體(tǐ)系中的安全策略、安全组织、安全技术、安全建设和运行。

3、数据标准制定

建立主数据分(fēn)类體(tǐ)系,对于企业，划分(fēn)客户主数据、供应商(shāng)主数据、通用(yòng)基础主数据、物(wù)料主数据等；建立符合各类标准的描述模板。

提供通用(yòng)主数据编码库、分(fēn)类模型、描述模型:在项目实施过程中為(wèi)主数据的分(fēn)类及编码库的建立提供相应的设计方案。

4、主数据管理(lǐ)平台设计

明确主数据管理(lǐ)平台在与业務(wù)系统进行数据交换时的功能(néng)与方式，如Web Service（Web service 就是一个应用(yòng)程序，它向外界暴露出一个能(néng)够通过Web进行调用(yòng)的API）；可(kě)查看主数据接收或分(fēn)发日志(zhì)，对不能(néng)正常处理(lǐ)的主数据进行主动预警，并按照预先设定规则处理(lǐ)。

对数据清洗功能(néng)进行详细规划：数据清洗模型的建立，实现清洗过程中主数据的唯一性、完整性、一致性、合理(lǐ)性。

第二阶段：平台实施阶段

1、客户化设计、开发、测试阶段

2、数据清洗阶段

依据数据标准进行系统内各类主数据标准模型建设，提供清洗工具，依据历史数据分(fēn)析，制定由历史数据向标准化转化的清洗工作方案

3、培训、上線(xiàn)准备、系统上線(xiàn)运行阶段

4、系统上線(xiàn)运行支持

五、核心步骤

5.1 主数据的准备

主数据管理(lǐ)系统实施阶段的重中之重，主要内容包括数据采集、数据清洗和数据导入。

5.1.1数据采集：在数据采集前，项目组為(wèi)了提高准备数据的质量，应说明关键字段的含义、系统使用(yòng)原理(lǐ) 以及和原系统数据的对应关系，在数据采集的工具方面，一种方法是利用(yòng)业務(wù)系统的数据导出工具，通过人工的方式整理(lǐ)為(wèi)标准的数据采集格式；另一种是由项目组开发一套数据采集软件。

5.1.2数据清洗：数据清洗的目的是检测数据中存在的错误和不一致，剔除或者改正它们，将剩余部分(fēn)转换成数据标准所接受的格式，提高数据质量。

（1）清洗原则（保证主数据的唯一性、完整性、一致性、合理(lǐ)性）

清洗已使用(yòng)的主数据编码，对于未使用(yòng)的主数据编码采用(yòng)停用(yòng)等方式。对企业统建系统的基础编码数据，可(kě)保留原编码规则，不进行编码的改动，仅完善维护相关属性值。属性值不完整的编码数据，按照其主数据规范标准进行补充完善，使其完全符合数据标准化的要求。清理(lǐ)要覆盖全部的数据，保证数据清理(lǐ)的完整性。

（2）清理(lǐ)方法

1、初步标记：将获取的主数据进行初步清理(lǐ)、标记工作。

2、分(fēn)类清理(lǐ)：对主数据采用(yòng)分(fēn)类清理(lǐ)的策略，首先制定出清理(lǐ)收集模板，按照清理(lǐ)模板要求的属性规范进行填写收集。

3、先分(fēn)后合：按主数据的条数分(fēn)工进行清理(lǐ)，将检查无误的主数据提交到主数据项目组，由项目组统一合并汇总，完成数据的导入。

4、分(fēn)段清理(lǐ)：按照时间分(fēn)阶段进行清理(lǐ)，逐步将目标系统中的主数据进行清理(lǐ)，完成规范编码库，完成所有(yǒu)的清理(lǐ)工作。

5、检查反馈：定期检查能(néng)够保证数据清理(lǐ)的质量，避免盲目的数据清理(lǐ)。

5.1.3数据导入

数据导入的方法主要包括：

1、手工录入：最费时，易造成数据录入错误的数据导入方式，应尽量避免采取这种方式进行数据导入。

2、DataLoad类工具：利用(yòng)软件模仿人的录入动作，逐条地从系统界面导入数据。DataLoad的工作原理(lǐ)為(wèi)，先把数据在Excel中整理(lǐ)好，然后打开DataLoad记忆功能(néng)，这时手动执行一次从Excel复制数据到系统数据录入界面并保存动作，这时DataLoad软件将记录录入动作；然后进行适当设置，DataLoad软件会模仿用(yòng)户录入动作对Excel中多(duō)条数据进行录入，直到录入完成。其缺点是速度慢，一万条数据可(kě)能(néng)会运行几个小(xiǎo)时。几乎被淘汰。

3、调用(yòng)系统接口：信息系统对各种数据的保存，由统一的函数或者接口调用(yòng)的。有(yǒu)的是在Web Service服務(wù)中，有(yǒu)的是在数据库中由接口函数实现数据的保存。这种方式通过编程的方式实现，方法灵活，使用(yòng)最為(wèi)广泛，但是需要关注格式错误，需要对导入过程进行记录

4、系统专用(yòng)导入工具：部分(fēn)信息系统产品提供了自己的导入工具，这是导入数据最好的选择。

数据导入步骤的主要是：数据导入工作的过程包括导入设计、编码、导入测试和正式导入等步骤。

1、导入设计：确定要导入的数据类型和对应的数据属性，导入目标数据库表中数据类型和元数据类型的对应关系等，形成数据字典对照报告和数据导入设计报告。

2、编码：根据数据导入字典对照报告、数据导入设计报告、程序设计报告编写数据导入程序，并对数据导入程序进行功能(néng)测试。如果采用(yòng)系统专用(yòng)的导入工具，则可(kě)忽略这一步。

3、导入测试：对备份数据进行导入，进行合理(lǐ)性和正确性校验。对导入完毕的数据通过总體(tǐ)数据对比，关键性数据的逐项对比以及人工抽查等方式校验数据导入的正确性。数据导入实验后，要采用(yòng)导入后的数据运行新(xīn)系统，以检查新(xīn)系统的运行情况。对 数据导入过程中发现的一些有(yǒu)问题的数据，找出批量修改的方法。如果无法应用(yòng)程序进 行批量处理(lǐ)，则需要人工修正。

4、正式导入：在原系统的数据经过了导入实验，并且有(yǒu)问题的数据都进行修正处理(lǐ)后，方可(kě)开始进行新(xīn)系统数据的正式导入。正式的数据导入要在旧系统停止办理(lǐ)业務(wù)的情况下进行，数据导入工作的时间必须集中，争取一次导入成功，以将新(xīn)旧系统切换带来的风险降到最低。

5.2 系统集成架构

系统集成支持SOA架构（将业務(wù)模块化，分(fēn)解出各个业務(wù)模块之间的依赖及业務(wù)模块之间的边界。按照业務(wù)边界及业務(wù)之间的依赖顺序进行系统的拆分(fēn)。沉淀一批稳定的后端服務(wù)，通过叠加复用(yòng)快速响应用(yòng)户的前端需求。）的集成方式，以Web Service 為(wèi)传输协议，通过数据集成平台中的服務(wù)总線(xiàn)与业務(wù)系统采用(yòng)松耦合的方式进行集成。系统架构具有(yǒu)灵活性和扩展性，以低成本、高效率的方式支持未来系统升级和业務(wù)流程变化。

集成流程

集成过程有(yǒu)两种模式，一种是直接通过数据交换平台与业務(wù)系统进行集成；另一种是将数据交换平台与ESB（企业服務(wù)总線(xiàn)，Enterprise Service Bus 一个ESB是一个预先组装的SOA实现，它包含了实现SOA分(fēn)层目标所必需的基础功能(néng)部件。）进行无缝集成，再通过ESB进行与业務(wù)系统的集成。从数据分(fēn)发方式上，存在主动分(fēn)发与被动分(fēn)发的模式。

主动分(fēn)发即為(wèi)主数据管理(lǐ)系统及时判断数据变动，主动推送数据至业務(wù)系统端。主动分(fēn)发适合于数据获取及时性要求高的系统。

被动分(fēn)发即為(wèi)数据需要的业務(wù)系统在其需要获取数据时，发出数据获取请求，主数据管理(lǐ)系统获取到数据请求后，按照数据请求的条件，将需要数据发送到业務(wù)系统端。，被动分(fēn)发适用(yòng)于数据获取及时性要求不高，可(kě)按需进行数据获取的系统。