- 行业动态 >
- 资讯详情
数据治理(lǐ)治什么?在哪治?怎么治?
一 数据治理(lǐ)治的是“数据”吗?
数据是指对客观事件进行记录并可(kě)以鉴别的符号,是对客观事物(wù)的性质、状态以及相互关系等进行记载的物(wù)理(lǐ)符号或这些物(wù)理(lǐ)符号的组合。其实在我看来,数据可(kě)以分(fēn)為(wèi)两个部分(fēn),一是数字,二是文(wén)字。数字是没有(yǒu)意义的抽象符号,数据是有(yǒu)意义的数字。文(wén)字表意,数字表量,当两者结合起来,数据就产生了。
在我们的生活和工作当中,数据无处不在。对企业来讲,有(yǒu)很(hěn)多(duō)数据是无关企业重大利益的数据,是没有(yǒu)治理(lǐ)的必要的。数据治理(lǐ)的对象必须是重要的数据资源,是关乎企业重大商(shāng)业利益的数据资源,这样的数据资源可(kě)以称其為(wèi)“数据资产”。正如北大教授王汉生先生所说:“数据治理(lǐ)不是对‘数据’的治理(lǐ),而是对‘数据资产’的治理(lǐ),是对数据资产所有(yǒu)相关方利益的协调与规范。”
我们需要分(fēn)开来理(lǐ)解这句话:
①什么是数据资产?
②数据资产的相关利益方是谁?
③协调与规范什么?
先说一说什么是数据资产。我们说不是所有(yǒu)数据都是数据资产,那到底什么才是数据资产呢(ne)?
《企业会计准则-基本准则》第20条规定:“资产是指企业过去的交易或者事项形成的、由企业拥有(yǒu)或者控制的、预期会给企业带来经济利益的资源。” 如果照猫画虎修改一下,不难获得一个关于数据资产的定义:“数据资产是指企业过去的交易或者事项形成的,由企业拥有(yǒu)或者控制的,预期会给企业带来经济利益的数据资源。”由此可(kě)见,数据要成為(wèi)数据资产,至少要满足3个核心必要条件:
①数据资产应该是企业的交易或者事项形成的;
②企业拥有(yǒu)或者控制;
③预期会给企业带来经济利益。
数据资产的利益相关方是谁?根据数据资产的定义,数据资产的利益相关方,包括:
①数据的生产者,即通过业務(wù)交易或事项产生数据的人或组织。
②数据的拥有(yǒu)或控制者,生产数据的人不一定是拥有(yǒu)数据,就像我们天天上网的各种数据都不归我们自己所有(yǒu),而是落在了各个互联网公司的数据库中。
③数据价值和经济利益的收益者。数据治理(lǐ)就是对数据生产者、拥有(yǒu)或控制者,数据价值获益者的规范和协调。
都什么是需要协调和规范?
首先是数据的标准化,定义统一的数据标准,“写中國(guó)字、说普通话”让数据资产的相关利益方在同一个“频道”沟通。数据的标准化包含几个层面:①数据模型标准化。②核心数据实體(tǐ)的标准化(主数据的标准化)。③关键指标的标准化。
其次是数据的确权。数据一旦成為(wèi)资产,就一定有(yǒu)拥有(yǒu)方,或者实际控制人,可(kě)以把他(tā)们统称产权人。与实物(wù)不同的是,实物(wù)的产权是比较明确的,数据则比较复杂。产品在生产制造过程中,并没有(yǒu)与消费者交易之前,制造商(shāng)拥有(yǒu)完全产权。产品生产出来后,消费者通过購(gòu)买支付相应的货币,便拥有(yǒu)了产品的产权。而数据的生产过程就不一样了,我们的各种上网行為(wèi)每天都会产生大量的数据,例如:网上購(gòu)物(wù)、浏览网页、使用(yòng)地图、评论/评价……。这些数据到底归谁所有(yǒu)?控制权该如何治理(lǐ)?这是摆在面前的一个难题!我们看到近几年一些不良商(shāng)家,利用(yòng)我们的上网数据,导致安全隐私泄密的事件也层出不穷。希望随着技术和商(shāng)业的进步,尽快能(néng)够找到解决方案!
第三是流程的优化。数据治理(lǐ)的两个目标:一个是提质量,一个是控安全。互联网数据的确权目前已经是一个世界级难题,做好企业业務(wù)流程的优化可(kě)能(néng)会对隐私保护起到一定的作用(yòng)。通过业務(wù)流程优化,规范数据从产生、处理(lǐ)、使用(yòng)到销毁的整个生命周期,使得数据在各阶段、各流程环节安全可(kě)控,合规使用(yòng)。另外,通过一定的流程优化,通过对相关流程进行监管,按照数据的质量规则进行数据校验,符合“垃圾进、垃圾出”的数据采集、处理(lǐ)、存储原则,提升数据治理(lǐ),赋能(néng)业務(wù)应用(yòng)。
二 数据治理(lǐ)到底在哪里治?
关于数据中台到底应该在中台治理(lǐ)还是应该在后台治理(lǐ),这个话题在筆(bǐ)者所在的数据圈子中引起了激烈的讨论。群里参与讨论的都是业界的大咖,讨论内容也十分(fēn)精彩,我截了部分(fēn)的截图,先看看大咖们的观点:
数据治理(lǐ)到底应该放在中台,还是后台,我个人的理(lǐ)解是:小(xiǎo)数据标准化治理(lǐ)靠人工、大数据预测性分(fēn)析靠智能(néng),将两者结合起来:“人工+智能(néng)”形成了完整的数据治理(lǐ)技术體(tǐ)系。一个企业的数据治理(lǐ)既离不开小(xiǎo)数据的标准化治理(lǐ),也离不开大数据的预测性分(fēn)析。
这里的小(xiǎo)数据,是在承载事物(wù)实體(tǐ)的数据,例如:人、财、物(wù)等,是企业所有(yǒu)业務(wù)开展的载體(tǐ)。其实说白了就是主数据管理(lǐ)。对于主数据的治理(lǐ)筆(bǐ)者认為(wèi)是一个后台行為(wèi),治理(lǐ)核心是“唯一数据源、统一数据标准”,而要达到这一目标是需要从数据的源头抓起的,并且需要大量的人為(wèi)干预,比如:数据标准的制定和落实,数据质量的清洗,数据的申请审批,数据的分(fēn)发和共享等。从这里也能(néng)够看出小(xiǎo)数据的治理(lǐ),追求的是标准化、精确化,应该是一个后台行為(wèi)。
而在大数据时代,得益于大数据技术的突破,大量的结构化、非结构化、异构化的数据能(néng)够得到储存、处理(lǐ)、计算和分(fēn)析,这一方面提升了我们从海量数据中获取知识和洞见的能(néng)力。对于大数据,传统的一味追求精确的思维受到了挑战。而对于大数据的治理(lǐ),允许一定程度上的容错,反而可(kě)以在宏观层面拥有(yǒu)更好的知识和洞察力。对于大数据的治理(lǐ)更多(duō)的是采用(yòng)AI技术,例如:知识图谱、语音识别等,对大数据的采集、处理(lǐ)、使用(yòng)过程加以控制,使其能(néng)够合规使用(yòng)。所以,大数据的治理(lǐ)放在中台似乎更為(wèi)合适。
三 数据治理(lǐ)到底应该怎么治?
数据到底怎么治,这确实是一个宽泛的话题,首先是要明确治理(lǐ)的内容。针对不同的治理(lǐ)内容采取不同的数据治理(lǐ)策略。关于小(xiǎo)数据和大数据的治理(lǐ)侧重点上文(wén)已经说明。以下為(wèi)筆(bǐ)者在数据治理(lǐ)领域总结的数据治理(lǐ)十大关键实践:
1、成立组织,育人才
数据治理(lǐ)的根本目标的是提升数据质量,控制数据安全和合规使用(yòng)。数据治理(lǐ)涉及范围广,参与人员多(duō),需要一定的组织和制度的保障才可(kě)能(néng)获得成功。首先,依据行业经验来看,不论是基于后台的小(xiǎo)数据治理(lǐ),还是基于中台的大数据治理(lǐ),“一把手”工程是数据治理(lǐ)组织建设的最佳实践。尤其是中台数据治理(lǐ)更是上升至企业战略层面,自下而上的治理(lǐ)几乎不太可(kě)能(néng)成功。其次,数据治理(lǐ)组织的建立并是组建一个非临时团队,而是要能(néng)够支撑企业数据化业務(wù)的一个完整體(tǐ)系,包括:组织體(tǐ)系、管理(lǐ)體(tǐ)系、执行體(tǐ)系、技术體(tǐ)系等。第三,数据治理(lǐ)组织的人员选拔和人才培养,不同企业应有(yǒu)不同的策略。一般来说,建立数据治理(lǐ)组织从企业内部进行选拔相应的技术专家、业務(wù)专家更為(wèi)合适,要比从外部招聘更能(néng)够快速上手。不过,对于传统企业,其内部更偏管理(lǐ),数据治理(lǐ)团队建设更多(duō)需要借助外部力量。
2、需求调研,摸家底
与数据项目一样,详细需求调研是开展数据治理(lǐ)工作的第一阶段的重要工作。本阶段主要是理(lǐ)解企业的战略,并按照从上而下的策略进行开展企业数据管理(lǐ)的现状调研,摸清楚企业数据资产的分(fēn)布、数据的质量、数据的管理(lǐ)现状、数据应用(yòng)需求等情况。该阶段的工作目标是确定数据治理(lǐ)项目的目标和范围,评估数据治理(lǐ)成熟度,确定改进内容和方向并与客户达成共识。3、梳理(lǐ)数据,建标准按照业務(wù)主题进行数据资产的梳理(lǐ),并制定数据资产的标准。首先,定义数据资产元模型标准,包括:数据资产的数据含义、业務(wù)规则、质量规则、数据来源、存储路径、管理(lǐ)部门、管理(lǐ)人等,即数据资产的元数据标准,定义好数据模型是数据治理(lǐ)成功落地的重要前提;其次,重点对企业的核心数据资产——主数据进行标准化,包括:主数据标准化定义、参照字典的标准化、数据清洗、数据服務(wù)共享等;第三,对业務(wù)指标的属性的标准化,指标的属性分(fēn)為(wèi)“业務(wù)属性”和“技术属性”两类,业務(wù)属性包含业務(wù)人员通常认识的指标分(fēn)类、名称、计算公式、展现方式和查询权限等;技术属性包含技术运维人员所关心的系统来源、取数字段、取数频率、加工规则等,其核心也是元数据管理(lǐ)。
4、优化流程,定制度
对于企业而言,数据来源于很(hěn)多(duō)方面,内部数据如财務(wù)、人力、供应链、生产、销售等;外部数据如政治、经济、社会、科(kē)技、行业、市场、竞争对手等。虽然数据来源广、数据量大是优点,但如果不加以整理(lǐ)和关联,杂乱无章的数据不仅不利于分(fēn)析应用(yòng),还将带来不必要的人财物(wù)的消耗。所以,非常有(yǒu)必要对数据产生、采集、处理(lǐ)、加工、使用(yòng)等过程进行规范。通过统一数据标准,制定合理(lǐ)的数据管理(lǐ)流程和制度,规范数据生产供应的过程。
5、搭建平台,接数据
数据治理(lǐ)平台的搭建要根据不同的客户需求搭建不同模块,数据治理(lǐ)平台主要涵盖功能(néng)模块有(yǒu):元数据管理(lǐ)、主数据管理(lǐ)、数据质量管理(lǐ)、数据标准管理(lǐ)、数据安全管理(lǐ)、数据模型工具、ETL工具等。数据接入是将各种来源、各种类型的数据,通过数据集成工具将这些零散的数据整合在一起,纳入统一的大数据平平台或数据仓库中,这一过程需要符合数据治理(lǐ)平台定义各种数据标准、质量规则、安全指标。所以,我们说数据治理(lǐ)项目不是為(wèi)了治理(lǐ)数据而建设的,而是配合大数据平台、数据仓库、数据分(fēn)析挖掘等项目,通过提升数据质量、控制数据安全,让数据发挥出最大的效益。
6、建立指标,提质量
提升数据质量是企业数据治理(lǐ)的重要目标,也是企业进行数据分(fēn)析挖掘、业務(wù)管理(lǐ)和决策的重要基础,只有(yǒu)建立完整的数据质量體(tǐ)系,才能(néng)有(yǒu)效提升企业数据整體(tǐ)质量,从而更好的為(wèi)业務(wù)服務(wù)。从技术面上讲,定义完整全面的数据质量的评估维度,包括完整性、时效性等,并按照已定义的维度,在系统建设的各个阶段都应该根据标准进行数据质量检测和规范,及时进行治理(lǐ),避免事后的清洗工作。
7、优化模型,控安全
数据安全治理(lǐ),始于数据资产梳理(lǐ)。通过对数据资产的梳理(lǐ),可(kě)以确定敏感数据在系统内部的分(fēn)布、确定敏感数据是如何被访问的、确定当前的账号和授权的状况。根据企业的数据价值和特征,梳理(lǐ)出企业的核心数据资产,对其分(fēn)级分(fēn)类,通过数据治理(lǐ)工具进行建模,定义敏感数据位置、描述和处理(lǐ)方式,保证数据的合规合法使用(yòng)。
8、开放服務(wù),促应用(yòng)
数据的治理(lǐ)是為(wèi)促进数据更好的应用(yòng),一切不以应用(yòng)為(wèi)目的数据治理(lǐ)都是耍流氓。通过数据资产目录、微服務(wù)等技术将数据进行开发共享,促进数据在企业中的应用(yòng),使得数据作為(wèi)企业的宝贵资产应用(yòng)于业務(wù)、管理(lǐ)和战略决策中,发挥数据资产价值。
9、赋能(néng)业務(wù),抓创新(xīn)
数据赋能(néng)是在管理(lǐ)和业務(wù)应用(yòng)中发挥数据更大的价值,以数据驱动业務(wù)的落地。数据赋能(néng)核心是,①汇聚数据:完善企业内部信息数据化,采集外部数据;②治理(lǐ)数据:整合数据,清洗、转换、分(fēn)析、服務(wù);③应用(yòng)数据:以数据為(wèi)驱动将洞察结果应用(yòng)到实际业務(wù)中去,推动企业业務(wù)和管理(lǐ)的创新(xīn)。
10、持续优化,再出发
筆(bǐ)者认為(wèi)企业的数据治理(lǐ)是一个螺旋上升模型,需要不断的迭代和优化。数据治理(lǐ)不能(néng)一蹴而就,需要建立起長(cháng)效的持续运营机制,要将数据治理(lǐ)变成企业的一种机制、一种文(wén)化、一种习惯,而数据治理(lǐ)每一次迭代优化都预示着企业数据战略目标的再出发!