⽂|⼤数据架构师
曾经有段时间给甲⽅爸爸做项⽬的时候,他们看我长的显⼩,喜欢挑战⼀些问题,其中我遇到最多的就是“什么是元数据”。遇到这种问题既不能啰嗦,也不能太过于专业,否则领导会不开熏。
另外,元数据、主数据也都是数据治理的核⼼中的核⼼。今天就给⼤家把这⼏个名词给彻底解释清楚。
为什么要取这么多名字?
我初⼊数据⾏业的时候也被⼀堆的名词给绕晕了。什么元数据、技术元数据、业务元数据、操作元数据、主数据、参考数据、事务数据、业务数据、维度、度量、指标等等等等,那时候简直⼀脑门⼦的官司。
那时候就是刘姥姥进⼤观园,看啥都新鲜,看啥也都不懂,长期处于信息过载的状态。那时候也没有⼈帮我整理整理,⾃⼰也没时间去系统性的学习,只是硬着头⽪边⽤边学,慢慢的加深理解。其实这些东西都是内在关联的。我梳理了⼀下,这样看就能清楚很多了:
我们知道,⾯对⼤量信息的时候,最好的办法就是归类、合并、分解,把它们⽤⼀个结构组合起来,这样就能很容易的理解。其实所有的数据也是⼀样,我按照数据的记录、管理和分析三个⽤途,对这些数据名词进⾏归类,这样是不是就清晰多了?记录类数据什么是事务数据?
事务是数据库的处理数据的⼀个单元,可以理解为⼀次数据库CRUD的操作。事务数据就是记录下数据库操作的系统⽇志数据,以及特定业务场景中,专门记录的业务操作事务记录的数据,⽐如⽤于安全审计的系统登录⽇志。什么是业务数据?
业务数据就是为了完成业务流程⽽存储的业务操作类数据。就是业务系统的绝⼤多数表和数据。
什么是⽇志数据?
早期的⽇志数据是属于事务数据中的。现在⼤数据时代,⽤户访问数据变得越来越重要,所以单独分离出来。什么是元数据
元数据(Meta-data)是描述数据的数据。如何理解这句话?以⼩学课⽂《翠鸟》为例, 我告诉你这是⼀只翠鸟,如果你没见过翠鸟,你肯定⽆法理解翠鸟是个什么东西。但是如果是这样描述⼀下呢?
翠鸟喜欢停在⽔边的苇秆上,⼀双红⾊的⼩⽖⼦紧紧地抓住苇秆。它的颜⾊⾮常鲜艳。头上的⽻⽑像橄榄⾊的头⼱,绣满了翠绿⾊的花纹。背上的⽻⽑像浅绿⾊的外⾐。腹部的⽻⽑像⾚褐⾊的衬衫。它⼩巧玲珑,⼀双透亮灵活的眼睛下⾯,长着⼀张⼜尖⼜长的嘴。
上⽂在描述翠鸟,怎么描述的呢?从这⼏个⽅⾯:停在那⼉、⼩⽖⼦、颜⾊、头上的⽻⽑、背上的⽻⽑、腹部的⽻⽑、体型、眼睛、嘴。
同理,现在我告诉⼀个数字:175,你除了对175这个数字有⽐较确定的量化意义之外,也⽆法理解175具体代表了什么含义。但是如果是这样描述⼀下呢?
这样是不是就很清楚了?175的意思是:2020年统计的全国成年男性平均⾝⾼,该值的合理阈值是80-260cm,数据⽬前存在MySQL中,访问连接是XXXX,由国家统计局的张三在2020年1⽉1⽇创建,数据⽬前是公开的,很安全,质量经过多重确认⽆误的。
在描述175这个数据,⽤了哪些描述项呢?单位、指标、统计时间、统计范围、合理阈值、数据库、表、字段、接⼝、创建⼈、创建时间、数据权限、质量等级等等。这些都是在描述175这个
数据。我们把描述175这个数据的其他数据称之为“元数据”。当然,为了管理⽅便,我们同样还能将上述元数据进⾏归类:与业务规则、流程相关的描述性数据,我们称之为业务元数据;与存储、访问等技术底层的描述性数据,我们称之为技术元数据;与数据操作相关的描述性数据,我们称之为操作元数据;与数据管理相关的描述性数据,我们称之为管理元数据元数据可以解决什么核⼼问题?
如上所述,元数据就是为了准确的描述我们拥有的所有数据。其核⼼的⽬的是降低⼈与数据之间的沟通成本。描述的越准确,我们使⽤数据的成本就越低。什么是主数据
主数据(Master Data)就是关于业务实体的数据。主数据是关键业务实体的最权威、最准确、价值最⼤的数据,⽤于建⽴交易闭环。其实Master Data翻译成“核⼼数据”可能会更合适,因此主数据也被称为“黄⾦数据”。这么说吧,其实阿⾥的One ID就是主数据理念的结果。
对于CRM客户管理系统来说,⽤户就是主数据;对于银⾏来说,卡bin码、开户⾏、账号、理财产品等都是主数据;对于⽣产企业,BOM表是主数据;对于⼆⼿房平台,房源信息是主数据。贝壳的楼盘字典就是典型的主数据,他们从2008年开始建设,持续了12年,投⼊了5、6亿。所以我们总结⼀下,主数据⼀共有以下种类:
与⼈相关的:⽤户、客户、公民、病⼈、供应商、学⽣等;
与物相关的:实体产品、虚拟产品(理财产品)、⽣产资料(BOM表)等;与场相关的:地址库、楼盘字典、POI信息等;与规则相关的:财务的账套等。
在传统IT企业,甲⽅公司的主数据可以⽴⼀个千万级的项⽬。国内也有很多公司专门做主数据这个⾏当。主数据的核⼼思想是全局唯⼀的标准数据。因此,主数据⼀般会完成以下⼯作:确定核⼼业务环节识别主数据
定义和维护主数据匹配规则(代码规则、ID Mapping)建⽴及发布数据标准主数据的后续维护及更新
因篇幅问题不能全部显示,请点此查看更多更全内容