功能详解
质量报告
质量概览
主要用于展示当前数据资产管理平台的质量总分、质量规则数量以及监测任务修复情况等,以折线图、饼状图、列表等形式展示,包括维度重要程度,来源,类型,系统,指标问题数,全部问题记录数,逾期问题数,逾期问题记录数。
规则报告
主要展示所有技术规则的统计信息,包括规则类型的统计分析,规则所属系统的统计分析,以及规则的增删统计分析。
问题报告
主要展示所有的问题统计信息,包括问题类型(依赖技术规则类型)的统计分析,规则所属系统的统计分析,以及规则的增删统计分析。
规则管理
规则模板
该页面的功能主要包含数据质量规则模板的搜索、添加、删除、导入和导出等。
添加规则模板
在规则模板界面页面,点击右上角的【新建】按钮,进入规则模板添加页面。填写业务质量规则的模板名称、模板分类、模板规则内容等信息,填写完毕点击页面下方的【确定】按钮即可完成规则模板的添加工作。
导入规则模板
初始化状态下,点击页面右上角的更多下的【导入】-【下载模版】按钮即可下载规则模板Excel模板,将模板名称、模板分类、模板规则内容等信息录入到业务规则Excel模板中。
填写完毕,点击页面右上角的【导入】按钮,即可将录入好的业务规则批量导入平台中去。
导出规则模板
勾选想要导出的规则模板项,点击导入的弹窗中,旁边有“下载模版”
查看规则模板
点击规则模板右侧对应的【查看】按钮,可查看单一的规则模板详细信息。
编辑规则模板
点击规则模板右侧对应的【编辑】按钮,可对单一的规则模板进行编辑,修改模板的模板名称、规则分类、模板规则内容等信息。规则参数支持字段,表,视图和码值参数。
删除规则模板
点击规则模板右侧对应的【删除】按钮,可删除单一的规则模板。选中想要删除的规则模板后点击左下角【删除】按钮可同时删除多个规则模板。
业务规则
添加业务规则
在业务质量规则管理页面,点击右上角的【新建】按钮,进入业务质量规则添加页面。填写业务质量规则的规则名称、目录(质量权限管理中的目录)、类型、业务类型、所属机构、描述等信息,填写完毕点击页面下方的【保存】按钮即可完成业务质量规则的添加工作,需要值得注意的是规则的发布状态为【已发布】才可以被后面的技术质量规则引用。
查看业务规则
用户可以在业务规则列表查看规则实现情况,根据状态查看业务规则下是否绑定了技术规则,是否生成了任务,并可以通过该属性进行筛选,可以点击业务规则详情,展示业务规则下绑定的技术规则列表,根据技术规则产生的检核任务列表,以及任务产生的问题列表。列表内容权限根据菜单权限和 业务目录权限限定。用户点击具体的元素可以跳转到相应的详情页。
发布业务规则
业务规则创建后为未发布状态,该状态下业务规则为私有,只能自己查看,且不能挂载技术规则,在该状态下用户可以查看、修改、勾选删除、提起审批流程,进入审批流后由管理员进行审批。
被废弃的业务规则也可以发起发布审批流程
在短流程下可以直接通过保存并发布的按钮实现业务规则发布
废弃业务规则
用户对已经发布的业务规则发起废弃流程,审批通过后当前业务规则废弃。在短流程下用户可以在业务规则列表页直接完成对单条或者多条业务规则完成废弃。业务规则下存在关联内容时不允许废弃。
变更业务规则
用户对已经发布的业务规则可以编辑,用户对已发布的规则第一次编辑并保存后会创建变更副本,用户后续可以编辑变更副本中的内容,不影响当前业务规则的使用,用户可以对变更副本提交变更流程,审批通过后当前业务规则变更。申请通过后变更副本的内容覆盖原本内容。在短流程下支持用户对业务规则直接保存并发布,其中如果被技术规则引用则不允许编辑目录及规则类型,其他内容可以修改
下载模版/导入业务规则
初始化状态下,点击页面右上角的【更多】下的【导入】即可在导入弹窗页面下载业务规则Excel模板,将规则名称、规则目录、规则类型、业务类型、规则状态、规则描述和所属机构到业务规则Excel模板中。
填写完毕,点击页面右上角的【更多】下的【导入】按钮,即可将录入好的业务规则批量导入平台中去。
导出业务规则
点击页面右上角的【导出】按钮即可将平台中已有的业务规则全部导出,下载到本地。
编辑业务规则
用户可以对未发布和已发布的规则进行编辑,如需对其进行修改,可点击对应业务规则后面的编辑按钮。
搜索业务规则
业务规则在数量比较多的情况下,可以通过搜索定位到需要查看的规则。在业务质量规则页面的搜索框中输入规则名称关键字,或者在状态下拉中选择状态,对生产状态进行下拉选择可以对规则进行查询,快速定位到目标规则。
删除业务规则
用户可以对已废弃、未发布的规则和变更副本进行删除。如需删除业务规则,可勾选业务规则前面的复选框,然后点击页面下方的【删除】按钮即可。
技术规则
添加技术规则
进入技术规则管理页面,点击右上角的【新建】按钮,进入技术规则添加页面。
需要填写的信息包含规则名称、所属业务规则、规则类型、规则编写方式(目前支持SQL语句、正则表达式、函数规则和数据对比)、执行数据源、所属系统、所属模型、所属表、所属列、数据库类型、最大错误数、内容(SQL、正则表达式、函数参数)等。
创建SQL类技术规则:选择“规则编写方式”为【SQL】,在下方输入执行数据源,在SQL内容框中输入SQL语句,语句命中的数据将作为问题数据进入问题清单。选择一个SQL语句返回结果中的字段作为“SQL内容主键”。如果SQL返回结果没有可作为主键的字段,可以开启自动创建主键,开启后每执行一次检核任务会生成一个新的问题清单,且无法核验。在“总记录数计算”中输入SQL语句返回查询的数据总行数。在“问题总数计算”中输入SQL语句返回问题数据行数。
创建正则表达式类技术规则:选择“规则编写方式”为【正则表达式】,在下方输入执行数据源,选择一个字段作为问题清单的主键。如果目标表中没有可以作为主键的字段,可以开启自动创建主键,开启后每执行一次检核任务会生成一个新的问题清单,且无法核验。在正则表达式输入框中输入正则语句,未命中语句的数据将作为问题数据进入问题清单。设置检查行数,规定正则表达式在数据源中检查的总行数。
创建函数类技术规则:选择“规则编写方式”为【函数规则】,选择内置函数模板并输入参数。在关联数据处选择规则执行的目标业务系统,然后添加数据标准或字段作为规则检核对象,函数类技术规则会通过数据标准动态检核对应落标的字段。
创建数据对比类技术规则:选择规则编写方式为【数据对比】,设置数据A和数据B的数据源和SQL内容,设置数据关系。检核任务执行时,会根据设置的数据关系,比较数据A和数据B的SQL返回结果,如果有不符合数据关系的数据则会进入问题清单。在“总记录数计算”中输入SQL语句返回查询的数据总行数。
发布技术规则
创建完成的技术规则默认进入未发布状态,用户可以提起审批流程,进入审批流后由管理员进行审批。
审批完成用户可以在“展示所有技术规则“的分类下查看到
在短流程下用户可以通过保存并发布的方式直接发布技术规则,同时废弃的技术规则支持重新发布
废弃技术规则
用户对已经发布的技术规则可以进行废弃,审批过程不影响当前技术规则的使用,用户可以提交废弃流程,审批通过后当前技术规则废弃。在短流程下用户可以在技术规则列表页直接完成对单条或者多条技术规则完成废弃。技术规则下存在未解决的问题清单是不允许废弃
变更技术规则
用户对已经发布的技术规则可以编辑,用户对已发布的规则第一次编辑并保存后会创建变更副本,用户后续可以编辑变更副本中的内容,不影响当前技术规则的使用,用户可以对变更副本提交变更流程。在短流程下支持用户对业务规则直接保存并发布。技术规则下存在未解决的问题清单不允许变更,申请通过后变更副本的内容覆盖原本内容
下载模版/导入技术规则
初始化状态下,点击页面右上角的【更多】-【导入】按钮,点击【下载模版】即可下载技术规则Excel模板,将技术规则的相关信息录入到技术规则Excel模板中。
填写完毕,点击页面右上角的【更多】-【导入】按钮,即可将录入好的技术规则批量导入平台中去。
导入是用户可以选择是否需要审核,具体导入规则如图
导出技术规则
点击页面右上角的【更多】-【导出】按钮即可将搜索到的结果导出,下载到本地。
搜索技术规则
技术规则在数量比较多的情况下,可以通过搜索定位到需要查看的规则。在技术质量规则页面的搜索框中输入规则名称,或者通过状态,系统下拉等其他条件,可以对规则进行查询,快速定位到目标规则。
删除技术规则
用户可以对已废弃、未发布的规则和变更副本进行删除。如需删除技术规则,可勾选技术规则前面的复选框,然后点击页面下方的【删除】按钮即可。
基础标准-数据规则
数据规则是基于基础标准的基础来实现的所有他的入口是在数据标准那里,本章主要说明基础标准-数据规则的管理
- 进入数据标准-基础标准中,选择某一基础标准,点击查看按钮,进入基础标准的详情页,点击“数据规则”的tab页
- 点击“管理”按钮,可以进入数据规则的管理页面,在管理页面可以进行数据规则的新建,删除
- 系统会内置4数据规则,使用数据规则,需要进行关联数据规则,点击“关联”,可以将数据规则关联到该基础标准下,标准质量任务需要执行对应的数据规则【内置规则不允许修改】
- 也可以在该页面直接进行新建,新建的数据规则也会进入管理页面的列表中
检核任务
检核任务
核验任务目前分为质量核验任务,标准核验任务,如果是标准核验任务,需要结合数据标准-数据规则一起实现标准转质量的业务需求.本章讲解质量任务的创建
添加质量检核任务
- 在检核任务管理页面,点击右上角的【新建】按钮,有两种类型,“质量检核任务”,“标准检核任务”,点击“新建质量检核任务”进入检核任务添加页面。
- 填写检核任务的任务名称,选择调度周期、业务系统等信息。
- 用户可以在当前界面设置邮件发送用户,作为任务发送和同步的用户
4. 点击添加质量规则按钮,可以看到所属系统下的技术规则,值得注意的是,添加质量规则页面,显示的是【已发布】状态的技术规则。填写完毕点击页面下方的【添加】按钮即可完成检查任务的添加工作。
添加标准检核任务
-
在检核任务管理页面,点击右上角的【新建】按钮,有两种类型,“质量检核任务”,“标准检核任务”,点击“新建标准检核任务”进入标准检核任务添加页面。
-
填写检核任务的任务名称,选择调度周期、业务系统,数据规则范围等信息
-
点击“新建数据范围规则”,有三种方式:“基于基础标准”,“基于标准代码”,“基于元数据”,基于基础标准会通过基础标准查询当前已经挂载的基础标准的字段;基于标准代码会通过标准代码查询当前挂载标准代码的字段;基于元数据,就是要从元数据的维度直接进行选择,相关挂载了基础标准或者标准代码的字段,这里最终展示的是字段挂载了基础标准或者标准代码的字段。
-
用户可以在当前界面设置邮件发送用户,作为任务发送和同步的用户
【关于标准代码或者基础标准变更之后,相关质量任务的执行的说明】
-
如果根据元数据的方式选择的字段,选择“全选”,那么只是将当前数据源下的所有字段选中,未来如果他还新增表或者字段,对当前的任务无影响
-
标准的技术信息发生变化,检核任务执行该怎么执行?核验任务该如何执行?
检核任务执行按照最新的标准技术信息进行核验,核验任务执行与检核任务执行出的问清单数据中的技术信息内容不一致,则跳过,标记为“无需核验”
-
如果标准关联的数据规则中的规则内容发生变化,检核任务执行该怎么执行?核验任务该如何执行?
检核任务执行按照最新的数据规则进行检核,核验任务执行与检核任务执行出的问清单数据中的数据规则内容不一致,则跳过
-
如果标准关联的数据规则增加或删除,检核任务执行该怎么执行?核验任务该如何执行?
如果数据规则发生增加或者删除,那么字段关联的该标准下的数据规则也随之发生增加或删除,检核任务正常按照按照字段关联的数据规则去执行任务,删除的数据规则就可以不用跑,增加的就按照最新的状态进行执行,核验任务也是按照对应的数据规则,有数据规则就核验(状态参考第2点,第3点),删除的数据规则就直接跳过
-
如果再次保存这些内容,那么字段更改了落标怎么办?
如果当前标准与绑定的不一致或者不存在,则跳过。
-
如果字段绑定了标准代码,标准代码下的码值做了变更,检核任务执行该怎么执行?核验任务该如何执行?
检核任务执行是按照最新的的状态去执行,核验的时候在发生变化,则跳过。
-
字段更改落标的标准,该如何去执行?
检核任务执行是按照最新的的状态去执行,核验的时候在发生变化,则跳过。
【关于核验码值的问题】
-
如果关联的字段关联的数据标准下同时关联了码值,并且码值核检是开启,那么自动就会核验码值
如果关联的字段关联的数据标准下同时关联了码值,但字段单独又关联了代码,码值核检是开启,那么也会自动核验码值,但核验的码值就会他自己关联的标准代码(关联标准和码值后,会显示两条核验码值的规则)
-
) 如果他只是选择标准代码,那么对于标准代码的这个字段也存在,码值检验也是开启的,也依然会按照标准代码的码值进行核验
【关于元数据的变更,基于标准转质量的任务执行问题】
1. 数据源删除,那么跑任务,这个数据源下的元数据标准核验,就直接跳过
2. 数据标准被删除,绑定该数据标准,标准代码的元数据也跳过
3. 元数据被删除,该元数据直接跳过,继续执行别的
编辑检核任务
对于已经创建好的检核任务,如需对其进行修改,可点击对应检查任务后面的【编辑】按钮。
搜索检核任务
可以通过任务名称关键字搜索定位到需要查看的任务。
删除检核任务
如需删除检核任务,可勾选检查任务前面的复选框,然后点击页面下方的【删除】按钮即可。
查看任务运行结果
用户可以通过列表查看上次调度结果,通过查看详情看到过往历史运行情况。
问题管理
问题清单
在问题清单页面会显示运行【检核任务】发现的问题,问题分类为【规则核验】,【手工登记】,【标准核验】的问题。
同时问题管理中的列表支持用户自定义表头显示,用户拥有权限后可以在表头后侧的设置按钮,设置表头的是否显示,表头宽度以及表头的显示顺序,目前用户设置为全局同步,即其他用户的表头也会变化。目前覆盖的界面有问题清单,问题核验,问题数据
创建问题
在问题清单页面,点击右上角的【新建】按钮,进入问题创建页面,可以创建手工登记的问题。
填写或选择问题名称、负责人、描述、附件等相关信息,填写完毕点击页面下方的【确定】按钮即可创建问题。通过检核任务创建问题是会给相应的用户发送邮件邮件模版如下
邮件1主题:数据质量问题创建通知
前提:这个邮件是需要在控制面板中开启了configurable.quality.urging.email配置才发的
模版:《$创建时间》的《$问题清单名称》交于您处理,请尽快查看解决
触发条件:每当有问题数据清单创建、被转交。邮件通知相应的节点人员
导出问题清单
点击右上角的【导出】,可以选择导出勾选的问题项或当前的所有查询结果为Excel文件,保存到本地。用户也可以通过左下角的导出选择指定范围导出
查看问题详情
点击问题项右侧的【问题详情】,可以查看问题的详细情况。查看问题数据可以看到问题数据具体的内容
处理问题
在【问题详情】页面中最下方,可以对该问题进行处理,处理选项根据问题的负责人和问题当前状态决定。问题清单在转交时只可以给有相应目录权限的用户,问题会在分发和转交的过程中给目标用户发送邮件(控制面板中配置时开启的),问题状态为未处理、已接收、已确认、已修复、已关闭。(在短流程内只存在未处理,已修复,已关闭)
查看问题数据
点击问题项右侧的【问题数据】,可以查看问题的相关的数据情况。
可以将具体的问题数据分发给指定人或机构,处理问题数据,指定人处理完后,可以改变问题数据状态,也可以引用自定义分配方案。
查询问题清单
在问题清单的上方,可以通过选择或输入状态,问题名称,所属系统,技术规则等信息搜索问题清单,点击【搜索】搜索结果。
问题核验
问题关闭后会自动进入【问题核验】列表,默认状态为未核验。
【任务调度】中的数据质量-核验任务会对所有未核验的问题进行核验,并更新其状态为无需核验,未通过、部分通过和全部通过。
查询问题核验
在页面上方的查询栏,可以根据问题名称、机构名称、所属系统、核验状态、技术规则等条件搜索问题核验项。
查看问题详情
在【问题核验】也可以查看问题详情。
重新打开问题
在问题核验项的右侧可以选择重新打开问题,使问题状态由已关闭回到已确认,未核验和全部通过的问题不能重新打开。
知识库管理
- **功能介绍:**数据质量知识库管理,是对在日常管理中总结出来或收集的数据质量知识进行管理,包括新增、修改、删除和查询。
- **功能入口:**数据质量——【知识库管理】
添加知识库条目
点击【新建】按钮,打开添加页面。
输入文档名称、问题描述等信息,同时可以添加问题对应的质量规则,或者上传相关的文档。填写完毕点击页面下方的【确定】按钮即可完成知识库的添加工作
在问题详情中打开问题的解决方案,直接将解决方案加入知识库。
查看知识库条目
对于已经创建好的知识库条目,如需对其进行查看,可点击对应知识库后面的【查看】按钮。
编辑知识库条目
对于已经创建好的知识库条目,如需对其进行修改,可点击对应知识库后面的【编辑】按钮。
删除知识库条目
如需删除知识库条目,可勾选知识库前面的复选框,然后点击页面下方的【删除】按钮即可。
规则参数
参数设置
参数列表中的参数主要用于数据质量任务,作为变量用于编写技术质量规则,参数格式为[[参数名]]。
质量权限管理
数据质量增加目录管理机制,用户可以在质量权限管理内容定义目录结构,可以通过新增,删除,重命名等内容对目录节点进行编辑,用户可以在业务规则模块,在相应的目录节点下建立业务规则,查看技术规则时也会依照该目录结构进行查看
同时用户可以依照用户组在平台内对目录进行权限维护
用户可以选择当前用户组对目录和目录下内容只具有查看权限还是对目录本身具有维护权限,具体内容下的操作权限参考质量模块的赋权
问题分配方案
分发规则的基础信息主要有名称、分发内容数值、负责人等信息组成,数值为用户自定义输入框。
问题数据分发时用户可以选择分配方式,除系统现有分发方式外,增加自定义分发方式。自定义分发方式用户选择分发依据字段,选择定义的分发依据,增加一非必填项:未匹配数据分发,由分配人选择具体的人。
规则类型设置
数据质量的规则类型支持用户根据个人业务进行设置,默认提供准确性,完整性,唯一性,一致性,有效性,及时性及以上属性的子类型,默认属性不可修改和删除
新建规则类型
用户可以根据实际情况新建规则类型或新建规则类型子集,用户通过输入名称、编码、排序、描述等信息,如果为新建规则类型子集还需要用户选择父级名称(最多支持两级)。用户点击确定后保存并新建,点击取消或关闭则返回列表。
编辑规则类型
用户可以对自定义的规则类型进行编辑,用户可以对已定义的属性修改,其中编码字段作为关联字段,不可变更。
删除规则类型
用户可以对自定义属性删除,如在规则模版,业务规则,技术规则中被引用则不可被删除。