跳到主要内容

数据质量

Q1:数据质量的技术规则勾选是否自动创建主键这个选项有什么作用?

A:在数据质量模块,技术规则中勾选主要面向不同的应用场景,在数据质量跑完后,在平台上查看问题清单,实际解决还是需要到数据库中真正的解决。

勾选自动创建:在核检任务中,每执行一次,都会展示出最新的问题清单,如果该问题清单关闭并解决了,需要重新跑一下核检任务查看是否真正解决,无法通过平台“问题核验”模块进行核检,会标识该问题无需核验。适用于每天查看该问题最新的清单场景。

自己填写主键:在核检任务中,第一次执行(10条问题数据),展现出来的问题清单会进行”锁定“。若此时在数据库中新增问题2条,再跑一次核检任务出现的问题清单是2条。第一次10条问题清单解决后,可以在平台“问题核验”模块进行核验,分为全部通过、部分通过、未通过。第二次2条问题清单同理。此场景适用于在平台上进行完整核验,且问题数量较小,处理效率和流程严格执行。

Q2:数据质量已经赋权了,但无法创建业务规则?

A:在数据质量模块,除了需要在“系统管理→角色管理”中把质量权限赋权给用户,还需要新建一个用户组,把用户添加进去。系统管理设置完后,进入“质量模块→质量权限管理”中进行设置目录的编辑、管理、查看权限。角色管理的权限是针对于全部人员的,而质量模块自身的权限设置可以分为小组、部门、业务线。权限划分的更加清晰,管理更加精细。

Q3:数据质量业务规则和技术规则如何快速定位到自己的?

A:在数据质量模块,分配权限完成后,多个部门和人员进行质量跑批。可以通过业务规则“只查看个人”的按钮,然后在进行规则名称模糊匹配,技术规则同样操作即可。

image-20250523171714373

Q4:数据质量技术规则中数据比对如何使用,能比对那些数据源?

A:数据比对应用在实践中,可以应用到不同业务系统数据比对,如业务系统每天定时抽取到数仓,比对数据和数量是否正确。不同业务系统做数据推送进行比对。常规使用jdbc连接的数据库均可以支持。

Q5:数据质量核验任务是并行跑的还是串行跑的?

A:在核检任务中,两种情况均存在。一个核检任务中可以添加多少技术规则,这种是按照技术规则顺序执行的。如果创建多个核检任务,那么核检任务之间是并行执行的。

Q6:数据质量参数设置在哪里使用?

A:在技术规则中SQL中进行使用,可以用参数替代,替换格式为[[参数名]]。如需要每天自动执行当天的问题数据,那么sql可以编写为: select id,name,xxxx... from table where date_=[[date]]。在核检任务中,创建核检任务,调度周期填写为每天执行。这样就可以获取到每天的问题数据而不用调整SQL语句。

Q7:数据质量的问题清单无法进行问题分配?

A:问题清单需要是“已确认”的状态,才可以进行具体问题的分发。

Q8:数据质量的问题清单分配方案可以自定义么?

A:平台默认有三种方式分发,按照指定人、机构分发、登录名分发,可以在问题分配方案进行新建。所有的问题分配方案都需要勾选字段,在编写技术规则SQL的时候需要增加上,例如:问题所属部门代码,问题所属人员。

Q9:数据质量的问题清单如何删除掉?

A:问题清单是跟技术规则绑定,需要将该技术规则下的问题清单都关闭后,进行该技术规则废弃,废弃后删除该技术规则可以实现将问题清单删除。