Skip to content
Datablau DAM数据治理产品手册
数据质量 模块手册下载 PDF

数据质量 ​

数据质量用于定义检核规则、运行检核任务、查看质量报告,并对发现的问题进行确认、分派和闭环处理。

这里的“检核”是按技术规则检查实际数据记录是否满足业务要求;它不同于数据标准中的自动核标,后者侧重检查字段与标准的关联及落标情况。“问题核验”则是在整改后重新检查已发现的问题,不能仅凭任务运行成功认定问题已解决。

当前模块导航按五组组织:

导航组页面
质量报告质量概览、规则报告、问题报告
规则管理规则模板、业务规则、技术规则
检核任务检核任务
问题管理问题清单、问题核验、知识库管理
规则参数参数设置、质量权限管理、问题分配方案、规则类型设置

数据质量概览与导航

查看数据质量概览原图。概览页的统计数据和筛选项随当前环境变化,截图只用于说明入口和布局。

从要求到整改闭环 ​

业务规则描述要求,技术规则定义可执行判断,检核任务运行规则,问题清单组织整改,问题核验检查整改是否有效。报告汇总结果,知识库积累解决方法。

对象使用者需要完成的工作交给下一步的内容
规则模板提炼可重复使用的规则描述和参数创建业务规则时的参考
业务规则写清检查对象、业务要求、责任机构和分类,完成发布可被技术规则引用的要求
技术规则将要求落实为数据源、可执行判断和记录标识可以加入任务的检核规则
检核任务选择已发布规则、执行范围、周期和通知对象执行结果、统计与问题数据
问题清单确认问题、分派责任、记录修复过程可跟踪的整改记录
问题核验检查关闭问题后的数据是否满足规则未通过、部分通过或全部通过等核验结论
知识库整理原因、解决方案与验证方法后续同类问题可复用的处理说明

一个业务要求可能对应多个技术检查。不要只登记业务规则而没有技术规则,也不要把任务运行成功当作异常已经修复。业务规则详情可以查看关联技术规则、检核任务及问题,并跳转到相应详情。

开始前准备 ​

先在质量配置中确认质量目录、用户组访问范围和规则类型,再确认目标数据源能够被检核账号读取。需要持续核验同一异常记录时,技术规则应使用稳定记录标识;使用自动创建主键的规则无法核验。

数据质量负责人组织检查,业务责任人确认规则口径,数据维护人员负责源数据整改。这些是建议分工,具体用户角色由组织配置。规则、目录和问题处理权限分别检查,不能仅凭能看到菜单认定能够处理全部问题。

选择报告 ​

报告主要观察内容下一步检查
质量概览质量总分、规则数量、监测修复情况及问题、逾期问题的汇总回到具体任务、问题及问题记录检查实际范围
规则报告技术规则按类型、所属系统及增删情况的统计检查业务要求是否已有可执行规则,以及规则是否被任务使用
问题报告问题按规则类型、所属系统等维度的统计打开问题清单,确认责任人、处理进度和核验结论

问题清单数量与异常数据记录数量是不同口径;同一张清单可能包含多条问题数据。报告适合发现重点,具体整改仍沿清单和记录处理。

质量概览支持按汇报周期、系统、组织机构、业务类型、重要程度和是否逾期筛选。使用筛选时先记录当前条件,再阅读统计卡片;导出 PDF 也应保留查询范围。清空筛选后重新查询,才能判断某个统计是否来自全量范围。

按任务阅读 ​

目标操作指南
第一次完成检核与整改快速开始
复用模板、发布业务要求业务规则
管理规则模板和导入数据规则模板
配置 SQL、正则、函数、对比技术规则
运行任务并查看统计检核任务与报告
阅读和导出质量统计报告操作
分派、修复、核验并积累知识问题处理
沉淀可复用解决方案知识库
配置目录、类型、变量和责任分配质量配置

质量规则应与业务口径一致。需要统一字段语义时先参考数据标准,需要追溯上下游影响时查看对应元数据血缘。