Skip to content
Datablau DAM数据治理产品手册
数据质量 模块手册下载 PDF

编写和发布技术规则 ​

技术规则把已发布的业务规则落实为数据源上的检核。准备好执行数据源、目标表字段、异常判定口径以及能稳定识别记录的主键。

创建规则 ​

  1. 进入“规则管理 → 技术规则”,单击“新建”。
  2. 填写规则名称,选择已发布业务规则及规则类型。
  3. 选择规则编写方式,配置执行数据源、系统、模型、表、列及数据库类型等适用项。
  4. 设置内容、最大错误数及其他执行参数,检查各参数是否符合业务要求。
  5. 保存并按配置申请发布。只有已发布技术规则可加入检核任务。

当前新建表单中还需核对“问题业务系统”“业务规则”“负责人”“规则类型”和“业务类型”等必填项。“问题业务系统”决定问题归属,不要仅因执行数据源来自某系统就默认两者相同。填写完成后可使用“测试”先验证规则,再保存。

四类规则的判定方式 ​

按当前入口提供的方式选择规则。部分部署的新建页只显示 SQL 和数据对比;正则与函数规则仅在界面提供相应入口时使用,不应把其他方式的参数直接填入 SQL 表单。

方式需要配置什么被判为问题
SQL数据源、SQL、结果主键、总记录数计算、问题总数计算SQL 命中的记录
正则表达式数据源、字段、主键、正则表达式、检查行数未匹配正则的记录
函数规则内置函数模板、参数、业务系统、标准或字段所选函数检核出的异常
数据对比数据 A/B 的来源及 SQL、数据关系、总记录数计算不符合所设数据关系的记录

SQL 与正则的方向相反:不要把查询正常记录的 SQL 直接用作问题 SQL,也不要用匹配异常值的正则表达式当作正常格式校验。

SQL 规则 ​

在 SQL 内容中只返回需要认定为问题的数据,并选择返回字段作为“SQL 内容主键”。总记录数计算应返回检核范围的总行数,问题总数计算返回问题行数,两者口径应一致。

表单提供“前置执行 SQL”“后置执行 SQL”以及规则参数区域;仅在规则确实需要时配置。前后置语句也会影响执行,应由熟悉目标数据源的人员审查,不把它们当作备注框。

如果没有可用主键,可以启用自动创建主键,但每次检核都会生成新的问题清单,且无法核验。需要持续跟踪和复核同一记录时,应优先由业务与技术人员确定稳定标识。

正则与函数规则 ​

正则规则设置检查行数及主键;自动创建主键具有相同的无法核验限制。

正则规则配置及自动创建主键提示

图示展示表单配置区域。检查行数与匹配方式须按业务要求设置。

函数规则选择内置模板并填写参数,在关联数据中选择业务系统,再添加标准或字段。以标准为对象时,规则会动态检核已落标字段,应核对实际映射范围,避免检查到非预期对象。

数据对比 ​

分别配置数据 A、数据 B 的数据源及 SQL,并设置数据关系。运行时比较两个查询的返回结果。核对两侧字段语义、类型及过滤范围,不将取数时间不同造成的差异直接判为业务错误。

发布与维护 ​

新规则默认未发布,按配置提交审批或使用短流程“保存并发布”。有未解决问题清单时,不允许变更或废弃该技术规则。允许变更时,编辑已发布规则先产生副本,审批通过后覆盖原内容。

可通过模板导入、按查询结果导出,以及按名称、状态、系统筛选规则。未发布、已废弃规则和变更副本可按允许操作删除。

执行前检查 ​

  • SQL 返回的是异常记录,正则描述的是正常格式。
  • 结果主键稳定且唯一,能支持后续问题核验。
  • 总记录数、问题总数与实际范围一致。
  • 执行账号具备读取权限,规则已经发布。

下一步:创建检核任务。