跳到主要内容

产品快速入门

产品概述​

Datablau数据质量管理模块是专注于提升数据准确性、完整性、一致性和时效性的产品平台。该产品在数据质量任务执行过程中，对数据进行质量核验，并生成对应的问题清单，帮助企业快速找出问题数据，同时建立数据质量标准和流程，有利于用业务人员在数据质量管理过程规范化，标准化，可追溯。数据质量管理产品还提供了直观的数据质量报告和可视化工具，使用户能够轻松理解数据质量状况，并采取相应的改进措施，帮助企业实现数据驱动决策、提升业务效率和降低数据风险的重要工具。

图示 AI 生成的内容可能不正确。

定义业务规则​

  1. 在业务质量规则管理页面，点击右上角的【新建】按钮，进入业务质量规则添加页面。
  2. 填写业务质量规则的规则名称、目录（质量权限管理中的目录）、类型、业务类型、所属机构、描述等信息，填写完毕点击页面下方的【保存】按钮即可完成业务质量规则的添加工作
  3. 需要值得注意的是规则的发布状态为【已发布】才可以被后面的技术质量规则引用。业务规则的发布流程请参考《第5章5.2.2业务规则部分的内容》

定义技术规则​

  1. 进入技术规则管理页面，点击右上角的【新建】按钮，进入技术规则添加页面。
  2. 需要填写的信息包含规则名称、所属业务规则、规则类型、规则编写方式（目前支持SQL语句、正则表达式、函数规则和数据对比）、执行数据源、所属系统、所属模型、所属表、所属列、数据库类型、最大错误数、内容（SQL、正则表达式、函数参数）等。
  3. 创建SQL类技术规则：选择“规则编写方式”为【SQL】，在下方输入执行数据源，在SQL内容框中输入SQL语句，语句命中的数据将作为问题数据进入问题清单。选择一个SQL语句返回结果中的字段作为“SQL内容主键”。如果SQL返回结果没有可作为主键的字段，可以开启自动创建主键，开启后每执行一次检核任务会生成一个新的问题清单,且无法核验。在“总记录数计算”中输入SQL语句返回查询的数据总行数。在“问题总数计算”中输入SQL语句返回问题数据行数。
  4. 创建正则表达式类技术规则：选择“规则编写方式”为【正则表达式】，在下方输入执行数据源，选择一个字段作为问题清单的主键。如果目标表中没有可以作为主键的字段，可以开启自动创建主键，开启后每执行一次检核任务会生成一个新的问题清单,且无法核验。在正则表达式输入框中输入正则语句，未命中语句的数据将作为问题数据进入问题清单。设置检查行数，规定正则表达式在数据源中检查的总行数。

图形用户界面, 文本, 应用程序, 电子邮件 AI 生成的内容可能不正确。

  1. 创建函数类技术规则：选择“规则编写方式”为【函数规则】，选择内置函数模板并输入参数。在关联数据处选择规则执行的目标业务系统，然后添加数据标准或字段作为规则检核对象，函数类技术规则会通过数据标准动态检核对应落标的字段。图形用户界面, 应用程序 AI 生成的内容可能不正确。
  2. 创建数据对比类技术规则：选择规则编写方式为【数据对比】，设置数据A和数据B的数据源和SQL内容，设置数据关系。检核任务执行时，会根据设置的数据关系，比较数据A和数据B的SQL返回结果，如果有不符合数据关系的数据则会进入问题清单。在“总记录数计算”中输入SQL语句返回查询的数据总行数。

定义基于基础标准的质量规则​

数据规则是基于基础标准的基础来实现的所有他的入口是在数据标准那里，本章主要说明基础标准-数据规则的管理

  1. 进入数据标准-基础标准中，选择某一基础标准，点击查看按钮，进入基础标准的详情页，点击“数据规则”的tab页
  2. 点击“管理”按钮，可以进入数据规则的管理页面，在管理页面可以进行数据规则的新建，删除
  3. 系统会内置4数据规则，使用数据规则，需要进行关联数据规则，点击“关联”，可以将数据规则关联到该基础标准下，标准质量任务需要执行对应的数据规则【内置规则不允许修改】
  4. 也可以在该页面直接进行新建，新建的数据规则也会进入管理页面的列表中

新建质量检核任务​

  1. 在检核任务管理页面，点击右上角的【新建】按钮，有两种类型，“质量检核任务”，“标准检核任务”，点击“新建质量检核任务”进入检核任务添加页面。
  2. 填写检核任务的任务名称，选择调度周期、业务系统等信息。
  3. 用户可以在当前界面设置邮件发送用户，作为任务发送和同步的用户

图形用户界面, 文本, 应用程序, 电子邮件 AI 生成的内容可能不正确。

4. 点击添加质量规则按钮，可以看到所属系统下的技术规则，值得注意的是，添加质量规则页面，显示的是【已发布】状态的技术规则。填写完毕点击页面下方的【添加】按钮即可完成检查任务的添加工作。

图形用户界面, 文本, 应用程序 AI 生成的内容可能不正确。

新建标准质量检核任务​

  1. 在检核任务管理页面，点击右上角的【新建】按钮，有两种类型，“质量检核任务”，“标准检核任务”，点击“新建质量检核任务”进入检核任务添加页面。
  2. 填写检核任务的任务名称，选择调度周期、业务系统等信息。
  3. 用户可以在当前界面设置邮件发送用户，作为任务发送和同步的用户

图形用户界面, 文本, 应用程序, 电子邮件 AI 生成的内容可能不正确。

4. 点击添加质量规则按钮，可以看到所属系统下的技术规则，值得注意的是，添加质量规则页面，显示的是【已发布】状态的技术规则。填写完毕点击页面下方的【添加】按钮即可完成检查任务的添加工作。

图形用户界面, 文本, 应用程序 AI 生成的内容可能不正确。

处理问题清单​

在【问题详情】页面中最下方，可以对该问题进行处理，处理选项根据问题的负责人和问题当前状态决定。问题清单在转交时只可以给有相应目录权限的用户，问题会在分发和转交的过程中给目标用户发送邮件（控制面板中配置时开启的），问题状态为未处理、已接收、已确认、已修复、已关闭。（在短流程内只存在未处理，已修复，已关闭）。