数据治理报表定制开发
本章说明如何基于报表模型，为 DAM 建立治理运营统计和 Dashboard。报表模型解决的是统计模型、视图、字段、关系和展示配置；它不改变 DAM 业务对象，也不替代元数据、质量或资产服务的权限控制。
统计分析适合产品概览无法覆盖的客户化需求，例如按业务部门统计资产、按数据源统计元数据、分析报表访问量、统计质量问题处置情况，以及把多个治理主题组合到一个运营 Dashboard。示例 SQL 以 MySQL 5.7 为基线，迁移到其他数据库时需要重新验证函数、分页和日期语法。
报表模型是统计报表的核心
数据治理统计报表不是直接在页面上拼接查询，而是先在报表模型中建立可复用的统计视图，再由 Dashboard、报表或其他展示组件使用这些视图。下图展示了元数据统计模型的典型结构：上层是 DAM 业务基础表，中间层是面向统计主题的视图，下层通过报表模型字段和关系组织为可展示的统计结果。
图中的 bi_metadata_*_view 代表统计视图，例如用户自定义属性、报表、文件、数据集、业务系统和数据源视图。视图把底层对象的技术字段转换成报表模型能够使用的统计字段，并通过对象 ID、类型 ID、部门、时间和状态等字段建立关联。后续新增统计指标时，应优先新增或扩展视图字段，再配置报表模型和 Dashboard，避免每个页面单独编写一套 SQL。
如果有数据治理统计报表开发需求，应向 Datablau 交付团队具体咨询。交付团队会根据 DAM 版本、数据源类型、统计口径、权限范围和 Dashboard 目标评估模型设计、视图开发、SQL、刷新任务和发布方式。
1. 交付前先定义统计口径
每个指标先写清楚：统计对象、粒度、去重键、时间字段、组织范围、状态范围、刷新频率、空值处理和权限边界。把这些内容写入指标说明和模型版本，避免只在 SQL 中隐含口径。
| 统计主题 | 常见指标 | 关键口径 |
|---|---|---|
| 元数据对象 | 表、视图、字段总数；部门分布；访问量和收藏量 | 是否包含已删除对象、是否按对象 ID 去重 |
| 报表 | 报表总数、报表类型、更新频率、访问量 TOP10、收藏量 TOP10 | 报表、多维分析和清单的类型映射 |
| 文件 | 文件总数、业务部门分布、访问量和收藏量 | 文件对象与逆向形成的表字段分开统计 |
| 业务系统 | 系统总数、重要性、业务域、业务部门和 IT 部门分布 | 系统状态和组织归属的有效版本 |
| 数据源 | 连接总数、业务部门、IT 部门和数据源类型 | 连接配置是否可见、是否包含停用连接 |
| 数据集 | 表、视图、字段及其中英文名称总数；敏感、安全等级和标签分布 | 表、视图、字段的类型 ID 和对象权限 |
| 数据质量 | 已解决、手动登记、自动登记、延期、优先级、规则类型、问题和核验状态 | 问题状态、核验状态和时间字段的组合 |
| 业务/技术规则 | 各部门、重要等级和状态分布；N 天后逾期 | 逾期计算基准和规则发布状态 |
2. 报表模型对象和视图分层
数据字典中的对象用于描述模型本身：目录、视图目录、UDP 属性管理、报表字段、视图字段、关系、视图、连接和主题域。统计报表模型最终以视图为主要交付对象，模型中的字段、关系和 UDP 用于描述视图的可查询结构和展示语义。建议每个主题建立独立目录，避免把不同粒度的明细字段混在同一个视图中。
主题域
└─ 统计目录
├─ 元数据视图
├─ 报表视图
├─ 数据质量视图
└─ 维度与关系建模时先登记连接，再创建统计视图和视图字段，最后配置关系和 Dashboard。字段至少定义物理名、显示名、数据类型、是否可空、排序和过滤用途。需要按客户扩展维度时使用 UDP，不要改写产品内置字段含义。视图应明确来源表、关联条件、刷新方式和适用权限。
3. 开发流程
- 建立报表模型工程，确定主题域、连接、模型版本和发布责任人。
- 从 DAM 的已授权统计来源选择对象，建立统计视图和关系。跨服务查询应先经过 DAM API 或受控报表数据源，不直接依赖页面接口。
- 在视图字段中登记业务名称、数据类型、排序和聚合方式。
- 编写参数化 SQL，并为总量、分布、TOP 和明细分别建立查询。总量查询要明确
count(distinct object_id)还是记录数，TOP 查询要固定排序和并列规则。 - 用已知样本核对总数、部门、时间边界、空值和权限，再绑定图表或表格组件。
- 发布报表模型和 Dashboard，保存视图版本、SQL 版本、刷新时间、样本结果和权限验收记录。
4. 对象类型和版本
常见元数据类型 ID 示例：
| 类型 ID | 对象 |
|---|---|
80000004 | 表 |
80500008 | 视图 |
80000005 | 字段 |
82800008 | 元数据文件 |
82800002 | 元数据报表 |
这些值用于说明模型映射，不能在多个 SQL 中散落硬编码。实际项目应从当前报表模型数据字典或产品类型配置中读取，并在版本升级时回归。报表、文件、业务系统和数据源也要记录来源对象版本，避免历史数据随当前状态被重算。
5. SQL 和权限要求
- 所有用户输入使用绑定参数，禁止拼接组织、关键词和时间条件。
- 按当前用户、组织和目录权限过滤，不能因为报表账号能查到数据就认为门户用户有权看到明细。
- 明细查询和汇总查询分开，长耗时查询通过任务异步刷新，并保存统计时间和模型版本。
- 处理删除对象、失去权限对象和采集失败对象时保留状态，不把缺失数据直接当作零。
- 数据集中的敏感、安全等级、影响程度和标签分布属于治理统计，展示时仍需遵循数据安全策略。
6. Dashboard 设计
建议按治理对象拆分 Dashboard：应用系统、报表、文件、数据集和数据质量。每个 Dashboard 先放总量和关键状态，再放部门/类型分布，最后放 TOP 和明细。图表标题写明统计时间、范围和单位，避免只显示“总数”或“分布”。
数据质量 Dashboard 至少覆盖问题总量、已解决、延期、优先级、规则类型、问题状态和核验状态；技术规则还可以增加重要等级、部门状态和 N 天后逾期清单。
7. 测试、发布与升级
测试用例至少包括空数据、重复对象、跨部门权限、时间边界、状态切换、对象删除、模型字段变更和数据库版本差异。每个指标保留一组人工核对样本和期望值。
发布时同时交付模型文件、字段/关系字典、SQL、Dashboard 配置、刷新任务、权限矩阵和回滚版本。升级 DAM 或报表模型时，先检查类型 ID、字段名称、组织关系、状态枚举和时间字段，再比较统计结果。数据源和血缘适配变化时，重点回归来源字段、增量口径和对象去重规则。