配置元数据采集
采集管理定义从什么来源、以什么方式、以什么范围获取元数据。当前新建采集分为“数据源”“报表”“文件”“元模型”四大类。建立连接、安装插件、配置采集和执行任务是不同步骤;仅保存连接或采集配置不会产生可查询的元数据。

截图中的名称、人员和数量来自核验环境,仅用于说明入口位置。
选择采集路径
先判断最终要管理的对象,再选择采集入口。不要只根据材料是不是一个文件来判断结果位置。
| 实际来源或目标对象 | 采集入口与方式 | 主要前置条件 | 采集后检查位置 |
|---|---|---|---|
| 关系型数据库 | 数据源 | 应用系统、连接、驱动、数据源插件、逆向插件、数据库与 Schema 范围 | “数据集”中的表、字段、视图、存储过程、函数等 |
| HBase、MongoDB 等非关系型数据库或数据库平台 | 数据源 | 与该类型匹配的连接、驱动及插件;可采集对象以插件能力为准 | “数据集”中的对应技术对象 |
| 自定义数据源 | 数据源 | 已发布的元模型、匹配的数据源插件和逆向插件、模板或适配程序 | “数据集”中的元模型对象及其层级关系 |
| FineBI、FineReport、SmartBI 等 BI 工具 | 报表 | 产品支持的报表类型、服务地址、认证信息和报表目录 | “报表”中的目录、报表、信息项及关联对象 |
| 自定义报表 | DAM“报表”新建/导入,或 SQLink“报表管理”导入 | 报表模板、对象编码、所属系统及关联信息 | 统一在 DAM“报表”查询 |
| DDM 物理数据字典 | 文件 → Data Dictionary (Physical) | DDM 导出的物理数据字典及正确的模板结构 | 解析后的表、字段等进入“数据集” |
| DDM 逻辑数据字典 | 文件 → Data Dictionary (Logical) | DDM 导出的逻辑数据字典及正确的模板结构 | 解析后的实体、属性等进入“数据集” |
| DDL 文件 | 文件 → “解析 DDL” | 与脚本方言匹配的解析类型、命名空间和文件 | 解析后的表、字段、视图、存储过程、函数等进入“数据集” |
| API 元数据 | 文件 → “API 元数据” | 内置 REST API 元模型;JSON 文件或 HTTP API 访问参数 | API 服务、接口、请求/响应参数等进入“数据集” |
| 文件服务器中的文件资产 | 文件 → “文件存储服务器” | 服务器访问方式、路径、认证和采集范围 | 仅此类文件主要在“文件”栏目查询和下载 |
| 其他企业自定义对象 | 元模型,或文件 → “元模型文件” | 先完成元模型设计、发布,再按对应模板或插件采集 | “数据集”中的元模型实例及父子、关联关系 |
同一份文件可能只是采集载体,也可能本身就是要管理的资产。数据字典、DDL、API JSON 和元模型模板用于生成结构化元数据;只有通过“文件存储服务器”采集的文件,才按文件资产进入“文件”栏目。
检查插件前置条件
插件管理虽然位于“系统管理 → 数据源管理”,却直接决定采集类型是否可选、连接是否可建立以及对象能否被识别。创建采集前由管理员检查:
| 插件类型 | 作用 | 缺失或不匹配时的典型表现 |
|---|---|---|
| 数据源插件 | 提供数据库或自定义来源的类型、连接及相关接入能力 | 新建数据源时没有目标类型,或无法建立连接 |
| 逆向插件 | 把来源结构转换成 DAM 可管理的元数据对象 | 连接可用但不能正确识别表、字段或自定义对象 |
| 血缘解析插件 | 解析 SQL、ETL、BI 或其他文件中的加工关系 | 元数据对象已采集,但血缘文件无法解析或关系不完整 |
三类插件用途不同,不能用数据库驱动替代插件,也不能用血缘解析插件替代元数据逆向采集。上传、覆盖更新和验证方法见驱动与插件。
准备连接和采集账号
先维护应用系统与数据源。确认所需数据库类型、驱动和插件已经配置,再按数据源采集账号权限准备专用账号。连接测试通过只说明账号能够登录;还需要用少量已知对象验证系统目录、Schema 和对象定义是否能够完整逆向。
采集数据源元数据
“数据源”不仅指传统关系型数据库,也可包括 HBase、MongoDB 等非关系型数据库,以及主要面向元模型的自定义来源。页面可选择的类型由已安装插件决定,不同类型能够采集的对象也不同。
- 进入“元数据管理 → 采集管理”,新建数据源采集。
- 填写采集管理名称,按应用系统和数据源筛选并选择来源。
- 单击“测试”检查连通性,通过后进入下一步。
- 按需求选择数据库、Schema 及采集明细,检查连接、采样、采集设置和白名单。
- 确定后,系统按所选 Schema 建立模型及默认采集任务。
- 按业务要求设置采集任务的执行周期,查看执行记录。
- 进入“数据集”,选择该来源,核对数据源、表、字段、存储过程、函数或元模型对象。
首次采集建议限定少量已知对象。对照源系统核对对象数量、名称、数据类型、长度和关系,再扩大范围。这是实施建议,不是产品对象数量限制。
| 配置项 | 操作前的检查 |
|---|---|
| 采集管理名称 | 应能区分用途和来源,避免多个任务只使用相同默认名称 |
| 应用系统与数据源 | 核对实际所属系统及环境,连接测试通过后再设置范围 |
| 数据库、Schema | 勾选本次需要的对象范围,不默认选择全部 |
| 连接、采样与采集设置 | 按实际需要配置;能采集结构并不表示允许读取业务数据 |
| 白名单 | 核对需要的表是否被范围设置排除,漏采时与任务日志一起检查 |
| 执行周期 | 先核对首次结果,再安排更新频率,并检查任务实际触发记录 |
采集报表元数据
标准报表采集适用于页面已支持的 BI 工具,例如 FineBI、FineReport 和 SmartBI。在采集管理中新建“报表”,选择工具类型,填写对应服务连接信息及报表目录,测试后确定。不同工具的连接字段不同,应使用所选类型的表单,不将一种工具的 URI、认证方式套用于另一种工具。
无法通过标准连接采集的报表属于自定义报表,可在 DAM“报表”中手工新建或按模板导入,也可通过 SQLink“报表管理”导入。标准采集与自定义导入的报表最终都在 DAM“报表”栏目统一查询;手工填写报表属性不会自动产生完整的库表血缘。
采集后到报表管理核对报表目录、属性、信息项及关联库表。连接成功不等于所有报表都有完整库表关系。
采集文件类来源
“文件”采集包含多种用途。新建采集后,应根据材料和目标对象选择具体类型。

物理和逻辑数据字典
Data Dictionary (Physical) 和 Data Dictionary (Logical) 用于接收 DDM 导出的数据字典。物理数据字典通常还原数据库表、字段等技术结构;逻辑数据字典用于接收逻辑实体、属性等模型内容。上传前保持模板列、对象标识和父子层级不变。完成后在“数据集”查询解析出的对象,不在“文件”栏目查找 Excel 原文件。
DDL 文件
选择“解析 DDL”,并使用与 DDL 方言匹配的数据库或解析类型。系统从建表、视图、存储过程和函数等语句中提取结构对象。没有数据库直连权限时可以使用此方式,但它只反映上传脚本中的定义;脚本是否完整、是否与生产环境一致,需要由提供方确认。结果进入“数据集”。
API 元数据
API 元数据建立在 REST API 元模型上,可通过 JSON 文件或 HTTP API 访问方式采集。采集前核对 API 服务、接口、请求参数、响应参数等对象与内置元模型的映射。结果作为元模型对象进入“数据集”,不是普通文件下载项。
文件存储服务器
选择“文件存储服务器”时,平台采集的是服务器目录中的文件对象。配置服务器访问、路径和范围后执行任务,结果在“文件”栏目查询并按权限查看或下载。这是文件采集类型中与“文件”查询栏目直接对应的路径。
采集元模型对象
元模型先定义“管理哪些对象、对象有什么属性、对象之间如何关联”,采集再把实际对象写入这个结构。元模型适用于 API、消息队列、对象存储、企业专有业务对象等预置数据库模型无法表达的内容,不是数据库采集的通用别名。
采集前先完成元模型概念和元模型设计中的设计与发布。根据交付方案选择自定义数据源插件、DAM 模板导入,或“文件 → 元模型文件”路径;不同路径的根对象、对象标识、命名空间和模板规则不能混用。详细操作见采集自定义元模型数据和元模型导入。
运行与结果检查
- 在任务执行记录检查本次状态及日志。
- 按本页决策表进入“数据集”“报表”或“文件”,不要只在一个栏目检查所有结果。
- 对数据源、数据字典、DDL、API 和元模型采集,在“数据集”检查来源、对象类型、Schema/命名空间与数量。
- 对报表采集或导入,在“报表”检查目录、报表、信息项及库表关联。
- 对文件存储服务器采集,在“文件”检查文件名、路径、来源和可下载性。
- 随机选取表、字段和视图,与源系统比较关键属性。
- 查看是否存在漏采、采集失败或白名单排除的对象。
- 需要周期采集时,再配置任务调度。
常见问题
| 现象 | 排查顺序 |
|---|---|
| 测试连接失败 | 网络、连接参数、凭据、登录权限和驱动 |
| 测试成功但没有数据 | 是否执行采集;系统目录权限、Schema、白名单、采集范围及执行日志 |
| 采集对象少于预期 | 源账号可见范围、对象定义权限、筛选条件和失败对象 |
| 报表没有关联库表 | 检查来源是否提供关联信息、是否已采集相关数据库元数据 |
| 文件采集成功但“文件”栏目没有记录 | 先确认采集类型;数据字典、DDL、API 和元模型文件的结果应到“数据集”查询 |
| 新建采集时没有目标数据库类型 | 检查对应数据源插件、逆向插件和驱动是否已安装并适配当前版本 |
| 元模型对象层级错误或重复 | 检查模型是否已发布、模板中的对象标识与父子关系,以及是否混用了不同采集路径的规则 |
| 定时任务没有运行 | 检查启用状态、周期和时间模板交集 |
