采集元数据并同步血缘资源
SQLink 先采集对象结构,再把资源同步到血缘空间供解析匹配。数据源连接可以复用于不同 Schema 的采集,保存连接不等于采集完成。
数据源采集
- 在 SQLink“系统管理 → 数据源管理”准备应用系统与数据源,测试连接。
- 进入“血缘管理 → 采集管理 → 新建采集 → 数据源”。
- 填写名称、数据源及采集范围。
- 配置采样、元数据名称补全和黑名单,确认不会排除关键对象。
- 确定保存后,在任务列表选择“执行”。
- 查看采集进度与结果,到数据目录及血缘空间核对对象。
报表采集
新建采集选择“报表”,选对应工具类型,填写服务 URI、认证及报表目录等表单要求,测试连接后确定。采集在后台执行,需检查任务状态与报表、数据集和数据库对象关联。
报表资源中的数据库连接需要映射到正确命名空间后再解析,不能仅依靠报表名称关联库表。
DDL 文件与 API
新建采集选择“文件”。DDL 脚本的数据库选择 DDL Scripts,设置命名空间、解析引擎和默认 Schema。解析引擎用于判断脚本语法,命名空间用于存储和匹配对象;两者数据库类型允许不同,但应与实际语义一致。
API 元数据使用内置 REST API 元模型,可通过 JSON 文件或直接 HTTP 访问方式采集。选择方式后核对对象及关联,不将普通文本接口说明当作结构化定义。
自定义元模型
新建文件采集,数据库类型选择“元模型”,选择已建立的模型与命名空间,下载模板,填写对象后上传并运行。完整结构及填表差异见元模型设计和元模型导入。
数据库与报表资源
采集后自动在“血缘空间”的数据库资源或报表资源中建立任务。数据库资源包括表字段及视图、存储过程等可解析内容;报表资源包括报表结构及数据准备 SQL。
资源中的元数据不能直接编辑或删除,应通过采集同步更新。可调整解析引擎并重新解析。
重新同步元数据会先清除任务原有元数据及血缘信息。 仅在确定需要同步且来源可用时执行,完成后检查资源与链路恢复情况。更换命名空间前同样需要确认关联影响。
OpenLineage
“OpenLineage 任务”接收第三方通过 Kafka 提供的运行事件,管理运行状态和作业父子关系。字段血缘事件可保存为关系,事件中的 SQL 可提取为血缘文件。
实施时先核对实际 Kafka 主题、事件格式、生产者配置和命名空间,再检查输入输出、运行状态及生成关系。实时事件接入不等同于数据库采集;缺少源目标事件时不能推定完整链路。
