模型服务
模型配置是可供智能体复用的共享资源。管理员先配置服务和连接,再由智能体选择所需模型;模型能返回响应与治理任务能正确调用 DAM 是不同的验收步骤。
本页的 LLM(Large Language Model,大语言模型)用于理解和生成文本;Text Embedding(文本向量化模型)把文本转换为数值向量,供语义检索等环节使用,不负责直接生成对话答案。“最大 Token 数”约束模型处理或输出的文本单元数量,不等同于中文字数;“向量维度”是向量中数值的个数,必须与服务实际返回一致。
使用前准备
从模型服务负责人取得通信协议、服务基础 URL、服务端模型标识及所需认证信息。确认 DIG 服务能够访问该地址,并明确使用对话生成模型还是向量模型。不要把网页聊天地址当作模型 API 基础 URL。
新建模型配置
- 进入 DIG“配置管理 → 大模型配置”,单击“添加模型”。
- 填写“配置名称”,选择“模型类型”和“提供商”。提供商表示通信协议,不仅是模型品牌。
- 填写“基础 URL”,按服务要求填写 API Key。
- 页面会尝试发现模型名称;也可单击“发现模型”。从返回列表选择目标模型,或在发现失败时手动填写准确的服务端模型名。
- 根据模型类型填写专用参数,按需选择“设为系统默认模型”。
- 单击“测试连接”,确认通过后再“保存”。当前页面明确要求先通过连接测试才能保存。
- 返回列表核对配置名称、提供商和模型标识,再在所需智能体中选择并验证。
不需要保存时使用“取消”或“关闭”。仅发现到模型名称,不等于完成连接测试,也不表示该模型适合治理任务。
大模型参数建议
DIG 的治理效果高度依赖底层大语言模型(LLM)的配置。以下是面向数据治理场景的通用建议,适用于大多数生产环境。实际取值仍需遵守模型服务的上下文窗口、输出长度和参数范围限制。
| 参数名称 | 推荐值 | 说明 |
|---|---|---|
| 模型名称 | DeepSeek-V4-Pro、Kimi K2.6、GLM-5.1、Qwen3.6 | 优先选择支持长上下文(≥128K)和中文优化的模型 |
| Temperature | 0.1 ~ 0.3 | 治理任务需要稳定、可复现的输出,避免过高温度带来随机性 |
| Top P | 0.9 ~ 1.0 | 保持适度的词汇多样性,避免过度截断 |
| Max Tokens | 4096 ~ 8192 | 保证长提示词和输出内容不被截断,尤其适用于批量资产治理 |
| Frequency Penalty | 0.0 ~ 0.2 | 减少重复生成相同内容,建议设置较低值 |
| Presence Penalty | 0.0 ~ 0.2 | 鼓励引入新主题,建议设置较低值 |
| Stop Sequences | 无需配置 | 除非需要强制结束输出,一般不设置 |
| System Prompt(系统提示词) | 见系统提示词示例 | 用于固化角色身份和输出格式约束 |
硬件与部署建议
本地部署模型时,可按下表作为起始配置,再根据模型规模、并发量和上下文长度进行压测:
| 资源项 | 建议配置 |
|---|---|
| GPU | 至少 1 × A100(40 GB)或 2 × 4090(24 GB) |
| 内存 | ≥ 32 GB |
| 存储 | ≥ 200 GB SSD,用于模型缓存与日志 |
| 网络 | 低延迟访问大模型、DAM 数据库和元数据服务 |
模型选择对照
以下模型是按治理任务整理的示例,具体可用性、版本和服务能力以实际提供商为准:
| 使用场景 | 推荐模型 | 原因 |
|---|---|---|
| 元数据补齐、标准生成 | Qwen 3.7、DeepSeek V4、Kimi 2.5、GLM 5.1 | 中文语义理解较强,输出稳定 |
| 血缘解析、代码解读 | Claude 3.5 Sonnet | 代码理解能力较强,适合 SQL 和 ETL 解释 |
| 分类分级、敏感数据识别 | 文心一言 4.0 | 内置安全与合规语义能力 |
| 低成本或测试环境 | GPT-3.5-Turbo、通义千问-Turbo | 成本可控,适合非核心任务 |
以上是通用建议。上线前应根据治理任务类型、数据量、响应速度和服务成本进行调优,并通过已获准的小范围任务验证结果。
两类模型的区别
| 模型类型 | 表单中的专用设置 | 配置重点 |
|---|---|---|
| LLM 模型 | 温度、最大 Token 数 | 根据模型服务约束和任务要求设置,不把页面初始值当作统一推荐值 |
| Text Embedding 模型 | 向量维度 | 必须与模型实际返回的向量长度一致;不能用生成模型的 Token 上限代替 |
切换模型类型后,核对表单中变化的参数。已有资源依赖某个向量模型时,调整模型或向量维度前先检查相应依赖和重建要求,不把它当作仅修改显示名称。
字段说明
| 字段 | 含义与核对方法 |
|---|---|
| 配置名称 | 供管理员和智能体配置者识别,建议体现用途和服务来源 |
| 模型类型 | 选择 LLM 或 Text Embedding,决定专用参数 |
| 提供商 | 选择与模型服务匹配的通信协议 |
| 基础 URL | 服务实际 API 根地址;核对路径和网络可达性 |
| API Key | 页面标为可选,但模型服务要求认证时仍需填写有效凭据 |
| 发现的模型名称 | 服务发现返回的候选项,应与本次目标一致 |
| 手动填写模型名 | 发现不可用时填写服务端可识别的标识,不使用随意命名的显示名称 |
| 默认模型 | 设为系统默认模型;与“智能体”页面的默认智能体是不同配置 |
| 温度 | LLM 的采样参数,按任务和服务支持范围设置 |
| 最大 Token 数 | LLM 配置中的长度参数,需遵守所选服务的限制 |
| 向量维度 | Embedding 返回向量的长度,必须与实际服务一致 |
凭据只填写在相应认证字段,不写入系统提示词、普通参数说明、截图或反馈记录。
编辑、复制与删除
模型列表提供“编辑”“复制”“删除”。编辑前核对配置名称和被使用的范围;修改地址、模型名或认证后重新测试连接。复制后应使用能区分用途的名称,并核对复制来的服务参数,不把来源环境直接用于另一环境。
删除前确认没有智能体或其他资源仍需要此模型。共享配置的变更可能影响多个使用方,应先在已获准的小范围任务验证,再扩大使用。
验证是否可用于治理
- 在智能体管理中核对所选模型。
- 新建测试会话,以一个已知、获准的对象提出范围明确的查询或建议任务。
- 检查模型响应、工具调用和错误信息,而不只检查文本是否流畅。
- 涉及治理建议时,按人工审批核对建议,并返回 DAM 检查实际结果。
- 如果连接测试通过但工具调用失败,继续检查 DAM 根地址、用户身份和工具依赖,参见初始化。
常见问题
| 现象 | 排查顺序 |
|---|---|
| 发现模型为空或失败 | 基础 URL 与网络 → 通信协议 → 服务是否提供模型发现 → 手动模型标识是否正确 |
| 测试连接认证失败 | API Key 是否需要、是否有效、是否获准访问目标模型 |
| 无法保存 | 先查看连接测试及表单校验提示,不能跳过测试前置条件 |
| 向量调用结果不匹配 | 核对实际向量长度与配置维度,检查所选模型类型 |
| 测试成功但会话仍用另一模型 | 检查当前智能体和会话实际配置,不混淆默认模型与默认智能体 |
| 文本响应正常但治理无结果 | 检查工具服务、baseUrl、身份参数及人工审批状态 |
