模型生态与接入
大约 3 分钟产品概览模型接入
统一模型目录
模型中心以供应商配置和模型目录组织调用能力。供应商保存服务地址与认证配置,模型按用途登记名称、参数和能力,供助手、应用、知识检索、问数及创作任务选用。
一、接入方式
| 接入方式 | 工程中的配置 | 使用场景 |
|---|---|---|
| 供应商服务 | 选择预设供应商,填写地址与凭证,启用对应用途 | 使用云端模型 API |
| 本地模型服务 | 配置 Ollama 等服务的可达地址与模型名称 | 使用内网部署的对话与向量模型 |
| 自定义兼容服务 | 选择自定义供应商,配置 OpenAI 兼容地址与模型 | 接入自建推理服务或模型代理 |
| BladeX 应用 | 使用已发布应用的开放接口与访问密钥 | 将业务编排作为 AI 助手中的模型入口 |
工程提供 OpenAI、Anthropic、Google、DeepSeek、通义千问(经千问AI平台接入)、火山方舟、智谱、月之暗面、MiniMax、硅基流动等供应商预设。各预设按当前驱动提供可选用途,模型名称与服务地址可按实际部署配置。
二、模型用途
| 用途 | 标识 | 主要职责 |
|---|---|---|
| 对话 | chat | 文本生成、推理和具备相应能力的工具调用 |
| 向量 | embedding | 文档与问题的向量表示 |
| 重排 | rerank | 对检索候选内容重新排序 |
| 视觉识别 | vision | 识别扫描版 PDF 与图片中的文字,供知识库入库 |
| 图像、视频 | image、video | 对应媒体生成任务 |
| 语音识别、合成 | asr、tts | 录音转写与文本语音生成 |
| 编排 | app | 经 BladeX 应用开放接口调用已发布应用 |
用途决定执行入口和参数。对话模型、向量模型与重排模型分别承担生成、向量表示和排序;同一供应商下的这些能力也需要分别配置。
三、调用架构
模型目录保存业务配置,运行时由注册表与用途工厂选择驱动。原生语言推理和工具对话使用各自的模型模板;业务层组织调用上下文,并将执行和模型用量归入对应记录。
前端选择目录中的模型,不直接向供应商发送凭证。修改供应商或模型配置后,通过平台管理接口完成保存与缓存更新。
能力匹配
根据任务选择上下文长度、流式输出、工具调用、视觉输入和结构化结果等能力。业务验收使用实际提示词、工具参数与资料,连接测试用于确认服务可达和基本调用。
四、选型与验证
面向知识问答,分别评估向量模型的召回表现与对话模型的资料引用;面向工具应用,核对参数生成、工具结果理解和连续调用;面向内容生产,检查文本质量、结构和目标格式。
模型比较使用同一组任务样本,记录结果质量、首段响应、完成耗时与用量。更换向量模型时,同步规划向量维度、集合和资料重新向量化。
