模型接入与驱动扩展
大约 2 分钟业务引擎开发指南
模型接入体系
模型目录保存供应商、用途、地址、凭证与能力参数;推理工厂按用途创建客户端,注册表负责复用运行模板。业务页面使用目录中的模型名称,不直接持有供应商密钥。
一、用途与执行入口
| 用途 | 标识 | 执行位置 |
|---|---|---|
| 对话 | chat | core 的 language/chat 推理能力 |
| 向量 | embedding | rag 的向量模型与检索能力 |
| 重排 | rerank | rag 对检索候选重新排序 |
| 视觉识别 | vision | core 的 inference/ocr 识别能力,供 rag 解析扫描页与图片 |
| 图像 | image | core 的图像生成能力 |
| 视频 | video | core 的视频模型能力 |
| 语音识别、合成 | asr、tts | core 的语音能力 |
| 编排 | app | 将 BladeX 已发布应用接入 AI 助手 |
供应商支持范围分别由各用途工厂决定。新增一个对话驱动,不会自动获得图像、向量或语音能力。
二、目录与缓存
业务服务位于 blade-core/blade-ai-business 的 business/model;实体、缓存和推理协议位于 blade-ai-core。模型保存、停用、删除与默认模型切换经过业务服务处理。
AiModelServiceImpl 将事务写入交给事务服务,提交后刷新模型缓存。名称变更时按更新前的模型清理旧缓存;默认模型按当前租户与用途查找。
配置生效
通过模型管理接口修改配置,让业务服务同时处理持久化与缓存。直接改数据库会绕过这条生效链路。
三、工厂与注册表
ChatModelFactory 根据供应商创建 ChatModelTemplate,读取模型名称、接口地址、密钥和超时。ChatModelRegistry 按模型配置指纹复用模板,供工具调用、专家团、MCP 和技能使用。
四、新增供应商
- 确定用途和协议,复用相同协议的现有驱动。
- 在对应推理工厂登记供应商,实现该用途的请求和响应映射。
- 在前端
src/const/model.ts登记供应商与可用用途;有额外字段时同步类型、表单和校验。 - 用目录连接测试核对地址与凭证,再在实际业务中检查流式、工具或媒体行为。
连接测试采用最小探测请求。连接成功只证明被测试的用途可调用,实际业务仍需验证所需的工具调用、多模态或结构化输出。
操作步骤见 供应商与模型配置。
