命中测试与知识问答
功能概述
命中测试检查问题能检索到哪些分段,知识问答检查模型如何使用这些分段作答,分别在知识库工作区的 命中测试 页签与 运行 页面中进行。两者分开检查,便于判断问题出在资料、检索还是答案组织。
前置条件
知识库中的资料已完成向量化,见 摄取与向量化任务。以下示例使用知识库 DOCS_青禾服务中心,包含三份虚构业务资料,每份八个业务章节,语义分段后共 27 段:
| 文件 | 主要内容 | 分段数 |
|---|---|---|
| DOCS_青禾服务说明.md | 服务入口、时间、受理、响应及反馈 | 9 |
| DOCS_青禾知识库规范.md | 资料格式、责任人、更新与质量复核 | 9 |
| DOCS_青禾工单规则.md | 优先级、响应目标、状态和结单 | 9 |
1. 执行命中测试
进入 命中测试,输入“青禾在线客服的服务时间是什么?”。示例知识库已配置 qwen3-rerank,保持召回条数 5、相似度阈值 0.70、重排 开启,点击 测试。
示例返回 5 条,按重排相关性从高到低排列。首条为服务说明中的“二、服务时间”,重排相关性为 100.0%,右上角保留原向量名次 #1 与向量相似度 95.3%。检查内容是否完整包含工作日、时段及节假日规则。

| 参数 | 调整依据 |
|---|---|
| 召回条数 | 1–10;问题跨多个章节时适当增加 |
| 相似度阈值 | 0–1;无关片段较多时提高,漏掉相关资料时结合分段检查后调整 |
| 重排 | 默认开启,按知识库配置的重排模型重新排序;关闭后只按向量相似度排序。知识库未配置重排模型时不生效 |
| 问题文本 | 使用用户的真实问法,而非直接复制资料标题 |
开启重排且知识库配置了重排模型时,结果摘要显示“已重排,向量名次见各条右上角”,结果按重排相关性从高到低排列:
| 显示位置 | 含义 |
|---|---|
| 各条右侧的百分比 | 重排相关性,悬停显示“重排相关性”;未重排时为向量相似度 |
| 各条右上角的“向量 #N · 百分比” | 该分段重排前在候选中的向量名次与向量相似度 |
重排在扩大后的候选上进行:候选数为召回条数的 4 倍,不少于 20、不超过 100,相似度阈值仍用于筛选候选。重排只调整顺序、不再过滤,最终返回召回条数。将向量名次与最终名次对照,可看出重排对排序的调整;重排模型调用失败时,结果按向量相似度返回,不显示已重排。
分数与答案
向量相似度与重排相关性都用于判断检索相关程度,不代表答案置信度。排名第一的分段可能只是概述,应继续核对具体规则所在段落。
2. 打开知识问答
点击工作区右上 运行,在打开的登录运行页提问。问题保持具体,并要求依据资料回答。回答附带引用编号,对应参与回答的分段。

3. 验证示例
以下问题可用于检查同一知识库的问答效果,每个答案均可追溯到资料原文:
| 问题 | 预期答案要点 | 资料位置 |
|---|---|---|
| 客服服务时间是什么 | 工作日 09:00—18:00,法定节假日不提供人工服务 | 服务说明·二 |
| 工单必须包含什么 | 问题描述、发生时间、复现步骤、截图 | 服务说明·三;工单规则·四 |
| P2 首次响应目标多久 | 2 个工作小时 | 工单规则·三 |
| 操作指南何时更新 | 版本发布后 2 个工作日内 | 知识库规范·四 |
| 什么条件才能结单 | 处理完成且提交人确认;3 个工作日未反馈再次联系,不自动判定解决 | 工单规则·六 |


4. 展开引用原文
展开 执行过程 → 检索,检查引用编号对应的文件、分段和相似度。以结单问题为例,回答引用工单规则的结单条件与服务说明的处理确认,两处原文均支持该结论。

接口接入见 知识库接口与访问权限。
常见问题
| 现象 | 处理方法 |
|---|---|
| 没有命中 | 检查文档与分段状态、向量模型与向量库维度,再调整阈值和问法 |
| 命中内容缺少条件 | 查看原文和分段边界,补全同一规则的上下文 |
| 命中正确但回答错误 | 检查模型收到的参考内容和回答要求,核对会话上下文 |
| 引用存在但不支持结论 | 展开引用原文,逐句核对结论依据 |
| 修改资料后仍返回旧内容 | 检查更新后的分段与向量状态,重新执行命中测试 |
| 开启重排后结果未显示已重排 | 确认知识库已配置重排模型,并在大模型中测试该模型的连接 |
操作演示

