跳到主要内容

指南

检查 AI 助手的回答并补全缺漏

AI 功能 · 阅读约 4 分钟

命中日志显示成员向社区的 AI 助手(AI Copilot)问了什么,以及它回答得如何。在后台 → AI 副驾 → 命中日志中检查回答及其来源,找出助手难以回答的问题,并把缺少的答案补充到知识库中。

谁可以操作:所有者和管理员。 · 在哪里:网页端(站点后台)。 · 套餐:需要包含 AI Copilot 的平台套餐。

AI 助手的命中日志记录了什么

前往后台 → AI 副驾 → 命中日志。页面标题为问答命中日志,有两个标签页:最近问题和内容缺口。

最近问题列出成员向 AI 助手提出的每个问题:

列 显示的内容
问题 成员的问题。如果助手无法回答,问题下方会显示错误代码
置信度 高、中或低
来源 回答的来源:KB(知识库)、Community 或 Hybrid
模式 关键词检索或语义检索
后置检查 对回答做最终检查的结果:passed、failed 或 rejected_low_confidence
覆盖率 回答中有多少内容有引用支持,范围为 0 到 1
L1 / L2 找到了多少条知识库结果(L1)和社区帖子结果(L2)
延迟和时间 回答用了多长时间,以及问题是什么时候提出的

命中日志不显示是哪位成员提的问题。AI 写作工具和 AI 课程大纲不会记录在这里。

筛选 AI 助手的最近问题

使用表格上方的筛选器缩小最近问题的范围:

  • 来源范围:KB、社区或混合。
  • 检索模式:关键词检索或语义检索。
  • 后置检查:例如选择 rejected_low_confidence,找出因依据不足而被拦下的回答。

点击清除筛选可重置筛选条件,点击刷新可加载新的问题。

查看 AI 回答的详情

点击某个问题,打开问题详情。它会显示置信度和覆盖率分数,然后是:

  • 回答:成员收到的完整回答。
  • 引用:回答下方列出的来源,每个来源附带一段摘录。
  • 召回片段:AI 助手搜索时找到的所有内容,包括它没有引用的结果。每个片段都有一个分数,只用于片段之间的相互排序,不是百分比。

如果某个好的来源被召回了却没有被引用,或者排在第一位的帖子不对,请调整社区内容设置。参见选择 AI 助手可以搜索的空间。

用问答条目补全内容缺口

内容缺口标签页汇总了 AI 助手以低置信度回答的问题,让你看出哪些主题是你的来源没有覆盖到的。每一行显示问题、被问到的频率(次数)、平均置信度、主要来源,以及最近出现的时间。

要补充答案:

  1. 点击问题旁边的补充到知识库。如果你还没有问答知识源,Mateflow 会为你创建一个。
  2. 在添加问答到知识库中,检查问题并撰写答案。支持 Markdown。要从草稿开始,点击 AI 草拟,然后仔细检查草稿。
  3. 你还可以添加其他问法,每行一个。
  4. 点击添加到知识库。

条目会立即被索引,该缺口会被标记为已解决并从列表中移除。要移除你不打算回答的缺口,点击忽略。

改进 AI 回答的其他方法

问答条目为单个问题提供确切的答案。对于范围更大的缺口:

成员无法为 AI 回答评分,所以置信度、后置检查和内容缺口是衡量回答质量的主要信号。添加内容后,再看一看最近问题,确认置信度是否有所提高。

相关文章

这篇指南对你有帮助吗?

返回指南列表

找不到所需的内容?

如果你是某个社区的成员,请联系该社区的管理员;如果你正在 Mateflow 上搭建或运营社区,我们的团队可以帮你。

开始免费试用