跳到主要内容

指南

使用 AI 审核内容

审核与安全 · 阅读约 4 分钟

AI 审核使用 AI 模型(OpenAI Moderation)在帖子创建或编辑时进行检查;如果你选择,也会检查回复。它会按骚扰、仇恨、暴力等类目为内容打分,并可以隐藏或标记超过你所设阈值的内容。它与你的关键词和垃圾内容过滤规则配合使用,而不是取代它们。

谁可以操作:所有者和管理员可以开启和配置 AI 审核。版主可以查看 AI 活动并处理被拦下的内容。 · 在哪里:网页端,在站点后台中。 · 套餐:所有平台套餐均可使用。AI 审核不占用套餐的 AI 额度。

开启 AI 审核

  1. 前往后台 → 设置 → 内容安全。页面标题为内容审核。
  2. 在 AI 内容审核下,打开启用 AI 审核。
  3. 点击页面底部的 Save Changes。

开关关闭时,不会有任何帖子发送到 OpenAI。内容会被发送到第三方服务,所以开启前请检查你的隐私政策。参见 AI 数据隐私和限制。

配置 AI 分类

详细设置位于后台 → 审核 → 自动审核的 AI 分类部分。你也可以在内容安全页面点击前往自动审核配置。只有所有者和管理员能看到这一部分。

点击配置并设置:

  • 模式:影子模式或执行模式(见下一节)。新社区默认使用影子模式。
  • 扫描范围:帖子、回帖 / 评论,或两者都选。至少要选一项。回帖产生的审核调用量是顶层帖子的 5–20 倍。
  • 阈值:按类目设置内容在什么情况下被屏蔽或标记。

点击保存更改。在这里保存不会改变内容安全页面上的开关状态。

影子模式和执行模式

模式 会发生什么
影子模式 AI 只记录分数,不隐藏任何内容,也不产生待审条目。用它来了解 AI 如何判断你社区的内容。
执行模式 超过屏蔽阈值的内容会被立即隐藏并送去审核。超过标记阈值的内容保持可见,等待版主做出决定。

切换到执行模式时,你必须勾选确认:从现在起,被标记的帖子将被暂扣。请先在 AI 活动中查看影子模式下的结果。

设置 AI 审核阈值

每个类目都有一个 0 到 1 之间的阈值。内容在某个类目上的分数达到或超过阈值时就会触发,所以阈值越低越严格。

  • 屏蔽(拒绝内容):严重类目,例如 Sexual content involving minors、Graphic violence、Self-harm instructions、Threatening hate speech 和 Violent wrongdoing。
  • 标记(送入审核队列):范围更广的类目:Hate、Harassment、Sexual content、Violence、Self-harm 和 Illicit behavior。

勾选某个类目以使用它并设置数值,或点击推荐默认值。每一档都是整体保存的:在某一档中未勾选的类目将不再触发。高级(JSON) 以 JSON 形式显示同样的设置。

处理被 AI 审核拦下的内容

在执行模式下,被屏蔽和被标记的内容会在后台 → 审核 → 待审内容中等待,其中标记原因显示为 AI。通过即可发布,驳回即可移除。被屏蔽的内容在你做出决定前一直隐藏;被标记的内容在此期间保持可见。关于如何处理以及作者看到什么,参见处理被拦下和待审的内容。

在 AI 活动页面检查 AI 的决定

后台 → 审核 → AI 活动列出 AI 审核做出的每一个决定。它是一份日志,而不是工作队列:在这里操作不会改变内容本身。

  • 每一行显示内容、作者、类目、分数、模式、结果和时间。结果包括本会拦截或本会标记(影子模式,仅记录)、已拦截、已标记、未执行或放行。
  • 可以按模式、结果、类目、内容类型和日期范围筛选。
  • 点击某一行,可以查看模型、阈值和分类得分。
  • 用判得对或判错了(推翻) 为 AI 的决定打分。推翻率显示版主不同意 AI 判断的频率。
  • 按类目显示每个类目触发和被推翻的频率。推翻率高说明该阈值过于宽松。点击调整阈值即可修改。

AI 审核的须知

  • AI 审核会在帖子和回复创建时以及编辑时检查其标题和正文文字。它不检查图片、附件或视频。
  • 社区管理员和空间版主发布的帖子和回复不会发送给 AI 审核。
  • 关键词、正则表达式和垃圾内容过滤规则需要单独设置。参见设置自动审核规则。
  • AI 审核不占用套餐的 AI 额度。参见了解 AI 用量和额度。

相关文章

这篇指南对你有帮助吗?

返回指南列表

找不到所需的内容?

如果你是某个社区的成员,请联系该社区的管理员;如果你正在 Mateflow 上搭建或运营社区,我们的团队可以帮你。

开始免费试用