AI モデレーションは、AI モデル(OpenAI Moderation)を使って、投稿、ブログ記事、イベントと、必要に応じて返信をチェックします。嫌がらせ、ヘイト、暴力などのカテゴリでコンテンツをスコア付けし、しきい値を超えたコンテンツを非表示にしたり、フラグを付けたりできます。キーワードやスパムフィルターのルールに代わるものではなく、それらと併せて機能します。
対象者:AI モデレーションの有効化と設定は、オーナーと管理者が行います。モデレーターは、AI モデレーションがオンかどうかの確認、AI 判定ログの閲覧、判定の評価、保留されたコンテンツの審査ができます。 · 場所:ウェブの管理画面。 · プラン:すべてのプラットフォームプランで利用できます。AI モデレーションは、プランの AI 利用枠を消費しません。
AI モデレーションを有効にする
- 管理画面 → モデレーション → 自動モデレーションに移動します。このスイッチは以前、設定の「コンテンツの安全性」ページにありました。
- コミュニティ全体の設定で、AIモデレーションを有効にするをオンにします。すぐに保存されます。
スイッチがオフの間は、コンテンツは OpenAI に送信されません。コンテンツは第三者のサービスに送信されるため、有効にする前にプライバシーポリシーを確認してください。AIのデータプライバシーと制限事項を参照してください。
AI分類を設定する
詳細な設定は、管理画面 → モデレーション → 自動モデレーションの AI 設定タブにあるAI分類セクションにあります。コミュニティ全体の設定のAI 設定をクリックして開くこともできます。このタブは、オーナーと管理者にだけ表示されます。それ以外の人には、ページ上部のコミュニティ全体の設定に読み取り専用の概要が表示されます。
設定をクリックして、次の項目を設定します。
- モード:シャドウまたは強制(次のセクションを参照)。新しいコミュニティはシャドウから始まります。
- スキャン対象:トップレベルの投稿、返信とコメント、またはその両方。少なくとも 1 つを選びます。トップレベルの投稿にはブログとイベントも含まれ、これらは編集時ではなく作成時にスキャンされます。返信は、トップレベルの投稿の 5~20 倍のモデレーション量になります。
- しきい値:コンテンツをブロックまたはフラグ付けする基準を、カテゴリごとに設定します。
変更を保存をクリックします。ここで保存しても、AIモデレーションを有効にするのスイッチは変わりません。
シャドウモードと強制モード
| モード | 動作 |
|---|---|
| シャドウ | AI はスコアを記録するだけです。何も非表示にならず、キューにも入りません。AI がコミュニティのコンテンツをどう判断するかを確認するために使います。 |
| 強制 | ブロックのしきい値を超えたコンテンツは、すぐに非表示になり、審査に回されます。フラグのしきい値を超えたコンテンツは表示されたまま、モデレーターの判断を待ちます。 |
強制に切り替えるときは、今後フラグが付いた投稿は保留されることを確認するチェックを入れる必要があります。先に AI 判定ログでシャドウモードの結果を確認してください。
AI モデレーションのしきい値を設定する
各カテゴリには 0~1 のしきい値があります。コンテンツのスコアがしきい値以上になるとそのカテゴリが発動するため、しきい値が低いほど厳しくなります。
- ブロック(コンテンツを却下):未成年者が関わる性的コンテンツ、生々しい暴力、自傷行為の手順、脅迫的なヘイトスピーチ、暴力を伴う違法行為 などの重大なカテゴリです。
- フラグ(レビューキューに送信):ヘイト、ハラスメント、性的コンテンツ、暴力、自傷行為、違法行為 といった、より広いカテゴリです。
使うカテゴリにチェックを入れて値を設定するか、推奨デフォルト値をクリックします。各段階は全体として保存されます。段階内でチェックを外したカテゴリは発動しなくなります。詳細設定(JSON) には、同じ設定が JSON で表示されます。
AI モデレーションで保留されたコンテンツを審査する
強制モードでは、ブロックまたはフラグ付けされたコンテンツは管理画面 → モデレーション → 審査待ちコンテンツで待機し、審査対象になった理由に AIモデレーションとカテゴリーが表示されます。承認すると公開され、却下すると削除されます。ブロックされたコンテンツは判断するまで非表示のままで、フラグ付けされたコンテンツはその間も表示されたままです。あなたの判断は、AI の判定へのフィードバックとしても記録されます。審査の方法と投稿者に表示される内容については、保留中・審査待ちのコンテンツを審査するを参照してください。
AI 判定ログで AI の判定を確認する
自動モデレーションの AI 判定ログタブ(以前の独立した「AIアクティビティ」ページ)には、AI モデレーションのすべての判定が一覧表示されます。これは作業キューではなくログです。ここで操作しても、コンテンツは変更されません。上部の行には、AI モデレーションがオンかどうか、スキャン対象、スキャン待ちの件数とスキャンできなかった件数が表示されます。
- 各行には、コンテンツとその投稿者、トリガーしたカテゴリ、最高スコア、結果、日付が表示されます。結果は、ブロック予定またはフラグ予定(シャドウモードで記録のみ)、ブロック済み、フラグ済み、未適用、通過のいずれかです。
- モード、結果(すべてのヒット(ブロックまたはフラグ) を含む)、カテゴリ、コンテンツの種類(投稿、返信、ブログ、イベント)、期間で絞り込めます。
- 行をクリックすると、モデル、しきい値、カテゴリスコアが表示されます。旧しきい値は、しきい値を最後に変更する前の判定であることを示します。
- 判定は、高評価(正しい判定)または低評価で評価します。低評価は、ヒットでは誤った判定(覆し)、通過では止めるべきだったという意味です。もう一度クリックすると評価を取り消せます。評価するにはモデレーション対応が必要です。審査待ちコンテンツで判断したものは、すでに評価済みです。
- 覆し率はヒットのうち止めるべきでなかったものの割合、見逃しは通過のうち止めるべきだったものの割合を示します。カテゴリ別には両方がカテゴリごとに表示されます。覆し率が高ければそのしきい値を上げ、見逃しが多ければ下げます。しきい値を調整をクリックして変更してください。
- 数値は前回しきい値を変更してからの判定を数えたものです。古い判定も含めるには全期間に切り替えます。
AI モデレーションについて知っておきたいこと
- AI モデレーションは、投稿と返信のタイトルと本文のテキストを作成時と編集時に、ブログ記事とイベントのタイトルと本文のテキストを作成時にチェックします。画像、添付ファイル、動画はチェックしません。
- コミュニティの管理者とモデレーター、およびそのスペースの管理者とモデレーターのコンテンツは、AI モデレーションに送信されません。
- キーワード、正規表現、スパムフィルターのルールは別に設定します。自動モデレーションルールを設定するを参照してください。
- AI モデレーションは、プランの AI 利用枠を消費しません。AIの使用状況とクレジットを理解するを参照してください。
関連記事
このガイドは役に立ちましたか?