AIモデレーションは「量」には非常に強く、「判断」には非常に弱いものです。そして運営者がAIモデレーションで犯すミスのほとんどは、この2つを混同することから生まれます。午前3時でも、すべての投稿を読んでくれます。しかし、常連メンバーの発言が残酷だったのか、それとも率直なだけだったのかは教えてくれません。
この線引きを前提に設定すれば、モデレーションの退屈な半分はほぼ取り除けます。モデレーターの代わりとして設定すれば、自信に満ちた、体裁の整った、間違った判断を大量に生み出します。
それが実際に何であるか
この言葉の裏には通常、2つの異なる仕組みがあり、それぞれ失敗の仕方が違います。
ルールは決定論的です。キーワード、パターン、スパムの兆候。一致するかしないかのどちらかで、挙動を理解しやすく、そして注意深い相手にはあっさり回避されます。分類は、ハラスメントや自傷といったカテゴリーに対してコンテンツをスコアリングするモデルで、返ってくるのは判定ではなく確率です。
どちらもモデレーターではありません。どちらも生み出すのは候補であり、候補は決定ではありません。ここが設計上の最大の問題であり、この記事の残りがフラグの「後」に何が起きるかにほぼ費やされる理由でもあります。
本当に価値を発揮する場面
3つの仕事があります。いずれも地味な3つで、だからこそ手放す価値が大きいのです。
量。スパム、詐欺リンク、9つのスペースに投稿された同じ暗号資産のメッセージ。確度が高く文脈をほとんど必要としない仕事で、たまに間違えてもマイナスはほとんどなく、そして届くもののほとんどがこれです。
カバー範囲。コミュニティは夜も週末も止まりませんし、少人数のチームが休みなく見張ることはできません。誰も起きていない時間帯の一次トリアージは本物の価値があります。コンテンツは依然として人の目に触れます。ただ、少し遅れるだけです。
明白なケースでの一貫性。人間は疲れているとモデレーションの基準がぶれますし、個人的に嫌いな相手が絡めばまたぶれます。ルールはぶれません。曖昧さのないケースでは、その均一さは長所であり、コミュニティの自動化で述べたのとまったく同じ論旨です。ノイズを自動化する、ということです。
信頼できない部分、そしてこの先も信頼できないままの部分
これらの失敗は、来四半期に修正されるバグではありません。問題そのものが持つ性質です。
文脈。まったく同じ一文でも、常連同士なら親しみになり、見知らぬ相手からなら敵意になります。単一の投稿をスコアリングするモデルには、あなたにとってその違いを明白にしている8か月分の履歴が見えません。
内輪の言葉。当事者が取り戻した蔑称、同じ疾患を抱える人たちのあいだのブラックユーモア、一部の職業に特有のぶっきらぼうな語り口。いずれもスコアが悪く出ます。フラグを立てられやすい人たちのコミュニティほど、誤ってフラグを立てられやすい。これは精度の問題である以前に、公平性の問題です。
苦しみ。困難な状況にあるメンバーは、ルール違反に似た調子で書きます。そうしたケースこそ、すみやかに人間のもとへ届かなければならず、自動削除に反対する最も強い根拠がここにあります。この仕分けの問題そのものは、扱いの難しいメンバーへの対応で扱っています。
フラグ・非表示・削除 — ルールごとに選ぶ
多くのプラットフォームでは、自動ルールが一致したときの措置を3つの中から1つ選べます。すべてに同じものを選んでしまうのが、よくある間違いです。
| 措置 | 何が起きるか | 向いているケース |
|---|---|---|
| フラグ | コンテンツは表示されたままで、人間に確認が依頼される | 判断をともなうものすべて — 語調、対立、線引きが微妙なルール違反 |
| 非表示 | 確認が済むまでコンテンツは表示されなくなるが、投稿者はBANされない | 実害がありうるもので、誤検知よりも待つことのほうが悪い場合 |
| 削除 | コンテンツは自動的に削除され、確認の工程はない | 曖昧さのないものだけ。既知のスパムのパターン、詐欺ドメイン、繰り返される連投 |
削除を割り当ててよい対象は、ごく短いリストに限られます。判断の基準は、その項目を自分が二度と目にしなくても平気だと言い切れるかどうかです。暗号資産のスパムリンクならそう言えますが、実在のメンバーが書いたもののほぼすべてについては言えません。ぱっと見の印象が悪い投稿も含めてです。
Mateflowでは、自動ルールはキーワード、パターン、スパムの兆候に一致し、各ルールがフラグ・非表示・削除のどれを取るかを自分で選びます。つまり、破壊的な選択肢は本当に必要な場所にだけ存在し、それ以外に押しつけられることはありません。
本当のプロダクトはキューである
重要なのはモデルのスコアの出来ではありません。フラグと決定のあいだに何が起きるかです。
安全な既定の挙動は、フラグが立ったコンテンツは人が対応するまで表示されたままにしておくことです。そうでなければ、誤検知がメンバーの投稿を黙って取り下げてしまい、本人は投稿が消えていることに気づいて初めてそれを知ります。何も悪いことをしておらず、苦情ひとつ言わなかった人たちを失うのは、まさにこの経路です。
Mateflowはこの方式です。AIやルールが疑わしいと判定した項目はレビューキューに入り、誰かが残すか取り下げるかを決めるまで、メンバーには表示されたままです。処理は個別にも一括にもできます。フラグは注意を向けてほしいという依頼であって、判決ではありません。
実務上の帰結として、AIモデレーションはモデレーターの必要性をなくすのではなく、その仕事の中身を変えます。問題を探してスクロールする時間が減り、浮かび上がったものについて決める時間が増える。そのほうが良い仕事であり、ボランティアモデレーターの募集のとおり、人も集めやすくなります。
メンバーに小声で話すことを覚えさせないチューニング
しきい値はどれだけの量にフラグが立つかを決めますが、どちらの方向にもコストがあります。
緩すぎればキューは中身のないもので埋まり、モデレーターは読まずに片づけるようになり、仕組み全体が静かに飾り物になっていきます。誰も信用しないキューは、キューがないことよりも悪いのです。注意を払っていないことを、手続きとして通してしまうからです。
厳しすぎれば、メンバーは普通の投稿でも保留にされると学びます。そして目に見えないかたちで自己検閲を始め、誰ひとり問題を報告しないままコミュニティは味気なくなっていきます。Mateflowではカテゴリーとそのしきい値を設定でき、全体を切り替えるスイッチは「設定」の「コンテンツセーフティ」にあります。つまりこれは固定の設定ではなく、調整することが前提のつまみです。
まずは緩めから始め、2週間キューを読み、そこで得た根拠にもとづいて締めていきましょう。適切なしきい値とは、キューを片づけるモデレーターがまだ一件ずつ読んでいられる水準です。
導入していることをメンバーに伝える
知らせないままの自動モデレーションは、コミュニティを悪意ある目で読まれるいちばんの近道です。
行動規範のなかで、一部のコンテンツは自動的にチェックされること、最終的な判断は人間が下すこと、そして判断に異議を申し立てる方法を、はっきりと書いておきましょう。異議申し立ての導線は気配りではありません。この仕組み全体を正当なものにしているのが、まさにそれです。Mateflowは異議申し立てを独立したキューとして保持するので、ダイレクトメッセージのなかに消えてしまうことがありません。
人が下した判断を、システムが下したものとして説明してはいけません。自分で下すと決めた判断について、モデルを盾にするのもいけません。メンバーは自動処理のミスは容易に許しますが、誰も責任者はいないと言われることは許しません。その基準はオンラインコミュニティのモデレーション方法にまとめてあります。
結論
検知は自動化し、判断は手元に残す。自動的な削除は二度と目にしたくないコンテンツだけに留め、判断をともなうものはすべてフラグにし、レビューキューこそ機能しなければならない部分として扱いましょう。
AIモデレーションは、数百人を超えたコミュニティならほぼどこでも導入する価値があります。そして失敗する設定は、決まってAIに決めさせてしまったものです。コミュニティのなかでAIがどこに向き、どこには向かないかについては、コミュニティでのAIの活用法をご覧ください。