Aller au contenu

Guide

Utiliser l'IA pour modérer le contenu

Modération et sécurité · 5 min de lecture

La modération par IA utilise un modèle d'IA (OpenAI Moderation) pour vérifier les publications, les articles de blog et les événements et, si vous le souhaitez, les réponses. Elle attribue au contenu des scores dans des catégories comme le harcèlement, la haine et la violence, et peut masquer ou signaler le contenu qui dépasse vos seuils. Elle fonctionne en complément de vos règles de mot-clé et de filtre anti-spam, et non à leur place.

Qui peut le faire : Les propriétaires et les administrateurs activent et configurent la modération par IA. Les modérateurs peuvent voir si elle est activée, consulter le Journal des décisions IA, évaluer les décisions et examiner le contenu retenu. · Où : Sur le web, dans la console d'administration. · Offre : Disponible avec toutes les offres de la plateforme. La modération par IA n'utilise pas le quota d'IA de votre offre.

Activer la modération par IA

  1. Accédez à Admin → Modération → Modération automatisée. L'interrupteur se trouvait auparavant sur la page Sécurité du contenu, dans Paramètres.
  2. Sous Paramètres de la communauté, activez Activer la modération par IA. Le réglage s'enregistre immédiatement.

Lorsque l'interrupteur est désactivé, aucun contenu n'est envoyé à OpenAI. Le contenu est envoyé à un service tiers : relisez donc votre politique de confidentialité avant de l'activer. Consultez Confidentialité des données et limites de l'IA.

Configurer la classification par IA

Les paramètres détaillés se trouvent dans l'onglet Paramètres IA de Admin → Modération → Modération automatisée, dans la section Classification par IA. Vous pouvez aussi cliquer sur Paramètres IA dans Paramètres de la communauté. Seuls les propriétaires et les administrateurs voient cet onglet. Les autres voient un résumé en lecture seule sous Paramètres de la communauté, en haut de la page.

Cliquez sur Configurer et définissez :

  • Mode : Ombre ou Application (consultez la section suivante). Les nouvelles communautés démarrent en mode Ombre.
  • Scanner : Publications de premier niveau, Réponses et commentaires, ou les deux. Choisissez-en au moins un. Publications de premier niveau couvre aussi les blogs et les événements, qui sont scannés lors de leur création, et non lors de leur modification. Les réponses génèrent 5 à 20× le trafic de modération des publications de premier niveau.
  • Seuils : quand le contenu est bloqué ou signalé, pour chaque catégorie.

Cliquez sur Enregistrer les modifications. Enregistrer ici ne modifie pas l'interrupteur Activer la modération par IA.

Mode Ombre et mode Application

Mode Ce qui se passe
Ombre L'IA se contente d'enregistrer les scores. Rien n'est masqué et rien n'est mis en file d'attente. Utilisez ce mode pour voir comment l'IA évalue le contenu de votre communauté.
Application Le contenu qui dépasse un seuil Bloquer est masqué immédiatement et envoyé pour examen. Le contenu qui dépasse un seuil Signaler reste visible et attend la décision d'un modérateur.

Lorsque vous passez en mode Application, vous devez cocher une confirmation indiquant que les publications signalées seront désormais retenues. Examinez d'abord les résultats du mode Ombre dans le Journal des décisions IA.

Définir les seuils de modération par IA

Chaque catégorie a un seuil compris entre 0 et 1. Une catégorie se déclenche lorsque le score du contenu est égal ou supérieur au seuil : plus le seuil est bas, plus il est strict.

  • Bloquer (rejeter le contenu) : les catégories graves, comme Contenu sexuel impliquant des mineurs, Violence explicite, Instructions d'automutilation, Discours de haine menaçant et Actes illicites violents.
  • Signaler (envoyer à la file de révision) : des catégories plus larges : Haine, Harcèlement, Contenu sexuel, Violence, Automutilation et Comportement illicite.

Cochez une catégorie pour l'utiliser et définissez sa valeur, ou cliquez sur Valeurs par défaut recommandées. Chaque niveau est enregistré dans son ensemble : les catégories que vous laissez décochées dans un niveau ne se déclenchent plus. Avancé (JSON) affiche les mêmes paramètres au format JSON.

Examiner le contenu retenu par la modération par IA

En mode Application, le contenu bloqué et signalé attend dans Admin → Modération → Contenu en attente, où Motif de la vérification indique Modération par IA et la catégorie. Approuvez-le pour le publier ou rejetez-le pour le supprimer. Le contenu bloqué reste masqué jusqu'à votre décision ; le contenu signalé reste visible entre-temps. Votre décision est aussi enregistrée comme un retour sur la décision de l'IA. Pour savoir comment l'examiner et ce que voient les auteurs, consultez Examiner le contenu retenu et en attente.

Vérifier les décisions de l'IA dans le journal des décisions IA

L'onglet Journal des décisions IA de Modération automatisée (anciennement la page distincte Activité IA) liste chaque décision de modération par IA. C'est un journal, pas une file de travail : agir ici ne modifie pas le contenu. Une ligne en haut indique si la modération par IA est activée, ce qu'elle scanne, et combien d'éléments attendent d'être scannés ou n'ont pas pu l'être.

  • Chaque ligne affiche le Contenu et son auteur, ce par quoi il a été déclenché (Déclenchée par), le Score le plus élevé, le Résultat et la Date. Les résultats sont Bloquerait ou Signalerait (mode Ombre, simplement enregistré), Bloqué, Signalé, Non appliqué ou Passé.
  • Filtrez par mode, résultat (y compris Tout signalement (blocage ou marquage)), catégorie, type de contenu (Publications, Réponses, Blogs ou Événements) et plage de dates.
  • Cliquez sur une ligne pour voir le modèle, les seuils et les Scores par catégorie. Anciens seuils signale une décision prise avant votre dernière modification des seuils.
  • Évaluez une décision avec un pouce levé (Décision correcte) ou baissé : Décision erronée (annulation) sur un déclenchement, Aurait dû être détecté sur un passage. Cliquez de nouveau sur votre vote pour le retirer. L'évaluation nécessite Traiter les signalements. Les décisions que vous avez prises dans Contenu en attente sont déjà évaluées.
  • Taux d'annulation indique à quelle fréquence des déclenchements n'auraient pas dû avoir lieu, et Manqués à quelle fréquence des passages auraient dû être détectés. Par catégorie affiche les deux pour chaque catégorie : un taux d'annulation élevé signifie qu'il faut relever ce seuil, et un taux de manqués élevé qu'il faut l'abaisser. Cliquez sur Ajuster les seuils pour les modifier.
  • Les chiffres comptent les décisions Depuis la dernière modification des seuils. Passez à Toute la période pour inclure les plus anciennes.

À savoir sur la modération par IA

  • La modération par IA vérifie le titre et le corps du texte des publications et des réponses lors de leur création et de leur modification, et ceux des articles de blog et des événements lors de leur création. Elle ne vérifie pas les images, les pièces jointes ni les vidéos.
  • Le contenu des administrateurs et des modérateurs de la communauté, ainsi que des administrateurs et des modérateurs de l'espace lui-même, n'est pas envoyé à la modération par IA.
  • Les règles de mot-clé, de regex et de filtre anti-spam se configurent séparément. Consultez Configurer des règles d'auto-modération.
  • La modération par IA n'utilise pas le quota d'IA de votre offre. Consultez Comprendre l'utilisation de l'IA et les crédits.

Articles associés

Ce guide vous a-t-il été utile ?

Retour aux guides

Vous ne trouvez pas ce qu'il vous faut ?

Si vous êtes membre d'une communauté, ses administrateurs sont les mieux placés pour vous aider. Si vous créez ou gérez une communauté sur Mateflow, notre équipe peut vous aider.