La modération par IA utilise un modèle d'IA (OpenAI Moderation) pour vérifier les publications et, si vous le souhaitez, les réponses lorsqu'elles sont créées ou modifiées. Elle attribue au contenu des scores dans des catégories comme le harcèlement, la haine et la violence, et peut masquer ou signaler le contenu qui dépasse vos seuils. Elle fonctionne en complément de vos règles de mot-clé et de filtre anti-spam, et non à leur place.
Qui peut le faire : Les propriétaires et les administrateurs activent et configurent la modération par IA. Les modérateurs peuvent consulter Activité IA et examiner le contenu retenu. · Où : Sur le web, dans la console d'administration. · Offre : Disponible avec toutes les offres de la plateforme. La modération par IA n'utilise pas le quota d'IA de votre offre.
Activer la modération par IA
- Accédez à Admin → Paramètres → Sécurité du contenu. La page s'intitule Modération du contenu.
- Sous Modération par IA, activez Activer la modération par IA.
- Cliquez sur Save Changes en bas de la page.
Lorsque l'interrupteur est désactivé, aucune publication n'est envoyée à OpenAI. Le contenu est envoyé à un service tiers : relisez donc votre politique de confidentialité avant de l'activer. Consultez Confidentialité des données et limites de l'IA.
Configurer la classification par IA
Les paramètres détaillés se trouvent dans Admin → Modération → Modération automatisée, dans la section Classification par IA. Vous pouvez aussi cliquer sur Configurer dans Modération automatisée sur la page Sécurité du contenu. Seuls les propriétaires et les administrateurs voient cette section.
Cliquez sur Configurer et définissez :
- Mode : Ombre ou Application (consultez la section suivante). Les nouvelles communautés démarrent en mode Ombre.
- Scanner : Publications de premier niveau, Réponses et commentaires, ou les deux. Choisissez-en au moins un. Les réponses génèrent 5 à 20× le trafic de modération des publications de premier niveau.
- Seuils : quand le contenu est bloqué ou signalé, pour chaque catégorie.
Cliquez sur Enregistrer les modifications. Enregistrer ici ne modifie pas l'interrupteur d'activation de Sécurité du contenu.
Mode Ombre et mode Application
| Mode | Ce qui se passe |
|---|---|
| Ombre | L'IA se contente d'enregistrer les scores. Rien n'est masqué et rien n'est mis en file d'attente. Utilisez ce mode pour voir comment l'IA évalue le contenu de votre communauté. |
| Application | Le contenu qui dépasse un seuil Bloquer est masqué immédiatement et envoyé pour examen. Le contenu qui dépasse un seuil Signaler reste visible et attend la décision d'un modérateur. |
Lorsque vous passez en mode Application, vous devez cocher une confirmation indiquant que les publications signalées seront désormais retenues. Examinez d'abord les résultats du mode Ombre dans Activité IA.
Définir les seuils de modération par IA
Chaque catégorie a un seuil compris entre 0 et 1. Une catégorie se déclenche lorsque le score du contenu est égal ou supérieur au seuil : plus le seuil est bas, plus il est strict.
- Bloquer (refuser le contenu) : les catégories graves, comme Sexual content involving minors, Graphic violence, Self-harm instructions, Threatening hate speech et Violent wrongdoing.
- Signaler (envoyer à la file de révision) : des catégories plus larges : Hate, Harassment, Sexual content, Violence, Self-harm et Illicit behavior.
Cochez une catégorie pour l'utiliser et définissez sa valeur, ou cliquez sur Valeurs par défaut recommandées. Chaque niveau est enregistré dans son ensemble : les catégories que vous laissez décochées dans un niveau ne se déclenchent plus. Avancé (JSON) affiche les mêmes paramètres au format JSON.
Examiner le contenu retenu par la modération par IA
En mode Application, le contenu bloqué et signalé attend dans Admin → Modération → Contenu en attente, où Motif du signalement indique IA. Approuvez-le pour le publier ou rejetez-le pour le supprimer. Le contenu bloqué reste masqué jusqu'à votre décision ; le contenu signalé reste visible entre-temps. Pour savoir comment l'examiner et ce que voient les auteurs, consultez Examiner le contenu retenu et en attente.
Vérifier les décisions de l'IA sur la page Activité IA
Admin → Modération → Activité IA liste chaque décision de modération par IA. C'est un journal, pas une file de travail : agir ici ne modifie pas le contenu.
- Chaque ligne affiche le Contenu, l'Auteur, les Catégories, le Score, le Mode, le Résultat et la Date. Les résultats sont Bloquerait ou Signalerait (mode Ombre, simplement enregistré), Bloqué, Signalé, Non appliqué ou Passé.
- Filtrez par mode, résultat, catégorie, type de contenu et plage de dates.
- Cliquez sur une ligne pour voir le modèle, les seuils et les Scores par catégorie.
- Utilisez Décision correcte ou Décision erronée (annulation) pour évaluer les décisions de l'IA. Taux d'annulation indique à quelle fréquence les modérateurs sont en désaccord.
- Par catégorie indique à quelle fréquence chaque catégorie se déclenche et est annulée. Un taux d'annulation élevé signifie que ce seuil est trop permissif. Cliquez sur Ajuster les seuils pour le modifier.
À savoir sur la modération par IA
- La modération par IA vérifie le titre et le corps du texte des publications et des réponses, lors de leur création et de leur modification. Elle ne vérifie pas les images, les pièces jointes ni les vidéos.
- Les publications et les réponses des administrateurs de la communauté et des modérateurs d'espace ne sont pas envoyées à la modération par IA.
- Les règles de mot-clé, de regex et de filtre anti-spam se configurent séparément. Consultez Configurer des règles d'auto-modération.
- La modération par IA n'utilise pas le quota d'IA de votre offre. Consultez Comprendre l'utilisation de l'IA et les crédits.
Articles associés
Ce guide vous a-t-il été utile ?