La modération par IA excelle sur le volume et échoue sur le jugement, et presque toutes les erreurs que commettent les propriétaires de communauté avec elle viennent de la confusion entre les deux. Elle lira chaque publication à trois heures du matin. Elle ne vous dira pas si un habitué se montrait cruel ou simplement direct.
Configurée avec cette répartition en tête, elle vous débarrasse de l'essentiel de la moitié fastidieuse de la modération. Configurée pour remplacer un modérateur, elle produit à grande échelle des décisions assurées, bien présentées et fausses.
Ce qu'elle est réellement
Deux mécanismes différents se cachent généralement derrière l'expression, et ils échouent différemment.
Les règles sont déterministes : un mot-clé, un motif, un signal de spam. Elles correspondent ou non, leur comportement est facile à anticiper, et n'importe qui d'un peu attentif les contourne sans effort. La classification est un modèle qui note les contenus selon des catégories comme le harcèlement ou l'automutilation, et qui renvoie une probabilité plutôt qu'un verdict.
Ni l'une ni l'autre n'est un modérateur. Toutes deux produisent des candidats, et un candidat n'est pas une décision — c'est là tout le problème de conception, et la raison pour laquelle la suite de cet article porte surtout sur ce qui se passe après le signalement.
Là où elle justifie vraiment sa place
Trois tâches, et ce sont les trois plus ennuyeuses, ce qui explique précisément la valeur qu'il y a à les déléguer.
Le volume. Le spam, les liens frauduleux, le même message crypto publié dans neuf espaces. C'est un travail à faible contexte et à forte certitude, où se tromper de temps en temps n'a presque aucune conséquence, et c'est la majeure partie de ce qui arrive.
La couverture. Votre communauté ne s'arrête pas la nuit ni le week-end, et une petite équipe ne peut pas la surveiller en continu. Un premier tri pendant que personne n'est réveillé a une vraie valeur — le contenu est quand même vu par un humain, simplement plus tard.
La constance sur les cas évidents. Les humains ne modèrent pas de la même façon quand ils sont fatigués, ni de la même façon encore quand la personne concernée leur déplaît. Ce n'est pas le cas d'une règle. Pour les cas sans ambiguïté, cette régularité est un atout, et c'est exactement l'argument développé dans automatiser votre communauté : automatisez le bruit.
Là où elle n'est pas fiable, et ne le deviendra pas
Ces défaillances ne sont pas des bugs qui seront corrigés au trimestre prochain. Ce sont des propriétés du problème lui-même.
Le contexte. La même phrase est amicale entre deux habitués et hostile venant d'un inconnu. Un modèle qui note une publication isolée ne voit pas les huit mois d'historique qui rendent la différence évidente à vos yeux.
Le langage interne au groupe. Les insultes réappropriées, l'humour noir entre personnes qui partagent une même condition et le registre cru de certains métiers obtiennent tous de mauvais scores. Les communautés des personnes les plus susceptibles d'être signalées sont celles qui risquent le plus de l'être à tort, ce qui est un problème d'équité avant d'être un problème d'exactitude.
La détresse. Un membre en difficulté écrit dans un registre qui ressemble à une infraction au règlement. Ce cas doit parvenir vite à une personne, et c'est le meilleur argument qui soit contre le retrait automatique — le problème de tri auquel il appartient est traité dans gérer les membres difficiles.
Signaler, masquer ou supprimer — à choisir règle par règle
La plupart des plateformes attribuent à une règle automatisée l'une de trois conséquences possibles en cas de correspondance. Choisir la même pour tout est l'erreur courante.
| Action | Ce qui se passe | Adapté à |
|---|---|---|
| Signaler | Le contenu reste visible, un humain est invité à l'examiner | Tout ce qui relève du jugement — le ton, un conflit, une infraction limite |
| Masquer | Le contenu est retiré en attendant l'examen, l'auteur n'est pas banni | Un préjudice plausible, quand attendre coûte plus cher qu'un faux positif |
| Supprimer | Le contenu est retiré automatiquement, sans étape d'examen | Uniquement les cas sans ambiguïté : motifs de spam connus, domaines frauduleux, inondations répétées |
La suppression est réservée à une liste très courte. Le test consiste à se demander si vous seriez à l'aise de ne jamais voir l'élément en question. C'est vrai d'un lien de spam crypto, et faux pour presque tout ce qu'écrit un vrai membre, y compris les publications qui font mauvaise impression au premier coup d'œil.
Sur Mateflow, les règles automatisées se déclenchent sur des mots-clés, des motifs ou des signaux de spam, et chaque règle choisit pour elle-même entre signaler, masquer et supprimer — l'option destructrice existe donc là où vous la voulez vraiment, sans être imposée au reste.
La file de modération est le vrai produit
Ce qui compte, ce n'est pas la qualité des scores du modèle. C'est ce qui se passe entre le signalement et la décision.
Le comportement par défaut le plus sûr, c'est que le contenu signalé reste visible jusqu'à ce qu'une personne intervienne. Toute autre option revient à laisser un faux positif retirer en silence la publication d'un membre, qui l'apprend en constatant sa disparition — c'est ainsi que l'on perd des gens qui n'avaient rien fait de mal et ne s'étaient jamais plaints.
Mateflow fonctionne ainsi : les éléments que l'IA ou une règle marque comme suspects arrivent dans une file de modération et restent visibles pour les membres jusqu'à ce que quelqu'un les conserve ou les retire, un par un ou en lot. Un signalement est une demande d'attention, pas une condamnation.
La conséquence pratique, c'est que la modération par IA ne supprime pas le besoin de modérateurs : elle change leur travail. Moins de défilement à la recherche de problèmes, plus de décisions à prendre sur ceux qui remontent — un meilleur poste, et plus facile à pourvoir, comme l'explique recruter des modérateurs bénévoles.
Régler les seuils sans apprendre aux gens à chuchoter
Les seuils déterminent la quantité de contenus signalés, et les deux directions ont un coût.
Trop lâches, et la file se remplit de rien du tout : vos modérateurs se mettent à la vider sans lire, et tout le dispositif devient discrètement décoratif. Une file à laquelle personne ne fait confiance est pire que pas de file du tout, parce qu'elle fait passer l'inattention pour un processus.
Trop stricts, et les membres apprennent que des publications ordinaires se retrouvent bloquées. Ils commencent à s'autocensurer d'une manière que vous ne pouvez pas voir, et la communauté s'affadit sans que personne ne signale de problème. Sur Mateflow, les catégories et leurs seuils sont configurables, l'interrupteur principal se trouvant dans Paramètres et Sécurité du contenu : c'est donc un curseur que vous êtes censé ajuster, et non un réglage figé.
Commencez large, lisez la file pendant deux semaines, puis resserrez à partir de ce que vous y avez constaté. Le bon seuil est celui où un modérateur qui vide la file lit encore chaque élément.
Dites à vos membres qu'elle existe
Une modération automatisée passée sous silence est le plus court chemin vers un procès d'intention fait à votre communauté.
Dites clairement dans votre code de conduite qu'une partie des contenus est vérifiée automatiquement, qu'une personne tranche en dernier ressort, et comment contester une décision. Un droit de recours n'est pas une politesse, c'est ce qui rend légitime tout le dispositif — et Mateflow conserve les recours dans une file qui leur est propre, pour qu'ils ne se perdent pas dans les messages privés.
Ne dites jamais qu'une décision a été prise par le système quand c'est une personne qui l'a prise, et ne vous abritez jamais derrière le modèle pour un choix que vous avez fait. Les membres pardonnent volontiers les erreurs automatisées ; ils ne pardonnent pas qu'on leur dise que personne n'était responsable — les standards sont détaillés dans comment modérer une communauté en ligne.
En résumé
Automatisez la détection, gardez la décision. Réservez le retrait automatique aux contenus que vous ne voudriez jamais voir, signalez tout ce qui relève du jugement, et traitez la file de modération comme la pièce qui doit absolument fonctionner.
La modération par IA vaut la peine d'être mise en place pour presque toute communauté dépassant quelques centaines de membres, et la configuration qui tourne mal est toujours celle qui l'a laissée décider. Pour savoir où l'IA a sa place dans une communauté et où elle ne l'a pas, voyez comment utiliser l'IA dans votre communauté.