La moderación con IA es muy buena con el volumen y muy mala con el criterio, y casi todos los errores que cometen los responsables de comunidad con ella nacen de confundir ambas cosas. Leerá cada publicación a las tres de la madrugada. No te dirá si un habitual estaba siendo cruel o simplemente directo.
Configurada con esa división en mente, se lleva la mitad más tediosa de la moderación. Configurada como sustituto de un moderador, produce decisiones seguras de sí mismas, bien redactadas y equivocadas, a escala.
Qué es en realidad
Detrás de esa expresión suelen convivir dos mecanismos distintos, y fallan de forma distinta.
Las reglas son deterministas: una palabra clave, un patrón, una señal de spam. Coinciden o no coinciden, son fáciles de razonar y cualquiera que preste un poco de atención las esquiva sin esfuerzo. La clasificación es un modelo que puntúa el contenido frente a categorías como acoso o autolesión, y devuelve una probabilidad en lugar de un veredicto.
Ninguno de los dos es un moderador. Ambos producen candidatos, y un candidato no es una decisión: ahí está todo el problema de diseño, y por eso el resto de este artículo trata sobre todo de lo que ocurre después de la marca.
Dónde se gana de verdad su sitio
Tres tareas, y son las tres aburridas, que es justo lo que hace que delegarlas valga tanto.
Volumen. Spam, enlaces fraudulentos y el mismo mensaje sobre criptomonedas publicado en nueve espacios. Es trabajo de alta confianza y poco contexto, con casi ningún coste si de vez en cuando se equivoca, y es la mayor parte de lo que llega.
Cobertura. Tu comunidad no se detiene de noche ni el fin de semana, y un equipo pequeño no puede vigilarla sin parar. Un primer triaje mientras nadie está despierto es valor real: el contenido lo sigue viendo una persona, solo que más tarde.
Coherencia en lo evidente. Las personas moderan de forma distinta cuando están cansadas, y distinta otra vez cuando alguien les cae mal. Una regla no. Para los casos inequívocos, esa uniformidad es una ventaja, y es el mismo argumento que aparece en automatizar tu comunidad: automatiza el ruido.
Dónde no es fiable, y seguirá sin serlo
Los fallos no son errores que se vayan a parchear el trimestre que viene. Son propiedades del problema.
Contexto. La misma frase resulta simpática entre dos habituales y hostil viniendo de un desconocido. Un modelo que puntúa una publicación aislada no puede ver los ocho meses de historia que a ti te hacen obvia la diferencia.
Lenguaje interno del grupo. Los insultos reapropiados, el humor negro entre personas que comparten una misma condición y el registro tosco de ciertas profesiones puntúan mal. Las comunidades formadas por las personas con más probabilidades de ser marcadas son las que tienen más probabilidades de ser marcadas por error, y eso es un problema de equidad antes que de acierto.
Angustia. Un miembro que lo está pasando mal escribe en un registro que se parece a una infracción de las normas. Ese caso tiene que llegar rápido a una persona, y es el argumento más contundente que existe contra la retirada automática: el problema de clasificación al que pertenece está en cómo tratar con miembros difíciles.
Marcar, ocultar o eliminar: elige regla por regla
La mayoría de las plataformas dan a una regla automatizada una de tres consecuencias cuando hay coincidencia. Elegir la misma para todo es el error habitual.
| Acción | Qué ocurre | Adecuada para |
|---|---|---|
| Marcar | El contenido sigue publicado y se pide a una persona que lo mire | Todo lo que implique criterio: tono, conflictos, infracciones dudosas |
| Ocultar | El contenido se retira a la espera de revisión, sin vetar al autor | Daño plausible en el que esperar es peor que un falso positivo |
| Eliminar | El contenido se retira automáticamente, sin paso de revisión | Solo lo inequívoco: patrones de spam conocidos, dominios fraudulentos, avalanchas repetidas |
Eliminar pertenece a una lista muy corta. La prueba es si te quedarías tranquilo sin llegar a ver nunca ese contenido. Eso es cierto con un enlace de spam de criptomonedas y falso con casi todo lo que escribe un miembro real, incluidas las publicaciones que a primera vista parecen malas.
En Mateflow, las reglas automatizadas coinciden con palabras clave, patrones o señales de spam, y cada regla elige por sí misma entre marcar, ocultar o eliminar, de modo que la opción destructiva existe donde de verdad la quieres y no se impone a las demás.
La cola es el producto de verdad
Lo que importa no es lo bien que puntúe el modelo. Es lo que ocurre entre la marca y la decisión.
El comportamiento seguro por defecto es que el contenido marcado siga visible hasta que una persona actúe sobre él. Cualquier otra cosa significa que un falso positivo retira en silencio la publicación de un miembro, y este se entera al notar que ya no está, que es justo la manera de perder a gente que no hizo nada malo y nunca se quejó.
Mateflow funciona así: los elementos que la IA o una regla marcan como sospechosos van a parar a una cola de revisión y siguen visibles para los miembros hasta que alguien los conserva o los retira, de uno en uno o en lote. Marcar es una petición de atención, no una sentencia.
La consecuencia práctica es que la moderación con IA no elimina la necesidad de moderadores: cambia su trabajo. Menos rastrear problemas y más decidir sobre los que salen a la superficie, que es un trabajo mejor y más fácil de cubrir, como se explica en reclutar moderadores voluntarios.
Ajustar sin enseñar a la gente a hablar en voz baja
Los umbrales deciden cuánto se marca, y las dos direcciones tienen un coste.
Demasiado laxos y la cola se llena de nada, tus moderadores empiezan a vaciarla sin leer y todo el sistema se vuelve decorativo sin que nadie lo diga en voz alta. Una cola en la que nadie confía es peor que no tener cola, porque disfraza de proceso la falta de atención.
Demasiado estrictos y los miembros aprenden que las publicaciones normales se quedan retenidas. Empiezan a autocensurarse de maneras que no puedes ver, y la comunidad se vuelve más sosa sin que nadie informe de ningún problema. En Mateflow, las categorías y sus umbrales son configurables, con el interruptor principal en Configuración y Seguridad del contenido, así que esto es un dial que se espera que ajustes, no un valor fijo.
Empieza con umbrales laxos, lee la cola durante dos semanas y endurécelos a partir de la evidencia. El umbral correcto es aquel en el que un moderador que vacía la cola sigue leyendo cada elemento.
Cuéntales a tus miembros que existe
La moderación automatizada no declarada es el camino más rápido a que tu comunidad se lea de mala fe.
Di con claridad en tu código de conducta que parte del contenido se revisa automáticamente, que la decisión final la toma una persona y cómo impugnar una decisión. Una vía de apelación no es una cortesía: es lo que legitima todo el planteamiento, y Mateflow mantiene las apelaciones en su propia cola para que no se pierdan en mensajes directos.
Nunca digas que una decisión la tomó el sistema cuando la tomó una persona, ni te escudes en el modelo por una decisión que elegiste tomar tú. Los miembros perdonan los errores automáticos con facilidad; lo que no perdonan es que les digan que nadie era responsable. Los criterios están en cómo moderar una comunidad online.
En resumen
Automatiza la detección, quédate con la decisión. Reserva la retirada automática para el contenido que nunca querrías ver, marca todo lo que implique criterio y trata la cola de revisión como la parte que tiene que funcionar.
Merece la pena configurar la moderación con IA en casi cualquier comunidad que pase de unos pocos cientos de miembros, y la configuración que sale mal es siempre la que la dejó decidir a ella. Para ver en qué otros sitios encaja la IA en una comunidad, y en cuáles no, consulta cómo usar la IA en tu comunidad.