Saltar al contenido

Guía

Usar la IA para moderar contenido

Moderación y seguridad · 5 min de lectura

La moderación con IA usa un modelo de IA (OpenAI Moderation) para revisar las publicaciones, los artículos del blog y los eventos y, si quieres, las respuestas. Puntúa el contenido en categorías como acoso, odio y violencia, y puede ocultar o marcar el contenido que supera tus umbrales. Funciona junto con tus reglas de palabras clave y de filtro de spam, no en su lugar.

Quién puede hacerlo: los propietarios y administradores activan y configuran la moderación con IA. Los moderadores pueden ver si está activada, leer el Registro de decisiones de IA, valorar las decisiones y revisar el contenido retenido. · Dónde: web, en la consola de administración. · Plan: disponible en todos los planes de la plataforma. La moderación con IA no consume el cupo de IA de tu plan.

Activar la moderación con IA

  1. Ve a Admin → Moderación → Moderación automatizada. El interruptor estaba antes en la página Seguridad del contenido de Configuración.
  2. En Ajustes de toda la comunidad, activa Activar moderación con IA. Se guarda de inmediato.

Cuando el interruptor está desactivado, no se envía ningún contenido a OpenAI. El contenido se envía a un servicio de terceros, así que revisa tu política de privacidad antes de activarlo. Consulta Privacidad de datos y limitaciones de la IA.

Configurar la Clasificación con IA

La configuración detallada está en la pestaña Ajustes de IA de Admin → Moderación → Moderación automatizada, en la sección Clasificación con IA. También puedes hacer clic en Ajustes de IA en Ajustes de toda la comunidad. Solo los propietarios y administradores ven esta pestaña. Los demás ven un resumen de solo lectura en Ajustes de toda la comunidad, en la parte superior de la página.

Haz clic en Configurar y define:

  • Modo: Sombra o Aplicar (consulta la siguiente sección). Las comunidades nuevas empiezan en Sombra.
  • Analizar: Publicaciones de nivel superior, Respuestas y comentarios o ambas. Elige al menos una. Publicaciones de nivel superior también incluye los blogs y los eventos, que se analizan cuando se crean, no cuando se editan. Las respuestas generan entre 5 y 20 veces más tráfico de moderación que las publicaciones de nivel superior.
  • Umbrales: cuándo se bloquea o se marca el contenido, por categoría.

Haz clic en Guardar cambios. Guardar aquí no cambia el interruptor Activar moderación con IA.

Modo Sombra y modo Aplicar

Modo Qué ocurre
Sombra La IA solo registra puntuaciones. No se oculta nada ni entra nada en la cola. Úsalo para ver cómo juzga la IA el contenido de tu comunidad.
Aplicar El contenido que supera un umbral de Bloquear se oculta de inmediato y se envía a revisión. El contenido que supera un umbral de Marcar sigue visible y espera la decisión de un moderador.

Cuando cambias a Aplicar, debes marcar una confirmación de que, a partir de ese momento, las publicaciones marcadas se retendrán. Revisa antes los resultados del modo sombra en el Registro de decisiones de IA.

Configurar los umbrales de la moderación con IA

Cada categoría tiene un umbral de 0 a 1. Una categoría se activa cuando la puntuación del contenido es igual o superior al umbral, así que un umbral más bajo es más estricto.

  • Bloquear (rechazar contenido): categorías graves, como Contenido sexual con menores, Violencia explícita, Instrucciones de autolesión, Discurso de odio amenazante y Delitos violentos.
  • Marcar (enviar a la cola de revisión): categorías más amplias: Odio, Acoso, Contenido sexual, Violencia, Autolesión y Conducta ilícita.

Marca una categoría para usarla y configura su valor, o haz clic en Valores predeterminados recomendados. Cada nivel se guarda completo: las categorías que dejes sin marcar en un nivel dejan de activarse. Avanzado (JSON) muestra la misma configuración en JSON.

Revisar el contenido retenido por la moderación con IA

En el modo Aplicar, el contenido bloqueado y el marcado esperan en Admin → Moderación → Contenido pendiente, donde Motivo de la revisión muestra Moderación con IA y la categoría. Apruébalo para publicarlo o recházalo para eliminarlo. El contenido bloqueado permanece oculto hasta que decidas; el contenido marcado sigue visible mientras tanto. Tu decisión también se registra como opinión sobre la decisión de la IA. Para saber cómo revisarlo y qué ven los autores, consulta Revisar el contenido retenido y pendiente.

Consultar las decisiones de la IA en el Registro de decisiones de IA

La pestaña Registro de decisiones de IA de Moderación automatizada (antes la página independiente Actividad de IA) muestra todas las decisiones de la moderación con IA. Es un registro, no una cola de trabajo: actuar aquí no cambia el contenido. Una línea en la parte superior indica si la moderación con IA está activada, qué analiza y cuántos elementos esperan para analizarse o no se pudieron analizar.

  • Cada fila muestra el Contenido y su autor, qué la activó (Activada por), la Puntuación más alta, el Resultado y la Fecha. Los resultados son Bloquearía o Marcaría (modo sombra, solo registrado), Bloqueado, Marcado, No aplicado o Aprobado.
  • Filtra por modo, resultado (incluido Cualquier acierto (bloquear o marcar)), categoría, tipo de contenido (Publicaciones, Respuestas, Blogs o Eventos) y rango de fechas.
  • Haz clic en una fila para ver el modelo, los umbrales y las Puntuaciones por categoría. Umbrales anteriores marca una decisión tomada antes de tu último cambio de umbrales.
  • Valora una decisión con el pulgar hacia arriba (Decisión correcta) o hacia abajo: Decisión incorrecta (reversión) en un acierto, Debió detectarse en un aprobado. Vuelve a hacer clic en tu voto para retirarlo. Para valorar hace falta Resolver casos de moderación. Las decisiones que tomaste en Contenido pendiente ya están valoradas.
  • Tasa de reversión muestra con qué frecuencia los aciertos no deberían haberse detectado, y Omitidas, con qué frecuencia los aprobados sí deberían haberlo sido. Por categoría muestra ambas cifras por categoría: una tasa de reversión alta significa que debes subir ese umbral, y una tasa de omisiones alta, que debes bajarlo. Haz clic en Ajustar umbrales para cambiarlos.
  • Las cifras cuentan las decisiones Desde el último cambio de umbrales. Cambia a Todo el tiempo para incluir las anteriores.

Qué debes saber sobre la moderación con IA

  • La moderación con IA revisa el título y el texto del cuerpo de las publicaciones y las respuestas cuando se crean y cuando se editan, y de los artículos del blog y los eventos cuando se crean. No revisa imágenes, archivos adjuntos ni vídeos.
  • El contenido de los administradores y moderadores de la comunidad, y de los administradores y moderadores del propio espacio, no se envía a la moderación con IA.
  • Las reglas de palabras clave, de expresiones regulares y de filtro de spam se configuran por separado. Consulta Configurar reglas de auto-moderación.
  • La moderación con IA no consume el cupo de IA de tu plan. Consulta Entender el uso y los créditos de IA.

Artículos relacionados

¿Te resultó útil esta guía?

Volver a las guías

¿No encuentras lo que necesitas?

Si eres miembro de una comunidad, sus administradores son quienes pueden ayudarte. Si estás creando o gestionando una en Mateflow, nuestro equipo puede ayudarte.