Ir para o conteúdo

Guia

Usar IA para moderar conteúdo

Moderação e segurança · 5 min de leitura

A moderação por IA usa um modelo de IA (OpenAI Moderation) para verificar publicações, artigos de blog e eventos e, se você quiser, respostas. Ela atribui pontuações ao conteúdo em categorias como assédio, ódio e violência, e pode ocultar ou sinalizar o conteúdo que ultrapassa os seus limites. Ela funciona junto com as suas regras de palavra-chave e de filtro de spam, não no lugar delas.

Quem pode fazer isso: proprietários e administradores ativam e configuram a moderação por IA. Os moderadores podem ver se ela está ativada, ler o Registro de decisões de IA, avaliar as decisões e analisar o conteúdo retido. · Onde: web, no console de administração. · Plano: disponível em todos os planos da plataforma. A moderação por IA não consome a cota de IA do seu plano.

Ativar a moderação por IA

  1. Acesse Admin → Moderação → Moderação Automatizada. A chave ficava antes na página Segurança de conteúdo, em Configurações.
  2. Em Configurações da comunidade, ative Ativar moderação por IA. A configuração é salva na hora.

Quando a chave está desativada, nenhum conteúdo é enviado à OpenAI. O conteúdo é enviado a um serviço de terceiros, então revise sua política de privacidade antes de ativá-la. Veja Privacidade de dados e limitações da IA.

Configurar a Classificação por IA

As configurações detalhadas ficam na aba Configurações de IA de Admin → Moderação → Moderação Automatizada, na seção Classificação por IA. Você também pode clicar em Configurações de IA em Configurações da comunidade. Só proprietários e administradores veem esta aba. Os demais veem um resumo somente leitura em Configurações da comunidade, no topo da página.

Clique em Configurar e defina:

  • Modo: Sombra ou Aplicar (veja a próxima seção). As comunidades novas começam em Sombra.
  • Verificar: Publicações de nível raiz, Respostas e comentários ou os dois. Escolha pelo menos um. Publicações de nível raiz também abrange blogs e eventos, que são verificados quando são criados, não quando são editados. As respostas geram de 5 a 20× o tráfego de moderação das publicações principais.
  • Limites: quando o conteúdo é bloqueado ou sinalizado, por categoria.

Clique em Salvar alterações. Salvar aqui não altera a chave Ativar moderação por IA.

Modo Sombra e modo Aplicar

Modo O que acontece
Sombra A IA só registra as pontuações. Nada é ocultado e nada entra na fila. Use-o para ver como a IA avalia o conteúdo da sua comunidade.
Aplicar O conteúdo acima de um limite Bloquear é ocultado imediatamente e enviado para revisão. O conteúdo acima de um limite Sinalizar continua visível e aguarda a decisão de um moderador.

Ao mudar para Aplicar, você precisa marcar uma confirmação de que as publicações sinalizadas passarão a ser retidas a partir de agora. Revise antes os resultados do modo sombra no Registro de decisões de IA.

Definir os limites da moderação por IA

Cada categoria tem um limite de 0 a 1. Uma categoria é acionada quando a pontuação do conteúdo é igual ou maior que o limite, então um limite menor é mais rigoroso.

  • Bloquear (recusar conteúdo): categorias graves, como Conteúdo sexual envolvendo menores, Violência explícita, Instruções de automutilação, Discurso de ódio ameaçador e Atos ilícitos violentos.
  • Sinalizar (enviar para fila de revisão): categorias mais amplas: Ódio, Assédio, Conteúdo sexual, Violência, Automutilação e Comportamento ilícito.

Marque uma categoria para usá-la e defina o valor dela, ou clique em Padrões recomendados. Cada nível é salvo por inteiro: as categorias que você deixar desmarcadas em um nível deixam de ser acionadas. Avançado (JSON) mostra as mesmas configurações em JSON.

Analisar o conteúdo retido pela moderação por IA

No modo Aplicar, o conteúdo bloqueado e o sinalizado aguardam em Admin → Moderação → Conteúdo Pendente, onde Motivo da revisão mostra Moderação por IA e a categoria. Aprove-o para publicá-lo ou rejeite-o para removê-lo. O conteúdo bloqueado fica oculto até você decidir; o conteúdo sinalizado continua visível enquanto isso. Sua decisão também fica registrada como avaliação da decisão da IA. Para saber como analisá-lo e o que os autores veem, veja Analisar conteúdo retido e pendente.

Conferir as decisões da IA no Registro de decisões de IA

A aba Registro de decisões de IA de Moderação Automatizada (antes a página separada Atividade de IA) lista todas as decisões da moderação por IA. É um registro, não uma fila de trabalho: agir aqui não altera o conteúdo. Uma linha no topo informa se a moderação por IA está ativada, o que ela verifica e quantos itens aguardam verificação ou não puderam ser verificados.

  • Cada linha mostra o Conteúdo e o autor dele, o que a acionou (Acionada por), a Maior pontuação, o Resultado e a Data. Os resultados são Bloquearia ou Sinalizaria (modo sombra, apenas registrado), Bloqueado, Sinalizado, Não aplicado ou Aprovado.
  • Filtre por modo, resultado (incluindo Qualquer acerto (bloquear ou sinalizar)), categoria, tipo de conteúdo (Publicações, Respostas, Blogs ou Eventos) e período.
  • Clique em uma linha para ver o modelo, os limites e as Pontuações por categoria. Limites antigos marca uma decisão tomada antes da última alteração dos limites.
  • Avalie uma decisão com polegar para cima (Decisão correta) ou polegar para baixo: Decisão errada (revertida) em um acerto, Devia ter sido pego em uma aprovação. Clique no seu voto de novo para retirá-lo. Avaliar exige Resolver casos de moderação. As decisões que você tomou em Conteúdo Pendente já estão avaliadas.
  • Taxa de reversão mostra com que frequência os acertos não deviam ter sido pegos, e Deixados passar, com que frequência as aprovações deviam ter sido pegas. Por categoria mostra as duas taxas por categoria: uma taxa de reversão alta significa que você deve aumentar aquele limite, e uma taxa de deixados passar alta, que deve diminuí-lo. Clique em Ajustar limites para alterá-los.
  • Os números contam as decisões Desde a última alteração dos limites. Mude para Todo o período para incluir as mais antigas.

O que saber sobre a moderação por IA

  • A moderação por IA verifica o título e o texto do corpo das publicações e respostas quando são criadas e quando são editadas, e dos artigos de blog e eventos quando são criados. Ela não verifica imagens, anexos nem vídeos.
  • O conteúdo dos administradores e moderadores da comunidade, e dos próprios administradores e moderadores do espaço, não é enviado à moderação por IA.
  • As regras de palavra-chave, regex e filtro de spam são configuradas separadamente. Veja Configurar regras de moderação automática.
  • A moderação por IA não consome a cota de IA do seu plano. Veja Entender o uso e os créditos de IA.

Artigos relacionados

Este guia foi útil?

Voltar aos guias

Não encontra o que precisa?

Se você é membro de uma comunidade, fale com os administradores dela. Se está criando ou gerenciando uma comunidade no Mateflow, nossa equipe pode ajudar.