커뮤니티를 위한 AI 모더레이션: 무엇을 자동화할 것인가 (2026)

AI 모더레이션은 물량 처리에는 아주 뛰어나지만 판단에는 아주 약하며, 운영자가 저지르는 실수는 거의 대부분 이 둘을 혼동하는 데서 나옵니다. 새벽 3시에 올라온 글까지 전부 읽어 줍니다. 하지만 오래된 단골 회원이 잔인하게 군 것인지 그저 직설적이었던 것인지는 알려 주지 못합니다.

이 구분을 염두에 두고 설정하면 모더레이션에서 지루한 절반은 대부분 사라집니다. 모더레이터의 대체재로 설정하면, 자신감 있고 깔끔하게 정리된 잘못된 결정을 대량으로 쏟아냅니다.

실제로 무엇인가

이 표현 뒤에는 보통 서로 다른 두 가지 메커니즘이 있고, 둘은 실패하는 방식이 다릅니다.

규칙은 결정론적입니다. 키워드, 패턴, 스팸 신호에 걸리거나 걸리지 않거나 둘 중 하나여서 동작을 이해하기 쉽지만, 작정하고 피하려는 사람에게는 아주 쉽게 우회됩니다. 분류는 괴롭힘이나 자해 같은 카테고리를 기준으로 콘텐츠에 점수를 매기는 모델로, 판정이 아니라 확률을 돌려줍니다.

둘 다 모더레이터는 아닙니다. 둘 다 후보를 만들어 낼 뿐이고, 후보는 결정이 아닙니다. 이것이 설계의 핵심 문제이며, 이 글의 나머지가 대부분 플래그가 붙은 뒤에 무슨 일이 일어나는지를 다루는 이유이기도 합니다.

확실히 제 몫을 하는 영역

세 가지 일입니다. 하나같이 지루한 축에 드는 일이고, 바로 그래서 넘겨 버리는 가치가 큽니다.

물량. 스팸, 사기 링크, 그리고 아홉 개 스페이스에 똑같이 뿌려진 코인 홍보 글. 맥락이 거의 필요 없는 확신도 높은 작업이고, 어쩌다 틀려도 손해가 거의 없으며, 실제로 들어오는 것의 대부분이 이런 것들입니다.

커버리지. 커뮤니티는 밤에도 주말에도 멈추지 않지만, 작은 팀이 그것을 계속 지켜볼 수는 없습니다. 아무도 깨어 있지 않은 시간의 1차 분류는 진짜 가치입니다. 콘텐츠는 여전히 사람이 보게 되고, 다만 조금 늦게 볼 뿐입니다.

명백한 사안에서의 일관성. 사람은 피곤할 때 다르게 판단하고, 개인적으로 싫어하는 상대에게는 또 다르게 판단합니다. 규칙은 그렇지 않습니다. 애매하지 않은 사안이라면 그 균일함은 장점이고, 이는 커뮤니티 자동화하기에서 편 논지와 같습니다. 잡음을 자동화하라는 것입니다.

믿기 어렵고, 앞으로도 믿기 어려운 영역

이 실패들은 다음 분기에 패치될 버그가 아닙니다. 문제 자체의 속성입니다.

맥락. 같은 문장이라도 오래된 회원 둘 사이에서는 친근하고, 낯선 사람이 쓰면 적대적입니다. 게시물 하나만 놓고 점수를 매기는 모델은, 여러분에게는 그 차이를 자명하게 만들어 주는 여덟 달치 히스토리를 볼 수 없습니다.

내부자 언어. 당사자들이 되찾아 쓰는 멸칭, 같은 질환을 겪는 사람들 사이의 블랙 유머, 일부 직군 특유의 무뚝뚝한 말투는 하나같이 점수가 나쁘게 나옵니다. 플래그가 붙기 쉬운 사람들이 모인 커뮤니티일수록 잘못 플래그될 가능성이 높은데, 이는 정확성 이전에 공정성의 문제입니다.

위기 신호. 힘든 상황에 놓인 회원은 규칙 위반처럼 보이는 말투로 글을 씁니다. 그런 글은 빠르게 사람에게 닿아야 하며, 이것이 자동 삭제에 반대하는 가장 강력한 근거입니다. 그런 글을 가려내는 문제는 까다로운 커뮤니티 회원 대응하기에서 다룹니다.

플래그, 숨김, 삭제 — 규칙마다 따로 고르기

대부분의 플랫폼은 자동 규칙이 매치됐을 때 취할 조치로 세 가지 중 하나를 고르게 합니다. 전부 같은 조치로 통일해 버리는 것이 흔한 실수입니다.

삭제는 아주 짧은 목록에만 허용해야 합니다. 기준은 그 항목을 영영 보지 못해도 괜찮은가입니다. 코인 스팸 링크는 그렇지만, 실제 회원이 쓴 글은 언뜻 보기에 나빠 보이는 글까지 포함해 거의 전부 그렇지 않습니다.

Mateflow에서는 자동 규칙이 키워드, 패턴 또는 스팸 신호에 매치되고, 각 규칙이 플래그, 숨김, 삭제 중 무엇을 할지 저마다 정합니다. 그래서 파괴적인 선택지는 정말 필요한 자리에만 두고, 나머지 규칙에는 강요되지 않습니다.

진짜 제품은 검토 큐입니다

중요한 것은 모델이 점수를 얼마나 잘 매기느냐가 아닙니다. 플래그와 결정 사이에서 무슨 일이 일어나느냐입니다.

안전한 기본값은, 사람이 조치를 취하기 전까지 플래그된 콘텐츠가 계속 노출된 상태로 남는 것입니다. 그렇지 않다면 오탐 하나가 회원의 글을 소리 없이 치워 버리고, 회원은 글이 사라진 것을 눈치채고서야 그 사실을 알게 됩니다. 잘못한 것도 없고 불평도 하지 않은 사람들을 잃는 방식이 바로 이것입니다.

Mateflow는 이렇게 동작합니다. AI나 규칙이 의심스럽다고 표시한 항목은 검토 큐로 들어가고, 누군가 그대로 두거나 내리기로 결정할 때까지 회원들에게 계속 노출된 상태로 남습니다. 처리는 개별로도, 일괄로도 할 수 있습니다. 플래그는 주의를 요청하는 신호이지 선고가 아닙니다.

그 실질적인 결과는, AI 모더레이션이 모더레이터의 필요를 없애는 것이 아니라 그들의 일을 바꾼다는 점입니다. 문제를 찾아 스크롤하는 시간은 줄고, 올라온 건을 두고 판단하는 시간이 늘어납니다. 자원봉사 모더레이터 모집하기에서 이야기했듯, 그편이 더 나은 일이고 사람을 구하기도 더 쉽습니다.

회원들이 눈치 보며 속삭이게 만들지 않는 임계값 조정

임계값은 얼마나 많이 플래그될지를 결정하는데, 양쪽 방향 모두 대가가 있습니다.

너무 느슨하면 큐가 별것 아닌 항목들로 가득 차고, 모더레이터는 읽지도 않고 비우기 시작하며, 시스템 전체가 조용히 장식품이 됩니다. 아무도 신뢰하지 않는 큐는 큐가 아예 없는 것보다 나쁩니다. 부주의를 절차인 것처럼 포장해 주기 때문입니다.

너무 빡빡하면 회원들은 평범한 글도 걸린다는 것을 학습합니다. 여러분 눈에 보이지 않는 방식으로 자기검열을 시작하고, 아무도 문제를 신고하지 않은 채 커뮤니티는 점점 밋밋해집니다. Mateflow에서는 카테고리와 각 임계값을 설정할 수 있고, 전체 스위치는 설정(Settings)의 콘텐츠 안전(Content Safety)에 있습니다. 한번 정해 두고 마는 설정이 아니라, 여러분이 계속 조정해 가라고 만들어 둔 다이얼입니다.

느슨하게 시작해서, 2주 동안 큐를 읽어 보고, 거기서 얻은 근거로 조여 가세요. 알맞은 임계값은 큐를 비우는 모더레이터가 여전히 항목을 하나하나 읽고 있는 수준입니다.

회원들에게 이 사실을 알리세요

알리지 않은 자동 모더레이션은 커뮤니티가 나쁜 의도로 읽히는 가장 빠른 길입니다.

커뮤니티 행동 규범에 일부 콘텐츠는 자동으로 검사된다는 점, 최종 판단은 사람이 내린다는 점, 그리고 결정에 이의를 제기하는 방법을 분명하게 적어 두세요. 이의 제기 경로는 배려가 아니라, 이 구조 전체를 정당하게 만들어 주는 장치입니다. Mateflow는 이의 제기를 별도의 큐로 관리해서, 그것이 다이렉트 메시지 속으로 사라지지 않게 합니다.

사람이 내린 결정을 시스템이 내렸다고 말해서는 절대 안 되고, 스스로 내린 판단을 모델 뒤에 숨겨서도 안 됩니다. 회원들은 자동화된 실수는 선선히 용서하지만, 책임진 사람이 아무도 없다는 말은 용서하지 않습니다. 그 기준은 온라인 커뮤니티 모더레이션하는 법에 정리해 두었습니다.

결론

탐지는 자동화하고, 판단은 사람이 쥐고 있으세요. 자동 제거는 영영 보고 싶지 않은 콘텐츠에만 남겨 두고, 판단이 필요한 것은 전부 플래그하고, 검토 큐를 반드시 제대로 굴러가야 하는 부분으로 다루세요.

회원이 수백 명을 넘어선 커뮤니티라면 거의 대부분 AI 모더레이션을 갖춰 둘 만합니다. 그리고 잘못되는 설정은 언제나 AI에게 결정까지 맡겨 버린 설정입니다. 커뮤니티에서 AI가 어디에 어울리고 어디에 어울리지 않는지는 커뮤니티에서 AI 활용하는 법을 참고하세요.