4.5 секунды. За это время модератор должен открыть репорт, вникнуть в сленг, разглядеть свастику на размытом фоне фотографии в classified-объявлении и нажать кнопку. Реальность бьет больнее: на миллионах UGC-комментариев или в потоковом видео ручная очередь растягивается на часы. А штрафы за пропущенный экстремизм или наркотики прилетают моментально. Тема на столе жесткая. Сегодня разбирается модерация контента на ИИ для медиа и UGC: автомат отсекает запрещенку под РКН и не банит лишнее, работая на железе заказчика.
«Да проходили мы ваш ИИ. Он банит за слово "рулетка" в строительном магазине, зато пропускает наркошопы, потому что они пишут названия со скрытыми символами. Проще нанять двести студентов на сделку».
Армия асессоров — это линейное масштабирование костов. Маркетплейсы, соцплатформы и медиа захлебываются в объемах. Двести человек в штате начинают ошибаться на четвертом часу смены. Возникает классический паттерн: закручиваем гайки — получаем массовый false ban. Переблокировка выжигает лояльность. Пользователь, чей безобидный отзыв улетел в теневой бан, просто уходит к конкурентам. Отпускаем гайки — получаем предписание надзорных органов. Третьего не дано. Либо вы платите штрафы, либо сжигаете репутацию, либо строите собственную ML-инфраструктуру.
Высоконагруженные foundation-модели против облачных API
«Ладно, прикрутим популярную LLM по API. Промпт напишем — пусть фильтрует».
Внешнее API выпотрошит ваш бюджет за первую неделю. Десять тысяч запросов в секунду на UGC-текстах. Посчитайте токены. Прибавьте сетевой latency. Прибавьте факт передачи сырых пользовательских данных стороннему вендору. В энтерпрайзе так не делают. Стек модерации — это каскад узких, быстрых моделей, развернутых в вашем контуре. На входе стоят легковесные текстовые классификаторы, часто дистиллированные из тяжелых архитектур. Их задача — за миллисекунды отбить 95% очевидного спама и мата. Изображения летят в vision-трансформеры, видео бьется на кадры и прогоняется через темпоральные сети. Параллельными контурами работает детекция маркировок рекламы и идентификация дипфейков. И вот здесь облачные решения уступают место суровой инженерии. Это реалтайм. Это high-load-foundation-models. Модели обязаны отдавать ответ за 20-30 миллисекунд.
def route_content(text_payload, image_bytes):
text_risk = text_clf.predict(text_payload).get('rkn_violation', 0.0)
vision_risk = vision_clf.predict(image_bytes).get('nsfw', 0.0)
max_risk = max(text_risk, vision_risk)
if max_risk > 0.85:
return "AUTO_BAN"
elif 0.40 < max_risk <= 0.85:
return "HUMAN_REVIEW_QUEUE"
return "PUBLISH"«Но законы меняются. Ваш ИИ не видит контекста. Завтра мем станет уголовной статьей».
Здесь скептик абсолютно прав. Контекст меняется. Законодательство о запрещенном контенте нестабильно и ситуативно. Трансформер не читает утренние сводки новостей. А адверсариал-обходы — это непрерывная гонка вооружений. Злоумышленники используют zero-width пробелы, подмену кириллицы на латиницу, стеганографию, хитро вшитые QR-коды и наложение adversarial-шума на картинки. Попытка решить сто процентов проблем одной автоматикой ведет прямо в стену. Честный трейд-офф выглядит иначе: ИИ не заменяет человека, он очищает его стол от рутины. Модель возвращает не бинарный ответ, а вектор вероятностей по десяткам категорий. Очевидный спам сносится мгновенно. То, что попадает в серую зону, уходит в очередь приоритизации. Когда мы в MoranaLabs проектировали пайплайны модерации для платформ, стало очевидно: human-in-the-loop — единственная рабочая архитектура для пограничных кейсов. Механизм обязан маршрутизировать сомнительный контент так, чтобы он падал на экран модератору за секунды, отсортированный по уровню риска. Человек разбирает только сложный контекст. Его финальный вердикт не просто пускает пост в паблик, он автоматически уходит в датасет для дообучения классификатора. Цикл замыкается.
Метрики: precision, recall и false ban rate
Как понять, что этот механизм работает, а не гоняет теплый воздух кулерами серверов? Отбросить средние значения по больнице. Метрики precision и recall считаются строго по категориям. На детскую порнографию, призывы к суициду или продажу наркотиков recall должен стремиться к ста процентам. Система обязана параноить. В этих категориях мы готовы уронить precision и отправить тысячу подозрительных, но безобидных фотографий на ручную проверку, лишь бы не пропустить одно реальное нарушение и не получить блокировку домена. На мате или агрессии мы, наоборот, максимизируем precision. Фолс-позитивы в легких категориях убивают retention. Скорость премодерации измеряется исключительно по перцентилю p99, а не по среднему времени ответа. Пользователю абсолютно плевать на средний пинг, он видит зависший интерфейс приложения прямо сейчас. Скорость. Жесткий скорринг. Грамотный отсев. Бездушная машина делает черновую работу, живые люди принимают решения на краях распределения. Никакой магии, только профилирование инференса и холодный расчет.