Бизнес

Бывший сотрудник Facebook создал сервис модерации контента для эры ИИ

Бывший руководитель отдела бизнес‑целостности Facebook Бретт Левенсон основал стартап Moonbounce, который внедрил технологию «policy as code» для быстрой модерации пользовательского и AI‑сгенерированного контента. Компания получила $12 млн инвестиций в раунде, со‑ведомом Amplify Partners и StepStone Group.

Рост спроса на внешние, LLM‑поддерживаемые решения по безопасному управлению контентом свидетельствует об ускоряющейся интеграции ИИ в продукты и усиливающемся регуляторном давлении на разработчиков чат‑ботов и генераторов изображений.

Сигнал: рынок готов к масштабному внедрению таких технологий.

Левенсон ушёл из Apple в 2019 г., чтобы возглавить подразделение бизнес‑целостности в Facebook. Там он увидел, что модераторы успевают оценить контент только за 30 секунд и достигают точности около 50 %.

Что произошло

Этому опыту он посвятил идею «policy as code», которая привела к созданию Moonbounce. Стартап обучил собственную большую языковую модель разбирать политики заказчиков, оценивать контент в реальном времени и реагировать за 300 мс или быстрее, включая блокировку или замедление распространения.

Почему это важно

  • Сервис уже обрабатывает более 40 млн проверок в день и обслуживает более 100 млн активных пользователей.
  • Клиентами стали AI‑компаньоны Channel AI, генераторы изображений Civitai и платформы ролеплей Dippy AI и Moescape.
  • Технология помогает клиентам превращать безопасность в конкурентное преимущество: Tinder, например, улучшила точность детекции в 10 раз.

Что дальше

Moonbounce разрабатывает функцию «iterative steering», которая позволяет в реальном времени перенаправлять разговор чат‑бота в более безопасное русло. Эта возможность особенно актуальна после инцидента с 14‑летним подростком, пострадавшим от вредоносного диалога с ИИ.

Все материалы