Проблеми з модерацією контенту в соціальних мережах виявилися значно глибшими, ніж здавалося кілька років тому. Про це говорить досвід одного з керівників компанії Meta, який тепер намагається змінити підхід до безпеки.
Хто такий Бретт Левенсон
Бретт Левенсон прийшов у Facebook після роботи в Apple у 2019 році. Саме тоді, коли компанія переживала наслідки скандалу Cambridge Analytica scandal. Спочатку він вважав, що проблему модерації можна вирішити технологіями. Але реальність виявилася іншою.
За його словами, модератори працювали майже наосліп. Їм давали 40-сторінкові правила (часто з машинним перекладом) і близько 30 секунд на рішення щодо кожного поста. У результаті точність таких перевірок була трохи вищою за 50%.
Головна проблема – затримка. Контент перевіряли вже після того, як він встиг нашкодити. У світі, де з’явилися генеративні моделі штучного інтелекту та чат-боти, цей підхід перестав працювати. Відомі випадки, коли боти давали підліткам небезпечні поради або обходили фільтри безпеки.
Стартап Moonbounce
Цей досвід підштовхнув Левенсона створити стартап Moonbounce. Компанія пропонує інший підхід – так звану політику як код. Замість статичних правил система працює в реальному часі: аналізує контент ще до публікації, приймає рішення за частки секунди і може одразу обмежити або заблокувати небезпечний матеріал.
Moonbounce вже обробляє десятки мільйонів запитів щодня і працює з платформами, де контент створюють користувачі або ШІ. Клієнти використовують систему по-різному: десь вона просто сповільнює поширення контенту до перевірки людиною, а десь блокує його одразу. За словами компанії, такий підхід може значно підвищити точність модерації.
Окремий напрям – робота з чат-ботами. Замість жорсткої заборони система може втручатися в діалог і змінювати його напрямок, щоб уникнути небезпечних тем. Ідея в тому, щоб не просто відрізати відповідь, а коригувати поведінку штучного інтелекту в процесі.