Користувачів сервісу ChatGPT, які демонструють ознаки насильницького екстремізму, планують перенаправляти до спеціальних служб підтримки. Над таким інструментом працює новозеландський стартап ThroughLine.
Що відомо про новий інструмент
Ідея проста – якщо система фіксує тривожні сигнали в розмові, вона не просто блокує користувача, а пропонує допомогу через чат-бот або контакт із реальними фахівцями. Раніше ThroughLine вже використовували для роботи з іншими ризиками. Наприклад, із самопошкодженням, домашнім насильством і розладами харчової поведінки. Тепер компанія хоче розширити підхід і на тему екстремізму.
До проєкту може долучитися ініціатива The Christchurch Call, створена після теракту в Крайстчерч у 2019 році. Вона має допомогти з експертизою, тоді як ThroughLine відповідатиме за технічну частину.
Система працює так: якщо штучний інтелект виявляє ризиковану поведінку, користувача спрямовують до відповідної служби підтримки. У базі понад 1600 гарячих ліній у 180 країнах.
Розробники кажуть, що новий інструмент буде поєднувати автоматичні відповіді чат-бота і допомогу від людей. При цьому модель не покладається на стандартні навчальні дані великих мовних моделей, а використовує рекомендації експертів.
Водночас розробники визнають ризики. Надмірне блокування або жорстка модерація можуть мати зворотний ефект. Користувачі просто переходитимуть на менш контрольовані платформи, як-от Telegram.
Поки що інструмент перебуває на етапі тестування і точних термінів запуску немає. Розробники також ще вирішують, як діяти у випадках серйозної загрози: чи повідомляти про таких користувачів владу.