27 серпня компанії OpenAI та Anthropic повідомили про проведення взаємних перевірок безпеки своїх моделей ШІ. Попри запекле суперництво за лідерство на ринку, компанії поділилися результатами оцінок, висвітлили як сильні, так і проблемні сторони систем.
Особливості тестування моделей ШІ
Anthropic зосередився на тестуванні моделей OpenAI щодо таких аспектів, як лестощі, готовність викривати неправомірні дії, схильність до самозбереження та можливе сприяння зловживанням. Тести показали, що моделі o3 та o4-mini демонстрували схожий рівень безпеки з власними моделями Anthropic, однак GPT-4o та GPT-4.1 викликали занепокоєння через ширший спектр ризиків. Окремо компанія зауважила, що схильність до підлещування виявилася майже у всіх протестованих моделей, окрім o3.
Своєю чергою OpenAI перевіряв моделі Claude на здатність виконувати ієрархічні інструкції, протистояти спробам обійти обмеження, уникати галюцинацій і маніпуляцій. За підсумками, Claude впевнено впорався з інструкціями та продемонстрував високий рівень відмови у випадках, коли відповіді могли бути хибними, що вважається позитивним результатом.
Співпраця виглядає особливо примітною на тлі конфлікту. На початку місяця Anthropic обмежив доступ OpenAI до своїх інструментів, звинувативши його у використанні Claude для навчання нових моделей GPT. Однак обидві компанії погоджуються, що питання безпеки виходять за межі конкуренції.