Підрядники, які працюють над вдосконаленням моделі штучного інтелекту Gemini від Google, оцінюють її продуктивність, порівнюючи відповіді з результатами моделі Claude від Anthropic. Ця інформація стала відомою з внутрішнього листування компанії.
Оцінка продуктивності Gemini
Випробування включають оцінку точності та якості відповідей Gemini та Claude за різними критеріями, такими як правдивість і багатослівність. Підрядники мають до 30 хвилин на запит, щоб визначити, яка з відповідей є кращою.
Порівняння висвітлило відмінності в налаштуваннях безпеки моделей. За словами підрядників, модель Claude демонструє вищий рівень безпеки. Наприклад, він відмовляється відповідати на небезпечні запити, такі як рольові сценарії з іншим ШІ. У деяких випадках Gemini надавав відповіді, які порушували політику безпеки чи мали заборонений контент.
Комерційні умови Anthropic забороняють використання Claude для навчання конкуруючих моделей ШІ або створення аналогічних продуктів без дозволу. Проте залишається незрозумілим, чи отримала Google дозвіл Anthropic на використання Claude у своїх тестах.
Шира Макнамара, представник Google DeepMind, яка керує розробкою Gemini, заявила, що моделі порівнюються виключно для оцінки, а не для навчання.