Компанія OpenAI повідомила про придбання стартапу Promptfoo, який спеціалізується на безпеці систем штучного інтелекту. Компанію створили у 2024 році для розробки інструментів, що допомагають знаходити вразливості у великих мовних моделях.
Після завершення угоди технології Promptfoo планують інтегрувати у платформу OpenAI Frontier. Це корпоративне середовище для створення та запуску агентів штучного інтелекту. Фінансові деталі угоди не розкриваються.
Захист ШІ
Інтерес до автономних агентів штучного інтелекту швидко зростає. Такі системи здатні самостійно виконувати різноманітні цифрові завдання: від обробки документів до управління складними робочими процесами. Бізнес розглядає їх як інструмент підвищення продуктивності. Водночас поширення таких технологій створює нові ризики. Зловмисники можуть намагатися отримати доступ до конфіденційних даних або маніпулювати автоматизованими системами.
Саме на ці проблеми орієнтується Promptfoo. Стартап заснували Ієн Вебстер та Міхаель д’Анжело. Компанія розробляє інструменти для тестування безпеки великих мовних моделей. До них входять спеціальний інтерфейс, а також бібліотека з відкритим кодом, яку можна використовувати для перевірки систем на потенційні уразливості.
За даними компанії, її рішення застосовують понад 25% підприємств зі списку Fortune 500.