Компанія MLCommons, відома своїми проєктами з розробки бенчмарків для ШІ-індустрії, оголосила про випуск нового інструменту, спрямованого на оцінку безпеки ШІ-систем.
Інструмент, відомий як AI Safety v0.5, розроблений на етапі proof-of-concept і призначений для оцінки великих мовних моделей (LLM), які використовуються в сучасних чат-ботах. Основна мета – аналізувати відповіді системи на запити з “небезпечних категорій” з метою виявлення потенційних загроз.
Технологія широко використовується в різних цілях, включаючи підготовку фішингових атак, поширення дезінформації та навіть скоєння кіберзлочинів. MLCommons відзначає, що виміряти безпеку таких систем складно, але дуже важливо.
AI Safety v0.5 включає понад 43 тисячі тестових запитів, що дозволяє класифікувати загрози на різні рівні, зрозумілі навіть для непрофесіоналів. Інструмент буде корисним як для виявлення відомих небезпек, так і для виявлення нових, які можуть виникнути в майбутньому.
MLCommons зазначає, що випуск AI Safety v0.5 – лише перший крок у розробці таких інструментів. Вони сподіваються на отримання відгуків від спільноти для випуску покращеної версії v1.0 цього року.