Робота з великими мовними моделями часто нагадує гру в темряві: система видає результат, але зрозуміти, чому саме вона так вирішила, складно. Галюцинації, дивні відповіді чи упередженість – усе це наслідок того, що нейромережі з мільярдами параметрів залишаються цифровими скриньками Пандори.
Модель ШІ від Guide Labs
Стартап Guide Labs із Сан-Франциско запропонував інший підхід. Компанія відкрила код моделі Steerling-8B з 8 мільярдами параметрів. Її особливість у тому, що кожен згенерований токен можна простежити до джерела в навчальних даних. Тобто розробники можуть бачити, звідки модель взяла конкретний факт або концепцію.
Генеральний директор компанії Джуліус Адебайо почав працювати над цією ідеєю ще під час навчання в Массачусетському технологічному інституті. Разом із командою він запропонував додати до архітектури моделі спеціальний концептуальний шар, який групує дані в відстежувані категорії. Це вимагає більшої попередньої анотації, але дозволяє керувати тим, як модель використовує знання.
У компанії стверджують, що Steerling-8B досягає близько 90% можливостей сучасних передових моделей штучного інтелекту, використовуючи менше даних. Такий підхід може бути корисним у фінансах, медицині чи наукових дослідженнях, де важливо розуміти логіку рішень алгоритму.