Google представила нову архітектуру нейронних мереж під назвою Titans, яка покликана значно полегшити обробку великих обсягів даних і забезпечити системам машинного навчання можливість зберігати інформацію на тривалий термін, подібно до людської пам’яті.
Розробка Titans ведеться командою фахівців компанії під керівництвом Алі Бехруза, Пейліна Чжуна та Вахаба Міррокні, повідомляє Бухруз у соціальній мережі X.
Основною метою цієї архітектури є об’єднання короткочасної та довготривалої пам’яті в одній моделі, що дозволяє вирішити обмеження традиційних нейронних мереж. Дослідники зазначають, що Titans показують відмінні результати в таких сферах, як мовне моделювання, аналіз часових рядів, геноміка та виконання логічних завдань, що вимагають довготривалого запам’ятовування.
Унікальність Titans полягає в здатності працювати з мільйонами даних без втрати точності, завдяки спеціально розробленому механізму пам’яті, який визначає, які відомості потрібно зберігати, а які можна забути. Цей підхід аналогічний тому, як функціонує людська пам’ять, де є короткочасна пам’ять для поточної ситуації і довготривала пам’ять для збереження складніших спогадів.
Для різноманітних завдань компанія Google розробила три варіанти Titans: MAC (Memory as Context), MAG (Memory as Gating) і MAL (Memory as a Layer). Кожен із цих варіантів вирішує конкретне завдання збереження та використання пам’яті. Згідно з заявами розробників, в деяких тестах Titans показали кращі результати порівняно з класичними і сучасними архітектурами, зокрема у завданнях, що вимагають складної логіки і довгого контексту.
Наприклад, чат-бот ChatGPT має обмеження на кількість контекстних токенів, зокрема 4 тисячі, що дозволяє аналізувати лише кілька тисяч слів за одну сесію. Натомість Titans можуть обробляти до 2 мільйонів токенів, що дозволяє аналізувати навіть ціле книги.