Стартап Memories.ai повідомив про партнерство з компанією Nvidia для розробки системи, яка дозволяє штучному інтелекту запам’ятовувати відео з реального світу. Йдеться про створення так званого візуального шару пам’яті для носимих пристроїв і робототехніки.
Візуальна пам’ять від ШІ
Засновник компанії Шон Шен вважає, що без здатності запам’ятовувати побачене ШІ не зможе ефективно працювати у фізичному середовищі. За його словами, сучасні системи добре обробляють текст, але цього недостатньо для взаємодії з реальним світом.
У межах співпраці Memories.ai використовує рішення Nvidia – модель Cosmos-Reason 2 для поєднання зору і мислення, а також платформу Nvidia Metropolis для аналізу відео. Це дозволяє не лише записувати дані, а й структурувати їх для подальшого пошуку та використання.
Ідея проєкту виникла під час роботи засновників над системою штучного інтелекту для розумних окулярів Ray-Ban Meta smart glasses. Тоді вони зіткнулися з проблемою, коли пристрої можуть записувати відео, однак не здатні ефективно його використовувати.
Компанію заснували у 2024 році після виходу команди з Meta. З того часу вона залучила 16 млн доларів інвестицій. Основний продукт стартапу – модель великої візуальної пам’яті (LVMM), яка індексує відео та дозволяє швидко знаходити потрібні фрагменти.