Компанія OpenAI з минулого року незадоволена частиною нових чіпів штучного інтелекту Nvidia та активно шукає альтернативи. Причина – зростаюча роль логічного виводу (inference). Тобто етапу, коли модель відповідає на запити користувачів, де ключовими стають швидкість і затримки.
Пошук нових чіпів
Nvidia зберігає домінування в навчанні великих моделей, але функція логічного виводу перетворюється на окреме поле конкуренції. Саме тут OpenAI бачить обмеження в чіпах компанії Nvidia, зокрема для задач програмування та взаємодії ШІ з іншим ПЗ. За словами джерел, стартапу потрібне нове обладнання, яке в перспективі покриватиме близько 10% її потреб у логічному виводі.
Пошук альтернатив збігся з переговорами між OpenAI та Nvidia. У вересні Nvidia заявляла про намір інвестувати до $100 млрд в OpenAI, однак угода затягнулася. За цей час компанія OpenAI уклала контракти з AMD та іншими виробниками. Зміна продуктового фокусу і вимог до обчислень також уповільнила переговори з Nvidia.
Гендиректор Nvidia Дженсен Хуанг публічно заперечив напруженість, назвавши повідомлення нісенітницею. У компанії заявили, що клієнти обирають Nvidia для логічного виводу через кращу продуктивність.
Водночас джерела кажуть, що OpenAI розглядала можливість співпраці зі стартапами Cerebras і Groq, які роблять ставку на чіпи з великим обсягом вбудованої пам’яті SRAM. Такий підхід може прискорювати відповіді чат-ботів.