Кожні два роки в IT з’являється нова залізяка, яка «нарешті вирішить усі проблеми зі штучним інтелектом». Спочатку всі бігли купувати відеокарти. Потім почали шепотіти про нейропроцесори. Зараз уже хтось у кулуарах малює схеми з трьома літерами і обіцяє, що цього разу точно буде інакше. А правда, як завжди, прозаїчніша: CPU, GPU і NPU — це не магічні палички, а три зовсім різні інструменти з різними характерами, апетитами і межами. І якщо ти вибираєш не під задачу, а під хайп, то рано чи пізно опинишся з дорогою цеглиною, яка гріється, жере електрику і чомусь тупить. Давайте розберемося без маркетингового цукру, хто з них насправді на що здатен.
Генерал, армія і вузький спеціаліст
CPU — це той самий старий добрий генерал. Він робить майже все, але по черзі. Один-два, ну максимум шістнадцять потужних ядер, які думають глибоко і послідовно. Відкрити браузер, порахувати таблицю, запустити код, поговорити з базою — його стихія. Він не панікує від складних логічних гілок і умов. Зате коли треба перемолоти мільйони однакових операцій, CPU починає потіти і тихо матюкатися.
GPU — зовсім інша тварина. Тут ядер сотні або тисячі, але вони слабші й тупіші. Зате вони працюють паралельно, як натовп дешевих стажерів, котрі одночасно фарбують паркан. Саме тому відеокарти колись малювали ігри, а тепер раптом стали серцем усього машинного навчання. Матриці, згортки, градієнти — GPU просто їсть це на сніданок. Тренувати модель? Бери RTX чи H100 і сиди собі. Інференс теж летить, поки модель не надто велика.
Але є нюанс. GPU жере електрику, як голодний студент шаурму після лекції. І гріється. І коштує як хороший автомобіль, якщо дивитися на серверні варіанти. Я бачив, як хлопці купували 4090 «для роботи», а потім половина карти стояла в простої, бо їх пайплайн виявився bottleneck на CPU або диску. Класична помилка.
Тепер NPU. Нейронний процесор. Спеціалізована залізяка, яку виробники пхають у телефони, ноутбуки й навіть деякі сервери. Її робота — крутити нейронки якомога ефективніше. Менше ват, менше тепла, більше токенів на секунду. На папері звучить як мрія. На практиці… тут як пощастить.
У смартфонах NPU уже робить ураган: покращує фото в реальному часі, ганяє маленькі моделі для перекладу чи розпізнавання мови. У ноутбуках від Intel, AMD і Qualcomm вони теж з’явилися. Microsoft навіть зробила цілий Copilot+ PC навколо цієї ідеї. Але давайте без ілюзій. Поки що більшість «серйозного» AI-інференсу все одно летить на GPU. NPU працює добре там, де модель маленька, квантована і спеціально під нього підігнана. Спробуйте запхати туди щось серйозніше за 7–13B параметрів — і одразу відчуєте стелю.
Порівняння без маркетингового цукру
Порівняння виходить досить жорстке.
CPU — універсальний воїн. Повільний на масових обчисленнях, але незамінний для всього іншого. Без нього ні GPU, ні NPU навіть не запустяться нормально.
GPU — король паралелізму. Тренування великих моделей, рендеринг, наукові симуляції — його територія. Мінус: прожорливість і ціна. Плюс: екосистема CUDA все ще на голову вище за все інше, хоч і намагаються її здолати.
NPU — спеціалізований інструмент. Ефективний, тихий, енергоощадний. Ідеальний для edge-пристроїв і постійного фонового інференсу. Але поки що це більше маркетинговий коник, ніж універсальне рішення. Багато хто вже кричить, що «NPU замінить GPU». Я б на їхньому місці трохи приземлився. Історія з TPU від Google показує: спеціалізоване залізо круте, але тільки поки твоя задача ідеально лягає в його архітектуру.
Особисто я дивлюся на все це з легким цинізмом і недовірою. Кожні два роки з’являється новий акронім, який «змінить усе». Спочатку були GPU. Потім TPU. Тепер NPU, ще з’являться IPU, RPU і бог знає що. А правда проста: для важкого тренування як і раніше потрібні купи GPU. Для швидкого інференсу на телефоні — NPU. А CPU просто сидить і забезпечує, щоб цей цирк взагалі працював.
Де саме ламається магія
Найцікавіше починається, коли все це поєднують. Сучасні чипи вже вміють розкидати завдання. Щось на CPU, щось на GPU, щось на NPU. І якщо драйвери не криві (а вони часто криві), виходить непогано. Але поки що більшість людей просто ставить велику відеокарту і молиться, щоб вона не згоріла.
Візьмемо реальний сценарій. Запускаєш локальну модель на ноутбуці з NPU. Усе виглядає красиво в бенчмарках виробника: «50 токенів на секунду при 10 ватах». Потім відкриваєш свою улюблену бібліотеку, яка ще не вміє нормально говорити з цим NPU, і раптом половина обчислень знову падає на CPU. Або на інтегровану графіку. Або взагалі на диск, бо квантована модель не вмістилася в пам’ять. І ось ти сидиш, дивишся на 8 токенів на секунду і думаєш: «А де ж обіцяна революція?»
Те саме з GPU. Купив H100 чи навіть кілька. Підняв Kubernetes, налаштував оркестрацію, і раптом виявилося, що вузьке місце — не обчислення, а PCIe-шина, мережа між нодами або те, як швидко дані підтягуються з диска. Класичний випадок, коли залізо потужне, а софт і архітектура пайплайну відстають на два покоління.
CPU в цій історії часто грає роль «тихого героя, якого всі ігнорують». Поки всі бігають за терафлопами, саме процесор вирішує, чи зможе система взагалі нормально обслуговувати запити, чи буде черга з тисячі користувачів, котрі чекають, поки GPU звільниться. І якщо ти будуєш продакшн-сервіс, а не просто ганяєш бенчмарки, то слабкий або погано налаштований CPU може вбити всю красу.
Енергія, гроші і реальний ROI
Давайте поговоримо про те, про що маркетологи воліють мовчати. Електрика. Один сервер з кількома H100 може споживати стільки ж, скільки невеликий офіс. У дата-центрах уже рахують не тільки вартість карт, а й вартість охолодження, підключення до мережі та, зрештою, можливість взагалі отримати потужність від енергокомпанії. У деяких регіонах уже стоять черги на підключення нових потужностей.
NPU тут виглядає привабливіше. Він споживає в рази менше. Але є підступ. Якщо тобі треба обробити велику модель або багато запитів одночасно, тобі доведеться ставити купу NPU. І тоді сумарне споживання, ціна і складність системи починають наближатися до GPU-рішення. Тільки з меншою гнучкістю.
Ціна окремої історії. Споживчі 4090 ще відносно доступні. Серверні карти — це вже інша ліга. А NPU в телефонах і ноутбуках поки що «безкоштовний» бонус, бо його вартість розмазується по всьому пристрою. Коли ж з’являться серйозні серверні NPU-кластери за розумні гроші — питання відкрите.
Що буде далі (і чому хайп знову обдурить половину людей)
Коротко: CPU — мозок. GPU — армія. NPU — вузький спеціаліст з хорошою зарплатою і обмеженим кругозором. Вибирайте інструмент під задачу, а не під хайп. Інакше будете сидіти з дорогю цеглиною, яка «має» бути швидкою, але чомусь тупить. Поширена класика в IT.
Найближчі роки, швидше за все, пройдуть під знаком гібридних систем. Виробники будуть робити чипи, де CPU, GPU і NPU живуть на одній підкладці і вміють швидко перекидати дані один одному. Microsoft, Apple, Qualcomm, Intel і AMD уже грають у цю гру. Але софт поки що відстає. Драйвери, рантайми, фреймворки — усе це ще довго буде вузьким місцем.
Для більшості людей, які просто хочуть запускати локальні моделі, найрозумніше рішення зараз — потужний GPU + нормальний CPU + швидкий диск. NPU стане цікавим, коли екосистема дозріє. Коли більшість моделей будуть нормально квантовані під нього, коли бібліотеки будуть його підтримувати з коробки, і коли виробники перестануть брехати в бенчмарках.
А поки що спостерігаємо класичний цикл: новий акронім → хайп → купа грошей → розчарування → тиха робота над реальними покращеннями. Через два-три роки хтось знову винайде новий процесор і скаже, що тепер уже точно все зміниться. Ми посміхнемося і підемо перевіряти, чи не згорів наш старий добрий GPU.