Advantech представила платформу GenAI Studio для свого Edge AI SDK. Компанія прагне зробити великі мовні моделі (LLM) доступнішими для малого та середнього бізнесу та розробників, скорочуючи потребу в дорогих графічних процесорах.
Новий інструмент від Advantech
У відповідь на стрімке зростання попиту на локальні генеративні рішення компанія Advantech розробила GenAI Studio. Це платформа, яка спрощує інтеграцію LLM та знижує витрати на їх реалізацію. Завдяки рішенню без потреби кодування, компанії отримують можливість швидко інтегрувати штучний інтелект у свої бізнес-процеси, підвищуючи продуктивність і операційну ефективність.
GenAI Studio забезпечує інтеграцію як локальних, так і хмарних моделей штучного інтелекту, підтримуючи такі популярні платформи, як OpenAI, Gemini, Anthropic і Ollama. Водночас доступне тонке налаштування моделей оптимізоване під середовища з обмеженими ресурсами GPU, що дозволяє значно ширше впроваджувати ШІ-технології.
Особливу увагу в GenAI Studio приділено ефективному розподілу апаратних ресурсів. Поліпшене керування графічними процесорами та розумне планування завдань дають змогу максимально використовувати наявне обладнання, істотно підвищуючи його економічну віддачу.
Завдяки Edge AI SDK розробники тепер можуть провести тонке налаштування LLM з 70 мільярдами параметрів, використовуючи всього 4 GPU замість традиційних 30, що знижує витрати на 87%. Такий прорив робить штучний інтелект доступнішим для ширшого кола компаній.