Команда NovaSky з лабораторії Sky Computing Lab Каліфорнійського університету в Берклі зробила значний прорив у розробці моделей штучного інтелекту для міркувань. 10 січня дослідники випустили модель Sky-T1-32B-Preview, яка за низкою ключових тестів може конкурувати із версією o1 від OpenAI.
Що відомо про модель Sky-T1-32B-Preview
Sky-T1-32B стала однією з перших повністю відкритих моделей міркувань, яку можна відтворити з нуля. NovaSky надала повний набір навчальних даних та код для її створення. Унікальним досягненням є те, що навчання моделі обійшлося лише в 450 доларів.
Для порівняння, ще нещодавно вартість навчання подібних моделей сягала мільйонів доларів. Значне зниження витрат стало можливим завдяки використанню синтетичних навчальних даних, згенерованих іншими моделями штучного інтелекту.
Sky-T1 була навчена за допомогою моделі міркувань QwQ-32B-Preview від Alibaba, яка створила початкові навчальні дані. Команда NovaSky відібрала ці дані, рефакторувала їх у більш працездатний формат за допомогою GPT-4o mini і провела навчання Sky-T1. Навчання моделі з 32 мільярдами параметрів зайняло всього 19 годин на стійці з восьми графічних процесорів Nvidia H100.
Нова модель штучного інтелекту показала вищу ефективність, ніж попередній перегляд моделі o1 на тесті MATH500 та на наборі завдань з програмування LiveCodeBench. Однак Sky-T1 поступається моделі o1 на GPQA-Diamond – тесті, що оцінює знання фізики, хімії та біології на рівні PhD.