Groq AI е амбициозна стартъп компания, специализирана в разработването на ускорителни AI чипове, наречени езикови процесорни единици (LPU). Чипът им обещава до 10 пъти по-бърза работа от конвенционалните CPU и GPU при обработката на езикови модели.
В тази статия ще разберем дали тази технология ще бъде достатъчно революционна, за да застраши лидерството на OpenAI в областта на генеративните AI модели, където започнаха да “витаят” слуховете за ChatGPT 5.
Какво представлява Groq AI?
Groq AI е стартъп компания, основана през 2016 г. от група бивши инженери на Google, включително Джонатан Рос – един от създателите на популярния Tensor Processing Unit (TPU) на Google. Началната идея е била да се разработи специализиран чип, оптимизиран за ускоряване на езикови модели и AI задачи.
Технологията, върху която се фокусира Groq, са т.нар. езикови процесорни единици (LPU). Те използват специална функционално разделена архитектура, където паметта и изчислителните ядра са интегрирани, за да се подобри производителността и енергийната ефективност. Първото поколение LPU чипове постигат впечатляващата плътност от над 1 терафлопса на квадратен милиметър при тактова честота от 900 MHz. Второто поколение ще се произвежда по 4nm процес на Samsung за допълнително увеличаване на мощността.
Конкурентното предимство на Groq се крие именно в способността на LPU чиповете да обработват езикови модели до 10 пъти по-бързо от традиционните CPU и GPU процесори. Това позволява много по-бързо генериране на отговори от моделите, което от своя страна води до по-ниски разходи за изчислителни ресурси и крайна себестойност на инференцията. Именно тази производителност прави Groq сериозен конкурент на OpenAI в бъдеще.
Приложения и ограничения на Groq
Основните приложения, където Groq AI се очертава като подходящо решение, са високоскоростната AI кореспонденция, генерирането и изпълнението на програми в реално време, както и обработката на големи езикови модели над 70 милиарда параметъра. Впечатляващият пропускателен капацитет на LPU чиповете ги прави особено атрактивни за задачи, изискващи незабавни отговори от езиковите модели.
Groq успява да осигури разнообразна поддръжка на популярни езикови модели като Llama 3 в различните й варианти, Mixtral 8x7B SmoE база данни, както и Gemma 7B. Това разширява приложимостта на тяхната платформа за по-широк кръг от потребителски случаи и индустрии, засилвайки конкурентоспособността й.
Въпреки многобройните си предимства, технологията на Groq все още има някои ограничения. Потребителският интерфейс на платформата им за инференция не е така завършен и интуитивен като този на ChatGPT с GPT-4 модела. Освен това, има известна липса на прозрачност около възможностите и спецификите на LPU чиповете. Не на последно място, фокусът на Groq засега е изцяло върху етапа на инференция, без да адресира обучението на самите езикови модели.
В бъдеще обаче Groq планират да продължат усъвършенстването на LPU архитектурата за постигане на още по-високи нива на производителност, енергийна ефективност и мащабируемост. Компанията осъзнава предизвикателствата от нарастващите размери на моделите с около 2 пъти годишно и необходимостта от безпроблемна хардуерна интеграция на множество чипове при мащабиране. Крайната цел е LPU да се утвърди като алтернатива на GPU за AI приложения.
Модели и цени на Groq AI
Благодарение на мощните LPU процесори, Groq успява да постигне впечатляваща производителност при обработката на големи езикови модели като Llama 3, Mixtral 8x7B SmoE и Gemma 7B.
Освен висока скорост, Groq предлага и конкурентни цени за обработката на езиковите модели на своята платформа.
Сравнено с други облачни доставчици на AI инференция, Groq изисква по-малко общи изчислителни ресурси, за да постигне еквивалентен капацитет, което допълнително намалява крайните разходи. Нека да видим и “разбивка” на цената”
| Модел | Скорост | Цена за 1 млн. токена |
| Llama 3 70B | ~280 токена/сек | $0.59/$0.79 |
| Mixtral 8x7B | ~480 токена/сек | $0.27 |
| Llama 3 8B | ~870 токена/сек | $0.05/$0.10 |
| Gemma 7B | ~820 токена/сек | $0.10 |
Сравнение с OpenAI
Безспорно най-голямото предизвикателство пред Groq е да се наложи като алтернатива на доминиращите сили в сферата на генеративните езикови модели като OpenAI. С впечатляващата си производителност обаче, Groq вече се очертава като сериозен конкурент, дори и да не разполага със собствен модел от ранга на GPT-4.
Използвайки мощните LPU чипове за ускорена инференция, компанията може да комбинира големи открити езикови модели като Llama 3 и да предлага отговори в реално време, конкурентни по качество с GPT-4, но при значително по-ниски латентност и цена на обработка. Това може да се окаже ключов фактор за привличане на корпоративни клиенти и разработчици към екосистемата на Groq.
Предимството на Groq спрямо облачните доставчици на AI като Perplexity, DeepInfra, Lepton и други е комбинацията от висока производителност и ефективно ценообразуване. Платформата им осигурява по-висок пропускателен капацитет при сравнимо или по-ниско ниво на разходи за обработка на токени.
Ако ви допадна съдържанието, можете и да разгледате и няколко други наши статии: