2024년 2월, Groq의 CEO 조나단 로스는 노르웨이 오슬로에서 열린 행사에 참석하였다. 이 자리에는 노르웨이 의회 의원들과 여러 기술 기업의 경영진이 모였다. 로스는 즉각적으로 질문에 답변할 수 있는 혁신적인 AI 챗봇을 선보였으나, 발표는 예상과 다르게 진행되었다. 챗봇의 속도가 기대에 미치지 못해 로스는 걱정하게 되었고, 이 AI는 유럽에 위치한 데이터 센터에서 Groq 칩으로 운영되고 있었다. 로스는 포브스와의 인터뷰에서 “나는 계속해서 수치를 확인하고 있었다. 사람들은 내가 왜 이렇게 집중하지 못하는지 이해하지 못했다”고 말했다. 그 후 드러난 “범인”은 챗봇에 몰려든 신규 사용자 수였다. 발표 하루 전, 한 개발자가 X에 “초고속 AI 응답 도구”를 공유하면서 Groq 서버에 대량의 트래픽이 몰려 시스템이 과부하되었다.
CNBC에 따르면, 엔비디아는 Groq를 200억 달러에 인수하는 과정을 진행 중이다. Groq의 블로그 공지에 따르면, 이는 비독점 계약으로, 엔비디아는 Groq의 기술 사용 권한만을 취득하고 전체 회사를 인수하지 않으며, Groq는 새로운 CEO와 함께 독립적으로 계속 운영될 수 있다. 로스와 회장인 써니 마드라 및 다른 고위 경영진은 엔비디아에 합류하여 “허가된 기술을 발전시키고 확장하는 데 도움을 줄 것”이라고 밝혔다.
Groq 칩의 강력함이 드러난 것은 2024년 초 소셜 미디어에서 챗봇이 사용자의 질문에 초고속으로 답변하는 동영상이 공개되면서였다. Groq는 엔비디아, AMD, 인텔과 같은 대형 기업에 도전할 수 있는 잠재력을 지닌 것으로 예상되었고, 새로운 AI 애플리케이션과 모델을 위한 길을 열었으며 AI 경쟁을 가속화했다. 로이터에 따르면, 엔비디아의 AI 훈련 칩은 GPU 아키텍처를 활용하는 반면, Groq는 완전한 맞춤형 칩 아키텍처인 언어 처리 장치(LPU)를 구축하여 결정적 추론과 단일 토큰 처리를 최적화하고 있다. 각 LPU의 가격은 20,000달러로, 엔비디아의 A100 GPU와 비슷한 수준이다.
AI 하드웨어 성능을 평가하는 방법 중 하나는 LLM 모델을 실행할 때 초당 생성하는 토큰 수(tps)이다. 이는 자연어 처리 능력을 반영하는 중요한 지표로, tps가 많을수록 AI의 반응이 더 빠르고 원활하다. 지난 5월, 인도 기술 전문가 프라티시트 아이야파는 Medium에 Groq와 엔비디아 H100 칩을 비교한 분석을 발표하며 몇 가지 차이점을 지적했다. Groq 칩은 결정적 모드에서 각 토큰을 처리하는 반면, 엔비디아 칩은 확률적 모드에서 배치 방식으로 처리한다. Groq는 약 300-500 tps와 1-2 ms의 지연을 제공하며, 엔비디아 칩은 60-100 tps와 8-10 ms의 지연을 기록한다. Groq의 자체 실험에 따르면, Llama 2 모델을 700억 개의 매개변수로 실행할 때 토큰 생성 속도가 241 tps에 달하며, 이는 시장의 다른 많은 서비스보다 두 배 이상 빠르다. 아이야파는 “지연이 사용자 경험에 병목 현상을 일으킬 경우, Groq의 이점이 극대화된다”고 평가했다.
엔비디아의 GPU는 AI 분야에서 훈련과 추론 모두에 있어 강력한 병렬 아키텍처와 Cuda 및 TensorRT와 같은 풍부한 소프트웨어 생태계 덕분에 표준으로 여겨진다. 반면, Groq의 LPU 칩은 현재 대부분의 대형 언어 모델을 실행할 수 있다. 그러나 이 칩은 텍스트 시퀀스 추론 작업에서 최대 성능을 발휘하며, 모델 훈련을 위해서는 여전히 엔비디아의 GPU 또는 유사한 칩이 필요하다.
아이야파에 따르면, Groq의 접근 방식은 AI 분야에서 “승리”하려는 것이 아니라, 엔비디아가 효율적으로 운영하지 못하는 고부가가치의 세분화된 시장을 목표로 하고 있다. 이 제품은 모든 요구 사항을 충족하려고 하지 않고, 빠르고 정확한 추론 도구를 구축하고 이를 필요로 하는 그룹에 제공하는 데 집중하고 있다. 실제로, 2024년 2분기 Groq는 다양한 대기업 및 국가 기관과 조용히 계약을 체결하였으며, 주로 실시간 전사, 산업 로봇, 국방 수준의 AI, 의료 분야에서 사용되고 있다. Groq의 고객에는 메타, 미국의 아르곤 국립 연구소, 사우디 아라비아의 아람코 디지털 등이 포함된다.
“Groq의 하드웨어와 통합된 컴파일러 기능은 엔비디아나 AWS의 솔루션을 사용할 때 우리가 도달할 수 없는 속도로 제품을 제공할 수 있게 한다”고 미국의 한 AI 회사 기술 이사가 CNBC에 말했다. “Groq 칩은 실제로 치명적인 약점을 겨냥하고 있다”고 얀 르쿤이 작년에 평가했다.
조나단 로스는 언론에 잘 나타나지 않는 조용한 인물이다. LinkedIn 프로필에 따르면, 그는 뉴욕 대학교의 코란트 수학 과학 연구소에서 수학과 컴퓨터 과학을 전공하였다. Groq의 소개 페이지에 따르면, 로스는 AI의 대부로 불리는 얀 르쿤의 제자 중 한 명이다. 2006년부터 2008년까지 그는 뉴욕 대학교에서 박사 과정을 밟았으나 중간에 중단하였다. 2009년부터 그는 기술 서비스 제공업체인 Pacmid의 R&D 부서 책임자를 맡았다.
2011년 로스는 구글에 합류하였고, 소프트웨어 엔지니어로서 분산 시스템 테스트 프레임워크를 만들었다. 이는 구글의 텐서 처리 장치(TPU)의 초기 기반을 구축하는 중요한 요소 중 하나였다. TPU는 구글이 개발한 특정 응용 프로그램을 위한 전용 집적 회로(ASIC)로, 머신 러닝 작업의 속도를 높이는 데 사용된다. 2013년부터 2015년까지 그는 TPU에 집중하며 첫 번째 세대 칩의 핵심 요소를 설계하고 구현하였고, 이후 구글 X의 신속 평가 팀에 합류하여 알파벳의 새로운 프로젝트를 설계하고 발전시켰다.
구글에 재직하는 동안 로스는 “추론” 전용 칩을 설계하고자 하였고, AI가 학습한 내용을 새로운 상황에 적용하여 사고하고 추론하는 능력을 시뮬레이션하는 것을 목표로 하였다. 예를 들어, 스마트폰이 이전에 본 적 없는 사진을 통해 코기 개를 인식할 수 있는 것이다. 이는 당시 전문가들이 거대한 모델을 처음부터 훈련해야 한다고 생각했던 것과는 다르다. 2016년 로스와 동료 더그 와이트먼은 구글을 떠나 Groq를 설립하고 LPU 칩을 개발하였다. 와이트먼은 2년 동안 CEO로 재직한 후 로스가 인수하였다. 같은 해, 회사는 벤처 캐피탈 사회적 자본의 주도로 첫 번째 1천만 달러를 모금하였다.
이후 몇 년 동안 Groq는 큰 주목을 받지 못했고, 와이트먼은 회사를 떠났다. 한 벤처 투자자는 “장기적인 잠재력이 없다”며 자금 조달 제안을 거절했다. Lambda의 클라우드 컴퓨팅 부서를 이끌고 있는 미테시 아가왈은 “현재로서는 엔비디아를 넘어서는 것을 생각하기가 매우 어렵다”며 Groq 칩을 사용하고 싶지 않다고 말했다. 로스는 지난해 포브스와의 인터뷰에서 “Groq는 여러 번 죽을 뻔했다. 아마도 우리는 너무 일찍 시작했을 것이다”라고 회상했다.
그럼에도 불구하고, 회사는 이후 여러 차례 자금을 모았다. 2021년 시리즈 C 라운드에서 3억 달러를 모금하였고, 10억 달러 이상의 가치를 지니며 유니콘 기업이 되었다. 2022년 말, OpenAI가 ChatGPT를 출시하면서 전 세계 AI 열풍이 시작되었지만, Groq는 여전히 운이 따르지 않았다. 2023년 재무 보고서에 따르면, 회사의 수익은 340만 달러였으나 순손실은 8,830만 달러에 달했다.
2024년 초, 고급 계산 성능의 수요가 증가하며 AI 반도체 분야는 분화가 시작되었다. CNBC에 따르면, 엔비디아가 칩 계산 시장을 지배하는 상황에서 다른 기업들은 TPU, FPGA(프로그래머블 로직 소자), 신경망 시뮬레이션 칩 등과 같은 전용 역할을 수행하기 위해 각자의 길을 걷기 시작했다. Groq 칩은 초저지연 작업을 위해 특별히 설계되었다. 이는 2024년 8월 자금 조달 라운드에서 성공을 거두어 6억 4천만 달러를 모금하고 28억 달러로 평가되도록 도왔다.
9월에는 Groq가 7억 5천만 달러를 추가로 모금하며 69억 달러로 평가되었다. 그러나 회사의 여정은 현재 새로운 방향으로 나아가고 있으며, 가장 핵심 기술과 주요 인력이 엔비디아에게 200억 달러의 거래를 통해 넘어가게 되었다. 전문가들은 이 거래가 마지막 단계인 규제 기관의 승인을 받아야 한다고 지적하고 있다. “여기서의 위험은 독점 금지 문제”라고 번스타인의 분석가 스테이시 라스곤이 블로그에 적었다.
로스는 여전히 평소처럼 침묵을 지키고 있다. 지난해 그는 타임지의 AI 100 리스트에 선정되었을 때 “혁신적인 기업에 항상 자리가 있다”고 말했다. “수요는 매우 크다. AI 칩이 더 저렴해지면 사람들은 더 많이 구매할 것”이라고 덧붙였다.