AI의 열풍이 Nvidia를 그래픽 처리 장치(GPU) 제조업체에서 인공지능 분야의 선두주자로 변모시켰습니다. Business Insider에 따르면, Nvidia의 GPU는 지난 몇 년간 “AI의 동력”으로 평가받으며, 대규모 언어 모델(LLM)을 단순한 학술 연구에서 수조 달러 규모의 야망으로 발전시키는 데 기여하였습니다. 그러나 Nvidia와 Groq 간의 200억 달러 거래는 AI의 다음 단계가 GPU에 의해 결정되지 않음을 인정하는 것으로 여겨지고 있습니다. Jensen Huang의 회사는 여전히 AI 하드웨어 분야에서 최고 자리를 차지하고 있지만, 이번 움직임은 변화의 경향이 그 어느 때보다 가까워졌음을 보여줍니다.
AI 산업은 모델 훈련(training)에서 실제 세계와의 직접적인 상호작용으로 이동하고 있는 것으로 평가됩니다. 이 전환은 추론(inference)이라는 이름으로 불리며, 훈련된 모델이 질문에 답하거나 이미지를 생성하거나 사용자와 대화에 참여하는 과정을 포함합니다. RBC Capital에 따르면, 추론 능력은 AI 컴퓨팅에서 주요 과제로 떠오르고 있으며, 단순한 AI 훈련 시장을 압도할 수 있는 가능성을 지니고 있습니다.
추론은 훈련과 매우 다릅니다. 훈련은 “AI의 두뇌”를 구축하는 것과 같으며, 이는 대량의 계산 능력과 유연성을 요구합니다. 반면, 추론은 그 두뇌를 실시간으로 사용하는 것과 유사합니다. 속도, 일관성, 에너지 효율성 및 각 답변의 비용은 단순히 가능한 모든 옵션이나 상황을 통해 정확한 해결책을 찾는 방법인 브루트 포스(brute force) 방식보다 훨씬 더 중요해졌습니다.
Groq는 GPU보다 최적화된 추론 능력을 가진 언어 처리 장치(LPU)라는 독특한 AI 칩을 생산하고 있습니다. TechRadar에 따르면, LPU는 다기능 공장보다 더 정밀한 조립 라인처럼 설계되었습니다. 각 작업은 사전에 계획되고, 고정된 순서로 수행되며, 매번 완벽하게 반복됩니다. 이러한 경직성은 훈련에는 단점이지만, 예측성이 낮고 에너지 낭비가 적은 추론에서는 강점으로 작용합니다. 반대로, Nvidia의 GPU는 유연한 작업에 맞게 설계되었습니다. 이들은 다양한 작업 부하를 처리하기 위해 스케줄러와 대용량 외부 메모리를 기반으로 하지만, 추론 과정을 지연시키는 “부담”을 발생시킵니다.
AI 모델이 성숙하고 안정화됨에 따라 이러한 트레이드오프는 점점 더 고려되고 있습니다. Apple의 iPod 부서 전 부사장인 Tony Fadell은 LinkedIn에서 “산업이 중대한 변화를 겪고 있다”며 “GPU는 훈련 작업에서 첫 번째 물결에서 승리했다. 그러나 추론은 항상 대량의 처리 능력을 요구하며, GPU는 본질적으로 이를 위해 최적화되어 있지 않다”고 언급했습니다.
최근 AI 분야에서는 “오늘의 GPU, 내일의 AI”라는 말이 널리 퍼져 있었습니다. 그러나 Fadell에 따르면, 이는 앞으로 등장할 다양한 유형의 칩이 폭발적으로 증가함에 따라 점점 더 부정확해지고 있습니다. 그는 이 칩을 추론 처리기(IPU)라고 부릅니다. 구글의 텐서 처리기(TPU) 개발에 참여한 엔지니어 Chris Lattner는 “GPU의 통제를 넘어서려는 추세가 Nvidia의 Groq 인수로 강화되고 있다”고 블로그에 썼습니다. “AI는 단일 작업 부하만 처리하는 것이 아니며, 추론과 훈련 과정 모두에 필요한 여러 작업이 있다. 하드웨어의 전문화는 효율성 측면에서 큰 이점을 제공할 것입니다.”
실제로 많은 기업들이 GPU 의존도를 줄이기 위한 해결책을 모색하고 있습니다. 2024년, Cerebras는 속도를 최적화한 AI 칩을 성공적으로 제작하고, Nvidia의 GPU보다 “수천 배” 높은 메모리 대역폭을 자랑한다고 발표했습니다. 구글의 TPU는 현재 맞춤형 AI를 매우 빠른 속도로 운영하고 있습니다. 아마존은 최근 추론 전용 Inferentia를 출시했습니다. Positron AI와 같은 스타트업들은 저렴한 비용으로 더 강력한 추론 AI 칩을 만들겠다는 야망을 가지고 있습니다.
따라서 Nvidia와 Groq 간의 거래는 선제적 조치로 볼 수 있습니다. Fadell은 “Huang은 위협을 인식하고 이를 자신의 이점으로 바꾸었다”고 평가했습니다. Bloomberg에 따르면, 추론 AI 모델은 경제적 이점을 훨씬 더 크게 제공합니다. 특히 2026년에는 인공지능이 모든 분야에 침투할 것으로 예상됩니다. 아마존 웹 서비스 CEO Matt Garman은 “이번은 수백억 달러의 데이터 센터 투자 효과를 검증하는 단계”라며 “추론이 우위를 점하지 못하면 AI에 대한 모든 투자가 실제 수익을 가져오지 않을 것”이라고 경고했습니다.
그러나 GPU의 위상은 여전히 유지될 것입니다. Nvidia에게 GPU는 여전히 훈련 및 유연한 작업을 수행하며, Groq와 같은 전문 칩은 빠르고 실시간으로 추론을 처리합니다. Nvidia의 이점은 소프트웨어, 네트워크, 개발자 생태계의 “연결”을 소유하고 있다는 점으로, 이들 요소가 함께 작동할 수 있게 합니다. RBC의 분석가들은 이번 주 블로그에서 “AI 데이터 센터는 GPU와 맞춤형 전문 칩이 병행하여 작동하는 혼합 환경이 되고 있으며, 각기 다른 작업 부하에 최적화되어 있다”고 설명했습니다.