[비즈한국] 다시금 AI 회의론이 나오고 있습니다. ‘AI가 쓸모없다’는 건 아니고 ‘AI가 기대했던 것만큼 큰 투자를 가져갈 만큼 가치 있지는 않은 것 같다’는 산업적 관점에서 이따금 반복되는 우려의 시선입니다. 어떤 방향으로 결론이 나든 우리가 AI 기술의 가능성을 믿지 않거나 AI 사용량을 줄이지는 않을 겁니다. 당분간은 오히려 더 늘어나겠지요.
지금 AI 관련 기업들이 컴퓨터에 쏟아붓는 투자는 상상을 초월하는 수준입니다. 최근 구글의 실적 발표를 보면 2026년 설비 투자가 2000억 달러 수준으로 꼽힙니다. 구글은 지난 한 분기 동안 1200억 달러 수준의 매출을 내면서 지난해 같은 분기보다 24% 성장했습니다. 구글 정도의 기업이 이 정도 성장하는 것은 어마어마한 일입니다. 그중에서도 클라우드는 지난해 같은 기간보다 82%나 더 많은 돈을 벌었습니다. 이유는 딱 하나, AI에 있지요.
하지만 공교롭게도 이 발표 이후 주식시장은 뜬금없이 AI 회의론을 꺼내 듭니다. 구글이 기대보다 더 많은 실적을 내고 있고, 강력한 성장 동력을 얻은 것은 사실이지만 그에 비해 설비 투자가 너무 높은 비중을 차지하고 있다는 것 때문이지요. 바라보는 시선에 따라서 다르겠지만 최근의 반도체를 비롯한 AI 주도 기업들에 대한 평가는 순식간에 식고 있습니다. 다소 공포스러울 정도입니다.
여전히 AI는 지금 산업을 이끄는 핵심 키워드입니다. 구글을 비롯해 하이퍼스케일러로 꼽히는 기업들은 막대한 수익을 거두고 있습니다. 그리고 더 나은 모델을 만들기 위해서 AI 관련 인프라를 더 늘려가고 있습니다. 사실상 세상의 거의 모든 컴퓨팅 자원을 쓸어 담고 있습니다. 그 어느 때보다 인프라의 성장은 진심이고, 무서울 정도의 집약도와 확장이 이어집니다.
‘비용당 토큰 생성’ 높이기 위한 기술적 갈증
최근 미국 샌프란시스코에서 열린 AMD의 연례 AI 이벤트 ‘어드밴싱 AI(Advancing AI)’에 다녀왔습니다. AMD의 AI 관련 신제품을 소개하고, 커다란 전략과 로드맵을 발표하는 자리입니다. 사실 이제까지 이 이벤트는 AI를 처리하는 GPU, 그리고 이를 AI에 활용하는 ROCm 개발 프레임워크를 중심으로 돌아갔습니다. 왜냐하면 세상의 AI가 엔비디아의 CUDA 프레임워크를 기반으로 시작됐고, 이를 구동하는 엔비디아의 GPU로 운영되었기 때문입니다.
AMD는 그동안 “AMD의 GPU도 훌륭한 성능을 내고, ROCm도 엔비디아 CUDA 못지않게 쉽고 강력한 AI 환경을 만들 수 있다”는 점을 강조하는 것이 당연했습니다. 특히 엔비디아의 GPU가 폭발하는 수요에 비해 공급이 달렸기 때문에 가장 강력하고 현실적인 대안으로 ‘인스팅트(Instinct)’를 비롯한 AMD의 GPU를 제시하는 것은 자연스러운 일입니다.
하지만 올해 AMD의 입장은 미묘하게 달라졌습니다. 단순한 엔비디아의 대안이 아니라 지금 가장 뜨거운 키워드인 ‘비용당 성능’, ‘비용당 생성 토큰 수’ 등의 현실적인 답을 내놓았습니다. 이미 주요 AI 모델의 기본적인 학습은 자리를 잡았고, 이 학습을 위한 인프라 성능은 그래도 어느 정도 숨통이 트였습니다. 하지만 지금 가장 현실적인 문제는 이용자들의 요구에 맞춰 답을 내놓는 ‘추론’에 있습니다.
리사 수 AMD CEO는 키노트를 통해 “2년 전까지만 해도 학습과 추론은 6:4 정도의 비율이었는데, 올해를 기점으로 역전이 이뤄진다”고 밝혔습니다. 현장에서의 AI 요구량이 폭발적으로 늘어나고 있다는 이야기입니다. 이제 대규모 언어 모델은 단순한 글쓰기를 넘어 큰 규모의 개발 프로젝트의 코드를 짜고, 과학 실험을 분석하고, 이미지와 영상을 만들어 냅니다. 정보를 잘 찾아 정리하고, 글을 더 자연스럽게 짓는 건 당연한 일이지요. 그런데 이를 처리하는 건 결국 각 서비스를 이루는 컴퓨터의 추론 능력에 달려 있습니다.
더구나 이제 AI는 각각 스스로의 일 처리에서 끝나는 게 아니라 특정 분야에 최적화된 AI 여러 가지가 결합되어 하나의 큰일을 처리하는 에이전트 AI로 그 흐름을 옮겨가고 있습니다. 하나의 일을 처리하려면 더 많은 AI 모델이 돌아야 하는 것이지요.
AMD는 올해 단순히 GPU를 내놓는 것을 넘어 CPU와 GPU, 그리고 이 서버들을 18대 묶어내는 네트워크 환경을 통합한 AI 슈퍼컴퓨터 ‘헬리오스(Helios)’를 내놓았습니다. 그저 이 컴퓨터가 좋다는 것이 아니라 이 컴퓨터가 추구하는 방향성이 지금의 AI 현실을 그대로 담고 있는 것에 주목할 필요가 있어서 이야기를 꺼냈습니다.
이 컴퓨터는 데이터센터에 들어가는 납작한 형태의 블레이드 서버를 묶는 것이 핵심입니다. 각 트레이에 꽂히는 서버는 칩 하나에 256코어를 넣은 에픽 프로세서와 인스팅트 MI455X로 불리는 고성능 GPU 4개가 묶입니다. 이 GPU들은 432GB라는 막대한 양의 HBM4 메모리와 짝을 이룹니다. 이 단위 블레이드 18개를 묶어 커다란 냉장고만 한 랙 시스템을 구성합니다. 그래서 무려 4608개 코어와 72개 GPU, 31TB(테라바이트) HBM이 하나로 묶이는 시스템입니다.
‘랙 스케일 시스템’, 같은 공간에 더 많은 컴퓨팅 파워 확보하기 위한 방법론
헬리오스 역시 흔히 데이터센터를 비추면 보이는 형태의 컴퓨터인데 특별할 게 뭐가 있을까요? 사실 AI를 비롯해 현대 컴퓨터는 단순한 처리 속도보다 전체 처리량이 중요한 기준이 됩니다. 얼마나 많은 계산을 할 수 있느냐는 것이지요. 그래서 하나의 시스템, 그러니까 제한된 공간 안에 더 많은 컴퓨터를 욱여넣는 것이 핵심입니다. 그런데 이건 그저 많이 넣는 게 문제가 아닙니다. 서버도 대단해 보이지만 사실 우리가 쓰는 PC와 형태가 그리 다르지 않습니다. CPU와 메모리가 중심을 이루고, 여기에 GPU를 이어 붙이는 건 똑같습니다.
특히 GPU는 PCI 익스프레스라고 부르는 단자로 데이터를 주고받는데, 이 길을 통해서 데이터가 지나가는 속도와 양은 한계가 있습니다. 그래서 AI를 처리하기 위해 컴퓨터 하나에 GPU를 두 개 꽂으면 정확히 두 배의 일을 하는 게 아니라 약간의 손실이 일어납니다. 한때는 컴퓨터 하나에 GPU를 아주 많이 꽂기도 했는데 GPU가 늘어날수록 그 손실은 더 커집니다. 게다가 컴퓨터 하나에 꽂을 수 있는 GPU의 수는 PCI 익스프레스는 물론이고 공간의 한계도 있습니다. 그래서 단위 서버를 여러 개 묶어서 하나의 시스템을 만듭니다. 보통 이를 구성하는 책장 같은 ‘랙’이 이렇게 만들어집니다.
그런데 서버와 서버를 묶는 것은 더 큰 손실을 일으킵니다. 서버 한 대 안에서는 기판을 타고 처리되지만, 서버 대 서버를 묶으면 하나의 컴퓨터 안에서 처리한 결과를 다시 네트워크로 전송해야 합니다. 기본적으로 전송량, 그리고 물리적으로 데이터가 이동하는 데 걸리는 시간 등 여러 가지 이유들로 성능 손실이 급격하게 늘어납니다. 100개의 GPU를 묶으면 100배의 성능이 아니라 50배 내기도 어렵다는 이야기도 있지요.
하지만 이게 전부가 아닙니다. AI 처리량이 늘어나면서 엄청난 양의 GPU를 요구하게 되고, 이 랙을 또 수십, 수백 개를 연결하는 데이터센터가 자리를 잡습니다. 데이터센터는 한정된 공간에 더 많은 컴퓨터를 넣는 것을 목적으로 합니다. 단순히 CPU나 GPU를 많이 심는 일만큼이나 연결의 효율성을 높여야 합니다.
AMD가 헬리오스를 통해 CPU와 GPU를 ‘단품’으로 팔지 않고 시스템 형태의 ‘완제품’으로 묶어낸 이유도 이 연결에 대한 보편적인 표준을 제안하는 데에 있습니다. 256코어 CPU 하나에 GPU 4장을 묶었을 때 최적의 성능을 내고, 이를 병목 현상 없이 연결할 수 있도록 하는 것이지요. 이렇게 표준화된 시스템을 여러 개 연결하면 데이터센터를 안정적으로 운영하기에도 유리합니다.
이는 이미 엔비디아도 ‘베라 루빈(Vera Rubin)’을 통해 제시하고 있는 개념이기도 합니다. GPU를 더 비싸게 팔기 위해 플랫폼을 독점하고 완제품으로 파는 것이라고 해석할 수도 있지만 데이터센터의 한정된 공간에 가장 효과적으로 많은 컴퓨팅 성능을 안정적으로 집약하는 방법이기 때문에 지금 당장 인프라를 확보해야 하는 조건에서는 훨씬 유리합니다.
실제로 AMD는 헬리오스를 통해서 랙 하나에 이전보다 훨씬 더 많은 HBM4 메모리를 넣었습니다. 리사 수 CEO는 앞으로의 AI 환경이 더 많은 메모리를 요구할 수밖에 없기 때문에 가능한 한 많은 HBM 메모리를 같은 공간 안에 확보하는 것이 시장의 가장 시급한 일이라고 말합니다.
아직도 메모리에 목마른 에이전트 AI
지금까지의 대규모 언어 모델은 ‘챗봇’의 형태를 중심으로 했지만 이제부터는 에이전트 AI의 시대가 열리면서 각 에이전트는 더 많은 추론이 필요하고, 그 결과들을 하나로 모아 가치를 만들어 내는 오케스트레이션이 중요해집니다. 이에 따라 추론 성능뿐 아니라 기억해야 할 메모리의 양도 늘어나게 된다는 이야기입니다.
AI는 더 큰 컴퓨팅 파워, 더 많은 메모리를 요구하게 됩니다. 지금도 우리는 PC에, 스마트폰에 필요한 프로세서와 메모리 등 한정된 자원을 AI에 양보해 왔습니다. 그 대가는 어마어마한 반도체 가격으로 돌아오고 있습니다. 하지만 지금 AI 시장은 이보다 더 많은 자원을 빨아들이고 있습니다. AMD의 헬리오스나 엔비디아의 베라 루빈은 그에 대한 기술적으로 달콤한 제안입니다.
AMD는 어드밴싱 AI 키노트를 시작하기 직전 마이크로소프트, 그리고 앤트로픽과 파트너십, 투자 계획을 밝히기도 했습니다. 특히 클로드를 서비스하는 앤트로픽에는 50억 달러, 우리 돈으로 7조 원이 훌쩍 넘어가는 막대한 규모의 전략적 투자를 하기로 했고, 앤트로픽은 이를 바탕으로 당장 내년까지 1기가와트 수준의 헬리오스 기반 AI 인프라를 도입하기로 했습니다. 이 인프라 도입 비용은 아직 정확히 알 수는 없지만 사실 어마어마한 비용이 들어가는 일이고, 앤트로픽은 이를 위해 AMD에 지분 일부를 넘기는 식으로 자원을 확보하는 것으로 읽을 수 있습니다. AMD 역시 당장의 매출보다는 하드웨어를 통해 사실상의 현물로 앤트로픽의 지분을 확보하는 식이지요. 최근 엔비디아가 네이버에 투자와 함께 베라 루빈 시스템을 공급하는 것도 이와 비슷한 과정으로 읽을 수 있습니다.
이는 AI가 지금보다 훨씬 더 많은 반도체를 요구하고, 다소 부담스럽지만 다음 단계의 GPU와 메모리를 급하게 빨아들일 수밖에 없다는 것을 증명하는 것이기도 합니다. AI 업계는 앞으로도 더 많은 자원을 빨아들일 채비를 하고 있습니다. 현재의 머신러닝 기반 AI는 결국 치열한 ‘확률’의 싸움이고, 기본적인 모델 생성과 운영에 대한 방법은 자리를 잡았습니다. AI의 기술적인 한계점에 다다랐다는 해석도 틀리지는 않을 겁니다. 지금의 단일 모델로는 더 이상 똑똑해지기 어렵다는 이야기입니다.
하지만 에이전트 AI는 이를 극복하고 AI에게 더 많은 일들을 믿고 맡길 수 있도록 하는 새로운 방법론입니다. 에이전트 AI는 지금까지의 대규모 언어 모델과는 또 다른 환경을 만들어 냅니다. 그 긴 여정의 끝은 40년 전 처음 제안된 머신러닝 기법 인공지능의 완성이 될 겁니다. 그리고 그 과정에서 우리는 더 많은 반도체라는 대가를 치러야겠지요.