[비즈한국] 인공지능(AI) 이용 단가는 내려가는데 기업의 AI 운영비 부담은 오히려 늘고 있다. 업무 하나를 처리하려고 모델을 수차례 호출하는 AI 에이전트가 확산하면서 토큰 소비가 급증해서다. LG유플러스가 이 지점을 겨냥해 내년 기업 간 거래(B2B) 토큰 사업에 나선다. 작업을 끝내기까지의 총비용을 줄이는 토큰 최적화 ‘레시피’를 앞세워 비용 부담에 AI 도입을 망설이는 고객을 공략한다는 전략이다.

LG유플러스는 지난 12일 미디어 대상 스터디를 열고 자사 최적화 기술과 향후 사업 추진 방향을 공개했다. 이혜진 LG유플러스 기술전략담당은 “AI의 진짜 비용은 답변을 내놓는 데 드는 게 아니라 업무를 끝낼 때까지 드는 비용”이라고 설명했다. 토큰은 AI가 데이터를 처리하는 기본 단위로, 사용량에 따라 비용이 발생한다. 이 담당에 따르면 최근 1~2년 새 빅테크 기준 토큰 가격이 80%가량 내렸지만 소비량은 3배 늘었다. 에이전트는 결과 하나를 내기까지 20여 단계를 거치고, 화면에 보이지 않는 내부 추론이 비용의 80% 이상을 차지하기도 한다.
이상엽 LG유플러스 최고기술책임자(CTO)도 “100만 토큰당 가격을 비교하며 ‘우리는 몇 달러로 줄였다’는 것만 가지고 얘기하고 싶지는 않다”며 “고객이 하려는 과업을 최적의 비용으로 처리하는 것을 지향한다”고 말했다.
덜 쓰고, 작게 만들고, 싸게 돌린다
LG유플러스가 ‘레시피’라고 부르는 토큰 최적화 노하우는 AI 통화 서비스 ‘익시오’와 AI 컨택센터(AICC) 등 서비스를 운영하며 쌓은 여러 기술을 업무 특성에 맞게 조합하는 방식으로, 크게 세 갈래다.
먼저 질문 난이도에 맞는 모델을 연결하는 ‘모델 라우팅’과 에이전트 작업 경로를 제한하는 ‘하네스 엔지니어링’으로 토큰 사용을 줄인다. 내부 검증에서 일반 질문 처리 비용을 25% 이상, 코딩 에이전트 비용을 30% 이상 낮췄다. 코딩 영역에서는 자체 모델로 운영 비용을 약 90% 줄인 사례도 확보했다.
둘째는 모델을 작고 빠르게 만드는 기술이다. 온디바이스 모델 크기를 2.4~3기가바이트(GB)에서 약 800메가바이트(MB)로 줄이고도 비교 대상 클라우드 모델의 95% 이상 성능을 유지했다. 작은 모델이 초안을 쓰고 큰 모델이 검증하는 방식으로 토큰 생성 속도도 2배 이상 높였다.

또 엔비디아·AMD의 그래픽처리장치(GPU)와 퓨리오사AI의 신경망처리장치(NPU)를 조합하는 ‘칩 믹스’도 활용한다. 질문 분석은 연산이 빠른 엔비디아 GPU에, 답변 생성은 메모리가 큰 AMD GPU에 맡기는 식이다.
자체 모델을 고집하지 않는 점도 특징이다. 이 CTO는 “빅테크의 경량화 모델이 태스크에 더 적합하다면 그쪽으로 라우팅해 서비스할 수도 있다”고 했다. 사내에서도 빅테크 코딩 에이전트의 화면은 그대로 두고 뒤에서 모델을 호출하는 연결 지점만 자사 플랫폼으로 바꿔 비용을 줄이고 있다. 이런 조합 자체가 사업 레시피라는 설명이다. 상품 구성, 가격과 관련해서 김현민 소버린클라우드사업팀장은 “협력사 제휴와 자체 인프라 구축을 병행해 고객의 총소유비용(TCO)을 낮추겠다”고 했다.
‘분’과 ‘바이트’ 다음은 ‘토큰’…3사 셈법 제각각
토큰을 새 먹거리로 내건 통신사는 LG유플러스만이 아니다. AI 수요의 무게중심이 모델을 만드는 학습에서 실제 서비스를 돌리는 추론으로 옮겨가면서, 토큰을 얼마나 싸고 안정적으로 생산·공급하느냐가 사업 기회로 떠올랐다.

통신사들은 통화·데이터 사용량을 재고 요금을 매기며 망을 운영해온 경험과 데이터센터 인프라가 토큰 사업과 맞닿아 있다고 본다. 접근법은 제각기 다르다. KT는 여러 모델을 한데 모아 제공하는 유통·과금 플랫폼에, SK텔레콤은 고객과 모델·인프라를 잇는 관제에, LG유플러스는 토큰 생산 원가와 운영 효율에 무게를 두고 있다.
앞서 SK텔레콤은 지난달 8일 발표한 ‘성장 기어 전략’에서 ‘토큰 게이트웨이’ 사업을 제시했다. AI 사용 패턴을 관리하고 적합한 모델·인프라로 연결하는 관제센터로, 2300만 고객 기반과 결제 체계를 활용한다. KT도 지난달 30일 AI 모델 통합 플랫폼 ‘토큰팩토리’를 출시했다. 국내외 500개 이상 모델을 한곳에서 제공하며, 자체 라우팅 기술 ‘오토 모델 라우터’와 프롬프트 압축으로 토큰 사용을 최대 25% 줄인다고 설명했다.
수요 증가세는 가파르다. KT가 인용한 AI 모델 중개 플랫폼 오픈라우터 통계를 보면 1년 새 글로벌 토큰 소비량은 약 35배 늘었다. AI 시대엔 ‘분’과 ‘바이트’에 이어 토큰이 사용량 단위가 된다는 전망이다.
3사의 사업은 내년 본격화한다. KT는 내년 3월 개인 이용자로 대상을 넓혀 구독형 요금제를 선보이고, SK텔레콤은 엔비디아와 협력하는 ‘AI 팩토리‘의 내년 상용화를 추진한다. LG유플러스는 연말 카카오와 선보이는 ’모두의 AI‘에서 모델 서빙을 맡아 경험을 쌓은 뒤 2027년 B2B 토큰 사업에 나선다.
이혜진 담당은 “AI를 도입한 기업들에게 지금의 AI는 돈 먹는 하마에 가깝다”며 “이런 AI를 실제로 일하는 직원처럼 쓸 수 있게 만드는 것이 고객에게 가장 필요한 혜택”이라고 말했다.



