AI 데이터센터를 평가하는 기준이 GPU 보유 대수에서 토큰 생산 효율로 옮겨가고 있다. 특정 하드웨어를 얼마나 많이 쌓아뒀는지가 아니라, 서로 다른 가속기를 얼마나 효율적으로 조합해 낮은 비용으로 토큰을 생산하는지가 경쟁력의 척도가 되고 있다는 것이다. 이런 흐름을 반영해 AI 인프라 솔루션 기업 모레(MOREH, 대표 조강원)가 미국 산타클라라 컨벤션센터에서 열린 ‘AI 인프라 서밋 2026’에서 AI 데이터센터용 ‘토큰 팩토리 OS’와 이기종 가속기 기반 분산 추론 기술을 공개했다. 이 행사는 8000명 이상의 업계 관계자와 250개 이상의 파트너사가 참여한 글로벌 AI 인프라 행사다.
‘토큰 팩토리’로 진화하는 데이터센터
조강원 모레 대표는 “AI 데이터센터는 이제 GPU를 제공하는 공간에서 토큰을 생산하고 판매하는 ‘토큰 팩토리’로 진화하고 있다”며 “중요한 것은 특정 GPU의 성능이 아니라 서로 다른 가속기를 얼마나 효율적으로 활용해 낮은 비용으로 토큰을 생산하느냐”라고 말했다. 이런 인식 아래 모레는 특정 하드웨어 종속 없이 이기종 가속기를 하나의 자원처럼 운영하는 소프트웨어 전략을 이번 행사에서 제시했다.
이기종 가속기를 하나의 클러스터로
이번에 공개된 핵심 기술은 MoAI Inference Framework다. 이는 엔비디아 H100과 AMD MI300X, 텐스토렌트 등 서로 다른 아키텍처의 가속기를 하나의 논리적 클러스터로 묶어 모레의 분산 추론 소프트웨어로 데이터를 연결하는 방식이다. 실제 구성에서는 프리필 연산을 H100이, 디코드 연산을 MI300X가 맡는 역할 분담이 이뤄졌으며, 이 조합을 통해 동일 벤더 가속기로만 구성했을 때보다 최대 1.67배 처리량이 향상되는 결과가 확인됐다.
하드웨어 종속 탈피가 목표
조강원 대표는 “다양한 종류와 세대의 가속기를 하나의 인프라처럼 활용할 수 있는 분산 추론 소프트웨어가 필요하다”며 “고객이 특정 하드웨어에 종속되지 않고 자신에게 효율적인 토큰 팩토리를 구축할 수 있도록 지원하겠다”라고 밝혔다. 데이터센터 사업자 입장에서는 특정 공급사에 묶이지 않고 보유한 연산 자원을 유연하게 조합해 비용 효율을 최적화할 수 있다는 의미다.
모레는 GPU 자원 활용과 클러스터링 기술을 기반으로 AMD GPU 환경에서 AI 모델 최적화 기술을 개발해왔고, 자회사인 AI 파운데이션 모델 기업 모티프테크놀로지스를 통해 인프라 소프트웨어를 넘어 AI 모델 영역까지 사업 범위를 연결하고 있다. AI 데이터센터의 경쟁 기준이 하드웨어 보유량에서 토큰 생산 효율로 재편되는 흐름 속에서, 이기종 자원을 통합 운영하는 소프트웨어 계층이 업계의 새로운 관심사로 떠오르고 있다.