래블업이 AI 발전 단계를 ‘과학과 공학의 시대’에서 ‘산업의 시대’로 넘어가는 중이라고 규정하고, 지능의 측정과 전달이 핵심이라고 밝혔다. AI 인프라 소프트웨어 기업 래블업은 9월 29일 서울 삼성동 코엑스에서 여섯 번째 연례 기술 컨퍼런스 ‘lab | up > /conf/6’를 마쳤다. 이번 행사에서 Continuum Router와 Continuum Hub를 공개했다.
컨퍼런스는 오프닝 키노트, 패널 토크, Continuum Router·Hub 데모로 진행됐다. 주제는 ‘Make AI Composable²’다. NVIDIA, VAST Data 등 기업과 KAIST 같은 기관이 참여했고, kt cloud, FuriosaAI, Samsung Welstory, RLWRLD, AIM Intelligence도 이름을 올렸다.
‘산업의 시대’와 토큰 계량기
신정규 래블업 대표는 오프닝 키노트에서 AI 발전 단계를 ‘산업의 시대’로 표현했다. 신 대표는 지난해 같은 자리에서 ‘측정 가능한 지능’을 화두로 제시했다. 래블업이 지난해 내놓은 향후 10년 비전은 ‘인류를 위한 지능의 민주화’다.
신 대표는 “AI라는 말 자체가 없어질 가능성이 굉장히 높습니다.”라고 말했다. 토큰 흐름에 대해서는 “토큰이 전기처럼 사용된다면 계량기가 필요한 상황”이라고 설명했다.
래블업은 AI가 더 복잡해지는 상황에서 복잡성을 인프라 안으로 감추고 사용 과정은 단순하게 만든다는 방향을 세웠다. 이 구상을 묶은 개념이 토큰팩토리(Token Factory)다. 신 대표는 “갈수록 복잡해지는 AI 그리고 AI 인프라 운영을 간단하게 가져오면서 그 과정에서 계량하고 배달하는 일을 더 간단하게 해보자”고 말했다.
Continuum Router와 Hub
Continuum Router는 외부 API와 기업 내부 모델을 하나의 경로로 연결한다. 연결 대상 외부 API에는 OpenAI와 Anthropic, Amazon Bedrock, Gemini가 있다.
Continuum Hub는 토큰 사용량과 정책, 비용을 중앙에서 관리하는 AI 계량기다. 지난해 제시한 ‘측정 가능한 지능’을 제품으로 구현한 첫 단계이기도 하다. Continuum은 Backend.AI와 함께 쓰이는 모델·토큰 흐름 관제 계층이고, Backend.AI는 연산 자원을 맡는 GPU 인프라 운영 플랫폼이다.
에이전트 운영에서 드러난 병목
래블업은 지난해 말부터 대규모 에이전트를 운영하며 CPU와 대역폭 병목을 확인했다. 이번 발표에서는 AI 인프라의 관심 범위가 GPU에서 CPU, 네트워크, 스토리지로 넓어진 점이 두드러졌다. AI 모델이 커지고 에이전트가 실제 업무에 투입되면서 인프라가 복잡해졌다.
에이전트 자원 격리의 어려움을 해결하기 위해 진행하는 연구 프로젝트가 ‘누빔’(Nubeam)이다. 누빔은 마이크로VM과 컨테이너를 결합해 에이전트별 자원 총량을 제한하고 프로세스를 분리하는 방식을 시도하고 있다.
래블업이 개발 중인 AI 에이전트 플랫폼은 만들고, 돌리고, 다스리고, 평가하는 루프로 에이전트를 연결하는 구조다.
인퍼런스 최적화 패널 토크
‘AI 병목을 해결하는 인퍼런스 최적화’ 패널 토크는 노정석 비팩토리 대표가 진행했다. 김준기 래블업 CTO, 김태호 노타 CTO, 이진원 하이퍼엑셀 CTO, 이활석 업스테이지 CTO가 패널로 참여했다.
래블업은 이번 컨퍼런스에서 Continuum Router·Hub 데모를 진행했다.