AI가 과학적 추론 능력을 얼마나 갖췄는지 평가하는 방식이 달라지고 있다. 그동안은 공개된 벤치마크 문제로 AI 성능을 가늠했지만, 이제는 사람 참가자와 동일한 조건으로 국제 학술대회 현장에 직접 세워 평가하는 사례가 나오고 있다. 공개 벤치마크는 데이터가 미리 노출될 위험이 있어 AI의 실제 추론력을 정확히 측정하기 어렵다는 한계가 지적돼왔기 때문이다.
과학 난제 해결용 AI를 개발하는 아스테로모프는 7월 콜롬비아 부카라망가에서 열린 제56회 국제물리올림피아드(IPhO 2026) 이론시험 현장 평가에서 자사 AI 모델이 30점 만점에 28.6점을 받았다고 31일 발표했다. 7월 8일 오전 9시부터 오후 2시까지 5시간 동안 인터넷 검색이나 외부 AI 호출, 사람의 개입 없이 문제 입력부터 답안 작성까지 시스템 내부에서 처리했으며, 이 결과는 대회 조직위로부터 금메달급으로 인정받아 디플로마와 메달을 받았다.
현장 평가로 옮겨가는 AI 검증 방식
이번 평가에서 눈에 띄는 지점은 시험 조건 자체다. 아스테로모프의 모델은 실제 시험지에 담긴 텍스트와 수식, 그래프, 그림을 멀티모달 시스템으로 직접 해석해야 했다. 국제물리올림피아드 현장에서 처음 공개되는 문제를 사람 참가자와 똑같은 시간·조건으로 풀어야 하는 만큼, 사전에 학습된 정답 패턴으로 성적을 낼 여지가 크게 줄어드는 구조다.
같은 현장 평가에는 메타 슈퍼인텔리전스 랩스와 화웨이도 참여했다. 다만 이들 기관은 세부 점수나 시험 조건을 공개하지 않았다. 아스테로모프 역시 오픈소스 대규모 언어모델과 자체 개발 모델·구성요소를 어떻게 결합했는지, 아마존웹서비스(AWS) 클라우드에서 어느 정도의 연산 자원을 썼는지, 프롬프트 구성이 어땠는지 등 세부 정보는 밝히지 않아 외부에서 재현하거나 비교하기에는 한계가 있다.
모델 성능만큼 중요해지는 시스템 설계
아스테로모프 관계자는 “최신 상용 모델에 의존하지 않고 오픈소스 모델과 자체 구축한 AI 시스템으로 고난도 물리 문제를 해결할 수 있다는 점을 확인했다”고 밝혔다. 이어 “LLM 자체의 성능뿐 아니라 복합적인 추론 과정을 설계하고 운영하는 시스템 역량도 중요하다”고 덧붙였다. 단일 모델의 크기나 성능보다 여러 모델을 어떻게 조합해 문제 해결 흐름을 짜는지가 결과를 좌우한다는 뜻으로 읽힌다.
이번 대회에서는 학생들의 공식 경쟁도 함께 열렸다. 서울과학고 소속 고동현 등 한국 대표단 5명 전원이 금메달을 받았고, 오주하 학생은 개인종합 1위를 기록했다. 2025년 2월 설립된 아스테로모프는 이번 결과를 통해 오픈소스 기반 시스템으로도 상용 최신 모델과 경쟁할 수 있는 지점을 보여준 셈이다. 벤치마크가 아닌 현장 시험을 통한 AI 검증이 앞으로 어떤 식으로 확산될지가 다음 관전 포인트로 남는다.