“벌새의 종자골은 몇 쌍의 힘줄을 지지하는지 숫자로 답하시오” “다음은 로마시대 묘비에서 발견된 비석 문구다. 이 문구를 번역하시오”
인공지능(AI)조차 쉽게 풀지 못하고 고개를 떨궜던 초고난도 성능 비교 시험인 ‘인류의 마지막 시험’(Humanity’s Last Exam·HLE)의 문제가 공개돼 화제다. 대학수학능력시험, SAT(미 대입시험) 등에서 고득점했던 최신 AI 모델들이 HLE 앞에서는 고배를 마셨다. 1000여 명의 연구진이 참여한 HLE 프로젝트에는 한국인 8명도 포함된 것으로 알려져 이들이 출제한 문제에도 관심이 쏠린다.
28일(현지시간) 국제학술지 네 바다이야기게임장 이처에는 지난해 1월부터 미국 비영리단체 AI안전센터(CAIS)와 스타트업 스케일AI가 공개한 HLE의 결과가 담긴 논문이 실렸다. HLE는 빠르게 성장하는 AI가 풀지 못하는 인류의 마지막 보루 격인 시험을 만들기 위해 마련된 프로젝트로, 전 세계 50개국 500여 기관 교수와 대학원생, 연구원 등 1000여 명이 출제에 참여했다. 이들이 출제한 HLE 골드몽릴게임릴게임 문제는 수학, 물리학, 화학, 생물학, 공학, 컴퓨터과학, 인문학, 의학 등 100여 개 세부 학문 분야를 총망라한다. 일부 문항은 글과 이미지를 함께 이해해야 풀 수 있는 멀티모달 문제로 구성됐다. 문제 비율로는 수학 문제가 41%로 가장 많으며, 생물학·의학이 11%, 컴퓨터과학·AI가 10%, 물리학과 인문학·사회과학이 각각 9% 등이다.
바다이야기사이트HLE에서 가장 높은 정답률을 보였던 AI 모델은 제미나이 3.0프로였으나, 정답률은 38.3%에 그쳤다. 챗GPT-5와 그록4가 각각 25.3%, 24.5%로 뒤를 이었고, 클로드 소넷 4.5는 13.7%를 기록했다. 지난해 중국발(發) AI 쇼크를 일으킨 딥시크의 정답률은 8.5%에 불과했다. 이들 AI 모델이 빠르게 성장하며 다른 각종 성능 비 모바일바다이야기하는법 교 시험에서 90% 이상의 정답률을 기록한 것과 대조적이다.
국내 기관 소속으로는 AI 스타트업 에임인텔리전스의 박하언 최고기술책임자(CTO), 김대현 연세대 교수를 비롯해 총 8명의 한국인 연구진이 이름을 올렸다. 박 CTO는 “이산수학 문제를 출제했는데, 복잡한 계산이 필요해 소수점이 많이 나오는 답을 가진 질문이다. 모델이 풀이는 비 10원야마토게임 슷하게 하지만 답에서 숫자 차이가 나게 되는 문제”라고 설명했다. 해외 기관 소속 한국인들도 일부 포함돼 있지만 첨단 AI 연구 경쟁에 참여하고 있는 한국의 위상과 비교하면 숫자가 많은 편은 아니란 평가도 나온다.
박상훈 기자