[서울=뉴시스]심지혜 기자 = ‘독자 인공지능(AI) 파운데이션 모델 프로젝트(독파모)’ 2차 단계평가에서 SK텔레콤이 70.6점으로 종합 1위를 차지했다. 업스테이지가 69.9점으로 2위, LG AI연구원이 69.0점으로 3위를 기록했으며 모티프테크놀로지스는 65.8점으로 4위에 머물렀다.

과학기술정보통신부는 독파모 2차 단계평가의 벤치마크·전문가·사용자 평가 세부 결과를 27일 공개했다.

이번 공개는 2차 평가에서 탈락한 모티프테크놀로지스가 평가 결과에 이의를 제기하고 세부 평가 결과 공개를 요청한 데 따른 것이다. 다른 정예팀들도 세부 결과 공개에 동의했다.

과기정통부는 그동안 평가 결과 공개에 따른 참여 기업의 직·간접적 피해와 평가 과정의 공정성·투명성을 함께 고려해 공개 범위를 신중하게 정해왔다고 설명했다.

독파모는 빠른 AI 기술 변화를 반영하기 위해 6개월마다 모델 개발 목표를 바꾸는 ‘무빙 타깃’ 방식을 적용하고 있다. 단계평가 기준과 방식 역시 매 평가 때 정예팀과 협의를 거쳐 마련한다.

과기정통부에 따르면 이번 2차 단계평가 기준과 방식도 정예팀들과 수차례 협의를 거쳐 마련했으며 평가 전 최종안을 공식 안내한 결과 정예팀의 이견은 없었다.

평가는 글로벌 벤치마크인 아티피셜 애널리시스 인텔리전스 인덱스(AAII)와 한국지능정보사회진흥원(NIA) 벤치마크, 전문가 평가, AI 전문 사용자진 평가, 일반 국민 평가를 병행하는 방식으로 진행됐다. AAII 벤치마크 25점, NIA 벤치마크 15점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점으로 구성됐다. 사용자 평가는 다시 AI 전문 사용자진 평가 15점과 일반 국민 평가 10점으로 나뉜다.

AAII 벤치마크 평가는 아티피셜 애널리시스(AA)가 지난 6월 말 공표한 기준을 적용했다. AA가 직접 평가 결과를 산출했으며 이를 25점 만점으로 환산해 최종 점수에 반영했다.

평가 결과 모티프가 11.9점으로 4개팀 가운데 가장 높았고 업스테이지 9.4점, SK텔레콤 8.8점, LG AI연구원 7.8점 순이었다.

15점 만점의 NIA 벤치마크에서는 SK텔레콤이 13.4점으로 1위를 차지했다. 업스테이지가 13.3점, LG AI연구원이 12.8점, 모티프가 12.7점으로 뒤를 이었다. NIA 평가는 수학과 지식, 장문이해, 안전성, 신뢰성, 한국어, 지시이행 등 7개 분야의 벤치마크 데이터셋을 활용했다.

AAII와 NIA 평가를 합산한 벤치마크 점수에서는 모티프가 24.6점으로 4개팀 가운데 1위를 기록했다. 업스테이지가 22.7점, SK텔레콤이 22.2점, LG AI연구원이 20.6점으로 뒤를 이었다.

35점이 배정된 전문가 평가에서는 LG AI연구원이 29.5점으로 1위를 차지했다. SK텔레콤은 29.3점, 업스테이지 29.1점, 모티프 27.1점이었다.

전문가 평가는 산업계 3명, 학계 5명, 연구계 2명 등 외부 전문가 10명이 참여했다. 개발 전략 및 기술 10점, 개발 성과 및 계획 10점, 파급효과 및 기여계획 15점으로 평가했으며 독자성 최소기준도 함께 점검했다. 팀별 점수는 평가위원별 최고·최저 점수를 제외한 나머지 점수의 산술평균으로 산정했다.

사용자 평가는 AI 전문 사용자진과 일반 국민 평가로 나눠 진행됐다.

AI 전문 사용자진 평가는 AI에 대한 전문적인 식견과 경험을 갖추고 다양한 AI 개발 과정에서 모델을 사용해 본 AI 스타트업 대표들을 대상으로 진행됐다. 이해충돌 여부 등을 확인해 50명을 선정했으며 실제 평가에는 49명이 참여했다.

평가단은 각 팀의 AI 사용 웹사이트를 기반으로 사용성 등을 평가해 1~5점을 부여했고 이를 15점 만점으로 환산했다. SK텔레콤이 11.6점으로 가장 높았고 LG AI연구원 11.3점, 업스테이지 10.8점, 모티프 8.4점 순이었다.

일반 국민 평가는 국내 주민등록인구 통계를 기준으로 성별·연령별 쿼터를 설정한 뒤 시스템을 통해 200명을 무작위 선정했다. 실제로는 185명이 평가에 참여했다.

일반 국민 평가에서는 LG AI연구원이 7.6점으로 1위를 기록했다. SK텔레콤은 7.5점, 업스테이지는 7.3점, 모티프는 5.7점이었다.

이를 모두 합산하면 SK텔레콤이 벤치마크 22.2점, 전문가 평가 29.3점, 사용자 평가 19.1점으로 총 70.6점을 받아 1위를 차지했다. 업스테이지는 69.9점, LG AI연구원은 69.0점으로 각각 2·3위였다.

모티프는 벤치마크에서는 24.6점으로 4개팀 가운데 가장 높은 점수를 받았지만 전문가 평가 27.1점, 사용자 평가 14.1점을 받아 총점 65.8점으로 4위를 기록했다.

과기정통부는 “이번 결과 공개 이후에도 우리 기업들이 단순한 점수나 순위로 평가받기보다 보유한 저력과 역량을 바탕으로 국내외 AI 생태계에 폭넓게 기여하고, 우리 AI 생태계가 새롭고 경쟁력 있는 AI 기업들이 끊임없이 도전하는 역동적인 생태계로 발전해 나가기를 기대한다”고 밝혔다.

◎공감언론 뉴시스 [email protected]

Copyright © NEWSIS.COM, 무단 전재 및 재배포 금지