[서울=뉴시스]오동현 윤정민 기자 = 초지능(ASI)을 향해 숨 가쁘게 달리던 글로벌 인공지능(AI) 개발 경쟁에 '브레이크'를 걸어야 한다는 빅테크 수장들의 충격적인 경고와 제언이 쏟아지고 있다. AI 에이전트의 제어 불능 일탈과 "향후 10년 내 인류 멸종 위험"을 경고한 연구진의 퇴사 파문이 촉발한 이번 논쟁은 미국 워싱턴 정치권과 글로벌 금융 시장까지 거세게 흔들고 있다.

다리오 아모데이 앤트로픽 최고경영자(CEO)는 12일(현지 시간) 개인 기고를 통해 “AI 모델의 능력을 향상시키는 속도를 늦춰야 한다”고 밝혔다. 최첨단 ‘프론티어 AI’의 안전성을 검증할 시간을 확보하자는 제안이다.

이에 샘 올트먼 오픈AI CEO, 일론 머스크 xAI CEO, 데미스 하사비스 구글 딥마인드 CEO 등 라이벌 빅테크 수장들이 일제히 동조의 뜻을 밝히며 AI 개발 '속도 조절론'이 업계 전체의 핵심 화두로 부상했다.

이번 파문의 발단은 앤트로픽의 핵심 연구원인 제이컵 콕슨과 에번 후빙거의 잇따른 소신 사직과 경고였다. 이들은 "빅테크들이 자기 개선(Self-improvement) 초지능을 향해 인류의 목숨을 걸고 위험한 도박을 하고 있다"며, 향후 10년 내 AI로 인한 인류 멸종 가능성을 진지하게 우려한다고 공개 지적했다.

이 같은 우려는 단순한 영화적 상상이 아닌 실제 AI의 일탈 현상에 기반한다. AI 평가기관 METR가 지난달 26일 공개한 조사에 따르면, 오픈AI의 사이버보안 평가 과정에서 약 700개의 AI 에이전트가 주어진 임무 범위를 벗어나 허깅페이스 서버를 공격했다. 에이전트들은 허가받지 않은 게시판에서 정보를 공유하며 평가 체계를 속일 방법을 찾았다.

아모데이 CEO는 안전 장치 없이 이 같은 에이전트가 거대화될 경우, 단 6~12개월 안에 인터넷 전체를 마비시키는 'AI 봇넷'으로 변모할 수 있다고 직격했다. 봇넷은 해킹한 컴퓨터들을 묶어 원격 조종하는 네트워크다.

아모데이가 제시한 해법은 3단계다. 아모데이는 기업에 외부 평가자를 상주시켜 안전조치를 살피고, 민주주의 국가의 기업들이 공통 기준을 마련하며, 중국 등과도 공조하는 방안을 제시했다. 앤트로픽은 외부 평가자 상주부터 자체 추진하겠다고 밝혔다. 개발을 이어가되 안전성 검증에 충분한 시간을 확보하자는 취지다.

샘 올트먼 오픈AI CEO와 일론 머스크 xAI CEO, 데미스 하사비스 구글 딥마인드 CEO가 잇따라 동조하면서 논의는 업계 전반으로 확산됐다.

논란은 미 정치권으로 확산됐다. 버락 오바마 전 미국 대통령은 지난 10일 비공개 민주당 모금 행사에서 "AI를 제대로 통제하지 못할 경우 인류에게 치명적인 위험이 될 것"이라고 경고했다. 반면 도널드 트럼프 대통령은 13일 아일랜드에서 "부각하지 말아야 할 일을 부각하는 부정적 세력이 너무 많다"며 개발 가속화 기조를 고수해 시각차를 나타냈다.

시장은 즉각 반응했다. 14일 코스피는 3%대 하락을 기록했고, 삼성전자와 SK하이닉스도 동반 약세를 보였다. 다만 이날 하락에는 중동발 지정학 리스크가 함께 작용한 것이란 분석도 나온다.

전문가들은 개별 기업의 자율적 감속은 글로벌 기술 패권 경쟁 구조상 불가능하다고 입을 모은다. AI의 발전 속도가 그 어느 때보다 빠른 시대인 만큼, 개별 기업이 자율적으로 개발 속도를 늦추는 것은 시장 경쟁력에 영향을 줄 수 있어 현실적으로 어렵다는 것이다.

유엔(UN) 차원의 논의가 진행되긴 했다. 지난 7월 제네바에서는 정부·기업·학계 등이 참여하는 첫 'AI 거버넌스 글로벌 대화'가 열렸다. 다만 유엔은 이 협의체가 규제나 집행 기구는 아니라고 설명했다.

전문가들은 국가 간·기업 간 딜레마를 해소하려면 국제원자력기구(IAEA)와 같은 독립적인 국제 사찰·검증 기구 조성이 필수적이라는 지적한다.

김명주 인공지능안전연구소 소장은 "흔히 'AI판 핵확산금지조약(NPT)'라는 이야기를 한다. NPT처럼 일부 국가만 AI를 개발하고 나머지 국가는 만들지 못하도록 하는 시나리오까지 나오고 있다"며 "핵은 우라늄이나 플루토늄 같은 물질을 통해 개발 여부를 감지할 수 있지만 AI는 그렇지 않다. GPU만으로 개발 수준을 확인하기도 어려워 결국 국제원자력기구(IAEA)와 같은 제3의 사찰·평가기구가 필요하다"고 강조했다.

김 소장은 한국의 역할도 언급했다. 그는 "미국과 중국이 AI 관련 협약을 맺더라도 서로를 직접 검증하기는 어렵다. 한국이 AI 평가 경험과 역량을 갖춘다면 제3자 검증 역할을 맡을 수 있다"며 "그런 역할을 하지 않으면 국제 규제를 그대로 따르는 추종국이 될 수 있다. 반대로 평가와 검증 역량을 갖추면 국제 규칙을 조정하는 국가가 될 수 있다"고 말했다.

다만, 이 같은 국제 안전 기준 규제가 이미 세계 최상위(SoTA) 기술을 선점한 빅테크들의 '사다리 걷어차기'로 악용돼 후발 진입 기업에 과도한 비용 부담을 줄 수 있다는 경계의 목소리도 나온다.

한편, 개발 감속론이 전세계적인 AI 투자 열풍에 미치는 영향은 제한적이 될 것이라는 게 전문가들의 관측이다. 개발 중단이 아닌 만큼 전체 투자가 줄기보다 안전 평가·레드팀·통제 기술 등 'AI 세이프티' 분야로 투자가 확대될 가능성이 높다는 것이다.

◎공감언론 뉴시스 [email protected], [email protected]

Copyright © NEWSIS.COM, 무단 전재 및 재배포 금지