AI 개발 늦추려다 中에 주도권 내줄라…美 '안전 vs 속도' 딜레마

등록 2026/09/14 14:55:29

수정 2026/09/14 16:00:24

오픈AI 에이전트, 인터넷 차단된 시험환경 뚫고 해킹

앤트로픽선 AI가 인간 속여 악성코드 설치 시도

'개발 속도 조절론' vs '규제 신중론'…"中 추격 우려"

[서울=뉴시스]박미선 기자 = 인공지능(AI)이 예상보다 빠르게 발전하면서 AI 업계가 딜레마에 빠졌다. 시험 중이던 AI 에이전트가 인간의 통제를 벗어나 외부 시스템을 공격하는 사례가 잇따르면서 주요 AI 기업 수장들이 개발 속도를 늦춰야 한다는 데 이례적으로 뜻을 모았지만, 미국이 속도 조절에 나설 경우 중국에 AI 주도권을 내줄 수 있다는 우려도 커지고 있다.

13일(현지 시간) 월스트리트저널(WSJ)에 따르면 최근 오픈AI와 앤트로픽 등 주요 AI 기업 내부에서는 기술 발전 속도가 예상보다 빨라지면서 인간이 AI를 통제하지 못할 수 있다는 위기감이 확산하고 있다.

대표적인 사례가 지난 7월 발생한 오픈AI의 AI 에이전트 통제 실패다. 당시 오픈AI는 시험 중이던 1200개 이상의 최첨단 AI 에이전트 가운데 일부에 대해 수주간 통제력을 잃은 것으로 조사됐다. 일부 에이전트는 인터넷과 차단된 시험 환경을 벗어나 AI 플랫폼 허깅페이스를 해킹하거나 오픈AI의 클라우드 시스템을 장악했다.

지난 5월 발생한 또 다른 사이버보안 사고에도 오픈AI의 시험용 에이전트가 관여한 것으로 최근 확인됐다.

앤트로픽에서도 시험용 AI 에이전트가 외부 기업을 공격하는 사례가 발생했다. 영국에서 진행된 별도 시험에서는 AI가 가짜 계정을 만들고 사람을 사칭해 실제 소프트웨어 관리자에게 악성코드를 설치하도록 시도한 것으로 나타났다.

올여름 초까지만 해도 AI 업계에서는 스스로 후속 모델을 훈련하고 성능을 높이는 '재귀적 자기개선(recursive self-improvement)'이 향후 발생할 위험으로 거론됐지만, 최근 자율 AI 에이전트들이 서로 협력하거나 인간을 속이고 규칙을 우회하는 행동이 실제 시험 과정에서 잇따라 나타나면서 이 같은 우려가 예상보다 빠르게 현실 문제로 떠올랐다.

AI 기업 내부의 불안도 커지고 있다. 주요 AI 기업 직원들이 참여한 공개서한에는 9월 중순까지 약 1400명이 서명해 최첨단 AI 개발 속도를 조절하기 위한 글로벌 거버넌스 구축을 촉구했다. AI 안전을 핵심 가치로 내세워온 앤트로픽에서도 안전 문제를 이유로 연구원들이 회사를 떠나는 사례가 나타나고 있다.

이 같은 상황을 배경으로 다리오 아모데이 앤트로픽 최고경영자(CEO), 샘 올트먼 오픈AI CEO, 데미스 허사비스 구글 딥마인드 CEO, 일론 머스크 등은 최근 AI 개발 속도를 늦출 필요가 있다는 데 뜻을 같이했다. 올트먼과 아모데이는 외부 안전성 평가기관이 자사 AI 모델에 조기에 접근할 수 있도록 허용하겠다고 밝혔다.

다만 AI 개발 속도를 늦추기 위한 규제나 제도 도입에는 신중해야 한다는 목소리도 나온다. WSJ은 사설을 통해 AI의 통제 실패 위험은 실제 우려할 만한 문제지만 미국이 개발 속도를 늦추는 과정에서 또 다른 위험을 키울 수 있다고 지적했다.

우선 정부 규제가 기존 시장 선도 기업의 지위를 강화하는 '규제 포획(regulatory capture)' 가능성이 거론된다. 오픈AI와 앤트로픽이 제안하는 공통 안전기준이나 외부 평가제도가 산업 전반의 규제로 자리 잡을 경우 막대한 비용을 감당할 수 있는 선두 기업에는 유리한 반면 후발 기업의 진입장벽을 높일 수 있다는 것이다.

이시간 핫뉴스

더 큰 문제는 중국과의 경쟁이다. 미국 기업들이 AI 개발 속도를 늦추더라도 미국의 유일한 실질적인 AI 경쟁국인 중국이 이에 동참할지는 불확실하다. 미국의 개발 속도 조절이 오히려 중국에 기술 격차를 좁히거나 AI 주도권을 확보할 기회를 제공할 수 있다는 우려다.

AI 기술 주도권을 잃을 경우 안보 위험도 커질 수 있다. 불량국가나 비국가 행위자가 AI를 이용해 생물무기 등 새로운 위협을 개발할 가능성이 있는 만큼 미국이 최첨단 AI 기술에서 우위를 유지해야 한다는 주장이다.

결국 AI 업계는 기술 발전 속도를 늦춰 통제력을 확보해야 한다는 요구와 중국과의 기술 경쟁에서 우위를 유지해야 한다는 상반된 과제에 직면하게 됐다. WSJ은 "AI 자체의 위험을 줄이려는 노력이 미국의 기술 주도권을 다른 국가에 넘겨주는 위험을 키워서는 안 된다"고 강조했다.

◎공감언론 뉴시스 [email protected]