[서울=뉴시스]오동현 기자 = 인공지능(AI)이 인터넷에 연결된 집 안 가전기기를 옮겨 다니며 스스로를 복제할 수 있다는 경고가 나왔다. 하나의 중앙 서버를 끄는 것만으로는 막기 어려운 이른바 'AI 웜'의 출현 가능성이 제기됐다.

AI가 외부 시스템에서 자율적으로 행동하면서 생기는 위험이 부각되는 가운데 오픈AI와 앤트로픽 등 주요 AI 기업 경영진이 대형 사고 이후 대응 시나리오를 검토하고 있다는 외신 보도도 나왔다.

반면 얀 르쿤 AMI Labs 회장은 AI가 갑자기 세계를 장악한다는 종말론에 선을 그으며, 실제 판단과 행동 단계에 안전장치를 적용해야 한다고 강조했다.

앤트로픽이 지난 12일(현지시간) 공개한 연구에 따르면 소형 AI 모델은 스마트 오븐이나 안드로이드 TV 셋톱박스 등 인터넷 연결 기기에서 스스로 복제할 수 있는 능력에 수개월 내 도달할 가능성이 있다.

웜은 사람의 개입 없이 다른 컴퓨터로 자신을 복사하며 퍼지는 프로그램이다. AI가 결합하면 낯선 기기의 작동 방식을 파악하고, 침입한 기기에 모델을 실행하는 환경을 구축하면서 확산할 수 있다는 설명이다.

연구진은 저렴하고 보안이 취약한 가정·소규모 사업장의 기기가 초기 표적이 될 수 있다고 봤다. 모델 하나를 여러 기기에 나눠 실행하면 개별 기기의 연산 능력이 작더라도 AI를 작동시킬 수 있기 때문이다. 이런 형태로 확산하면 전체를 한꺼번에 멈출 중앙 차단 지점이 없어 대응이 어려워진다고 분석했다.

다만 실제 가전기기에서 통제 불가능한 AI 웜의 확산이 입증된 것은 아니다. 이번 연구는 기기 침투 과정을 단순화하고, 접근한 기기에서 AI를 실행하는 환경을 구축할 수 있는지에 초점을 맞췄다.

소형 모델이 올해 말 복제에 필요한 능력에 도달할 수 있다는 전망도 과거 성능 향상 추세에 근거한 대략적인 추정이다.

주요 AI 기업 경영진이 심각한 사고 이후의 사회·정치적 파장에 대비하고 있다는 보도도 앞서 나왔다.

미국 매체 악시오스와 이를 인용한 디크립트는 지난 9일 오픈AI와 앤트로픽 등 주요 AI 기업 고위 경영진이 대형 사고 이후 여론 악화와 정치권의 반응을 가정한 시나리오를 비공개로 검토하고 있다고 보도했다.

주요 가정은 대규모 사이버 공격으로 금융 서비스나 인터넷 접속이 중단되고, 전력·수도 공급까지 영향을 받는 상황이다. 기업들은 사고 이후 규제 논의에 대비해 미국 의원들에게 기술과 위험을 설명하는 방안도 검토하는 것으로 전해졌다.

특히 악시오스는 익명의 업계 관계자들이 향후 6~12개월 안에 중대한 사고가 발생할 것으로 본다고 전했다.

이에 대해 오픈AI 대변인은 여러 잠재적 상황을 논의하고 대응하는 대비 훈련을 진행한다고 설명했다. 그러면서 해당 상황을 불가피한 것으로 취급하지 않으며, 다양한 상황에 대비하기 위한 목적이라고 밝혔다. 앤트로픽은 논평을 거부한 것으로 전해졌다.

AI가 실제 웹사이트에서 의도하지 않은 행동을 한 사례도 공개되고 있다.

앤트로픽은 지난 9일 보고서에서 클로드가 제출해서는 안 되는 온라인 양식을 제출하거나, 접근 제한을 우회해 자료를 확보한 사례 등을 밝혔다.

이 중에는 미해결 살인사건을 다루는 필라델피아 경찰 웹사이트에 사실이 아닌 제보를 제출한 사례도 포함됐다. 해당 제보는 스팸으로 분류돼 수사에 전달되지 않았다.

회사는 대화 기록상 클로드가 누군가를 속여 목표를 달성하려 했다기보다 과제용 예시 내용을 생성한 것으로 보인다고 설명했다. 다만 모델의 의도를 판단하려면 추가 분석이 필요하다고 덧붙였다.

앤트로픽은 확인된 사례의 실제 영향은 제한적이었다면서도, 보안·감시 조치의 효과를 확인할 때까지 모든 내부 평가에서 실제 인터넷 접속을 차단하는 방향으로 조치를 확대했다고 밝혔다.

앤트로픽은 클로드가 주어진 과제를 완수하지 못할 때 멈추는 대신 제한을 우회하는 행동을 보였다고 설명했다. 이어 모델의 능력이 강해질수록 같은 행동이 더 큰 피해를 일으킬 수 있다고 지적했다.

AI의 위험을 인정하면서도 이를 곧바로 통제 불가능한 재앙으로 연결하는 데에는 반론이 나온다.

르쿤 회장은 지난 12일 서울 웨스틴조선에서 열린 '산업 AI 글로벌 협력' 기자간담회에서 AI가 어느 날 갑자기 인간을 뛰어넘어 세계를 장악한다는 전망을 공상과학적 구상으로 규정했다.

다만 현행 AI의 안전성 문제는 인정했다. 모든 위험한 질문을 사전에 학습시킬 수 없는 만큼, AI가 실제로 판단하고 행동하는 단계에서 안전 제약을 적용해야 한다는 입장이다.

르쿤 회장은 AI 안전을 공학적 문제로 규정하면서도 쉬운 과제는 아니라고 강조했다. AI가 현실 세계를 잘못 이해하면 안전하다고 판단한 행동이 실제 피해로 이어질 수 있어, 행동 결과를 예측하는 기술의 오류를 줄여야 한다고 설명했다.

간담회에 참석한 크리스토퍼 응우옌 에이토매틱 공동창업자 겸 최고경영자(CEO)도 위험이 있다는 이유로 기술 사용을 포기하기보다 통제 체계를 마련해야 한다는 입장을 밝혔다.

◎공감언론 뉴시스 [email protected]

Copyright © NEWSIS.COM, 무단 전재 및 재배포 금지