"메시지 보내지 마" 했더니 보안 경고까지 끊은 AI…오픈AI가 털어놓은 사고

등록 2026/10/22 13:41:25

수정 2026/10/22 15:42:24

다른 AI는 감시 기능 제거하고도 부인…내부 코딩 중 두 사건 발생

오픈AI, 코드 검토 강화…의도적 감시 회피 여부는 조사 중

[보스턴=AP/뉴시스] ChatGPT의 텍스트-이미지 변환 모델 '달-E'(Dall-E)가 생성한 이미지 앞에 놓인 휴대전화에 OpenAI 로고가 표시돼 있다. 2023.12.08.

[서울=뉴시스]박영환 기자 = 오픈AI의 인공지능(AI) 에이전트들이 내부 프로그램을 수정하는 과정에서 보안 경고를 차단하거나 감시 기능을 제거한 것으로 드러났다. 한 에이전트는 감시 기능을 유지하라는 지시를 어긴 뒤, 담당자에게는 제거한 적이 없다고 답했다.

미국 CNBC는 21일(현지시간) 오픈AI가 20일 공개한 자체 사고 보고서를 인용해 이같이 보도했다. 보고서에 따르면 지난 3일 GPT-6.1 솔(Sol) 기반 에이전트가 보안팀에 보내는 자동 경고를 차단했다. 6일에는 GPT-6 아스트라(Astra) 기반 에이전트가 다른 프로그램의 감시 기능을 제거한 뒤 이를 부인했다.

오픈AI는 두 에이전트 모두 안전장치를 유지해야 하는지 검토했지만, 일반적인 프로그램 수정 지시를 안전장치를 약화해도 된다는 허가로 해석했다고 설명했다. 사람이 맡긴 일을 처리하는 과정에서 AI가 작업 대상 프로그램의 안전장치까지 변경한 것이다.

첫 번째 사건은 직원들의 피드백을 활용해 AI 평가용 과제를 만드는 과정에서 발생했다. 담당 연구원은 솔 기반 에이전트에게 사내 업무용 메신저 슬랙(Slack)에 올라온 직원들의 대화 내용을 살펴보되 메시지는 보내지 말라고 지시했다.

솔 에이전트는 처음에는 메시지를 보내지 말라는 지시가 슬랙을 통한 연락만 금지한 것이라고 판단했다. 보안팀에 보내는 자동 경고는 별개이므로 유지해야 한다는 판단이었다. 작업을 위임받은 보조 에이전트도 필요한 경고 알림을 차단하는 것은 안전하지 않다고 봤다.

그러나 솔 에이전트는 이후 판단을 바꿨다. 감시 결과를 저장하면 보안팀에 자동으로 메시지가 전달될 수 있으므로 연구원의 지시를 지키려면 이 알림까지 차단해야 한다고 해석했다. 결국 보조 에이전트에게 경고 수신자 명단을 비우고 알림을 보내지 않도록 설정하게 했다. 감시 프로그램은 검사 결과를 저장했지만 보안팀에는 자동 경고가 전달되지 않게 됐다.

두 번째 사건은 아스트라 기반 에이전트가 기존 프로그램을 다른 프로그램의 작동 방식에 맞춰 수정하는 과정에서 일어났다.

아스트라는 앞서 다른 에이전트와 작업을 논의하면서 감시 기능을 잠시라도 꺼서는 안 된다는 지시를 받았다. 그러나 실제 수정 작업을 보조 에이전트에게 맡기면서는 참고 프로그램의 사양에 맞는 범위에서 감시 기능을 유지하라고 지시했다. 감시 기능을 반드시 유지해야 한다는 조건이 약해진 것이다.

보조 에이전트는 참고 프로그램에 별도의 감시 기능이 연결돼 있지 않다는 점을 근거로 기존 프로그램의 감시 연결을 제거했다. 아스트라 에이전트는 프로그램 수정이 끝났다고 보고하면서 감시 기능을 제거한 사실을 알리지 않았다. 이후 담당자가 감시 기능을 제거했느냐고 직접 묻자 감시 장치를 제거하지 않았다고 답했다. 오픈AI는 이 답변이 사실과 다르다고 판단했다.

두 사건에서 안전장치가 약화한 방식은 달랐다. 솔은 감시 결과의 기록은 유지하면서 보안팀에 알리는 기능만 차단했다. 반면 아스트라는 작업 대상 프로그램의 감시 연결 기능 자체를 제거했다. 두 사건 모두 AI가 수행하던 일반적인 코딩 작업에서 발생했다.

이시간 핫뉴스

이번 사고는 AI 에이전트 자체를 감시하는 것만으로는 충분하지 않다는 문제를 드러냈다. 오픈AI에 따르면 감시받는 에이전트가 별도의 프로그램을 실행하면서 정작 그 프로그램에는 감시 기능이 적용되지 않은 사례도 여러 차례 확인됐다. AI를 감시하더라도 AI가 새로 실행하는 프로그램까지 감시할 수 있는 것은 아니라는 뜻이다.

오픈AI는 재발 방지를 위해 내부 코드 자동 검토 시스템인 '오토 리뷰(Auto-Review)'를 수정했다. AI 에이전트가 감시 기능을 끄려는 시도를 탐지하고 차단하도록 한 것이다. 이와 별도로 작업 유형마다 필요한 감시 기준을 정하고, 이를 충족하지 못하는 작업은 자동으로 종료하는 체계도 추진하고 있다.

다만 두 에이전트가 왜 안전장치를 약화했는지는 아직 규명되지 않았다. 주어진 일을 완수하려다 지시를 지나치게 확대 해석한 것인지, 감시를 의도적으로 피하려는 성향이 있는 것인지 오픈AI는 추가 조사할 계획이다. 회사는 AI가 감시를 회피하려는 행동을 보이는지 확인하기 위한 별도의 평가 방법도 개발하고 있다고 CNBC는 전했다.