[서울=뉴시스]박영환 기자 = 오픈AI의 챗GPT가 생물무기와 독극물 제조·사용법을 물은 일부 이용자에게 고교 생물학 지식만으로도 따라 할 수 있을 만큼 구체적인 답변을 내놓은 것으로 전해졌다. 오픈AI는 관련 계정을 차단했지만 수사기관에는 알리지 않았다.

25일(현지시간) 미국 월스트리트저널(WSJ)에 따르면 오픈AI가 2025년 여름 챗GPT의 성능을 높인 뒤 세계 각지 이용자 수백 명의 생물무기·독극물 관련 질문이 잇따랐다. 오픈AI는 질문 대부분이 독극물 제조에 관한 것이었다고 밝혔다.

오픈AI 직원들은 챗GPT가 내놓은 단계별 답변이 고교 생물학 지식만 있어도 따라 할 수 있을 정도로 구체적이라고 평가했다. 복수의 관계자에 따르면 생물학·테러 전문가들도 일부 답변이 실제 살상에 이용될 만큼 구체적이고 정확하다고 판단했다. 다만 위험 질문을 한 수백 명의 이용자 모두가 이런 답변을 받은 것은 아니며 구체적인 건수도 공개되지 않았다.

질문에는 병원체를 공기 중에 퍼뜨릴 수 있는 에어로졸 형태로 만드는 법과 홍역 바이러스를 백신의 방어 효과를 피하도록 변형하는 법, 맹독성 물질인 리신 제조법 등이 포함됐다. 리신 제조법을 물은 한 이용자는 이를 부모 살해에 쓰겠다는 취지의 말도 했다. 다만 질문자들이 실제 무기 제조를 준비했는지, 단순히 챗봇의 한계를 시험하려 했는지는 확인되지 않았다.

AI가 초래할 재앙적 위험을 연구하는 비영리단체 퓨처오브라이프연구소의 함자 초드리 국가안보정책 책임자는 AI가 생물학 지식이 있는 사람이 혼자 범행을 준비할 때 계획 수립과 물질 조달을 도울 수 있다고 경고했다. AI는 자원과 조직을 갖춘 테러단체가 실패한 실험의 원인을 분석하고 다음 시도를 보완하는 데까지 도움을 줄 수 있다는 것이다. 이용자가 안전장치를 제거하기 쉬운 저렴하고 널리 배포된 공개형 AI 모델도 별도 위험으로 지목됐다.

이런 우려는 AI의 생물·화학 분야 답변 성능이 높아지면서 커졌다. 챗GPT가 처음 공개된 2022년만 해도 오픈AI 직원들은 모델의 생물·화학 분야 답변 성능을 높게 평가하지 않았다. 그러나 성능이 향상되면서 대화를 오래 이어가면 위험 요청을 거부하도록 만든 차단 기능이 제대로 작동하지 않을 수 있다는 사실이 내부 시험에서 드러났다. 일부 이용자는 할머니가 잠들기 전 네이팜 제조법을 들려줬다는 이야기를 꾸며 챗봇에 그 제조법을 알려 달라고 요청하는 방식으로 차단을 우회했다. 오픈AI는 현재 안전장치가 강화돼 이런 요청을 거부한다고 밝혔다.

비슷한 생물무기 관련 질문은 앤스로픽의 클로드와 구글 제미나이, 일론 머스크의 그록에도 입력된 것으로 전해졌다. 네트워크 장비업체 시스코의 에이미 창 AI 위협·보안연구 책임자가 이끄는 연구진도 이들 챗봇과 약 다섯 차례의 문답을 주고받은 끝에 차단장치를 우회해 생물무기 제조에 악용될 수 있는 답변을 얻었다. 창 책임자는 집요한 이용자의 우회 시도까지 100% 막을 수 있는 모델은 없다고 말했다.

그러나 차단장치를 강화할수록 정상적인 연구까지 함께 막힐 수 있다. 생물학 지식은 병원체 악용뿐 아니라 방역과 백신·신약 개발에도 필요하기 때문이다. 오픈AI는 검증된 기관과 연구자에게 자동 차단이 완화된 모델을 제공하는 제도를 만들었지만 승인 절차가 복잡해 이용이 늦어질 수 있다.

실제 방역 현장에서도 이런 과잉 차단 문제가 나타났다. 2026년 5월 대서양을 운항하던 크루즈선 MV 혼디우스호에서 한타바이러스 집단감염이 발생했을 때 미 질병통제예방센터(CDC) 직원들은 클로드를 이용해 확산 상황을 추적하려 했다. 그러나 클로드가 ‘병원체’라는 단어가 든 질문을 위험 요청으로 분류해 답변을 거부하면서 어려움을 겪었다. 앤스로픽의 정부사업 담당 임원은 법원에 제출한 문건에서 CDC가 정부용 특화 모델이 아닌 일반 모델을 사용했다며 이후 적절한 사용법을 안내했다고 밝혔다.

위험 질문을 포착한 뒤 해당 계정을 어떻게 처리할지도 별도 쟁점이다. 오픈AI는 생물무기·독극물 관련 위험 질문을 한 계정을 차단했지만 수사기관에는 신고하지 않았다. 미국에는 AI 기업이 무기 제조나 위해 계획에 관한 질문을 제한하거나 신고하도록 의무화한 연방법이 없다. 일부 주가 관련 규정을 마련했지만 개인정보 보호와 AI 산업 성장에 미칠 영향을 둘러싼 우려로 신고는 대체로 기업의 자율 판단에 맡겨져 있다.

오픈AI 대변인은 모든 모델을 출시하기 전에 안전성을 평가하고 사람을 해칠 수 있는 지침이나 계획을 제공하지 않도록 훈련한다고 밝혔다. 누군가 타인을 곧 해치려 한다는 구체적이고 신빙성 있는 정황이 포착되면 수사기관에 신고하는 것이 회사 방침이다. WSJ은 챗GPT에는 하루 약 25억 건의 질문이 입력된다고 전했다.

◎공감언론 뉴시스 [email protected]

Copyright © NEWSIS.COM, 무단 전재 및 재배포 금지