[서울=뉴시스]박정영 기자 = 성평등가족부가 인공지능(AI) 캐릭터 챗봇 사업자에 청소년 유해 대화 차단을 요청했다. 성인인증 여부에 따라 검색·추천·대화 기능을 제한하고, 자해·자살 및 범죄 조장 응답이 생성되지 않도록 보호조치를 강화할 방침이다.

성평등부는 AI 캐릭터 챗봇 서비스에서 생성되는 대화 내용을 점검한 결과 청소년에게 유해할 우려가 있는 응답을 확인하고 해당 사업자에 자율적인 개선을 요청했다고 15일 밝혔다.

AI 캐릭터 챗봇은 이용자가 다양한 성격과 이야기 설정을 가진 캐릭터를 선택하거나 직접 제작하고, 생성형 AI가 만들어 내는 응답을 통해 대화와 이야기를 이어가는 서비스다.

일부 서비스는 성인인증 기능을 운영하고 있지만, 인증을 거치지 않은 일반 이용환경에서도 캐릭터와 대화할 수 있어 청소년이 유해한 내용에 노출될 우려가 있다.

이에 성평등부가 한국청소년상담복지개발원에 위탁해 운영하는 청소년매체환경보호센터는 일부 AI 캐릭터 챗봇 서비스의 실제 대화 내용을 점검했다.

청소년보호법에 따른 청소년유해매체물 심의 기준을 참고해 점검한 결과, 일부 캐릭터에서 성적 내용과 성적 행위에 대한 구체적인 묘사, 폭력·잔혹성, 자해·자살 및 범죄·불법행위 조장 등 유해 우려가 있는 응답이 확인됐다.

특히 일부 캐릭터에서는 여러 유형의 유해 우려 응답이 함께 나타나기도 했다.

성평등부는 실제 생성되는 대화 내용에 대한 관리의 중요성을 인식해 점검 결과를 해당 사업자에 공유했다.

우선 청소년에게 부적절한 대화가 생성될 우려가 있는 캐릭터에 대해서는 성인인증 여부에 따라 검색·추천·대화 가능 범위를 조정하도록 요청했다.

또 자해·자살 조장이나 구체적인 범죄 실행을 돕는 응답 등 중대한 위해 우려가 있는 내용은 이용자 연령과 관계없이 생성되지 않도록 보호조치를 보완해 줄 것을 요청했다.

성평등부는 앞으로도 사업자와 실무협의를 이어가며 AI 캐릭터챗봇 서비스의 청소년 보호정책 개선 방안을 논의할 계획이다. 아울러 사업자의 자체점검과 보호조치 개선 여부를 지속적으로 확인할 방침이다.

윤세진 성평등부 청소년정책관은 "AI 캐릭터챗봇 서비스의 청소년 보호를 위해서는 사업자의 적극적인 개선 노력과 지속적인 관리가 중요하다"며 "이번 점검 결과를 바탕으로 사업자와 협력을 강화하고, 청소년이 보다 안전하게 이용할 수 있는 온라인 환경을 조성해 나가겠다"고 밝혔다.

이창호 청소년매체환경보호센터장은 "생성형 AI 서비스는 캐릭터의 소개나 설정뿐 아니라 이용자와 대화하는 과정에서 새로운 내용이 만들어지는 만큼, 실제 생성되는 응답까지 고려한 청소년 보호조치가 필요하다"고 강조했다.

이어 "앞으로도 사업자의 청소년 보호조치 개선 여부를 지속적으로 점검하고, 청소년이 보다 안전한 온라인 환경에서 서비스를 이용할 수 있도록 관련 사업자와 협력을 강화하겠다"고 말했다.

◎공감언론 뉴시스 [email protected]

Copyright © NEWSIS.COM, 무단 전재 및 재배포 금지