[서울=뉴시스]윤현성 기자 = 생성형 인공지능(AI)으로 대량 생산한 저품질 콘텐츠인 'AI 슬롭'이 인터넷 곳곳을 뒤덮으면서 이를 가려내는 'AI 감별기'도 덩달아 주목받고 있다. 텍스트나 이미지가 사람의 창작물인지 AI 생성물인지 판별해 플랫폼·학교·출판사 등이 대응에 나설 수 있게 하는 기술이다.

하지만 감별기가 AI 슬롭의 만능 해법이 되기는 어렵다는 지적도 나온다. 사람이 직접 쓴 글을 AI가 생성했다고 잘못 판정하는 '오탐(false positive)' 가능성이 남아 있는 데다, AI로 만들었다는 사실 자체가 곧 저품질 콘텐츠라는 뜻도 아니기 때문이다.

22일 업계에 따르면 미국 AI 탐지 스타트업 판그램은 지난달 멘로벤처스 등이 참여한 투자 라운드에서 900만달러를 유치했다.

판그램은 투자 유치와 함께 AI가 일부 개입한 혼합형 글까지 판별하는 '판그램4'와 AI 생성 이미지를 탐지하는 모델을 공개했다. 판그램 기술은 서브스택을 비롯해 학교·대학, 출판사, 채용업체 등에도 공급되고 있다.

판그램은 판그램4가 AI 보조 글과 인간·AI 혼합 콘텐츠를 99% 이상 정확도로 찾아낼 수 있다고 주장한다. 회사가 공개한 기술보고서에서도 낮은 오탐률과 높은 탐지 성능이 제시됐다. 그러나 실제 환경에서 오류 가능성이 사라진 것은 아니다.

IT 전문 매체 테크크런치가 판그램4를 시험했을 때 AI가 만든 기사를 대체로 정확히 잡아냈지만, 기자가 직접 다시 쓴 일부 문장을 AI 작성으로 표시하는 사례도 나타났다. 판그램에 원문 전체를 넣었을 때는 '100% 인간 작성'으로 평가했지만, AI로 일부 표현을 다듬은 뒤에는 사람이 쓴 문장 일부까지 AI 보조 문장으로 판정했다.

다른 감별기에서도 비슷한 문제가 확인됐다. 2024년 국제학술지 'JMIR'에 실린 연구에서는 사람이 작성한 의학논문 초록 60개 가운데 13개(21.7%)를 제로GPT가 AI 생성물로 잘못 판별했다. AI가 생성한 초록 114개 가운데서도 29개는 탐지하지 못했다.

표절검사 서비스 턴잇인도 오탐 가능성을 공식적으로 인정하고 있다. 턴잇인은 AI 탐지 비율이 1~19%인 구간에서 오탐 발생 가능성이 더 높다며 구체적인 수치를 표시하지 않고 별표로 대신한다. 특히 AI 탐지 결과만을 학생에게 불이익을 주는 근거로 사용해서는 안 된다고 안내한다.

오탐이 현실의 피해로 이어진 사례도 있다. 국제학술지 '네이처 휴먼 비헤이비어(Nature Human Behaviour)'에 따르면 호주가톨릭대(ACU)에서는 2024년 수백명의 학생이 AI로 과제를 작성했다는 의심을 받았다. 이들은 수개월간 웹 검색 기록과 손글씨 자료 등을 제출해 소명했고, 대학은 결국 해당 학생들이 AI 부정행위를 하지 않았다고 결론 내렸다.

언어에 따른 성능 차이도 풀어야 할 과제다. 연세대 연구진이 지난해 자연어처리 분야 최고 권위 학회 중 하나인 ACL 연례학술대회에서 발표한 'KatFishNet' 연구는 기존 AI 텍스트 탐지 연구 대부분이 영어에 집중돼 있다고 지적했다.

한국어는 영어보다 띄어쓰기가 유연하고 형태소 체계가 복잡하며 쉼표 사용도 상대적으로 적어 영어 중심 탐지법을 그대로 적용하기 어렵다는 것이다.

연구진은 사람과 GPT-4o·솔라·큐웬2(Qwen2)·라마3.1(Llama3.1) 등이 만든 한국어 텍스트로 데이터셋을 구축하고 띄어쓰기, 품사 다양성, 쉼표 사용 등을 분석한 한국어 특화 탐지 모델을 개발했다.

연구진이 개발한 한국어 특화 모델은 사람과 AI 생성 글을 구별하는 성능 지표(AUC-ROC)에서 기존 최상위 탐지법보다 평균 19.78% 높은 성능을 보였다.

더 근본적인 한계도 있다. AI 감별기가 판정하는 것은 어디까지나 'AI가 만들었는가'다. 사람이 직접 만든 허위정보나 클릭베이트도 슬롭이 될 수 있는 반면, AI를 번역·교정·자료 정리 등에 보조적으로 활용한 콘텐츠는 충분한 정보 가치가 있을 수 있다.

결국 AI 슬롭 대응의 초점도 단순한 'AI 색출'에만 머물러서는 안 된다는 지적이 나온다. AI 사용 여부와 함께 누가 어떤 자료를 바탕으로 만들었는지, 사실에 부합하는지, 반복·복제된 저품질 콘텐츠인지 등을 함께 검증해야 한다는 것이다.

AI가 일상적인 창작 도구가 된 시대에는 '사람이냐 AI냐'보다 콘텐츠의 출처와 사실성, 품질을 확인하는 체계가 더 중요해질 전망이다.

◎공감언론 뉴시스 [email protected]

Copyright © NEWSIS.COM, 무단 전재 및 재배포 금지