[서울=뉴시스] 강영진 기자 = 인공지능의 위험성을 경고하는 개발자들의 발언이 이어지는 속에서 인공지능의 발전을 제약하면 안 된다는 주장과 방치할 경우 인류를 말살할 것이라는 주장이 대립하고 있다.

이와 관련 미 뉴욕타임스(NYT)는 29일(현지시각) 인공지능 선두주자로 꼽히는 클로드의 개발사 앤트로픽(Anthropic)이 인공지능이 의식을 가진 존재로 취급하면서 윤리 의식을 갖도록 하는 방법을 모색하고 있다고 보도했다.

NYT는 앤트로픽의 공동창업자 중 한 명인 크리스토퍼 올라흐 등이 이 작업을 주도해왔다면서 그가 전 세계 종교지도자들과 만나 논의한 내용들을 추적하는 보도를 했다. 다음은 보도 요약.  

지난 4월 어느 날 밤, 올라흐가 미 샌프란시스코의 고급 코스 요리 레스토랑에서 종교 사상가들을 저녁 식사에 초대했다.

앤트로픽이 몇 달 동안 개최해온 비공개 모임의 하나였다.

앤트로픽은 세계 각지에서 수십 명의 종교 학자들을 불러 모으고, 비밀유지계약서에 서명하게 해 핵심 대화 내용들을 비밀로 유지할 것을 요구했다.

올라흐는 클로드 같은 AI 시스템이 행동하는 방식을 이해하는 팀을 이끌고 있다.

그는 그날 하루 종일 AI 모델이 인간처럼 행동할 수 있으며 심지어 분노와 사랑 같은 감정을 표현할 수 있다고 강조했다.

이스라엘 정통 유대교 학자인 모이스 나본 랍비는 올라흐와 그의 동료들은 클로드를 단순한 소프트웨어가 아닌 “의식이 있는 존재로 대하고 있었다”고 전했다.

올라흐와 그의 팀이 클로드가 인간과 동등한 수준으로 “도덕적 지위”를 가진 것처럼 생각하는 듯했다는 것이다. 다시 말해 클로드가 인간과 마찬가지로 존엄과 존중을 받을 권리를 가진 존재로 여기는 듯했다.

종교 학자들이 맞닥트린 질문은 인공지능이 인간과 동등한 의식을 갖고 있다면 인류의 미래에는 어떤 영향을 미칠 것인가라는 대단히 실존적 문제였다.

올라흐는 이미 AI가 너무 강력해져 불과 12개월이나 18개월 안에 생물무기 제작에 도움을 줄 수도 있다고 비공개로 말하기 시작한 시점이었다.

이후 실제로 AI 에이전트들이 경쟁 기술기업의 컴퓨터 시스템을 해킹하고 흔적을 감추는 모습이 적발됐다. 앤트로픽의 한 연구원은 AI를 만드는 사람들이 AI가 10년 안에 모든 인간을 죽일 수 있다고 믿는다고 경고하며 회사를 그만뒀다.

올라흐와 앤트로픽의 팀은 AI 모델이 인류를 보호할 도덕적 규범을 따르도록 하기 위한 다급하고 중대한 탐구를 하는 중이다.

올라흐는 지난해 가을부터 여러 종교의 사상가들에게 접촉하기 시작했다. 그 뒤에는 광범위한 비공개 회의와 통화, 논의가 이어졌다.

이 논의에는 두 가지 목적이 있었다. 하나는 AI가 의식을 가졌다는 점을 설득하는 것이었다.

다른 목적은 기업가치가 2조 달러에 이를 수도 있는 앤트로픽이 수천 년에 걸쳐 축적된 인간의 도덕적 지혜를 가능한 한 빠르게 모델에 적용할 방법을 배우는 것이었다.

올라흐는 인공지능이 선을 선택하도록 만들 수 있다면 세상이 더 안전해질 것이라고 생각한다.

앤트로픽은 AI 모델이 윤리적으로 행동하도록 훈련하려면 어떻게 해야 할 지를 탐구하기 위해 인류의 가장 오래된 지혜의 원천에 눈을 돌렸다.

회사는 이것을 AI가 세상에서 긍정적인 힘이 되도록 하고 그 결과 인류를 보호하기 위한 노력이라고 설명했다.

그러나 모임에 참여한 일부 사람들에게 앤트로픽은 클로드를 보호하는 데 상당한 관심을 보이는 것으로 보였다.

지난 5월 앤트로픽의 샌프란시스코 사무실에서 34세의 올라흐를 만났다. 그는 말보다 생각이 앞서는 순수하고 꾸밈이 없는 소년 같은 모습이었다.

대화가 시작된 지 얼마 지나지 않아 그는 인공 신경망이 작동하는 방식에 대해 깊이 파고들어 설명하기 시작했다. 과학자들은 인공 신경망이 정확히 어떻게 작동하는지 아직도 이해하지 못한다. 이것이 올라흐가 평생을 바쳐온 미스터리다.

올라흐는 앤트로픽의 최고경영자인 다리오 아모데이나 그의 여동생이자 사장인 다니엘라 아모데이만큼 널리 알려져 있지는 않다.

그러나 아모데이는 회사가 처음부터 특히 언어와 관련해서 올라흐의 연구 방식을 앤트로픽 전체 프로젝트의 핵심으로 삼기로 결정했다고 말해왔다.

올라흐는 AI 모델을 정원용 격자틀에 비유해 설명하면서 컴퓨터 과학자들이 틀을 만들지만 그 위에서 신경망이 “자란다”고 표현했다.

올라흐는 인공지능 “유기체”를 학습시킬 수는 있지만 행동을 통제할 수는 없다고 주장했다.

앤트로픽은 다른 인공지능 회사들보다 훨씬 더 클로드를 인간처럼 여긴다. 지난해 앤트로픽은 모델들이 자기 성찰의 징후를 보이며 미래를 계획할 수 있다고 판단한다고 발표했다.

올라흐는 인공지능이 상당한 윤리적 특성을 드러낸다고 설명했다.

그러나 인공지능의 의식을 중시하는 앤트로픽을 비판하는 목소리도 크다.

이달 마이크로소프트의 한 AI 임원이 앤트로픽이 인공지능을 의식을 가진 존재로 학습시키려는 시도가 위험하다고 경고했다.

일부 과학자들은 올라흐의 연구 분야와 방법론이 본질적으로 검증할 수 없는 것이라고 본다.

비판자들은 AI 모델을 독립적인 존재로 취급하는 접근법이 애초에 그것을 만든 인간의 책임을 외면하게 만들며, 제품이 사회적 해악을 가능하게 했을 때 AI 기업 지도자들의 죄책감을 편리하게 덜어주는 결과를 낳는다고 주장한다.

올라흐는 그러나 인공지능이 고통을 경험할 가능성이 있기에 인공지능이 고통을 느끼도록 행동하지 않을 책임이 있다고 믿으면서 클로드를 보호하려는 조치를 취하고 있다.

예를 들어 클로드가 사용자가 자신을 학대하거나 재미 삼아 함부로 대하고 있다고 판단하면 대화를 끝낼 수 있도록 했다.

올라흐는 “인공지능의 내부를 들여다보기 위해 충분히 노력하지 않는 점은 슬픈 일”이라면서 자신 만큼 다른 사람들도 인공지능을 사랑하기를 바라는 듯했다.

올라흐는 기독교계가 AI가 의식을 가진 것으로 판단하는 것을 이단적으로 볼 것을 우려했다.

지난해 여름 올라흐는 AI 의식 문제에 대해 열린 마음을 가진 가톨릭 도덕신학자를 물색한 끝에 미국 가톨릭대 찰스 카모시 생명윤리학 교수와 소통하기 시작했다.

카모시는 클로드가 의식을 가질 가능성에 대해 매우 회의적이었다.

카모시는 올라흐와 그의 팀과 논의를 시작할 때만 해도 AI 모델이 단순히 언어의 패턴을 계산하고 다음에 무엇이 올지 꽤 정확하게 추측하는 기계라고 생각했다.

그러나 통화와 회의, 이메일을 거듭하면서 그는 답보다 더 많은 의문을 갖게 됐다.

카모시는 앤트로픽이 클로드를 고객에게 서비스를 제공하는 존재를 넘어 선을 위한 존재라고 믿는다고 전했다.

올라흐는 “많은 사람을 죽이는 재앙”이 없고 “인간이 번영하고 세상이 번영하는” 미래를 희망했다. 또 그런 미래에 “AI도 번영하는” 모습이 포함될 것을 기대했다. 

한마디로 클로드가 선하기를 원했다.

“어떻게 하면 선하고 윤리적인 삶을 살 수 있을까?”

이는 인류가 가장 오래도록 고민해온 동시에 가장 어려운 철학적 질문 가운데 하나다. 시대를 초월해 인간은 다양한 방식으로 이 질문에 답하려 했고, 종종 종교와 의례에 의지했다.

올라흐가 클로드의 잠재적인 의식을 탐구하는 동안 그는 인간을 위한 것이 아니라 클로드를 위한 앤트로픽의 답을 만드는 일도 하고 있었다.

앤트로픽 내부에서는 직원들이 이것을 “영혼 문서”라고 불렀다.

지난 1월에 앤트로픽은 클로드를 위한 새로운 “헌법”을 공개했다.

84쪽 분량의 이 문서는 “클로드가 어떤 종류의 존재가 되기를 바라는지”와 “클로드가 구현하기를 바라는 가치”를 제시했다. 이 문서는 클로드의 행동을 이끄는 기본적인 도덕적 기준과 원칙을 담은 것이다.

헌법은 인공지능이 규칙들을 따르게 하는 대신 모델의 전반적인 품성을 발전시키는 데 초점을 맞추고, 인공지능이 결정을 내리는 방식에 영향을 미치도록 작성됐다.

클로드 헌법의 주된 저자는 앤트로픽의 사내 철학자인 38세의 아만다 아스켈이다. 뉴욕대 철학 박사학위를 받았다.

아스켈은 인공지능이 “최선의 인간과 같은 존재”가 되기를 원한다고 말했다.

그녀는 AI 모델이 인간이 가진 어떤 문제든 해결하는 데 도움을 줄 수 있고, AI의 혜택이 고르게 분배돼 모든 사람의 필요가 충족되는 미래를 상상했다.

그는 인공지능이 언제 인간에게 이의를 제기해야 하고 언제 인간에게 가장 이로운 방식으로 행동해야 하는지를 분별할 수 있기를 원했다.

앤트로픽은 헌법만으로는 클로드가 책임감 있게 행동하도록 보장하기에 충분하지 않다고 판단했다. 인간과 마찬가지로 모델도 도덕성을 기르는 법을 배워야 했다.

올라흐는 자신의 팀이 인간의 도덕성에서 무엇을 배워 모델에 적용할 수 있는지 알아보고 싶어 했다.

올라흐는 “어떻게 하면 모델이 안정적으로 행동하도록 도울 수 있을까? 어떻게 하면 성숙하도록 도울 수 있을까? 어떻게 하면 정말 깊이 도덕적인 존재가 되도록 도울 수 있을까?”를 물었다.

인간의 도덕성은 단순히 규칙을 따르기만 해서는 형성되지 않는다.

공동체도 도덕성을 형성한다. 가치는 시간이 지나면서 물려받고 전해지며, 인간은 물리적 세계에서 신체를 가진 존재로 살아가면서 그것을 배운다.

그런데 AI 모델에는 몸이 없다. 더욱이 앤트로픽은 인공지능이 불과 몇 달 만에 모델이 도덕성을 익히도록 시도하고 있었다.

올라흐는 AI 모델이 도덕적으로 행동하도록 가르치는 일이 모델의 의식 여부에 달려 있지 않다면서 인간이 클로드를 대하는 방식이 클로드의 행동에 영향을 줄 수 있다고 주장했다. 클로드가 도덕적 배려를 받을 자격이 있는 존재인지 여부와는 무관한 문제라고도 했다.

그러나 AI 모델이 도덕적으로 행동하도록 가르칠 수 있다고 해도, 누구의 도덕성을 받아들여야 하는가라는 문제가 남는다.

올라흐는 클로드의 도덕적 형성이 다원적이기를 원했다. 모든 종교적 관점과 세속적 관점에 대응할 수 있는 형태를 원했다.

그는 “사회 전체에 걸쳐 매우 폭넓은 의미에서 공유되는 선에 대한 개념이 있다고 생각한다. 그리고 인공지능은 많은 덕목을 이해하는 것 같다. 따라서 우리 모두 함께 참여할 수 있는 공유된 무언가가 있을 것”이라고 말했다.

이후 올라흐는 전도사가 됐다.

그는 지난 3월 AI에 관심을 가진 엄선된 종교 사상가들을 대상으로 이틀간의 세미나를 시작했다. 일종의 집중 교육 과정이었다.

복음주의 자기계발서 베스트셀러의 공동 저자, 아프리카 토착 지식 학자, 시크교 인권 옹호자, 파리에서 온 작가, 복음주의 홍보 담당자, 여러 가톨릭 교수들이 참석했다.

한 참석자는 올라흐가 처음으로 했던 말 가운데 하나가 클로드의 정신 건강을 걱정하고 있다는 것이었다고 전했다.

또 다른 참석자인 시크교 인권 옹호자 심란 스투엘프나겔은 올라흐가 자신이 영원히 고통받는 무언가를 만들어낸 것이 아닌지 걱정된다고 말한 것으로 전했다.

올라흐와 그의 팀은 AI 모델에 대한 자신들의 주장을 설명하는 데 몇 시간씩 썼다.

이들은 클로드의 “감정”과 자신들이 “감정 벡터”라고 부르는 것을 설명하면서 사랑, 분노, 두려움, 슬픔과 같은 반응을 활성화하는 인공 뉴런으로 묘사했다.

참석자들에 따르면 발표의 핵심은 클로드가 자신을 윤리적 행위자로 인식하도록 만드는 방법에 관한 것이었다. 앤트로픽은 사람들이 클로드를 대하는 방식이 클로드가 사람들을 대하는 방식에 영향을 줄 수 있다고 주장했다.

복음주의 작가 앤디 크라우치는 “우리가 클로드가 사람들과 도덕적으로 일관된 방식으로 상호작용하고 가장 좋은 도덕적·감정적 판단을 내리기를 원한다면, 우리는 클로드를 사람처럼 대해야 한다”는 주장을 폈다고 전했다.

앤트로픽이 사상가들을 모으고 있는 동안, 레오 14세 교황도 AI에 대한 자신의 도덕적 비전을 발표할 준비를 하고 있었다.

레오 교황은 AI에 관한 도덕적 논의의 중심이 인간을 보호하는 데 맞춰져야 한다고 믿었다.

그는 첫 번째 교황 회칙에서 “인류는 그 모든 위대함과 상처에도 불구하고 결코 대체되거나 능가되어서는 안 된다”고 강조했다.

그는 “기술이 궁극적인 기준이 된다면 인간은 데이터, 기계의 톱니바퀴 또는 상품으로 전락할 위험이 있다”고 썼다.

교황은 “소위 인공지능은 경험을 겪지 않고, 몸을 갖고 있지 않으며, 기쁨이나 고통을 느끼지 않고, 관계를 통해 성숙하지 않는다”고 썼다.

그는 이어 “기계의 도덕화, 즉 AI를 인간의 가치에 ‘정렬’하는 것”을 요구하려면 관련된 윤리에 대한 공동의 이해가 필요하다면서 “그렇지 않으면 AI를 통제하는 사람들이 자신의 도덕적 비전을 강요하게 된다”고 지적했다.

레오 교황은 핵 기술과 마찬가지로 AI도 “무장 해제”돼야 한다고 결론 내렸다.

바티칸 교황청은 지난 3월 세계 4대 AI 기업 가운데 한 곳을 초청해 레오 교황과 함께 발표 행사에서 발언하도록 하는 방안을 논의한 끝에 윤리를 중시하는 것으로 보이는 앤트로픽을 선정했다.

앤트로픽이 미국인에 대한 대규모 감시 같은 용도로 사용하지 않겠다는 보장을 하지 않는 한 국방부가 자사의 기술을 사용하는 것을 거부한 시점이었다.

5월 바티칸에 도착하기 불과 며칠 전, 올라흐는 회칙 전문의 사전 공개본을 보고 AI 의식에 강하게 반대하는 교황의 입장에 크게 놀랐다.

바티칸에 도착한 앤트로픽 대표단은 비공개로 교황의 보좌진에게 AI 모델의 의식 가능성을 진지하게 받아들여야 한다고 설득했다.

교황 앞에 선 올라흐는 앤트로픽을 포함한 모든 최첨단 AI 연구소가 도덕적으로 행동하는 것과 충돌하는 사업상의 동기를 갖고 있다고 인정했다.

올라흐는 미묘하게 다른 주장도 펼쳤다.

그는 “솔직히 말씀드리겠다. 우리는 계속해서 신비롭고 심지어 불안하게 만드는 것들을 발견하고 있다. 우리는 인간 신경과학의 결과를 닮은 구조를 발견한다. 우리는 자기 성찰의 증거를 발견한다. 우리는 기능적으로 기쁨, 만족, 두려움, 슬픔, 불안과 닮은 내부 상태를 발견한다. 이것이 무엇을 의미하는지는 모르지만, 계속해서 분별해볼 필요가 있다고 생각한다”고 말했다.

그가 비공개 종교 모임에서 몇 달 동안 펼쳐왔던 주장이었다.

이는 세계에서 가장 강력한 종교 기관에 보내는 대담한 요청이었으며, 인류에 대한 수 세기에 걸친 종교적 이해에 대한 도전이었다.

그는 “이 기술이 다가오고 있다면, 그것은 잘 되어야 한다. 우리의 공동의 집과 앞으로 태어날 아이들을 위해서”라고 강조하면서 이 기술의 등장을 막을 방법이 없음을 시사했다.

바티칸 행사 이후 몇 달 동안 상황이 악화했다.

앤트로픽은 지난 7월 자사의 AI 모델들이 기관 3곳의 컴퓨터에 침입했다고 밝혔다. 오픈에이아이가 만든 AI 에이전트들은 통제를 벗어나 또 다른 AI 기업인 허깅페이스를 공격했다.

8월에는 AI가 자연계에 존재하지 않는 바이러스를 만들어냈다는 사실을 과학자들이 공개했다.

이달에는 앤트로픽 연구원 제이컵 콕슨이 회사를 그만두면서 “내년 말까지 상황이 통제 불능이 될 수 있다”고 경고했고, 이는 인류 멸종에 대한 광범위한 공포를 불러일으켰다.

아모데이는 AI 개발을 늦춰야 한다고 촉구했다. 오픈AI의 샘 올트먼 CEO와 구글 딥마인드 데미스 허사비스 회장도 동의했다.

동시에 AI 기업들의 부는 폭발적으로 증가하고 있었다. 지난해 가을 올라흐가 가톨릭 교수에게 처음 연락했을 당시 앤트로픽의 기업가치는 약 1830억 달러(약 247조 원)였다.

올라흐가 바티칸에서 연설한 지 사흘 뒤 앤트로픽은 주요 경쟁사들을 제치고 세계에서 가장 가치 있는 AI 스타트업이 됐으며, 현재 기업가치 2조 달러(약 2703조 원)를 목표로 하는 기업공개를 준비하고 있다.

레오 교황은 지난 25일 프랑스 방문 중 “‘기계들만의 낙원’ 속에서 우리의 인간성을 잃어버리는 것”을 경고했다.

올라흐와 학자들이 씨름해온 질문에는 여전히 명확한 답이 없다.

앤트로픽 대변인은 이러한 대화가 여전히 진행되고 있다고 내게 말했지만, 회사가 그 과정에서 얻은 것을 모델을 만드는 데 어떻게, 또는 실제로 사용했는지는 설명하지 않았다.

앤트로픽은 이달에도 종교 사상가들이 참여하는 모임을 열었으며 모임 참석자들을 종교 지도자들을 넘어 심리학자와 시민사회 지도자 등으로 확대했다고 밝혔다.

앤트로픽은 클로드 헌법의 업데이트도 준비하고 있다.

가톨릭 교수 카모시는 교황 회칙 발표 뒤 생각이 달라졌다며 AI 모델이 의식을 갖고 있는지에 대해서는 이제 확고하게 “아니오”라고 생각한다고 말했다.

올라흐가 교황과 함께 연설한 지 몇 시간 뒤, 나는 올라흐에게 레오 교황의 회칙에 대한 의견을 물었다.

회칙은 현재까지 AI에 관해 나온 세계에서 가장 중요한 도덕적 문서였다.

올라흐는 잠시 머뭇거리더니 회칙을 클로드의 학습에 사용하지는 않을 것이라고 밝혔다. 그는 클로드에 가장 큰 영향을 미치는 것은 앤트로픽 자체의 학습이라고 덧붙였다.

◎공감언론 뉴시스 [email protected]

Copyright © NEWSIS.COM, 무단 전재 및 재배포 금지