AI 기업들은 민주주의를 존중하겠다는 말을 내세우지만, 실제로는 시민들의 동의도 없이 극도로 위험한 기술을 일방적으로 배치하고 있다.

실리콘밸리에서는 민주주의의 중요성을 이야기하는 사람이 많다. 앤트로픽의 최고경영자 다리오 아모데이는 인공 초지능을 개발하는 경쟁을 민주주의 국가인 미국과 권위주의 국가인 중국 사이의 경쟁이라고 거듭 묘사해 왔다. 그는 “AI로 민주주의 국가들을 무장시켜야 한다”고 썼다. “민주주의 국가들이 독재 체제에 맞설 수 있도록 AI를 활용하는 것은 타당하다”는 것이다. 그는 또 서구 기업들이 올바른 방식으로 인공 초지능(ASI)을 개발한다면 그 결과로 “자유민주주의와 인권의 르네상스”가 찾아올 것이라고 약속한다.

오픈AI의 최고경영자 샘 올트먼도 마찬가지로 “AI는 민주화되어야 한다”고 선언하며, “과정이 지저분하고 우리가 원하는 것보다 느리더라도 민주적 절차 안에서 움직여야 한다”고 말한다. 그는 2016년 <뉴요커>와의 인터뷰에서도 오픈AI가 “전 세계의 광범위한 사람들이 새로운 운영위원회의 대표를 선출할 수 있도록 하는 방안을 구상하고 있다”고 말했다. 이어 “내가 이 일의 내부자가 아니었다면 ‘대체 왜 저 자식들이 내 인생에 무슨 일이 일어날지를 결정하는 거지?’라고 생각했을 것”이라고 했다.

그러나 민주주의 원칙에 충실하겠다는 거창한 선언과 달리, 오픈AI와 앤트로픽이 AI 시스템을 개발하고 배포해 온 방식에는 민주적인 구석이 전혀 없다. 이 기업들은 단 한 번도 사람들에게, 그러니까 여러분과 나에게 자신들의 AI 챗봇을 원하는지 물어본 적이 없다. 인터넷을 저질 AI 콘텐츠로 넘쳐나게 하고, 환경을 오염시키며, 인터넷에 존재하는 모든 것을 포함한 우리 모두의 지적 재산을, 이윤을 위해 착취하는 AI에 대해 우리의 의견을 구한 적도 단 한 번 없다. 오히려 이들은 우리의 허락이나 동의도 없이 일방적으로 AI를 세상에 풀어놓았다. 그러면서 AI가 머지않아 모든 사람의 일자리를 빼앗고, 어쩌면 세상을 파괴할 수도 있다고 예측한다.

이들이 민주주의를 진지하게 받아들이고, 사람들이 실제로 무엇을 원하는지에 따라 기업의 결정을 내린다면 AI의 능력을 더 키우려는 모든 연구 프로젝트를 즉시 중단해야 할 것이다. 사람들이 AI를 좋아하지 않기 때문이다. 이미 들었을지도 모르지만, 우리는 AI를 원하지 않는다. 우리는 거대한 AI 데이터센터가 우리 동네 뒷마당에 들어서는 것을 원하지 않는다. 취약한 사람들이 겪는 AI 유발 정신병적 증상에 관한 기사를 읽고 싶지도 않다. 유튜브에서 AI가 만들어낸 저질 동영상을 보거나, 이제는 사람이 쓴 글과 거의 같은 비율로 쏟아지는 AI 쓰레기 글을 읽고 싶지도 않다. 우리는 X에서 그록이 여성의 옷을 벗긴 이미지를 만들어내는 것도 싫고, 전화기 너머에서 우리 아이를 사칭한 AI 딥페이크를 걱정하는 것도 싫다. AI 기업의 서비스를 구독해 AI를 값싸게 빌려 쓰면 머지않아 모든 노동자를 대체할 수 있다고 믿는 기업들이 우리에게 AI를 억지로 들이밀어 대는 것도 원하지 않는다. AI를 활용한 대규모 감시도 싫고, 미국 정부가 이란에서 공격 표적을 선정하는 데 AI를 활용하고, 머지않아 인간의 감독도 없이 사람을 죽이는 치명적 무기를 자율적으로 통제하게 되는 것도 원하지 않는다.

올트먼은 지난해 X에서 “나는 죽은 인터넷 이론을 진지하게 받아들인 적이 없었는데, 이제는 정말 대규모 언어 모델(LLM)이 운영하는 트위터 계정이 엄청나게 많은 것 같다”고 썼다. 죽은 인터넷 음모론은 온라인 활동의 대부분이 실제 사람이 아니라 봇이 만들어낸 결과라고 주장한다. 그런데 올트먼의 말처럼, 정작 그의 회사가 개발하고 있는 LLM 기반 챗봇 덕분에 이 음모론이 현실이 되어가는 듯하다.

이것이 정말 우리가 원하는 것일까? 인터넷에서 ‘사람’처럼 보이는 존재 대부분이 사실은 아무 생각도 없는 AI가 사람인 척하는 생태계 말이다.

글래스도어의 조사에 따르면2019년 미국 노동자의 81%가 AI를 긍정적으로 평가했다. 그러나 그 뒤로 매년 호감도가 떨어졌고, 현재는 43%만 AI를 긍정적으로 보는 반면 53%는 부정적으로 본다. 작가, 편집자, 언론인 가운데서는 무려 81%가 AI를 부정적으로 본다. 회계사의 80%, 고객서비스 종사자의 78%, 디자이너의 70% 역시 AI에 부정적이다. 브라이언 머천트(Brian Merchant)가 지적했듯, 예술가 가운데 무려 99%가 AI를 싫어한다. AI가 이들의 생계를 직접 위협하는 동시에 시장을 질 낮은 쓰레기로 넘쳐나게 하기 때문이다. 그는 최근 글에서 다음과 같이 덧붙였다.

내가 주변에서 관찰한 바로는, 노동자들이 AI 때문에 당장 일자리를 잃는 경우보다 회사의 AI 정책 때문에 삶이 고통스러워지는 경우가 훨씬 흔하다. 글래스도어의 자료 역시 이런 일반화를 뒷받침하며, 경영진이 AI 도입을 더 오래, 더 강하게 밀어붙일수록 직장에서 AI에 대한 반감이 점점 커지고 있다는 점도 보여준다.

또 다른 조사는 “AI 기업이 윤리적으로 행동하는지에 대한 의구심이 커지는 한편, AI가 공정하다는 믿음은 약해지고 있다”고 밝혔다. <퓨처리즘>의 최근 기사 제목은 “젊은이들이 AI 기업 CEO들을 믿기 어려울 정도로 격렬하게 싫어한다”고 표현했다. 더 나아가 2026년 퓨리서치센터 조사에 따르면 “미국 성인의 절반은 일상생활에서 AI 사용이 늘어나는 것을 보며 기대보다 우려를 더 크게 느낀다고 답했다.” 반면 “우려보다 기대가 더 크다고 답한 사람은 10%에 불과했다.”

점점 더 강력한 AI 시스템을 개발하고 세상에 내놓을지 여부를 투표에 맡긴다면, 대중은 이 모든 시도를 아예 중단시키려 할 가능성이 크다. 그러나 AI 기업을 이끄는 사람들은 현재의 AI 챗봇을 인공 초지능(ASI)으로 가는 디딤돌이라고 믿는다. 그들이 말하는 ASI는 ‘기계 신’, ‘디지털 신’과 같은 존재이며, 우리의 가장 거침없는 상상조차 뛰어넘는 마법 같은 경이로움으로 가득한 “우주적 유토피아”를 열어줄 것이라고 본다.

올트먼과 아모데이는 모두 저명한 컴퓨터과학자 팀닛 게브루(Timnit Gebru)와 내가 ‘TESCREAL’ 운동이라고 부른 사상적 흐름의 영향을 받았다. TESCREAL은 트랜스휴머니즘(transhumanism)에서 장기주의(longtermism)에 이르는 여러 이념을 묶어 부르는 약어로, 각각 앞 글자인 ‘T’와 ‘L’이 여기에 포함된다.두 CEO 모두 인간의 정신을 컴퓨터에 업로드하고 우주를 식민화하려면, 인간이 디지털 ‘포스트휴먼(posthuman)’으로 변하는 데 가로놓인 장애물을 극복할 수 있는 초지능 컴퓨터를 만들어야 한다고 믿는 듯하다.

이 주장에 회의적이라면 아모데이가 올해 초 발표한 글을 살펴보면 된다. 그는 ASI가 인간에게 “인간의 지능을 높이거나 인간의 생물학적 특성을 근본적으로 바꿀 수 있는 능력 같은 급진적 역량”을 제공할 것이라고 선언했다. 정신 업로딩을 통해 “언젠가는 인류가 육체적 한계를 초월하도록 도울” 수도 있다는 것이다. 한편, 올트먼은 인류가 ASI의 출현에서 “살아남을” 유일한 방법은 문자 그대로 기계와 “융합”하는 것이라고 주장한다. 분명히 말하면, 이는 인류 멸종의 한 형태가 될 것이다. 디지털 ‘인간’은 지금의 우리와 근본적으로 다른 존재가 될 것이기 때문이다. 그는 이 영광스러운 디지털 세계로의 전환에 대비해 넥톰(Nectome)이라는 회사에 등록해 자기 뇌를 화학적으로 보존한 뒤 디지털화하려고까지 했다. 그는 이런 일이 자신이 살아 있는 동안 가능해질 것으로 생각한다.

바로 이런 이유로 AI 기업 CEO들은 대중이 무엇을 원하는지 신경 쓰지 않는다. 실제로 민주주의에도 큰 관심이 없다. 생각해 보자. 이들은 ASI가 등장하면 민주주의가 번영할 것이라고 약속하면서도, 애초에 ASI를 만들어야 하는지에 대해 지금 당장 시민들이 의견을 내는 것은 거부한다. 올트먼이 오픈AI 이사회에 전 세계 각 지역의 사람들을 포함하겠다고 약속했을 때, 그는 노골적으로 거짓말을 한 셈이다. 오픈AI는 그런 일을 하지 않았다. 현재 오픈AI 이사회에는 올트먼, 페이스북 전 최고기술책임자, 쿼라와 빌 & 멀린다 게이츠 재단의 CEO들, 미 육군 퇴역 장성, 글로벌 인프라스트럭처 파트너스 공동창업자, 소니 전 사장, 그리고 카네기멜런대학교의 컴퓨터과학자가 들어가 있다.

이 구성이 과연 모든 사람의 이해관계를 제대로 대표한다고 볼 수 있을까?

나는 여러 차례 주장해 왔다. TESCREAL 운동에 속한 사람들이 운영하는 AI 기업 가운데 어느 곳이든 자신들이 생각하는 황당한 ‘유토피아’를 실현할 ASI 개발에 성공한다면, 인류에게는 재앙적인 결과가 닥칠 가능성이 크다. 엘리트들은 자신의 정신을 컴퓨터에 업로드하고 인지 능력을 극적으로 증폭해 디지털 포스트휴먼이 되지만, 나머지 사람들은 뒤처질 것이다. 혹은 올트먼이 주장했듯이 말 그대로 기계에 노예화될 수도 있다.

권력이 가장 원하는 것이 하나 있다면, 그것은 권력을 계속 유지하는 일이다. 정상에 있는 사람들은 ASI를 통제함으로써 사회에서 자신들이 누리는 권력과 통제력, 지배적 위치를 영구적으로 굳힐 수 있다. 바로 이것이 ASI가 약속하는 궁극적인 미래다. 올트먼이 ‘반지의 제왕’을 빗대 “‘AGI를 통제하는 유일한 존재가 되겠다’는 식의 전면적 철학에는 실제로 ‘절대반지’ 같은 역학이 있다”고 표현한 이유도 여기에 있다. 결국 우리 종은 ASI와 포스트휴먼이 된 엘리트들로 대체되고, 인류는 멸종하게 될 것이다. 우리가 그런 미래를 원하는가? 당연히 아니다.

‘유토피아’라는 개념은 본질적으로 누군가를 배제한다는 사실을 절대로 잊어서는 안 된다. 유토피아에는 언제나 누군가나 무언가가 빠진다. 이들이 ASI를 통해 만들려는 유토피아에서 빠지는 것은 바로 인류 자체다. 그 유토피아는 우리를 위한 것이 아니다. 99%를 위한 것도 아니며, 심지어 우리 종 자체를 위한 것도 아니다. 그래서 올트먼의 멘토인 피터 틸(Peter Thiel)은 지난해 <뉴욕타임스>의 로스 다우댓(Ross Douthat)이 인간이라는 종이 계속 존속해야 하느냐고 물었을 때 어색하게 말을 멈췄다. 그러고는 자신과 같은 트랜스휴머니스트들이 첨단 기술을 이용해 인류를 근본적으로 재설계하고 싶어 하며, 그 결과 ‘우월한’ 새로운 포스트휴먼 초인 종족이 탄생할 것이라는 이야기를 장황하게 늘어놓았다.

그것이 이른바 ‘좋은’ 시나리오다. 포스트휴머니티와 ASI가 인간을 대체함으로써 인류가 사라지는 경우다. 그렇다면 ‘나쁜’ 시나리오는 무엇일까? 모든 AI 기업 CEO들은 ‘정렬되지 않은’ ASI가 어느 순간 방향을 돌려 중국, 인도, 남아프리카공화국, 볼리비아, 베네수엘라, 노르웨이, 프랑스, 호주, 러시아를 비롯한 지구상의 모든 나라 사람들을 전부 몰살할 수도 있다고 거듭 말해왔다.

아모데이는 자신이 개발하는 기술이 모든 사람을 죽일 가능성이 25%라고 말한다. 올트먼은 “AI가 아마도, 그러니까 거의 확실히 세상의 종말로 이어질 것 같다”고 말했고, “아마 AI가 우리 모두를 죽일 것”이라고도 했다. 다시 말하지만, ASI에서 ‘살아남는’ 유일한 방법은 우리 스스로 ASI와 같은 디지털 존재로 변하는 것이라고 그는 본다. 한편 일론 머스크는 인류 전체가 죽을 확률을 20%로 추정한다. 딥마인드의 전 CEO 데미스 허사비스는 그 가능성이 “분명 0은 아니며, 아마 무시할 수 있을 정도로 작지도 않다”고 말하면서 이를 “상당히 정신이 번쩍 드는 일”이라고 표현했다.

그렇게 말할 수도 있겠다. 예를 들어 토론토에 본사를 둔 비료 회사의 CEO가 새로운 화학물질을 개발하고 있는데, 그 물질이 갑자기 폭발해 CEO 자신의 추정으로 북미에 있는 모든 사람을 죽일 수도 있다고 발표했다고 상상해 보자. 혹은 맥도날드의 CEO가 앞으로 1년 동안 자사 햄버거를 먹는 사람 가운데 25%가 다음 날 갑자기 죽을 수도 있다고 말했다고 상상해 보자. 그렇다면 언론이 온통 이 이야기로 뒤덮이고, 당국은 이 사람들을 막고 체포하기 위해 총력을 기울이지 않겠는가?

AI 기업 CEO들이 ASI가 인류 전체를 쓸어버릴 수 있다는 훨씬 더 종말론적인 주장을 하고도 아무렇지 않게 넘어가는 현실은 완전히 미친 일이다. 정상적인 사회라면 이런 기업들을 즉시 폐쇄하고, 인류를 임박한 치명적 위험에 빠뜨린 혐의로 CEO들을 재판에 세울 것이다. 적어도 그 CEO들이 스스로 내놓은 전망을 기준으로 판단한다면 그렇다.

ASI가 초래할 수 있는 결과가 이토록 중대하다면, 왜 우리는 그것을 개발할지 여부에 아무런 발언권도 없는가? ASI가 특이점을 촉발하고, 특이점 이후의 세계가 지금 우리가 사는 세계와 모든 면에서 근본적으로 달라진다면, 왜 "우리"는 그 결정을 내리는 자리에 앉지 못하는가? 이 기술이 전 세계 모든 사람에게 영향을 미칠 것이라면, 우리에게도 목소리를 낼 권리가 있어야 하지 않겠는가?

내 친구 모니카 비엘스키테(Monika Bielskyte)는 이런 말을 즐겨 한다. “누군가를 위해 설계해서는 안 된다. 언제나 누군가와 함께 설계해야 한다.” 다시 말해 모든 국가, 부족, 문화, 전통, 종교, 인종, 성별, 젠더, 정치 이념, 사회경제적 집단 등에 속한 사람들이 처음부터 설계 과정에 참여해야 한다는 뜻이다.

실리콘밸리의 극소수 기술 유토피아주의 극단주의자들이 ASI가 등장한 뒤 언젠가 민주주의가 작동하기 시작할 것이라고 약속하는 것으로는 충분하지 않다. 이것이 무엇인지 있는 그대로 부르자. 일종의 폭정이다. AI 기업들은 자신들이 전례 없이 강력한 기술이 될 것이라고 주장하는 것을 시민들의 허락이나 동의도 없이 일방적으로 개발하면서, 우리에게 엄청난 규모의 폭정을 강요하고 있다.

하지만 다시 말해, 올트의 표현을 빌리자면 이 “자식들”은 우리가 어떻게 생각하는지 실제로 신경 쓰지 않는다. 이들은 자신의 정신을 컴퓨터에 업로드하고, 우주를 식민화하며, 우주가 열적 죽음에 이를 때까지 소유할 은하 전체를 사들이겠다는 기괴한 TESCREAL 환상에 사로잡혀 있기 때문이다. 올트먼이나 아모데이가 정말 민주주의를 소중히 여긴다면, 자신들이 실현하려는 미래를 우리가 원하는지 바로 지금 우리에게 물어야 한다. 물론 우리는 그런 미래를 원하지 않는다. 바로 그렇기 때문에 그들은 우리에게 묻지 않는다. 그들은 우리와 함께 미래를 설계하려는 것이 아니라, 자기 자신들을 위한 미래를 설계하려 한다.

이 모든 것은 희극이나 다름없다. 디스토피아적 시나리오가 현실이 된 모습이다. 모든 AI 기업 CEO들이 초지능이 앞으로 몇 년 안에 등장할 것이라고 주장하는 상황을 고려하면, 우리가 이에 맞설 수 있는 시간은 얼마 남지 않았을지도 모른다. AI를 불매하고, 반(反)AI 시위에 참여하며, 지역구 의원들에게 연락해 이런 폭정을 끝내야 한다고 요구하라. 인류에게 나쁜 결과가 닥치는 것을 막을 시간은 아직 남아 있다. 그러나 우리는 도덕적 긴박감을 갖고 행동해야 한다.

[출처] The Tyrannical Race to Build Superintelligence

[번역] 이꽃맘

덧붙이는 말

에밀 P. 토레스(Émile P. Torres)는 문명과 인류의 실존적 위협을 연구하는 철학자이자 역사학자다. 기계 초지능, 신흥 기술, 종교적 종말론을 비롯해 인류 멸종의 역사와 윤리 등 폭넓은 `주제로 글을 발표해 왔다. 최근 저서는 ⟪인류 멸종: 절멸의 과학과 윤리의 역사⟫(Human Extinction: A History of the Science and Ethics of Annihilation, Routledge)다. 참세상은 이 글을 공동 게재한다.