넥서스 (2024) - 유발 하라리

370:15

소련 정권은 역사상 가장 막강한 정보 네트워크를 구축했다. 소련은 시민들에 대한 방대한 데이터를 수집하고 처리했다. 또한 마르크스, 엥겔스, 레닌, 스탈린의 오류 없는 이론들을 통해 인류에 대한 깊은 이해를 얻었다고 주장했다. 하지만 사실 소련의 정보 네트워크는 인간 본성의 많은 측면을 무시했으며, 소련의 정책이 자국민에게 끔찍한 고통을 주었다는 사실을 완전히 부인했다. 그 네트워크는 지혜를 생산하는 대신 질서를 생산했고, 인간에 관한 보편적 진실을 드러내는 대신 사실상 호모 소비에티쿠스라는 새로운 인간형을 창조했다.
  체제에 반대한 소련 철학자이자 풍자 작가였던 알렉산드르 지노비예프의 정의에 따르면, 호모 소비에티쿠스는 자기 주도성이나 독립적인 사고 능력이 없어서 아무리 터무니없는 명령이어도 무비판적으로 따르고, 자신의 행동이 초래하는 결과에 무관심하고 비굴하고 냉소적인 인간이다. 소련의 정보 네트워크는 감시와 처벌, 보상을 통해 호모 소비에티쿠스를 창조했다. 예를 들어 제지 공장 공장장을 강제수용소로 보내면서 그 네트워크는 다른 참석자들에게 어떤 신호를 보낸 것이었다. 즉 체제에 순응하면 보상이 주어지는 반면, 문제가 될 만한 일에 맨 먼저 나서는 건 좋지 않은 생각이라는 메시지다. 소련의 정보 네트워크는 비록 인간에 관한 진실을 발견하는 데는 실패했지만, 질서 유지에는 탁월한 능력을 발휘한 덕분에 세상의 많은 지역을 정복할 수 있었다.

'좋아요' 독재

이와 유사한 역학이 영향을 미쳐 21세기 컴퓨터 네트워크에도 새로운 인간형과 디스토피아를 창조할 가능성이 있다. 소셜 미디어 알고리즘이 사람들을 과격하게 만드는 데 일조하고 있는 것이 전형적인 예다. 물론 알고리즘이 사용한 방법들은 NKVD의 방법과는 완전히 달랐고, 직접적인 강압이나 폭력을 수반하지 않았다. 하지만 소련의 비밀경찰이 감시와 보상, 처벌을 통해 비굴한 인간형 호모 소비에티쿠스를 만들어낸 것처럼, 페이스북과 유튜브 알고리즘도 특정한 원초적 본능에 대해서는 보상을 제공하고 우리 본성의 선한 천사를 처벌함으로써 인터넷 트롤(온라인상에서 다른 사람들을 괴롭히거나 화나게 하려는 의도를 가지고 공격적이고 악의적인 메시지를 남기는 사람--옮긴이)을 만들어냈다.
  6장에서 간략하게 설명했듯이, 과격화 과정은 기업들이 미얀마에서만이 아니라 전 세계에서 자체 알고리즘에 이용자 참여를 높이는 임무를 맡기면서 시작되었다. 예를 들어 2012년에 이용자들은 유튜브에서 매일 1억 시간 분량의 동영상을 시청하고 있었다. 기업 경영진은 그것으로 만족하지 않고 알고리즘에 2016년까지 하루 10억 시간을 달성하라는 야심 찬 목표를 설정했다. 유튜브 알고리즘은 수백만 명을 대상으로 시행착오를 거듭한 끝에 페이스북 알고리즘이 학습한 것과 동일한 패턴을 발견했다. 즉 분노를 유발하는 내용은 참여도를 높이지만 온건한 내용은 그렇지 않은 경향이 있었다. 이에 따라 유튜브 알고리즘은 수백만 명의 이용자들에게 터무니없는 음모론을 추천하는 동시에 온건한 콘텐츠는 무시하기 시작했다. 2016년에 이용자들은 유튜브에서 정말로 하루 10억 시간 분량의 동영상을 시청하고 있었다.
  관심을 놓고 경쟁하는 유튜버들은 거짓말로 가득한 터무니없는 영상을 올리면 알고리즘이 수많은 이용자에게 그것을 추천해주고 따라서 인기와 수익을 얻을 수 있다는 사실을 알게 되었다. 반대로 분노의 강도를 낮추고 진실을 보여주면 알고리즘은 그것을 무시하는 경향이 있었다.  알고리즘이 이런 식으로 강화 학습을 제공한 지 몇 달 만에 많은 유튜버가 트롤로 변신했다.
  사회적, 정치적 파급 효과는 어마어마했다. 예를 들어 저널리스트 맥스 피셔가 2022년에 출간한 저서 《혼돈 기계 The Chaos Machine》에서 보여주었듯이, 유튜브 알고리즘은 브라질 극우 세력을 부상시키고 주변 인물이던 자이르 보우소나루를 브라질 대통령으로 만드는 데. 중요한 역할을 했다. 다른 요인들도 이 정치적 격변에 기여했지만, 보우소나루의 주요 지지자와 보좌관 중 상당수가 원래 유튜버였다가 알고리즘 덕분에 유명세와 권력을 얻었다는 사실은 주목할 만하다.
  전형적인 예가 2017년 니테로이라는 작은 마을에서 시의원을 지낸 카를로스 조르디다. 야망이 컸던 조르디는 수백만 회의 조회 수를 올린 자극적인 유튜브 동영상들로 전국적인 관심을 얻었다. 예를 들어 동영상에서 그는 교사들이 아이들을 세뇌하고 보수적인 학생들을 박해하고 있다는 음모론을 브라질 국민에게 제기했다. 2018년 조르디는 브라질 하원 의원 선거에서 보우소나루를 열렬히 지지하는 후보로서 당선되었다. 피셔와의 인터뷰에서 조르디는 이렇게 솔직하게 말했다. "소셜 미디어가 없었다면 저는 이 자리에 있지 못했을 것이고, 자이르 보우소나루도 대통령이 되지 못했을 것입니다." 후자의 주장은 자신의 공을 부풀리기 위한 과장일 테지만, 소셜 미디어가 보우소나루가 대통령감으로 떠오르는 데 중요한 역할을 한 것만은 부정할 수 없는 사실이다.
  2018년에 브라질 하원 의원에 당선된 또 다른 유튜버는 극우 성향의 정치 운동 단체인 모비멘투 브라질 리브리MBL(자유 브라질 운동)를 이끄는 인물 중 한 명인 킴 카타기리였다. 카타기리는 처음에는 페이스북을 주요 플랫폼으로 사용했지만, 그의 게실물은 페이스북이 보기에도 너무 극단적이어서 페이스북은 그중 일부를 허위 정보로 차단했다. 그래서 카타기리는 좀 더 허용적인 유튜브로 옮겨 갔다. 상파울루의 MBL 본부에서 진행된 인터뷰에서 카타기리의 보좌관들과 여타 활동가들은 피셔에게 이렇게 설명했다. "우리는 '좋아요' 독재라는 것을 합니다." 그들은 유튜버들이 점점 더 극단적으로 변하는 경향이 있으며, "단지 조회 수를 올리고 참여를 유도하기 위해" 거짓되고 무모한 콘텐츠를 게시한다고 설명했다. "일단 그 문을 열면 돌아갈 방법이 없어요. 계속 갈 수밖에 없죠. (...) 지구 평면론자, 백신 반대론자, 정치 음모론자, 다 마찬가지예요. 어디서나 볼 수 있는 현상이죠."
  물론 유튜브 알고리즘 자체가 거짓말과 음모론을 꾸며내거나 극단적인 콘텐츠를 만들어낸 것은 아니다. 적어도 2017~2018년에는 그런 일은 인간이 했다. 하지만 알고리즘은 인간이 그런 식으로 행동하도록 부추기고, 이용자 참여를 극대화하기 위해 그런 콘텐츠를 추천했다. 피셔는, 유튜브 알고리즘이 자동 재생한 동영상을 시청한 후 처음 극단주의 정치에 관심을 갖게 된 많은 극우 활동가들의 사례를 보고했다. 니테로이에 사는 한 극우 활동가는 피셔에게, 어느 날 유튜브 알고리즘이 카타기리의 정치 동영상을 자동 재생해주기 전까지는 어떤 종류의 정치에도 관심이 없었다고 말했다. "그때까지 저는 아무런 이념적, 정치적 배경이 없었어요"라고 그는 설명했고, 유튜브 알고리즘 덕분에 "정치를 알게 되었다"고 말했다. 다른 사람들이 어떻게 그 정치 운동에 참여하게 되었는지에 대해 그는 이렇게 말했다. "다들 비슷해요. (...) 여기 모인 사람들 대부분이 유튜브와 소셜 미디어에서 왔어요."

 

 

455:1

보수의 자폭

우리는 이미 이 질문에 대한 답을 알고 있다. 2010년대와 2020년대 초반까지 민주주의 정치는 급격한 변화를 겪었고, 이는 보수 정당의 자멸이라고 부를 수 있는 현상으로 나타나고 있다. 민주주의 정치는 오랫동안 보수 정당과 진보 정당 간의 대화였다. 인간 사회의 복잡한 시스템을 보면서 진보는 "엉망진창이지만 우리는 고칠 방법을 알고 있다. 우리가 해보자"라고 외쳤다. 그러면 보수는 "엉망이지만 그래도 작동하고 있어. 그냥 내버려둬. 고치려고 하다가 더 나빠질 수 있어"라고 반박했다.
  진보는 전통과 기존 제도를 그다지 중요하게 생각하지 않으며, 자신들이 더 나은 사회구조를 처음부터 새롭게 설계할 방법을 알고 있다고 믿는 경향이 있다. 보수는 좀 더 신중한 입장을 보인다. 에드먼드 버크가 대표적으로 주장한 보수의 핵심 통찰은, 사회 현실은 진보주의자들이 생각하는 것보다 훨씬 복잡하며 사람들은 세상을 이해하고 미래를 예측하는 데 그리 능숙하지 않다는 것이다. 그렇기 때문에 현실이 불공평해 보여도 현 상태를 유지하는 것이 최선이며, 몇몇 변화가 불가피하다면 제한적이고 점진적으로 이루어져야 한다. 사회는 오랜 시간 시행착오를 거치며 축적된 규칙, 제도, 관습의 얽히고설킨 그물망을 통해 작동한다. 이 모든 것이 어떻게 연결되어 있는지 이해하는 사람은 아무도 없다. 오래된 전통은 터무니없고 시대착오적으로 보일 수 있지만 그것을 폐지하면 예상치 못한 문제가 발생할 수 있다. 반면 혁명은 이미 일어났어야 할 정당한 일처럼 보일지 모르지만 이전 체제가 범한 것보다 더 큰 범죄를 부를 수 있다. 볼셰비키들이 제정러시아가 범한 많은 오류를 바로 잡고 완벽한 사회를 처음부터 새롭게 설계하려고 시도했을 때 어떤 일이 일어났는지 보라.
  따라서 보수는 정책보다 속도가 더 중요한 사람들이었다. 보수는 특정 종교나 이념에 헌신하지 않는다. 그게 무엇이든 이미 있는 것, 지금까지 대체로 합리적으로 작동해온 것을 보존하는 데 헌신한다. 폴란드의 보수는 가톨릭이고, 스웨덴의 보수는 프로테스탄트이고, 인도네시아의 보수는 무슬림이며, 태국의 보수는 불교도다. 제정러시아에서 보수는 러시아 황제를 지지하는 것을 뜻했다. 1980년대 소련에서 보수는 공산주의 전통을 지지하고 글라스노스트(개방), 페레스트로이카(개혁), 민주화에 반대한다는 뜻이었다. 1980년대 미국에서 보수는 미국의 민주주의 전통을 지지하고 공산주의와 전체주의에 반대한다는 뜻이었다.
  하지만 2010년대부터 2020년대 초까지 많은 민주주의 국가에서 보수 정당들이 도널드 트럼프 같은 보수적이지 않은 지도자들에게 장악되어 급진적인 혁명 정당으로 변모했다. 미국 공화당 같은 새로운 브랜드의 보수 정당들은 기존 제도와 전통을 보존하는 데 최선을 다하는 대신, 기존 제도와 전통을 근본적으로 의심한다. 예를 들어, 이들은 전통적으로 과학자, 공무원, 여타 고위 공직자 들에게 보여주었던 존중을 거부하고 이들을 경멸의 시선으로 대한다. 또한 선거와 같은 기본적인 민주주의 제도와 전통을 공격하며, 패배를 인정하고 권력을 순조롭게 이양하는 것을 거부한다. 버크주의 보수 프로그램을 대체한 트럼프주의 프로그램은 기존 제도를 파괴하고 사회를 혁명적으로 바꾸는 것을 목표로 한다. 버크주의 보수가 창시된 순간은 바스티유 감옥 습격 사건이 일어났을 때였는데, 버크는 이 사건을 보며 공포에 질렸다. 하지만 2021년 1월 6일, 수많은 트럼프 지지자들은 미국 국회의사당을 습격하는 장면을 지켜보며 열광했다. 트럼프 지지자들은 기존 제도가 제대로 작동하고 있지 않으므로 그것을 파괴하고 완전히 새로운 구조를 처음부터 새로 건설하는 것 외에는 대안이 없다고 설명할 것이다. 하지만 이 관점이 옳든 그르든, 이는 보수주의가 아니라 사실상 혁명이다. 보수의 자멸에 진보는 경악했고, 미국 민주당 같은 진보 정당들은 구질서와 기존 제도를 수호하는 역할을 떠맡게 되었다.
  왜 이런 일이 벌어지고 있는지 확실히 아는 사람은 아무도 없다. 한 가지 설명은 기술 변화의 가속화와 그에 따른 경제적, 사회적, 문화적 변화가 온건한 보수주의 프로그램을 비현실적으로 보이게 만들었을 가능성이 있다는 것이다. 기존의 전통과 제도를 지키는 것이 도저히 불가능해서 어떤 종류의 혁명이 불가피해 보인다면, 좌파 혁명을 저지하기 위해서라도 먼저 우파 혁명을 일으켜야 한다. 이것은 1920년대와 1930년대 보수 세력의 정치 논리였다. 당시 이탈리아, 독일, 스페인 등에서 보수 세력은 소련에서 발생한 것과 같은 좌파 혁명을 막는 방법으로 급진적인 파시스트 혁명을 지지했다.

 

 

505:11

컴퓨터는 아직까지 인간의 통제를 완전히 벗어나거나 스스로 인류 문명을 파괴할 만큼 강력하지 않다. 인류가 단합하는 한, AI를 통제하고 알고리즘의 오류를 찾아내 바로잡을 수 있는 제도를 만들 수 있다. 하지만 불행히도 인류는 단합한 적이 없다. 인류는 오랫동안 악의적인 행위자들뿐만 아니라 선한 행위자들 간의 갈등에 시달려왔다. 따라서 AI 발전이 인류의 존재 자체를 위협한다면 그것은 컴퓨터가 악의적이라서가 아니라 우리가 완벽하지 않기 때문이다.
  그 결과, 편집증에 시달리는 어떤 독재자가 오류 가능성이 있는 AI에게 무려 핵 공격을 개시할 수 있는 권한을 포함해 무한한 권한을 넘겨줄 가능성도 있다. 그 독재자가 국방부 장관보다 AI를 더 신뢰한다면 AI에게 국가에서 가장 강력한 무기를 감독하는 권한을 주지 않겠는가? 이때 AI가 오류를 범하거나 어떤 다른 목표를 추구하기 시작한다면 그 결과는 파멸일 수 있으며, 파멸은 한 국가의 일로 끝나지 않을 것이다.
  비슷한 예로, 다른 데는 관심이 없고 자신들의 문제에만 집중하는 테러리스트들이 AI를 이용해 전 세계적인 팬데믹을 일으킬 가능성도 있다. 테러리스트들은 종말론 신화라면 몰라도 전염병의 과학에 대해서는 아는 것이 없겠지만, 목표만 설정하면 나머지는 모두 AI가 알아서 할 것이다. AI는 새로운 병원체의 DNA 서열을 만들어 상업 실험실에 주문하거나 생물학 3D 프린터로 출력한 다음 공항이나 식품 공급망을 통해 전 세계에 퍼뜨릴 수 있는 최선의 전략을 짜낼 것이다. AI가 합성한 바이러스가 에볼라만큼 치명적이고, 코로나19만큼 전염성이 강하며, 에이즈처럼 느리게 작용한다면? 첫 감염자들이 죽기 시작하고 전 세계가 위험성을 인지할 때쯤이면 이미 지구상의 대부분이 감염되어 있을 것이다.
  하지만 앞에서 살펴보았듯이 인류 문명을 위협하는 것은 원자폭탄이나 바이러스 같은 물리적, 생물학적 대량 살상 무기만이 아니다. 이야기를 통해 사회적 유대를 파괴하는 것처럼, 사회적 대량 살상 무기도 인류 문명을 위협할 수 있다. 특정 국가가 AI로 가짜 뉴스, 가짜 돈, 가짜 사람을 퍼뜨릴 경우, 다른 국가들에서도 신뢰가 무너져 사람들은 그 어떤 것도, 그 누구도 믿지 못할 것이다.

 

 

509:1

새로운 컴퓨터 네트워크의 등장은 국제정치에 어떤 변화를 가져올까? 독재자 AI가 핵전쟁을 개시한다거나 테러리스트 AI가 치명적인 팬데믹을 일으키는 등의 종말론적 시나리오를 제외하면, 국제 질서는 컴퓨터로 인해 크게 두 가지 위협에 직면할 수 있다. 첫째, 컴퓨터는 정보와 권력을 중앙 허브에 모으는 것을 쉽게 만든다는 점에서 인류는 새로운 제국 시대에 접어들 수 있다. 소수의 제국(어쩌면 하나의 제국)이 전 세계를 영국 제국이나 소련 제국보다 훨씬 더 강력하게 지배할 수 있을지도 모른다. 그러면 통가, 투발루, 카타르는 50년 전에 그랬던 것처럼 독립국가의 지위를 잃고 식민지로 전락할 것이다.
  둘째, 인류는 서로 경쟁하는 디지털 제국들 사이에 가로놓인 새로운 실리콘 장막을 따라 분열될 수 있다. 각 체제는 AI 정렬 문제, 독재자의 딜레마, 기타 기술적 난제에 나름의 해답을 선택하면서 매우 다른 별개의 컴퓨터 네트워크를 만들지도 모른다. 네트워크들 간의 상호작용은 훨씬 어려워질 것이고, 서로 다른 네트워크에 속한 사람들 사이의 소통도 마찬가지로 어려워질 것이다. 이란이나 아시아 네트워크에 속한 카타르인, 중국 네트워크에 속한 통가인, 미국 네트워크에 속한 투발루인은 서로 인생 경험과 세계관이 너무 달라져서 의사소통이 힘들 것이고, 많은 면에서 서로 합의하기 어려울 것이다.
  이런 상황이 현실화된다면, 각각의 네트워크는 저마다 다른 모습의 종말론적 결과를 맞을 수도 있다. 아마 각 제국은 자체 핵무기를 인간의 통제하에 두고 미치광이들이 생물 무기에 접근하는 것을 막을 수 있을지도 모른다. 하지만 인류가 서로를 이해할 수 없는 적대적인 진영으로 나뉘면, 파괴적인 전쟁을 피하거나 파국적인 기후 변화를 막을 수 없을 것이다. 불투명한 실리콘 장막으로 분리된 라이벌 제국들의 세계는 AI의 폭발적 힘을 규제할 수도 없을 것이다.

 

 

522:20

따라서 비교적 가난한 개발도상국들은 AI와 자동화로 인해 특수한 어려움에 직면할 것이다. AI 기반 경제에서는 디지털 선두 주자들이 대부분의 이익을 가져가는 데다, 그 부로 자국의 노동력을 재교육하여 훨씬 더 많은 이익을 낸다. 반면 뒤처진 국가에서는 미숙련 노동자의 가치가 하락하는 데다, 노동력을 재교육할 자원이 없어서 뒤처지게 된다. 그 결과 샌프란시스코와 상하이에서는 많은 새로운 일자리와 막대한 부가 창출되지만, 세계의 다른 많은 지역은 경제적 파탄에 직면할 수 있다. 세계적인 회계 법인 프라이스워터하우스쿠퍼스PricewaterhouseCoopers에 따르면, AI는 2030년까지 세계경제에 15조 7,000억 달러를 추가할 것으로 예상된다. 하지만 지금의 추세가 계속된다면, AI 분야의 두 선두 주자인 중국과 북미가 그 수익의 70퍼센트를 가져갈 것이다.

 

 

526:3

두 디지털 진영은 점점 더 멀어질 가능성이 있다. 중국 소프트웨어는 중국 하드웨어, 중국 인프라와만 소통할 것이고, 실리콘 장막의 반대편에서도 같은 일이 일어날 것이다. 디지털 코드는 인간의 행동에 영향을 미치고 인간의 행동은 다시 디지털 코드에 영향을 미치기 때문에, 두 진영은 서로 다른 궤적을 따라 이동하여 기술뿐만 아니라 문화적 가치, 사회규범, 정치 구조에서도 점점 달라질 가능성이 높다. 수 세대 동안 수렴해왔던. 인류는 분기하기 시작하는 중대한 순간을 맞이할 것이다. 수 세기 동안 새로운 정보 기술은 세계화 과정을 촉진하여 전 세계 사람들을 더욱 가까워지게 했다. 하지만 역설적이게도, 오늘날의 정보 기술은 너무나 강력해서 인류를 갈라놓으려 한다. 사람들이 별개의 정보 고치에 갇혀 서로 달라지면, 인류는 더 이상 같은 현실을 공유하지 않을 것이다. 최근 수십 년 동안의 핵심 은유가 웹이었다면, 미래의 은유는 고치가 될지도 모른다.