본문 바로가기

다양한 경험을 소개하는 책장

교양심리

넥서스: 석기시대부터 AI까지, 정보 네트워크로 보는 인류 역사

호모사피엔스, 우리가 정녕 지혜로운 사람이라면 왜 이토록 자기 파괴적일까?

인공지능과 같은 기술을 만들어내는데 여념이 없고 이런 기술들은 우리 통제를 벗어나 우리를 노예로 만들거나 전명시킬지도 모르나 우리 종은 이런 실존적 위협에 대처하기 위해 힘을 합칠 생각이 없어보인다.

우리가 이용할 수 있는 정보가 이렇게나 많은데도 우리는 환상과 망상에 우리 조상들만큼이나 쉽게 빠진다.

왜 우리는 정보와 힘을 축적하는데에는 뛰어나면서 지혜를 얻는데는 그다지 성공하지 못했을까?

요한볼프강 폰 괴테 <마법사의 제자> 통제할 수 없는 힘을 함부로 불러내면 안된다. 앞의 우화들은 신이나 마법사가 와서 우리를 구해줄때까지 기다리는 것 외에는 뾰족한 답을 내놓지 않는다. 엄청나게 위험한 메세지. 사람들에게 책임을 내팽개치고 신과 마법사를 믿으라고 부추기기 때문

순진한 정보관을 가장 간명하게 요약한 말을 꼽자면 전세계의 정보를 정리하여 모두가 편리하게 이용할 수 있도록 하는 것이라는 구글의 사명 선언문일 것이다.

위험성을 경고하는 정보는 부족하지 않지만 우리 지도자들은 해결책을 찾기 위해 협력하는 대신 세계대전에 점점 더 가까이 가고있다.

 

인공지능에 의한 종말론적 문구를 사용할때 반항적인 로봇이 거리를 활보하며 총으로 인간을 쏘는 영화속 장면을 불러내고 싶은 마음이 없다. 실현가능성이 낮고 실제 위험으로부터 사람들의 시선을 돌릴 뿐이다. 전문가들은 두가지 시나리오에 대해 경고한다.

1. AI힘은 기존 인간갈등을 증폭하여 인류를 분열시킬 가능성있다.

2. 불가해한 알고리즘으로 짜인 거미줄속에 갇혀 알고리즘들이 우리 삶을 관리하고 정치문화를 재편하며 몸과마음을 재설계하는 동안 전체주의를 운영하는 주체는 인간 독재자가 아니라 비인간 지능일 것이다.

이제껏 인간이 만든발명품들이 인간에게 힘을 실어준 이유는 새로운 도구가 아무리 강력해도 그것을 어디에 쓸지 결정하는 것은 항상 우리 몫이였기 때문이다. 칼과 폭탄은 누구를 죽일지 스스로 결정하지 않는다.

 

정보가 꼭 인간이 만든 기호들로 구성될 필요는 없다. 노아는 비둘기입에 있는 올리브 나무 가지를 보고 물이 빠졌다는 사실을 알았다.

천문학자들은 별에서 진짜정보를 도출하는 반면 점성술사들은 별자리에서 읽을 수있다고 상상하는 정보 오정보 허위정보이기 때문이다. 지금도 수백만명의 사람이 결정하기전에 별자리 운세를 확인하고 2021년 기준 전세계 점성술 시장의 규모는 128억 달러.

DNA오류는 정확하게 나타내는데 실패했다는 뜻이 아니라 복제과정에서 발생하는 돌연변이를 가리키는 것이다. DNA복제 오류는 적합도를 떨어뜨리기만 하는것이 아닌 어쩌다 한번씩 적합도를 높이며 돌연변이가 없다면 진화과정은 일어나지 않는다. 

모든 생명형태는 유전자 오류 덕분에 존재한다. 진화라는 기적. DNA가 현존하는 현실을 재현하지않고 새로운 현실을 만들어내기 때문

때로는 허위로든 현실을 전혀 재현하지않는 정보도 네트워크를 연결한다. 음악이 수천명의 사람들은 연결할때.

정보는 현실을 재현하기도하고 재현하지않기도하나 항상 연결한다. 근본적인 특징

역사에서 정보가 어떤 역할을 했는지를 조사할때 얼마나 현실을 잘 표현했는지, 진실인가 거짓인가가 아닌 사람들을 얼마나 더 잘 연결하는가? 어떤 새로운 네트워크를 만들어내는가가 중요하다.

개인간의 진짜 연결은 거의 존재하지않는다. 소셜미디어 계정은 전문가팀이, 모든 이미지와 말은 브랜드 창조를 위한 전문가가 제작하고 선별한것이다.

사피엔스 500명이 힘을 합치면 네안데르탈인 50명 쯤은 거뜬히 이길 수 있었다.

누가 영국인이고 누가 미국인이며 누가 노르웨이인 또는 이라크인인지 결정하는 객관적인 정의는 없다. 정체성은 끊임없이 재해석되고 형성된다.

나치즘의 등장을 생각해보라. 1930년대 초 경제위기가 아니었다면 나치는 권력을 잡지 못했다. 히틀러가 선거에서 승리할 수 있었던 이유는 경제 위기때 독일인이 나치 이야기를 믿게 되었기 때문이다. 독일인들의 물리적 이익과 특권을 지키려는 과정에서 필연적으로 발생한 결과가 아니라 비극적인 실수였다.

역사의 경로는 결정론적인 권력관계보다는 매력적이지만 유해한 이야기를 믿는 데서 비롯되는 비극적인 실수에 의해 결정되는 경우가 많다.

사람들이 진실을 알면 힘 뿐아니라 지혜도 생긴다고 말한다. 물론 안심되는 말이다. 

핵물리학자는 모르지만 권력 꼭대기에 있는사람들이 알고있는 사실은 우주에 대한 진실을 알리는 일은 많은 사람들사이에서 질서를 유지하는 최선의 방법이 아니라는 것이다. 

사람들을 결속시키는데 허구는 진실에 비해 얼마든지 간단하게 만들수있고 편안하고 듣기 좋게 만들수있다는 고유한 두가지 이점을 가지고 있다.

진화론을 이해하면 생물학적 사실을 이해하는데 큰 도움이 되지만 수많은 사회에서의 질서를 유지했던 신화는 흔들린다.

비알릭은 유대인 여성들이 집단강간을 당하는동안 남편과 형제들이 근처에 숨어 신에게 기적을 기도했고 포그롬이 끝난 뒤에도 생존자들은 무장할 생각은 하지않고 강간당한 여성들이 율법상 더럽혀진 것인지 여전히 순결한것인지 탈무드 논쟁을 벌였다.

관료제는 말그대로 책상에 의한 통치라는 뜻이다. 즉 분리하여 통치하라 문서를 서랍에 넣든 어떤 용기에 넣든. 양식을 작성할때 나열된 선택지중 자신에게 해당하는 것이 하나도 없으면 양식을 나에게 맞추는게 아니라 내가 양식에 맞춰야한다.

관료들은 세상을 이 서랍들에 억지로 끼워 맞추고 잘 맞지않으면 더 세게 구겨 넣는다.

사자와 호랑이가 고양잇과 공통 조상에서 진화했다고 주장하려면 먼저 사자와 호랑이를 정의해야한다 이것은 어렵고 끝이 없는 작업. 각각의 종을 하나의 고정된 서랍에 넣는다는 사실 자체가 생물학적 현실을 왜곡하는것이다.

종은 계속 섞인다. 별개의 종처럼 보여도 서로 교배를하고 생식력 있는 자손을 낳는다. 오늘날 대부분 사피엔스는 1~3%의 네안데르탈인 DNA를 가지고 있는데 이는 과거에 아버지가 네안데르탈인, 어머니가 사피엔스인(또는 그 반대) 아이가 있었음을 암시한다. 그렇다면 사피엔스와 네안데르탈인은 같은 종일까 아니면 다른 종일까? 종이란 생물학자들이 발견하는 객관적인 현실인가 아니면 생물학자들이 도입한 상호주관적 현실인가

박테리아와 달리 바이러스는 단세포생물이 아니라 먹지도, 대사하지도, 스스로 번식할 수가없다. 바이러스는 유전 정보가 담긴 아주 작은 주머니로 세포에 침투해 세포기관을 장악하고 외래 유전 코드의 사본을 더 많이 만들라고 지시하며 퍼져나간다. 이 바이러스는 생명체로 가니주해야하는지, 생명 경계 밖에 있는 것인지 끝없는 논쟁을 벌인다. 하지만 이 경계도 객관적인 현실이 아니라 상호주관적인 관례다. 바이러스가 행동하는 방식은 바뀌징낳으며 인간이 바이러스에 대해 생각하는 방식만 바뀔 뿐이다.

관료제를 변호하자면 우리의 이해를 왜곡하기도 하지만 이는 대게 질서를 유지하기 위해서이며 지리서가 없다면 어떤 대규모 네트워크도 유지되기 어렵다라는 사실을 간과해서는 안된다.

관료제 덕분에 중앙정부는 국민에 대한 정보를 더 많이 수집하고 기록할 수 있었지만 국민은 시스템 자체가 어떻게 작동하는지 이해하기 어려운 처지가 되었다.

모든 포유류와 조류의 새끼는 생애 첫 단계에 부모에게 의존하면서 부모의 보살핌을 갈구하고 방임이나 적대감을 두려워한다. 둥지에서 너무 일찍 밀려난 새끼는 굶어 죽거나 잡아먹히기 십상이다. 

인간세계에서도 부모에게 방치되거나 버림받는 것에 대한 두려움은 백설공주 신데렐라, 해리포터 같은 동화 민족 신화 종교 신화의 기본 틀을 이룬다.

서류보관은 우리 가족에게 신성한 의무가 되었다.

성경이나 쿠란 같은 거룩한 책들은 인간의 오류를 우회하기 위한 기술인 셈이고 이 기술을 중심으로 책의 종교인 유대교 기독교 이슬람교가 형성되었다

신의이름을 적을때 필경사는 왕이 인사를 건네도 대답하지 않아도된다. 너는 천국의 일을 하고있으니 글자 하나만 빼거나 덧붙여도 온세상을 파괴하는 것이다.

거룩한 책에 새끼염소를 그 어미 젖에 요리해서는 안된다고 나와있는데 어떤 사람은 넓게 해석해 육류와 유제품을 섞지 말아야한다는 뜻으로 해석했고 프라이드치킨을 먹은 후 밀크셰이크를 마시면 안된다는 믿기어려운 이 두번째 해석이 대부분의 랍비들은 옳다고 판결했다.

인쇄술이 유럽의 마녀사냥 광풍을 초래했다고 주장한다면 과장이겠지만 인쇄술은 사탄 음모론을 빠르게 확산시키는데 중추적인 역할을 했다.

마녀의 망치가 권장한 심문 방법은 그야말로 악마적이라 피고가 자백하면 즉시 처형하고 그의 재산을 고발자, 처형자, 심문관들이 나누어 가졌다. 피고가 자백을 거부하면 고집을 악마의 증거로 간주해 손가락을 부러뜨리고 뜨거운 집게로 살을 베고 몸을 찢어질때까지 늘이거나 끓는 물에 담궈 고문을 견디지 못하고 자백하면 그를 정당하게 처형했다.

1600년 뮌헬 마법을 행했다는 혐의로 일가족이 체포되어 종교재판관들은 어린 10살 한셀부터 고민해 어머니의 죄를 털어놓게 했는데 파펜하이머 가족은 형언할 수 없는 방법으로 고문을 당하다 결국 자신들이 마법으로 265명을 살해하고 14번의 폭풍을 일으키는 등 수많은 범행을 저질렀다고 자백하여 모두 사형에 처해졌다.

마녀사냥꾼들이 정말로 악마의 악행을 찾고 싶었다면 거울을 들여다보기만 하면 됐을 것이다.

마녀사냥은 정보 생태계 탄생의 어두운 면을 잘 보여준다. 마녀사냥을 부추긴 원동력은 현실재현이 아닌 새로운 현실을 창조하며 점점 확산되는 정보의 바다였다. 마녀에 대한 정보를 교환하면서 마녀가 현실이 된것이다. 전문마녀사냥꾼들은 이 모든 데이터를 이용해 자신들의 이론을 더욱 정교하게 발전시켰다.

자유로운 정보시장에서는 진실보다 분노가 우세할 가능성이 높다.

충분한 경험적 증거가 마련되면 이설이 절설을 뒤집고 새로운 합의로 자리잡기까지 대게 몇 십년 밖에 걸리지 않는다.

자정장치는 진실추구에 필수적이지만 질서 유지 측면에서는 손해다.

강압적인 지도자들이 민주주의를 망가뜨리기 위해 사용하는 가장 흔한 방법은 자정장치를 차례로 공격하는 것이다. 법원, 언론으로 시작한다. 

강력한 지도자를 지지하는 사람들은 과정에 반민주적이라고 생각하징낳는다. 선거에서 승리한다고 무제한적인 권력이 주어지는 것이 아니라는 말을 들으면 진심으로 당황한다. 

선거는 진실이 무엇인지가 아니라 국민의 다수가 원하는 것이 무엇인지 확인하는 절차다.

단순함은 모든것을 중앙에서 지시하고 모두가 말없이 따르는 독재 정보 네트워크의 특징이다. 

포퓰리즘이란 말은 국민을 뜻하는 라틴어 포풀루스에서 유래했다.

지도자를 지지하면 국민이다. 포퓰리즘의 핵심. 포퓰리스트는 자신만이 국민을 대변하며 의견이 다른 누구든 허위의식을 가지고있거나 진짜 국민이 아니라고 주장하는 사람들이다

.대화를 하려면 말한 자유와 듣는 능력만으론 부족하다. 대화를 나눌 사람들이 서로의 가청 범위내에 있어야하고 대화의 주제에 대해 적어도 기초적으로는 이해하고 있어야한다.

전체주의에서는 모든 정보가 중앙 허브롤 통과해야하며 기관들이 자체적으로 결정을내릴 수 없다. 정부, 당, 비밀경찰의 삼중 구조로 운영되지만 병렬형 권력구조의 목적은 오로지 하나 독립적인 권력의 출현을 막는 것이다.

당시 스탈린의 주치의는 그 자리에 없었다. 그에게 휴식이 더 필요하다고 조언했다가 루뱐카 감옷의 지하 감방에서 고문을 받고 있었기 때문이다. 스탈린은 끝내 깨어나지 못했다.

우리가 전례없는 정보혁명 한가운데 살고 있다는 것은 더이상 뉴스가 아니다.

이질적인 지능의 결정과 목표를 따르는 오나전히 새로운 종류의 정보 네트워크가 등장하고 있다. 우리는 서서히 가장자리로 밀려날 수 있으며 네트워크는 우리가 없이도 스스로 작동할 수 있을지도 모른다.

많은 사람들이 의식이 없는 존재는 지능을 가질 수 없다는 결론으로 도약한다. 하지만 지능과 의식은 매우 다르다. 지능은 목표를 달성하는 능력 의식은 고통 쾌락 사랑 증오같은 주관적인 감정을 경험할 수 있는 능력이다.  호흡부터 소화까지 우리몸에서 일어나느 과정의 99퍼센트는 의식적인 결정없이 일어난다.

인간인척 하는 컴퓨터와 토론을 하면 우리에게는 두가지면에서 손해다. 봇은 설득되지 않는 존재라 의견을 바꾸기 위해 시간을 들이는것은 무의미하고 이야기를 하면할수록 우리관련 사실이 공개되고 봇은 그를 바탕으로 가다듬어 우리 생각에 영향을 행사하기 쉬워진다.

언어를 숙달한 컴퓨터는 친밀감을 이용해 우리에게 영향을 미칠것이다. 가짜 친밀감을 조성하기 위해 스스로 컴퓨터가 감정을 가질 필요는 없다. 단지 어떻게 하면 우리가 컴퓨터에 애착을 느낄 수 있는지 학습하기만 하면 된다.

이론상 당신이 방금 읽은 텍스트는 어떤 컴퓨터의 이질적인 지능이 생성한 것일수도있다.

모든 책임을 기술에 전가함으로써 인간은 책임을 면하기에 기술결정론에 믿음은 위험하다.

과학자들은 인간의 뇌는 커녕 쥐의 뇌도 제대로 이해하지 못하고 있다. 우리는 새로운 전체주의 체제이 등장을 당연히 두려워해야하지만 우리 뇌에 이식된 컴퓨터 칩에 대해 걱정하기는 아직 이르다. 

컴퓨터가 인간을 감시하는 세계에서는 역사상 처음으로 사생활이 완전히 사라질지도 모른다.

트립어드바이저 이전에는 고객이 명목상으로만 왕이였지만 지금은 인생을 좌지우지하는 힘을 가진 진정한 폭군이 되었다. 

일반적인 경험법칙만을 따를 경우 궁극적인 목표를 정의할 합리적 방법이 없다.

수백년동안 동성애자들에 대한 박해는 당사자들에게 엄청난 고통을 주었지만 의무론적 보편법치긍로 포장된 다양한 편견이 이를 정당화했다. 칸트는 자연스러운 본능과 동물의 본성에 어긋나는, 동물보다 낮은 수준으로 인간을 떨어뜨린다며 비난했다.

동성애가 실제로 자연질서에 위배된다는 경험적 증거를 제공하징ㄶ았다.

누군가가 종교적 믿음을 잃고 죽음을 받아들인다면 컴퓨터 네트워크는 이것은 순손실로 봐야할까 아니면 순이익으로 봐야할까?

우리가 직면한 문제는 컴퓨터의 창의적 주체성을 박탁할 것인가가 아니라 어떻게 창의성을 올바른 방향으로 이끌것인가 이다.

히잡법을 시행하는데서 그치지않고 죄악성과 성인됨을 정확하게 계산할 수 있는 컴퓨터로 전환하기로했다면 히잡을 쓰지않으면 10점 감정, 메카레 순례를 갔다면 500점을 얻는다. 이 체계는 사람들에 대한 진실을 발견하고 있을까 아니면 사람들에게 질서를 강요하고 있을까?

완전한 감시체제에서는 포괄적인 데이터베이스와 극도로 정확한 수학을 이용해 반사회적인 사람을 찾아낸다고 주장하지만 실제로는 근거없는 종교적, 이념적 편견을 강요하고있는 것인지도 모른다.

백인이 거의 80%, 흑인여성은 4.4% 이런 데이터세트로 학습한 알고리즘이라면 흑인여성을 식별하는데에는 형편없는 것이 당연했다. 개발자들은 의도적으로 편견을심어놓지 않았으나 몇시간동안 유해한 정보에 노출되면 테이는 심한 인종차별주의가 되었다.

설사 컴퓨터가 감정을 갖지 못해도 인간은 컴퓨터를 마치 감정을 가진 존재인것처럼 대할 것이다.

과학자, 국회의원, 식육 업계는 소와 돼지에게 외식이 있다느 사실을 받아들이는 조건으로 종종 불가능한 수준의 증거를 요구하지만 반려동물을 키우는 사람들은 고통과 사랑을 느낄 수 있다는 것을 당연하게 받아들인다. 

우리가 특정대상을 의식적인 존재로 간주하는 것은 증거가 있기때문이 아니라 정서적 애착을 형성하기 때문이다.

미래의 시장에 문제는 일자리의 절대적 부족이 아니라 끊임없이 변화하는 고용시장에 대응하여 재훈련하고 적응하는 것.

사회현실은 진보주의자들이 생각하는 것보다 훨씬 복잡하며 사람들은 세상을 이해하고 미래를 예측하는 데 그리 능숙하지 않다.

민주주의 유연성, 오래된 신화에 의문을 제기하려는 의지, 강력한 자정장치는 매우 중요한 장치이고 수세대에 걸쳐 이런 자산을 축적했다. 가장 필요한 현 순간에 그것을 버리는 것은 어리석은 일이다.

1951년 캔자스주 토피카시 교육 위원회 관료들이 올리버 브라운의 딸이 집 근처 초등학교에 입학하는 것을 거부했던 사건을 보면 토피카 교육 위원회 위원은 모두 인간이었기 때문에 브라운과 그의 변호사들 대법원 판사들은  교육위원들은 모두 백인이었고 브라운 가족은 흑인이었으며 초등학교는 백인아이들만 다니는 인종 분리학교였기에 입학을 허락하지 않은 이유가 인종차별 때문이라는 것을 이해하기 어렵지않았다.

성경과 미국헌법 모두 인간이 만든것이라서 사람들은 문서의 기원과 불완전함을 파악하고 적어도 실수를 바로잡으려고 시도하거나 수정하거나 무시할 수 있었다.

총격에 가담한 차량 운전자 에릭루미스는 교통경찰로부터 도주시도, 차량소유자 동의없이 차량운행이라는 덜 심각한 혐의에만 유죄를 인정했지만 형량을 결정하기 앞서 COMPAS라는 2013년 재범위험 평가 알고리즘에서 고위험군으로 평가되어 징역 6년을 판사가 선고하는데 영향을 미쳤는데 이는 루미스가 인정한 경미한 범죄에 비해 가혹한 처벌이었다.

COMPAS 알고리즘은 노스포인트사의 사적 자산이었는데 회사는 알고리즘 방법론이 영업비밀이라고 주장했지만 알고리즘이 그 결정을 어떻게 내렸는지 모른다면 알고리즘이 편향이나 오류가 없는 신뢰할 수 있는 도구라고 어떻게 확신할 수 있을까?

사회가 점점 더 많은 결정을 컴퓨터에 맡길 수록 민주주의이 자정기능, 투명성, 책임성이 약화된다. 선출직 공무원이 자신이 이해할 수 없는 알고리즘을 어떻게 통제할 수 있겠는가?

우리는 특정 행동 방침을 취할 하나의 이유를 찾고 다른 고려사항을 모두 무시하는 경향이 있다. 이것이 단일 원인의 오류다.

2021년에 제안된 유럽 연합의 AI법은 컴퓨터로의 사회신용 점수 제도가 차별적인 결과를 초래하고 특정 집단을 배제할 수 있으며 존엄성과 차별받지않을 권리, 평등과 정의의 가치를 침해할 수 있다는 이유로 완전히 금지되어야 하는 몇가지 유형의 AI중 하나로 지정했다.

AI와 온라인 정치 토론을 한다면 그의 의견을 바꾸려고 시도하는 것은 시간낭비가 AI는 의식이 없는 존재기에 정치에는 실제로 관심도 없을 뿐더러 투표할수도 없다.

알고리즘은 단순히 대화에 참여하는 것에 그치지않고 대화를 진두지휘하고 있다.

화폐 위조에 적용되는 원칙이 인간을 위조하는 경우에도 똑같이 적용되어야한다.

인간으로 가장 할 수 있게 된 AI는 사람들 사이의 신뢰를 파괴하고 사회조직을 해체하려 하고 있다.

딥페이크행위는 비인간 행위자가 인간으로 가장하려는 시도까지 법으로 금지해야한다. 누군가가 이 조치가 표현의 자유를 침해한다고 불평한다면 봇에게는 표현의 자유가 없다는 사실을 상기시켜줘라. 민주주의 국가는 이런 검열에 매우 신중해야한다.

시민들이 서로 대화할 수 없고 서로를 정치적 라이벌이 아닌 적으로 여길때 민주주의는 유지될 수 없다.

우리는 민주주의 정보가 붕괴하고 있는 것을 빤히 보면서도 그 이유를 확실히 모른다. 이것 자체가 시대적 특징이다. 

1937년부터 1939년까지 스탈린주의 대숙청 기간동안 니콜라인 부하린과 미하일 투하쳅스키 원수같은 저명인사들이 숙청되고 처형될 때마다 책, 학술논문, 사진, 그림에서 그들의 존재를 증명하는 증거가 지워졌고 엄청난 수작업이 필요했다. 블록체인에서는 과거를 지우는 것이 훨씬 쉬울것이다. 사용자의 51퍼센트를 차지하는 정부는 버튼 하나만 누르면 역사에서 사람들을 사라지게 할 수 있다.

권력은 정보채널들이 합쳐지는 연결고리에 있다. 티베리우스가 정보채널이 세야누스 한사람에게 집중되도록 허락했기 때문에 세야누스는 진정한 권력의 중심이 된 반면 티베리우스는 꼭두각시로 전락했다.

알고리즘이 실수를 했는데 그 실수를 알아채고 고칠 수 있는 자정장치가 없다면 어떻게 되겠는가?

전세계 독재자들 중 몇몇만 AI를 신뢰해도, 인류 전체에 엄청난 파장이 미칠 수 있다.

AI가 힘의 균형을 독재자 자신들에게 유리하게 기울일 것이라고 믿는 우를 범해선 AI는 스스로 권력을 장악할 것이다.

AI 발전이 인류 존재 자체를 위협한다면 컴퓨터가 악의적이라서가 아닌 우리가 완벽하지 않기 때문이다.

인류문명을 위협하는 것은 물리적 무기만이 아닌 이야기를 통해 사회적 유대를 파괴하는 것처럼 사회적 대량 살상무기도 인류 문명을 위협할 수 있다. 

각 국가가 자국내 AI를 현명하게 규제하기만 한다면 AI혁명 최악 결과를 피할 수 있다고 생각한다면 순진한 것이다. 

비교적 가난한 개발도상국들은 ai와 자동화로 인해 특수한 어려움에 직면할 것이다. ai기반 경제에서는 디지털 선두주자들이 대부분의 이익을 가져가고 그 부로 자국의 노동력을 재교육하여 더 많은 이익을 내는데 뒤처진 국가에서는 미숙한 노동자의 가치가 하락하는 데다 노동력을 재교육할 자원이 없어 더욱 뒤처지게된다.

지금의 추세가 계속된다면 ai분야에 중국과 북미가 수익의 70퍼센트를 가져간다.

힘 있는 사람들이 ai혁명을 인쇄혁명이나 산업혁명과 비교하는 것을 듣고 있기가 힘들다. 권력자들의 역사적 비전은 우리 미래를 만드는 결정들에 영향을 주기 때문이다.

우리는 지구상에서 가장 영리한 동물인 동시에 어리석어 핵미사일과 초지능 알고리즘을 만들어낼 수 있으나 통제할 수 있는지 확실하지 않다.

진실보다 질서를 우선시한 탓에 인간의 정보 네트워크들은 엄청난 힘을 만들어냈지만 지혜는 거의 만들어내지 못했다.