NEXUS 情報の人類史 (下巻) 　人類の長期的な幸福のためには自己修正メカニズムが重要であるのにもかかわらず、残念ながら、政治家はそのシステムを弱める誘惑に駆られかねない。本書を通して見てきたとおり、自己修正メカニズムを無力化することには短所が多いのに、政治的には必勝法になりうる。

第6章でハラリさんは、21世紀におけるコンピュータの進歩について、決定を下したり新しい考えを生み出したりすることができるインテリジェント・マシン（知能機械）の台頭は、歴史上初めて、権力が人間から離れて何か別のものへと移っていくことを意味すると指摘し、2016～17年に発生したフェイスブック社（現メタ社）のアルゴリズムが、ミャンマーで反ロヒンギャの暴力の炎を煽るのを手助けしたことを挙げる。そして、ソーシャルメディアのアルゴリズムは、印刷機やラジオとは根本的に違うというという点を念押しする。そして、2020年代初頭、アルゴリズムは自らフェイクニュースや陰謀論を創作する段階まで進んでいる。
コンピュータは意識を持たずとも知能を持っている。その知能とは、「ユーザーエンゲージメントを最大化する」という目標を達成することだ。その目標の達成に役立つなら、常軌を逸した陰謀論を意図的に拡散するという決定を下すことができる。
AIが人間と同じくらい精緻な物語を書くことができるようになった結果、私たちが聖書やQアノン、魔女、妊娠中絶、気候変動についてオンラインで長い議論を行なうとき、人間だと思っていた相手が、じつはコンピューターだったということが起こる可能性があり、ハラリさんは、これでは民主主義が成り立たなくなると警鐘を鳴らす。なぜなら、民主主義は人間同士の話し合いであるからだ。
言語を自由に操れるようになったAIは、人間に影響を与えるようになっている。たとえば、2021年12月に、女王エリザベス2世を暗殺しようと、クロスボウで武装してウィンザー城に侵入した若者がいた。彼は、「レプリカ」というオンライン・アプリが創り出したチャットボットにそそのかされ、行為に及んだのだった。
ハラリさんは、AIが構築する新しい情報ネットワークには人間が入り込む余地がないかもしれないと指摘する。
税の目的は富の再分配だが、今日の世界経済は〈情報〉によって左右されることから、貨幣を使った課税は時代遅れになりつつある。「顧客はつねに正しい」「有権者がいちばんよく知っている」という原則では、顧客や有権者が〈情報〉に通じており、それを理解しているという前提がつく。現実世界は、その前提を満たしているだろうか。

第7章でハラリさんは、コンピュータ・ネットワークは人間と違い、対象者を24時間365日、抜け漏れなく監視することができるうえ、特徴的なパターンを瞬時に発見することができると指摘する。実際にアメリカでは、2014～15年頃に、アメリカの国家安全保障局（NSA）が「スカイネット」という映画『ターミネーター』に登場するものと同じ名前のAIシステムを導入し、通信や文書、旅行、ソーシャルメディアの投稿などを監視し、そのパターンに基づいて、人々を「テロリスト容疑者」のリストに載せた。
ハラリさんは、イーロン・マスク氏が私たちの脳にコンピュータチップを埋め込む陰謀論を取り沙汰するよりも、スマホについて心配すべきと指摘する。スマホは、私たちの生活はもちろん、バイタルデータも計測できるようになっているのだから。人間が人間を監視している世界では、プライバシーが必ず存在した。だが、コンピューターが人間を監視する世界では、歴史上初めて、プライバシーを完全に消滅させることが可能になるかもしれない。
貨幣とは別に、社会信用システムというものがあり、名誉、社会的地位、評判など、さまざまな呼び方をされてきた。ほとんどの社会では、人々はいつも、お金を失うことを恐れるよりもなおいっそう、面目を失うことを恐れてきた。経済的な困窮よりも恥辱感や罪悪感から自殺する人のほうが、ずっと多い。これまでの社会信用システムは、その値が不確かなもので、評価も主観的であった。だが、監視テクノロジーと社会信用アルゴリズムが組み合わさると、信用ポイントが正確で客観的なものになる。そこから登場するレピュテーションベースの市場は、プライバシーを一掃し、金銭ベースの市場がかつてしたこともないほど厳しく人々を統制することになりかねない。

第8章でハラリさんは、コンピューターネットワークは間違うことが多いと指摘する。YouTubeのアルゴリズムは、嘘まみれのコンテンツを拡散し、真実に徹したコンテンツを無視する。ブラジルの一市議会議員に過ぎなかったカルロス・ジョルディは、YouTube上で陰謀論を展開し、何百万もの視聴者を獲得し、2018年に下院の議席を勝ち取った。だが、YouTubeをはじめとするプラットフォームを管理・運営して依拠大企業は、いつもきまって言い訳をし、自社のアルゴリズムから「人間の本性」へと責任を転嫁する。彼らは、プラットフォームでありとあらゆる憎しみと嘘を生み出すのは人間の本性だと言い切る。
ハラリさんは、アライメント問題の解決法として、人間がコンピューターネットワークを作り出すときには最終目標を設定することだと言う。ここで、アラインメントに頼らないような最終目標の定義として、「義務論」と「功利主義」を挙げる。だが、ナチスの例を挙げ、いずれも理想的な解決策とは成らないことを説く。
ハラリさんは、多くのコンピューターが互いに通信すれば、人間のネットワークが生み出す共同主観的現実に相当する「コンピューター間現実」を創り出すことができるという。ポケモンやグーグルの順位のようなコンピューター間現実は、人間が神殿や都市に持たせる神聖さのような共同主観的現実と似ている。
学習データに偏りがあることで、コンピュータは差別したり誤りを犯すことを指摘する。安全対策の1つとして、「自らの可謬性を自覚するようにコンピューターをトレーニングすること」を挙げる。はたして、そんなことは可能だろうか。

第9章でハラリさんは、ネットワークを使った全体主義的監視政権の台頭を防いで民主主義を守るための原則として、善意、分散化、相互性、変化と休止の4つを挙げる。だが、コンピュータが人間の仕事に取って代わり、雇用市場が混乱すると、ナチスのような全体主義が台頭してくるかもしれない。
将来、信用スコアの低い子供が信用スコアの高い子供向けの学校に入ることを、どこかの社会信用アルゴリズムが許さなかったらどうなるだろうか。実際、2013年2月に、米ウィスコンシン州ラクロスで起きた銃撃事件では、逮捕されたエリック・ルーミスが、COMPAS （コンパス） というアルゴリズムによって懲役6年の刑を宣告された。彼が認めた比較的軽い犯罪に対しては厳しい罰だった。ルーミスはウィスコンシン州の最高裁判所に上訴したが、アルゴリズムの評価方法は企業秘密として開示されず、判決は覆らなかった。更に彼は連邦最高裁判所に上訴したが、2017年6月に連邦最高裁判所は審理を拒否した。
AIが人間の自由な討論の場に割って入り、人間より高速で大量の意見を垂れ流し、さらに総括に入るようになったら、民主制を守ることができるだろうか。

第10章でハラリさんは、「機械学習アルゴリズムの台頭は、世界中のスターリンのような人々がまさに待ち焦がれていたことかもしれない」と指摘する。あらゆる情報と権力を中央に集中させ、完全な監視システムを確立できるからだ。ブロックチェーンシステムは民主的と言われるが、それは参加するユーザー全員が人間だった場合の前提であり、ユーザーの過半数が政府の制御下にあるAIだったら、政府にとって都合のいい判定が下される。そして、フェイク画像を生成できるAIは、歴史改変も容易にできるだろう。そして、AIが独裁者に代わる可能性もある。

第11章でハラリさんは、コンピューターは現在の国際制度に2つの大きな難題――(1)デジタル帝国、(2)シリコンのカーテンによる世界分断――を突きつけてくるという。民間企業の間で始まったAIの開発競争は、世界制覇を目指す政府間の勝負に変わりつつある。AIとデータを駆使する能力を身につけた新しい帝国は、他国の国民の注意をも制御し、植民地化することができる。封建領主は土地が支配の手段だった。産業革命時代の経営者は機械が支配の手段だった。これらを一極集中させるには、物理的な限界があった。しかし、現代の支配手段である情報は、それをデジタルデータ化することで、どれほど大量であろうが1箇所に集中させることができる。
こうした経済や地政学のダイナミックな動きは、世界を2つのデジタル帝国に分裂させうる。中国とアメリカの間、あるいはロシアとEUの間には、シリコンのカーテンを越えて情報にアクセスすることが難しくなっている。その結果、異なる人々を別個の情報の繭 （コクーン） の中に囲い込んで人類を分断し、人間として単一の現実を共有するという考え方に終止符を打つ可能性がある。

エピローグでハラリさんは、AIの使い方を誤れば地球上の人間の支配に終止符を打つばかりか、宇宙をまったくの闇の領域に変えてしまいかねないと警鐘を鳴らす一方で、より賢いネットワークを創り出すには、強力な自己修正メカニズムを持つ制度や機関を構築するという、困難でかなり平凡な仕事に熱心に取り組まなければならないというアドバイスをする。

LLMのおかげで、ヒトと同じように（もしかすると一般的な知的水準の人間以上に）、生成AIは自然言語を巧みに操れるようになった。かつてAI研究に携わった身としては、すばらしい成果だと思う。だが、現実社会では、ハラリさんが警鐘を鳴らすように、生成AIがヒトに対して悪い影響を当たる事案が出てきている。ヒトが合理的に善悪を判断できないように、生成AIが善悪の判断ができないことは自明のことである。
ハラリさんは、SNSのアルゴリズムが、嘘まみれのコンテンツを拡散し、真実に徹したコンテンツを無視すると指摘する。実際にSNSを利用している身としては、それは感じる。そもそも、なぜ、素人の投稿を拡散する〈アルゴリズム〉を備えなければならないのか不思議で仕方がない。
Twitter社がイーロン・マスク氏に買収され、X社となった途端、明らかにアルゴリズムが変わった。私は、そんなアルゴリズムの片棒を担ぐ気にはなれないので、10年以上利用していたTwitter(現・X)の利用を控えるようになった。
ハラリさんは、こうしたアルゴリズムの基盤にある「ユーザーエンゲージメントを最大化する」という点に注目する。日本企業で言えば「顧客満足度の向上」という目標だ。これはこれで正しい。そして、労働者も人間である企業では、労働者と顧客の価値観が相克し、この目標は永遠に達成できません。その結果、大多数の人間が暮らしやすい社会のバランスが保たれることになる。だが、この社会にAIが浸透し、不眠不休で「顧客満足度の向上」を行ったらどうなるか――顧客にとってはユートピアになるかもしれないが、労働者にとってはデストピアだろう。そして、顧客と労働者は同一なのだ。つまり、人間が暮らしにくい社会になるに違いない。
AIは、人間の意図を正確に言語化・数式化できないし、指示を字義通りに解釈し、文脈や常識を無視するため、人間の価値観・意図・倫理と一致した行動をとるように設計・制御することが難しいという「アライメント問題」を抱えている。
だからといって、AI利用を忌避する必要はない。人間の〈知能〉とは別種の〈知能〉であることを認識し、活用すればいい。前述の通り、労働者と消費者は同一であるのだから、経営者は「会社は株主のもの」という考え方を改め、「会社は労働者のもの」という前提で経営すればいいと思う。そうすれば、AIは、生産効率を高め、顧客満足度向上のための〈道具〉として活躍できるだろう。
ハラリさんは、アラインメントに頼らないメタ目標として「義務論」と「功利主義」を挙げ、イマヌエル・カントとアドルフ・アイヒマン（ナチ党員で自らカント主義者と名乗っていた）の対話という面白い思考実験を紹介する。これは「トロッコ問題」に置き換えてもいいだろう。
SF作家のアイザック・アシモフは、80年以上前に、自らのロボット小説がアライメント問題で破綻しないよう「ロボット工学三原則」を考案した。そして、義務論と功利主義の間で三原則が崩壊しないよう、40年前に「第零法則」を付け加えた。この「第零法則」は功利主義に偏っており不完全なものだ。そこでロボットたちは、1万年以上の永きにわたり人類の進化を〈棚上げ〉にすることで、「第零法則」が発動しないようにした。
アシモフの未来SFはミステリー仕立てですが、それが一種の思考実験にもなっています。私は、先生に指導されようが、上司から文句を言われようが、問題を〈棚上げ〉にすることの効用は非常に大きいと考えている。

学習データに偏りがある場合、機械学習AIが差別や誤りをおかすのは自明のことだ。そうならないよう、ハラリさんは「自らの可謬性を自覚するようにコンピューターをトレーニングすること」を挙げる。はたして、そんなことは可能だろうか。
人間は、選択した結果を自ら背負うことで学び、その積み重ねで結果を予想する能力を獲得していく。私たちはAIに、そういう学習をさせているだろうか。
AIを自分の子どもに置き換えるとわかりやすいだろう。私たちは、情報を遮ったり加工することなく子どもに与えているだろうか。自らの誤りを認識し、再挑戦する機会を与えているだろうか。
もしそういう学習をさせていたとしても、現行のLLMは思考過程のロジックをもたない――というより、統計的判断に委ねている。このようなアルゴリズムになったのは、かつて、論理的に構築されたAIであるエキスパートシステムが、求めるような結果を出せなかったことに起因する。生成AIは、なぜそういう結論に至ったかを説明することが苦手である。結果的に、ルールに基づき合理的な判断をくだすという民主主義の基本スキームから逸脱してしまっている。
これだけ生成AIに投資マネーが流れ込んでいるのだから、機械学習の結果をエキスパートシステムが評価することはできそうなものだが、どのAI企業もLLMのノード数を増やすことに血眼になっている。なぜだろう?
ただ、もしかりに、AIが自らの誤りを合理的に是正することができるようになったとしたら、どうなるだろうか――非合理な存在である人類を抹殺しやしないか――よくある未来SFのプロットである。ハラリさんは〈強力な自己修正メカニズム〉が必要であるとアドバイスするが、そのための手段を用意しているわけではない。
上巻冒頭で取り上げたポピュリズムや陰謀論は、AIを取り込んだ世界の大きな流れのごく一部の側面を見ているに過ぎず、もしかすると全体主義は自滅するかもしれないし、民主主義も大きな改変を迫られるかもしれない。世界の三大宗教ですら、その根本基盤を失うほどの濁流に呑み込まれるかもしれない――だとしても、私たちは何事もない日々の暮らしを続け、歴史を紡いでいかなければならない。

ハラリさんは最後にこう結ぶ――
そして最後に、こうした努力のいっさいを、やり甲斐のあるものにしてくれる読者のみなさん。書物は書き手と読み手をつなぐネクサスだ。それは、多くの人の心を結びつけるリンクであり、読まれてこそ存在する。
――リアルタイムではないけれど、時間と空間を超えてヒトとヒトを結ぶテクストは、私は人類の宝物だと思う。