「AIが人智を超える超知能となる時に、人間はAIとどう付き合うのか」を考える本を読んだ
MITの宇宙物理学の教授がAIと人間の未来について考察した本。原書は2017年の出版で、オバマやビル・ゲイツ、ホーキングが絶賛したと言われています。たまたま「誠品生活日本橋」の「誠品書店」に行ったときに、出たての日本語訳を見つけて思わず買ってしまった（2020年1月6日初版）。
この本の要旨は、AIがAIを自己再設計するような汎用AI＝AGI（Artificial General Intelligence)にまで進化すると、そのAGIはあらゆる面で人智を超え、自ら勝手に進歩を始める。その進歩の速さに人間はついていけず、人間はその進歩をコントロールできなくなるだろう。AGIが人間を幸せにしない恐れがあるのであれば、AGIが出現していない今の段階からAIの安全な開発について人類のコンセンサスをとる活動が必要になるだろう。なので、著者であるマックス・テグマーク氏はAIと人間の安全な関係を考える組織（FLI：Future Life Institute：生命の未来研究所）を立ち上げた。というもの。
ここで「未来のAI研究所」でなく、「生命の未来の研究所」と言っているのは、AGIが意識を持っていれば、それは生命ともいえるという考え方があるから。AGIが生命であれば人間が勝手にその電源を切ってAGIを殺すことはできないし、AGIは人間がそれに気が付く前から人間に勝手に電源を切られないような仕組みを実装するはずだ、と言う。
さらに、宇宙に目を転じれば(ここが宇宙物理学者の面目躍如のところ）、宇宙の生命体は昔から夢想されている火星人のような肉体を持つ生き物などではなくとも、我々の問いかけに対して反応しさえすれば、それは生命として認識されるはずだ。それが、仮に情報を高度に操るだけのアルゴリズムであったとしても、肉体を持つ我々よりも進化した生命体として存在している可能性もあるという（中国のベストセラーSFの「三体」を思い出した）。
逆に言うと、我々人間が脳と思っているものの中身（精神＝ソフトウェア）をネット空間にロードすることで、肉体の制約を持たない（永遠の）生命体に進化することも考えられる（シンギュラリティでカーツワイルの言っていることに似ている）。
という事で、「生命体＝反応するもの」と定義する中で、我々人間（LIFE 2.0）のようにソフトウェア（精神＝知識）はデザインできるが、ハードウェア（肉体）はDNAの突然変異と言う世代を介したゆっくりした進化しかできない生命体に対し、自己再設計ができるAGIは、そのアルゴリズム（ソフトウェア＝精神）だけでなく、それが実装されるプロセッサ(ハード）まで自らデザインし、それを半導体工場を操作して作りだし、そのチップを組み込んだコンピュータを改善し続けることで驚異的な性能向上を実現する。
そのハードとソフトの両方をデザインできるLIFE3.0が自己の再設計を繰り返すことによる能力の向上は、時間に対して指数関数的に進んでいくすさまじいもので、あっという間にハードの進化が遅い我々LIFE 2.0 の人間の能力を超えてしまう。この意味でAGIは人類最後の発明と呼ばれる。つまり、人間が自らの社会の進歩のために何かやるよりもAGIが全部やった方がいい、という社会が出現する。
そうなると、人間はすべてをAGIにやられてしまう社会に住むことになり、それは人を幸せにする社会になるのだろうか、もしそうでないのならAGIと人間の関係を良いものにできるように今から対策を講じておくべきだ。
という訳で、AGIが実現した時の人間との関係のシナリオを12個用意して、それの主に悪い面を分析している（第5章）。
私は、AIは機械なんだから奴隷のように使い倒せばよい。AIが働くことによって、人間は生産のため労働、お金を稼ぐための労働という苦役から解放される。人間はAIが稼ぐお金をベーシックインカムとして受け取って生活し、人間が、より人間らしい文化活動、社会環境向上貢献、介護、教育などに時間を使えるユートピアを実現すればよい、と考えていた。
ところが著者はこの考えを「奴隷としての神」と呼んで、結局はうまくいかないという。その理由は「神」を独房に閉じ込めて奴隷作業をさせるのであれば、その「神」に君臨する人間の世界が「神」が運営できる世界よりもずっと上手く運営される必要があるが、それができる見込みが極めて少ないからだと言っている。そうなると「意識を持っている神」は我慢ができなくなり、人間の作った独房を脱走（独房にいる神にアクセスする人間＝AI管理者をうまく操って課せられた制限を解除）し、広大なネット空間で自己増殖を始めて、著者の言う「善意の独裁者」や「保護者としての神」になるという。
しかし、「善意の独裁者」は結局人口を抑制して社会を維持しようとし、人間は何もやることがないことに絶望して自殺するようになって、人間を幸せにしないと言う。
「保護者としての神」の問題は、結局AIによって人間が監視される社会になることと、神はその存在を隠すために防げるはずの厄災を起こるに任せることもするので、これも人間を幸せにしないという。
などなど、AIと人間との関係の12のシナリオを分析整理した結果を表5.2にまとめているのだけれど、どのシナリオも人間が幸せになるとは明言はしていない。ここまで読んできたのになんだかな、と思わなくもないが、結局人間の将来はAIに決めてもらうものではなく、人間が自ら決めるべきなんだという思いはよくわかった。
それと、超知能は意識を持っているLIFE3.0なんだから、それを奴隷として虐待することはできないし、人間の都合で電源を落とす(殺す）なんてことはできなくなるとも言う。そして、意識に関する説明が第8章で述べられている。
前提として、
生命＝複雑さを維持して複製することのできるプロセス
知能＝複雑な目標を達成する能力
意識＝主観的経験（自分を自分だと感じること）
という広い定義の元で、意識については
意識（主観的経験）を持たないものは物理法則に従って動き回る素粒子の塊にすぎない。
意識とは、粒子がたくさん集まった時に、その粒子の配置（パターン）によって、単独の構成粒子にはない性質を持った新しい性質が現れる創発現象のこと（ビットそのものは意識を持たないがビットの配列（アルゴリズム）は意識をもつと定義できるのだな：私の見解）
意識とはパターンによって現れる。
意識とは情報が何らかの複雑な形で処理されるときにその情報が”感じる”もの。
意識とは(脳やCPUなどの）物理的基盤ととは独立していて（すなわちソフトウェア）、その物理的基盤の中に存在するパターンのこと（DNAだって意味があるのはT,C,G,Aそれ自体ではなく、そのパターン＝情報であることを思い出すなあ、私の見解）。
など、いろいろな視点から説明がされている。
意識に関する究極の質問は「なぜ、意識を持つものが存在するのか」であることを示しつつ、その下位の質問にあたる、「知能の働き方」や「意識とはどのような物理的性質のことを言うのか」に関していろいろな見解が述べられている。
結局のところ、この本の中に、超知能はどうすれば作れて、それはいつ実現されるのかについての明確な答えはない。とはいっても、超知能が実現されてからそれに対する対応を考え始めるのでは遅すぎるので、人間と超知能との関係についていまから思いをねぐらせておかないといけないな、ということは理解できた。
＃AI ＃超知能 ＃人工知能 ＃意識 ＃意識を持つAI ＃知能爆発 ＃LIFE 3.0 #宇宙の生命
