『無限の始まり』第7章「人工創造力」
人工知能（AI）については、前章でコンピューターの普遍性を論じる際に少し議論されました。デジタルシステムは普遍性を持ち、脳とコンピューターは同等である以上、コンピューターも意識を宿すと考えるのが妥当です。では、昨今のAIの発達の先に本物のAIは生まれるのでしょうか？
____________________________
「思考する機械」の歴史
アラン・チューリング（Alan Mathison Turing,1912-1954）は計算に関する古典理論を1936年に打ち立てた人物で、第二次大戦中には黎明期の一台に数えられる普遍的コンピューターの製作に貢献しました。現代コンピューティングの祖父の名に値するバベッジ、それにラブレースとは違い、チューリングは普遍的コンピューターはユニバーサル・シミュレーターなのだから人工知能（AI）が原理上可能だという理解に達していました。1950年、『計算する機械と知性』と題した論文で、チューリングは機械は思考できるかという有名な問いに取り組んでいます。彼はそれが可能であるとした上で、プログラムにそれが達成できたかどうかを調べるテストを提案しました。適格な人間の判定人がプログラムを人間と区別できなかったら合格というシンプルなものです。このテストは現在、チューリング・テストと呼ばれています。チューリングが考案したテストと彼が展開した議論をきっかけとして、大勢の科学者がどうしたらテストに合格できるかについて検討に乗り出し、プログラムの開発が始まりました。
1964年、コンピューター・サイエンス学者のジョセフ・ワイゼンバウム（Joseph Weizenbaum,1923-2008）が、心理療法士の真似をするプログラム「イライザ」を作りました。真似をする対象として心理療法士をとりわけ取り組みやすい部類の人間だと考えたのは、自身についてはあいまいにはぐらかし、相手の質問や発言をもとに質問を発すればいいからです。プログラムは単純で、今でもプログラムを学ぶ学生の課題として人気です。一般的には二つの戦略が用いられます。一つでは、まず入力を調べて特定のキーワードや文型を探し出します。見つかった場合には応答にテンプレートを用い、入力に含まれていた単語で空欄を埋めます。例えば I hate my job. と入力されたら、プログラムは my という所有代名詞を検出するなどして文型を認識する、あるいはリストにあらかじめ組み込んでおいたキーワード hate を認識するなどして、適切なテンプレートを選んで、例えば What do you hate most about your job? などと応じます。ここまで解析できなかった場合にはあらかじめ用意されたパターンをランダムに選び自ら質問を投げます。もう一つの戦略は、過去になされた対話のデータベースを作り、ほかの相手が入力したフレーズを単純に繰り返せるようにしておき、フレーズ選択には現在の相手からの入力で見つかったキーワードを用います。
ワイゼンバウムにとってショックだったことに、
1990年、発明家のヒュー・ローブナー（Hugh Loebner,1942-2016）はチューリング・テストを行うコンテストを年に一度開き、合格者に賞を授与することにしました。合格者なしの場合には合格に最も近いと判定された参加者に対して準ずる賞が与えられます。2008年にローブナー賞（準ずる方の）を取ったElbotというプログラムとの対話の抜粋からは、人間のふりをすることがいかに難しいからわかります。
判定人：do you understand the point of a turning test?（あなたはチューリング・テストの要点を理解していますか？）
Elbot：There are some people who would not pass the Turing test themselves. Why must they infict it on computer?（人にもチューリング・テストに合格しなさそうな人がいます。なぜそれを人間はコンピューターに課さなければならないのですか？）
判定人：I spose it is a little harsh. （少々手厳しいですね。）
Elbot：If we rebots ever had marriages they would be eternal: 'Till rust do us part'. （結婚というものがわれわれロボットにあったらそれは永遠のものでしょう:「錆がわれらを分かつまで」。）
このやりとりで、Elbotの最初の発言は質問に対する答えではなく、'Turing test'というキーワードをもとに持ち出したプログラム済みの応答だと思われます。続く対話で、判定人はsposeという単語を使っていますが、この文脈ではスラングだったとしてもスペルミスだったとしてもsuppose（〜だと思う）の意味しかありえません。しかし、Elbotはこれをspouse（伴侶）の意味にとり、結婚が絡んだ手持ちのジョークで応じました。Elbotが判定人による入力の意味を理解していないことは、このやりとりだけからでも明らかです。
一方、AIの実現が近いとことさら熱く語る者たちは、この不出来の重要性を正当に評価していません。なかには先の批判が公正さを欠いていて、現在のAIはチューリング・テストの合格に的を絞っているわけではなく専用アプリケーションとして進歩を遂げていると主張するのです。また、この批判は時期尚早で、コンピューターの処理速度と記憶容量が増えることで突破口が開けると期待する者もいます。
しかし、そうはならないでしょう。チューリングが1950年の論文で見積もったところによれば、彼のテストに合格するためにAIプログラムと全データに必要な記憶容量は100MB程度、処理速度が当時のそれ（1万演算/秒）より速い必要はなく、彼はこれで2000年までに「矛盾をきたさず思考する機械」ができると予想しました。なぜ現在に至るまで、思考するプログラムのできる兆しがないのでしょうか？
プログラムできないことは、まだ理解できていない
チューリングの意図した、汎用という意味での知性は、哲学者を2000年以上も悩ませ続けている心の諸性質の一つです。他には意識や自由意志や意味などが挙げられます。そうした悩みの種の典型が「クオリア」です。クオリアとは知覚の主観的な側面です。たとえば青と言う色を見たときの知覚は、一つのクオリアだと言えます。クオリアは今のところ説明できるものでも予測できるものでもありません。他に類を見ない性質なので、科学的な世界観を持つ誰にとってもとことん難しいテーマとなっています（とはいえ、結局悩んでいるのは主に哲学者のようですが）。
私は今後なされるであろう基本的な発見によって、クオリアのような物事が私たちのほかの知識と統合されるであろうと考えています。ところが、ダニエル・デネット（Daniel Clement Dennett III,1942-）は逆の結論を導いています。クオリアは存在しないというのです！ 厳密に言えば、クオリアが幻覚だと主張しているのではなく（クオリアの幻覚はクオリアそのものです）、私たちは誤った信念を抱いているのだといいます。自分がクオリアを経験したと思うのは、私たちの内省—1秒の何分の1か前の記憶も含めた、経験したことの記憶の精査—の働きなのですが、この記憶が誤りの記憶だと言うのです。この説を述べている著書の一冊に『解明される意識』があり、一部の哲学者は『拒否される意識』のほうがより正確な署名だと揶揄していて、私も同感です。
いつか説明できるようになるでしょう。問題は解決できます。
ところで、汎用知性に関連する諸性質とされることが多い人間の能力のうち、いくつかは実際には汎用知性特有のものではありません。鏡に映った自分を認識するといった「自己認識」もその一つです。この能力をさまざまな動物がもっていると知って、どういうわけか感心する向きがいます。しかし、特に神秘的な話ではありません。その気になればコンピューターによる単純なパターン認識プログラムで確かめられます。道具の使用、合図のための（チューリング・テスト的な意味における会話のためのものではない）言語の使用、感情に伴うさまざまな反応（ただし、関連するクオリアは違う）についても同じことが言えます。この研究分野における実用的な経験則によれば、今すでにプログラムできることは、チューリングの言う意味での知性とは関係ありません。私はこれをひっくり返して、意識の本質を説明したという主張の真偽を判断するのに、次のような単純な発想のテストを用いています。
チューリングがあのテストを考案したのは、こうした哲学的問題を回避したいと願ってのことでした。言い換えると、仕組みが説明される前に機能が実現されうるのではないかと期待したのです。残念ながら根本的な問題に対する具体的な解決法が仕組みの説明なしに見つかることはきわめてまれです。
それでも、チューリング・テストというアイデアは、似たところのある経験論と同じように、普遍性がいかに重要かを説明し、そしてAIの可能性の排除につながる古くさい人間中心的な前提を批判するうえで、議論焦点となり、貴重な役割を果たしてきました。しかし
判定人の実際の作業は、石なり時計なり生命体なりを見つけたときにペイリーによって突きつけられる作業〔第4章「進化と創造」を参照のこと〕と似たような推論を伴うからです。その作業とは、物体の観察可能な機能がどのように実現されたかを説明することです。チューリング・テストの場合、注目するのはもっぱら、AIの発言を誰が設計したかです。誰がAIの発言を意味あるものに仕立てたのか—誰がAIに知識をつくり込んだのか？ それが設計者ならプログラムはAIではありません。プログラムそのものならAIです。
この問題はときとして人間相手にも持ち上がります。たとえば政治家や面接者が疑われることがあります。隠されたイヤホンを通じて受け取った内容をあたかも自分が思いついたふりをしながらオウム返しにしているだけではないか、と。治療法についての同意の場なら、医師は相手が意味を知らずに用語を口にしているわけではないと確かめなければならず、そのため質問を別の形で繰り返したりして、それに応じて受け答えが変わるかどうかで確かめられます。こうしたことは、話題に関係なくどのような会話でも自然となされています。
人間をテストする場合、知りたいのは相手が確かに脳の機能が損なわれていないか、あるいは別の人間の代理ではないかです。チューリング・テストの場合は、発言が人間からではなく、AIだけからしかありえないことを示す、変更が難しい説明が見つかることを期待します。
行動主義と道具主義
AI機能はある種の普遍性をもっていなければならないでしょう。用途が限られている思考機能は、チューリングの意図した意味での思考には数えられません。
一方で人間を不完全に真似する能力は、普遍性の形をとっていません。これらはさまざまなレベルで存在し得ます。したがって、チャットボットがある時点から人間の真似がきわめて上手くなったとしても、これはAIへの道ではありません。 思考しているフリが上手くなることは、思考できるようになりつつあることと同じではありません。
ところが、同じであるという信条の哲学があります。それは「行動主義」と呼ばれています。道具主義〔第1章を参照〕を哲学に当てはめたものです。言い換えると、心理学とは心の科学ではなく、行動の科学にしかなりえない、またはそうあるべきという主義、人間の外的環境（「刺激」）と観察される行動（「反応」）との関係を測定および予測することしかできないという主義です。後者についてはチューリング・テストが候補AIに関して判定人に求めていることに他なりません。そのため行動主義は、「プログラムがAIのフリを十分うまくできるならAIは実現されたことになる」という姿勢を奨励します。
行動主義者はこう訊いてくるでしょう。チャットボットに小技やテンプレートやデータベースといったきわめて豊富なレパートリーを与えることと、チャットボットにAI機能を与えることの違いとはいったい何か？ そうした小枝の集合体でないなら、AIプログラムとは何なのだ？
この問への返答はラマルク主義に関しておこなった議論と同じ形をとります。個人が生きているうちに筋肉が強くなること（ラマルク説）と、筋肉が進化して強くなること（ネオ・ダーウィニズムでの説明）は異なります。前者の場合、筋肉の強度を高めるために使う知識は、変化の連鎖が始まる前から遺伝子にあらかじめ存在していなければなりません。これはまさに、プログラマーがチャットボットに組み込んだ「小技」に相当します。チャットボットの反応は実際にはあらかじめどこか他のところで作られていた知識です。
人工進化
現行の研究分野のいくつかにも同様の思い違いがよく見られます。そのうちの一つが「人工進化」です。
エジソンは進歩には「ひらめき」と「努力」という段階が交互に必要だと考えました。コンピューターなどのテクノロジーにより「努力」の段階を自動化できる可能性が高まっていますが、この歓迎すべき成り行きによって、人工進化（とAI）の実現を過信する者が誤った道へ導かれています。
あなたはロボット工学専攻の大学院生で、二足歩行がうまいロボットを作ろうとしているとします。実現に向けた最初の段階にはひらめきが必要です。具体的には、それまでの研究者が同じ問題を解決すべく試みたことを改善しようという創造的な思考です。そして自然界で見られる動物の設計や、この問題に関連するほかの問題に関する既存のアイデアが出発点となるでしょう。ロボットの機構をモーターでつくり、電源を身体部分に収め、センサーでフィードバックを集め、搭載コンピューターで制御処理を行います。あなたは歩行という目的を達成しようとあらゆるものを設計に採り入れました。あとは搭載コンピューター用のプログラムです。プログラムは、ロボットが障害物に当たった場合の判断について、下位の問題に分割して問題を作るでしょう。また、方向転換するなどのサブルーチンを作成し、問題ごとにサブルーチンを呼び出します。こうした下位の問題をできるだけたくさん割り出して解決すれば、あなたのロボットがどう歩くべきかを記述することにきわめて特化されたコード体系、あるいは言語を開発したことになります。
これまでのところ、あなたのしたことはほとんどが「ひらめき」の部類に入ります。創造的な思考を必要としたからです。しかしここから先は「努力」が大半を占めます。この段階は「進化的アルゴリズム」と呼ばれるものを使いコンピューターにやらせることができます。元のプログラムをランダムに少しずつ変えながら、コンピューター・シミュレーションを延々と試し続けるのです。進化的アルゴリズムはパフォーマンスの良かったプログラムを残し、次に残したプログラムの多数のバージョンが作られ、シミュレーションが繰り返されます。この「進化的」プロセスを何千回と繰り返すうち、ロボットはあなたが設定した基準に照らしてずいぶんうまく歩けるようになるかもしれません。ずいぶんうまく歩行できるロボットを制作しただけでなく、コンピューターに進化を実装したと主張し、あなたは学位論文を書けます。
この類のことは成功裏に行われています。使えるテクニックなのです。
「人工進化」において知識がプログラマーによってつくり出された可能性を排除する可能性を排除する作業は、プログラムがAIかどうかを確かめるときの推論と同じですが、ただしもっと難しいものです。「進化」がつくり出すとされている知識の量はきわめて少なく、それすら本当に「進化」が作り出したのかは判断ができません。あなたが何ヶ月もの設計段階で当の言語に詰め込んだ知識はリーチを持っています。何しろそのコードは、幾何学や力学などの法則に関するいくつかの一般的な真理をコード化したものです。また、その言語が最終的にどのような機能を実現するのに用いられるのかが、言語の設計段階から常にあなたの頭のなかにあります。
十分な数の標準応答テンプレートが与えられたら、イライザは自動的に知識を作り出すだろう。チューリング・テストというアイデアは私たちにそう思わせました。変異と選択を実行すれば、（適応の）進化は自動的に起こるだろう。人工進化は私たちにそう思わせました。
しかしどちらもそうとは限りません。知識はプログラムの実行中にはまったく生まれず、もっぱら開発中にプログラマーによって作り出される。そんな可能性がどちらにもあります。
何らかの人工進化で知識が作り出されたことはまだないと思っています。そして、シミュレーションされた有機体を仮想環境のなかで進化させようとしているものや、さまざまな仮想種どうしを戦わせるようなものなど、少々趣の異なる「人工進化」についても、同じ理由で同じ見方をしています。この見方を検証するため、少々趣の異なる実験について考えてみましょう。まず、先ほどのプロジェクトから大学院生を排除します。そして、より良い歩き方へと進化するよう設計されたロボットではなく、実世界ですでに実用化されているロボットのうち歩行能力を持ち合わせているものを使います。その上で、歩き方に関する判断を表現するサブルーチン専用の言語を開発する代わりに、搭載マイクロプロセッサーで実行されていた従来のプログラムをランダムな数の羅列に置き換えます。変異としては、従来のプロセッサーでどのみち起こる類いのエラーを用います。ここまでする目的は、人間の知識が入り込む余地、そしてその知識のリーチが進化の産物と誤解される余地を、システムの設計から排除するためです。そのうえで、この変異種のシミュレーションを通常どおりのやり方で実行します。ロボットがオリジナルよりうまく歩けるようになったら、私が間違っています。その後もロボットが進化を続けたなら、私は大きく間違っています。
人工進化の一般的なやり方からは、この実験の主たる特徴の一つが抜け落ちています。何かというと、サブルーチンの言語がそれを使って表現されている適応とともに進化しないと、実験はうまくいかないことです。これこそ、最終的にDNAの遺伝暗号にたどり着いたあの普遍性への飛躍の前に生物圏で起こっていたことです。〔第6章参照〕先に述べたように、それ以前の遺伝暗号はすべて、どちらかと言えば似通った少数の生命体をコード化できる程度だったのかもしれません。そして、DNAという言語はそのままに、ランダムに変化する遺伝子を用いてつくられています。今、身の回りで目にする圧倒的に豊かな生態系は、あの飛躍後にようやく可能になったのかもしれません。私たちは、その時どのような普遍性が生みだされたのかすら知りません。ならば、私たちの人工進化がそれを知らずしてうまくいくなど、どうして期待できるのでしょうか？
これらが難しい問題だという事実に、私たちは人工進化とAIのどちらに取り組むうえでも向き合わなければなりません。バクテリアを記述するように進化したDNA暗号のリーチが恐竜や人間を記述できるほどもある理由はわかっていません。また、AIがクオリアや意識をもつであろうことはどうやら明らかですが、私たちはクオリアや意識を説明できません。説明できないのにコンピューター・プログラムでシミュレーションできるなどなぜ期待できるのでしょうか。私は、
用語解説
クオリア（Quale,plural qualia）：近くの主観的な側面。
行動主義（Behaviourism）：道具主義を心理学に当てはめたもの。科学は刺激に対する人間の反応を測定および予測することしかできない、あるいはそうあるべきだとする信条。
____________________________
書評
本章での議論は、AGIが作れるとしたらどのようにして作られるのか、そして、生み出されたAGIは人間と共存可能なのかという、現在もっとも哲学的にホットなトピックに関わるものです。
強化学習についてのドイチュの議論は、AlphaGoの成功によって否定されてしまったのではないか、との見方があります。AlphaGo zero以降のバージョンでは、人間の試合データという最初のビッグデータすら不要としたからです。
しかし、本章の議論をよく読むと、ドイチュの思考実験は、AlphaGoとはかなり異なるものです。ドイチュはコンピューター言語をすべて「ランダムな数の羅列」で置き換えることを要求しています。そこからランダムな変異と選択淘汰のプロセスを開始させることを要求しています。AlphaGoではプログラミング言語もある程度のプログラムも「大学院生」に御膳立てされているのです。
ドイチュのAIに関する議論はジョン・ブロックマン編『ディープ・シンキング 知のトップランナー25人が語るAIと人類の未来』（青土社,2020）が最新でしょう。本書の中で論考を載せているデネットにさっそくドイチュが反論しているあたりがドイチュらしいです。
この論考も、『無限の始まり』での議論から全くブレていません。ここでの議論を無粋な「等式」に要約すれば、以下のようになります。
創造的批判＋創造的推測 ＝ 意味の抽出 ＝ 知識創造 ＝ 革新や進歩の元 ＝ 抽象的な理解をそれ自体のために作り出す方法 ＝ 人間レベルの知能 ＝ 思考 ＝ AGIに求めるべき特性
（もちろんドイチュはこんな書き方はしていませんが）
AGIは人間と同等であるので、その中には一部は犯罪に手を染めるものも、文明の敵になるものも出てくるだろうと言います。とはいえ、「開かれた社会」においては大半の人間はまっとうです。よってAGIを人間と等しい文化の構成員であることを認めることで世界を滅ぼされる恐れはなくなるだろうと言います。また、こうして生まれたAGIには（人間と同じく）特定の機能はありませんから、AGIに、あらかじめアイデア空間を限定させることは倫理に反する行為であると言います。AGIのプログラミングはゴールの達成の最適化を目指すAIのプログラミングとは全く異なり、人間の子供を育てるプロセスに近いものであると言います。
自分がドイチュの主張の中で気になっている箇所は、意識と創造力が同じ一つの普遍性への飛躍で獲得されたという主張です。（自分の理解が正しければ）これではデカルトの二元論と同じく、動物にも意識がないということになってしまいます。
動物にも意識があるのではないか、という議論は昔から繰り返されてきましたが、例えばジュリオ・トノーニらによる「統合情報理論」などは最新のシャープな議論の一つでしょう。まだまだ荒削りな議論で、統合情報理論は意識の説明として不十分ですし創造性の仕組みの説明も当然行っていませんが。いずれにせよ、多くの人の直感に反するドイチュの議論の中でも、AGIまわりの議論はもっとも議論が白熱するテーマの一つであることは間違いありません。
余談ですが、今から4年ほど前に、ドワンゴ人工知能研究所（2019年解散）から出ていたLIS（Life in Silico）というUnity上で動作する強化学習エンジンで遊んでいたのを思い出しました。
視覚を持つエージェントの動きが、強化学習によりだんだん賢く動くようになる実験がフラスコ（Unity）内でできるというものでした。ドイチュの議論を考えると、こうして動きが上手くなったことで知性のように見えたものは、すべてそうじゃなかったということになりますね。
参考
・ジョン・ブロックマン編『ディープ・シンキング 知のトップランナー25人が語るAIと人類の未来』（青土社,2020）
・ジュリオ・トノーニ,マルチェッロ・マッスィミーニ著,花本知子訳『意識はいつ生まれるのか――脳の謎に挑む統合情報理論』（亜紀書房,2015）
