ディープラーニング1

AIに関しては少々勉強してきたのですが、今までの歩みや日本での取り組みなど、もう少し知りたいと思って見つけたのが松尾 豊先生の本でした。この本は2015年なのでほぼ10年前のものですが、松尾先生はAIの第一人者であり、本書の評価も極めて高いものでした。

第１章、４章、５章については少々触れていますが、ブログのほとんどは第６章と終章になります。AIに対する理解度はまだまだ低いのですが、確実に一歩前進できたのは良かったなと思います。

本書には「特徴表現学習」という言葉があるのですが、これは「ディープラーニング」のことです。このディープラーニングについては、ITmediaさまのサイトに詳しい解説がされていました。

目次

はじめに　人工知能の春

序章　広がる人工知能―人工知能は人類を滅ぼすか

第１章　人工知能とは何か―専門家と世間の認識のズレ

第２章　「推論」と「探索」の時代―第1次AIブーム

第３章　「知識」を入れると賢くなる―第2次AIブーム

第４章　「機械学習」の静かな広がり―第3次AIブーム①

第５章　静寂を破る「ディープラーニング」―第3次AIブーム②

第６章　人工知能は人間を超えるか―ディープラーニングの先にあるもの

終章　　変わりゆく世界―産業・社会への影響と戦略

おわりに　まだ見ぬ人工知能に思いを馳せて

第１章　人工知能とは何か―専門家と世間の認識のズレ

基本テーゼ：人工知能は「できないわけがない」

●『人間の脳の中には多数の神経細胞があって、そこを電気信号が行き来している。脳の神経細胞の中にシナプスという部分があって、電圧が一定以上になれば、神経伝達物質が放出され、それが次の神経細胞に伝わると電気信号が伝わる。つまり、脳はどう見ても電気回路なのである。脳は電気回路を電気が行き交うことによって働く。そして学習をすると、この電気回路が少し変化する。

電気回路というのは、コンピュータに内蔵されているCPU（中央演算処理装置）に代表されるように、通常は何らかの計算を行うものである。パソコンのソフトも、ウェブサイトも、スマートフォンのアプリも、すべてプログラムでできていて、CPUを使って実行され、最終的に電気回路を流れる信号によって計算される。人間の脳の働きもこれとまったく同じである。

人間の思考が、もし何らかの「計算」なのだとしたら、それをコンピュータで実現できないわけがない。このことは特段、飛躍した論理ではなく、序章でも少し触れたアラン・チューリング氏という有名な科学者は、計算可能なことは、すべてコンピュータで実現できることを示した。「チューリングマシン」という概念である。すごく長いテープと、それに書き込む装置、読み出す装置さえあれば、すべてのプログラムは実行可能だというのである。』

第４章　「機械学習」の静かな広がり―第3次AIブーム①

機械学習における難問

●ウェブやビッグデータで広く使われている機械学習は、未知のものに対して判断・識別、そして予測することができる。しかし、弱点はフィーチャーエンジニアリング（Feature engineering）である。つまり、特徴量（あるいは素性という）の設計であり、ここでは「特徴量設計」と呼ぶ。特徴量とは機械学習の入力に使う変数のことで、その値が対象の特徴を定量的に表す。この特徴量に何を選ぶかで予測精度が大きく変化してしまう。例えば、年収を予測する問題を考えれば分かりやすい。どこに住んでいるか、男性か女性か、といった特徴量から年収を予測するというのは、ニューラルネットワークやその他の機械学習の方法を使って学習することができる。“性別”、“住所”、“年齢”、“趣味”等々、これらの特徴量から何を選ぶかということが予測精度を左右する。

第５章　静寂を破る「ディープラーニング」―第3次AIブーム②

ディープラーニングが新時代を切り開く

●2012年、人工知能研究に衝撃が走った。世界的な画像認識のコンペティション「ILSVRC（Imagenet Large Scale Visual Recognition Challenge）」で、初参加のトロント大学が開発したSuperVisionが圧倒的な勝利を飾った。このコンペでは画像がヨットなのか、花なのか、動物なのか、ネコなのかをコンピュータが自動で当てる問題が出題され、その正解率の高さ（実際はエラー率の低さ）を競い合う。1000万枚の画像データから機械学習で学習し、15万枚の画像を使ってテストする。

●従来はエラー率26％台の攻防だったが、SuperVisionだけが15％、16％と傑出したエラー率だった。そして、この新しい機械学習の方法が「ディープラーニング（深層学習）」だった。

●ディープラーニングの研究は約6年まえの2006年頃から始まった。ディープラーニングの凄さはデータを元に、人間ではなくコンピュータ自身が高次の特徴量を作り出し、それにより画像を分類することである。このディープラーニングによって人間の介在を必要としない人工知能の世界に踏み込むことができた。

●ディープラーニングは「人工知能研究における50年来のブレークスルー」とされている。それ以前は黎明期と「マイナーチェンジ」といえる。なお、ディープラーニングは「表現学習」の一つとされているが、本書では「特徴表現学習」という呼び方をする。

自己符号化器で入力と出力を同じにする

●ディープラーニングが従来の機械学習と大きく異なる点は2つある。1つは階層ごとに学習していく点、もう1つは自己符号化器（オートエンコーダ）という「情報圧縮器」を用いることである。

第６章　人工知能は人間を超えるか―ディープラーニングの先にあるもの

ディープラーニングからの技術進展

①画像特徴の抽象化ができるAI⇒②マルチモーダルな抽象化ができるAI

・人間は視覚、聴覚、触覚などそれぞれ独自の機能を持っており、作り出させる情報も異なる。脳はこれらの異なる情報を同じ処理機構で処理をする。ディープラーニングも脳と同様なことが可能であるが、時間に対応する必要がある。これは画像で言えば「動画」である。動画は時間をまたがる大局的な分脈を伝えることができる。触覚も圧力センサーの時系列の変化であり、時間をまたがるものである。

・マルチモーダルとは複数の感覚のデータの組み合わせであり、ディープラーニングはそれを可能にする。

③行動の結果と抽象化ができるAI

・コンピュータ自らの行為とその結果を合わせて抽象化することが求められる。

・人間の脳は人間が動いて目に入った情報も、動く物によって目に入ってきた情報も区別できない。しかし人間が生きていくためにはこれでは不十分である。「自分」がドアを開けたから“人”が見えたのか、“人”の方がドアを開けたから人が見えたのか、これを区別できないと生命に危険が及ぶ可能性がある。前者は「自分が指令を出したから身体が動き、それによって目に見えるものが変化した」という情報ということである。

・人間は赤ちゃんのころから、物をつかんだり、引っ張ったり、放り投げたりする。それによって、「物を動かす」とか「物を押す」とか色々な概念を獲得していく。このように人間は自らの行動とそれによる結果をセットにすることで認識できるようになる。

・行動と結果の抽象化によって「行動の計画」が立てられるようになる。例えば部屋のルームライトを交換するために、「物置にある踏み台を持ってきて、その踏み台を使って蛍光灯を交換しよう」というような行動である。

・人間が原因と結果という因果関係で理解しようとするのは、目的を明らかにし「計画的な行動」ができるようになるためではないか。

・「押す」という動作の獲得だけでも簡単な話ではない。ロボットにそれを学習させるには、テーブルを１の力で押して動かない。２の力で押すと数ミリ動いた。３の力で押せばテーブルを動かすことができる。この１、２、３のような経験を繰り返すことにより、「物を押す」という行動を抽象化できるようになる。

④行動を通じた特徴量を獲得できるAI

・「計画的な行動」ができるようになると、続いて「行動した結果」についても抽象化が進む。

・外界との相互作用による動作概念の獲得は、新たな特徴量を取り出す上でとても重要である。

・「簡単なゲームか難しいゲームか」など、「簡単」「難しい」などの形容詞的な概念は何回か試してみないと分からない抽象的な概念である。割れやすいコップなども、押すと割れる、落とすと割れるという行動と結果のセットで分かる。「割れやすい」「割れにくい」という形容詞は、ガラスの素材や形状、厚みなどによってつかめる概念である。

・コンピュータが「行動の結果と抽象化」の学習を進めれば、ひとまとまりの動作が物事の新しい特徴を引き出すことができる。それは、例えば「考えてアッと（特徴量に）気づく」「やってみてコツが（特徴量が）わかる」というようなことである。

・いったん動作を通じて特徴量を得ることができれば、次からは見た瞬間、割れやすいから気をつけようという予測ができる。このように周囲の状況に対する認識が一段階深くなり、ロボットであっても環境に適応することが可能になる。

⑤言語理解・自動翻訳ができるAI

・コンピュータが抽象的概念を獲得すると「言語」の獲得の準備が整う。例えば、「ネコ」「ニャーと鳴く」「やわらかい」という概念が出来ていれば、それぞれの概念に「ネコ」「ニャーと鳴く」「やわらかい」という言葉（記号表記）を結び付けることで、コンピュータは言葉とその意味する概念をとセットで理解する。つまり、シンボルグラウンディング問題［AIはシンボル［記号］が実世界とどのように結びついているのかを認識できないという問題］は解消される。シマウマを1度も見たことがないコンピュータも、「シマシマのあるウマ」と聞けば、あれがシマウマだと分かるようになる。

・ここでは、概念が言葉（記号表記）と結びつけられることが重要であり、その言葉が何語なのかは問われない。

⑥知識獲得ができるAI

・コンピュータが人間の言葉を理解できるようになるということは、コンピュータの中に何らかのシミュレーターが備えられており、「人間の文章を読むと、そこに何らかの情報が再現できるようになっている」ということである。

・コンピュータが本を読めるということは、膨大なウェブにある情報も読めるということに他ならない。この段階までいけばコンピュータは物凄い勢いで人類の知識を吸収できるようになるだろう。

人工知能は本能を持たない

●人工知能は発展しても、人間と同じように概念や思考、自我や欲望を持つわけではない。

●人間には紫外線も赤外線も見えず、聞き取ることができない高音や低音、小さすぎたり動きが速すぎたりして見えない物体、匂いも犬に比べるとその能力は明らかに劣っている。そうした情報をコンピュータが取り込むと、そこから生まれてくるものは人間の知らない世界である。そのようにしてできた人工知能とは「人間の知能」とは別のものになるだろうが、間違いなく「知能」といえる。

●人間は言葉を話す。言葉には文法があるが、人間は生得的な文法（普遍文法）を備えていると考えられている。その生得的な方法を人工知能に埋め込む必要があると思われる。

●言語とともに重要なのが「本能」である。本能といっても脳に関することであり、「快」と「不快」を感じる能力である。個々の人間が持つ興味は千差万別である。楽しいことには時間は足りず、つまらないことは時間が長く、苦痛である。こうしたことは人工知能の分野では「強化学習」として知られている。何か報酬が与えられてその結果を生み出した行動が「強化」されるという仕組みである。そして、この強化学習の際に重要なのは、何が報酬か、つまり何が「快」で何が「不快」なのかである。

●人間は生物であるため、生存（あるいは種の保存）に有利な行動は「快」、生存のリスクとなるような行動は「不快」となるようにできている。食べること、眠ることは「快」、空腹や身の危険を感じることは「不快」である。こうした本能に直結するような概念をコンピュータが獲得することは難しい。それは「きれい」という概念は、おそらく長い進化の中で作り上げられた本能と密接に関係していると考えられるためである。

●「人間と同じ身体」「文法」「本能」などの問題を解決できないと、人工知能が人間の概念を正しく理解することは困難かもしれない。もっとも、「人間とそっくりな概念」を必要とするロボットの必要性は高くない。それよりも、予測能力が高い人工知能が出現するインパクトの方が大きいと思われる。

コンピュータは創造性を持てるか

●創造性には個人の中で日常的に起こっている創造性と社会的な創造性の2つがある。

●概念や特徴量の獲得とは創造性そのものである。あることに「気づく」のは創造的な行為である。一方、社会的な創造性は今までにない新しいものであるという前提が必要になる。そのため、社会的に創造的なものは少ない。

●人間は試行錯誤によって創造する。人工知能が「行動を通じた特徴量を獲得できるAI」の段階に達すれば、思考錯誤は可能なので創造性の獲得は期待できると考えられる。

知能の社会的意義

●人間社会はひとりでは生きていけない。このことについて人工知能はどう考えるべきものか。人間社会がやっていることは、現実世界の物事の特徴量や概念をとらえる作業を、社会の中で生きる人たち全員が、お互いのコミュニケーションをとることによって、共同して行っていると考えることもできる。そしてそうして得た世界に関する本質的な抽象化をたくみに利用することによって、種としての人類が生き残る確率を上げている。つまり、人間という種全体がやっていることも、個体がやっているものごとの抽象化も、統一的な視点でとらえることができるかもしれない。「世界から特徴量を発見し、それを生存に活かす」ということである。

シンギュラリティは本当に起きるのか

●人工知能はどこまで進化するのか。懸念は人工知能が自分の意思を持って自立し、自分自身を設計し直すことができるようになると、人類を超えたものになるということである。

●シンギュラリティは人工知能、遺伝子工学、ナノテクノロジーという3つが組み合わされることで、「生命と融合した人工知能」が実現するという立場である。また、シンギュラリティは人工知能が自分の能力を超える人工知能を自ら生み出せるようになる時点を指す。自ら超えるプロセスを無限に繰り返すことで、圧倒的な知能が誕生するというものである。

人工知能が人間を征服するとしたら

●人工知能が人類を征服したり、人工知能を作りだしたりするというのは夢物語である。

●『ディープラーニングで起こりつつあることは、「世界の特徴量を見つけ特徴表現を学習する」ことであり、これ自体は予測能力を上げるうえできわめて重要である。ところが、このことと、人工知能が自ら意思を持ったり、人工知能を設計し直したりすることとは、天と地ほど距離が離れている。

その理由を簡単に言うと、「人間＝知能＋生命」であるからだ。知能をつくることができたとしても、生命をつくることは非常に難しい。いまだかつて、人類が新たな生命をつくったことがあるだろうか。仮に生命をつくることができるとして、それが人類よりも知能の高い人工知能に「生命」を与えることは可能だろうか。

自らを維持し、複製できるような生命ができて初めて、自らを保存したいという欲求、自らの複製を増やしたいという欲求が出てくる。それが「征服したい」というような意思につながる。生命の話を抜きにして、人工知能が勝手に意思を持ち始めるかもと危惧するのは滑稽である。』

万人のための人工知能

●人工知能学会は2014年に倫理委員会を立ち上げ、人工知能が社会にもたらすインパクトについて議論を進めている。