Why Machines Learn: The Elegant Math Behind Modern AI Hardcover – July 16, 2024

Comprehensive explanation for AI's math.

機械学習から深層学習、最近の生成AIまでについて、研究の過程と背景にある数学、関わった研究者の苦悩まで歴史的に解説するバランスが取れた名著です。数学についても、ベクトル計算から解説始めるくらいなので予備知識は要らないでしょう。かと言って、数理系のバックグラウンドを持つ読者にも十分な読み応えがあります。パーセプトロン、線形回帰、主成分分析、カーネルトリック、などの、いわゆる機械学習の世界から、いくつかのAIの冬を乗り越えて現在に至る物語は圧巻です。おすすめです。

本書は1950年代のローゼンブラットのパーセプトロンから現代の深層機械学習までの物語を記述してあります。 章毎に機械学習の重要な概念が誕生する経緯を、そこに至るまでの歴史から、貢献した人物たちの仕事の成果と数学的背景を丁寧に、非常にわかりやすく解説してあります。 今年、2024年のノーベル物理学賞を授与された、ホップフィールド氏とヒントン氏の仕事も、８章から10章に記述されています。 プリンストン大の物理学者ホップフィールドは、物理学からイジングモデルと電子のスピンから着想を得てホップフィールドネットワークを考案しています。 ヒントン氏は、ニューラルネットワークへの記憶の保存に関して、バックプロパゲーションによる学習方法の改善に関して一つの章を割いて詳しく記されています。彼は深層機械学習において、入力と出力層の間に隠れ層を導入しました。 甘利俊一氏も1967年に多層パーセプトロンのトレーニングに確率勾配法を使った技術を紹介しています。1980年代の初頭にRunmelhurt, Hinton, Williamsが深層ニューラルネットワークに対応したアルゴリズムを開発します。 Geoge Cybenkoは、 正確な種類の多層ネットワークで、十分なニューロンが与えられれば、入力を変換して必要な出力を得るどのような関数も近似できることを示しました。 80年代はニューラルネットワークが機械学習を支配していました。そして、90年代になって、突然、皆がカーネル法に切り替えました。現在、ニューラルネットワークが再び、現代の機械学習を支配しています。本質的に、理論的な前進は、ニューラルネッットワーク・サービスとカーネルマシンの間の期待を掻き立てるリンクを見せ初めています。 ヒントン氏らは、ニューラルネットに隠れ層を導入して、バックプロパゲーションによる多層ニューラルネットワークの学習能力を向上させることに焦点を当てていました。 線形で分割できないデータを分類するのに、SVMでは、カーネルをデザインする必要があります。しかし、十分なニューロンのあるニューラルネットでは、しなければならないことは、入力層への入力とデータを正しく分類するために必要となる特徴をネットワークに理解させることです。 隠れ層の三つだけのニューロンのニューラルネットワークで、決定領域を見つけられるでしょう（もっと深い隠れ層があれば、より滑らかな決定境界にすることができます） トロントのヒントン氏の元にいたLeCunがニュージャージーのベル研にわたります。彼はベル研で合衆国の郵便サービス(USPS)から大量の手書き数字コードの画像のデータセットにアクセスすることができました。USPSはZIPコードを認識する処理に興味がありました。LeCunは手書きの数字を認識するためにニューラルネットを使いました。彼のCNNを使ったアルゴリズムは、LispからC言語を経由してDSP上に実装され、手書きのZIPコードの認識に使用されました。顧客向けのシステムのため、パターン認識のCNNはオープンソースにはなりませんでしたが、LeCunの LeNetは、銀行業界で数字の読み込みと認識に使用されます。これはバックプロパゲーションによる深層学習を使った実際の応用例の一つになりました。 ヒントン氏のチームがGPUにCNNを組み込んで(AlexNet)画像認識でSVMを超える成果をあげます。 彼らのチームを中心にGPUに実装したニューラルネットが使われるようになって、隠れ層を深くしたディープニューラルネットが様々分野で成果を上げるようになりました。 そして、現在のTransformerを使った自然言語処理が展開されていきます。LLMは言語の構造を学習し、自動学習画像処理ネットワークは画像の統計的な構造を学習します。 本書のサブタイトルにあるように、パーセプトロンから始まり、現在のAIの技術まで、トピック毎に開発者たちの仕事を通じて、技術の背後にあるエレガントな数学が解説されています。現在までの技術の推移を把握できる内容です。