活動報告

2017年度SG4「種々の実例から学ぶパターン理論」では、Mumford—Desolneux の Pattern theory を輪講した。本のテーマは多岐に渡るが、数理に多少触れたことがある人物をターゲットにした本で、一つの大きな目的は「機械学習の背景にある数学を、実例に対して実際に使いながら学習する」である。この実例というのが非常に身近で、文字列から文章構造を取り出す、音源から音楽を取り出す、書き文字から文字を認識するなど、いかにも機械学習が得意としそうなテーマである。それぞれのテーマで三つの学習事項が用意されている:数学理論の復習、それらを用いたなるべく簡単なモデルの設計、実際の計算で登場するアルゴリズムについての学習だ。そしてテーマが進むにつれ、背景にある数学理論や用いるアルゴリズムがだんだんと難しくなるように設計されている。さらにその後のモデルの改善についても多少触れてあるほか、演習問題まで踏み込むと、ある程度実際に計算することもできるようになっている。本セミナーの目的は、教科書のこうした特徴を活かして、理学でも広範に用いられている機械学習について、数理的な原理を学びながら、理学の分野に縛られず互いの知識を共有し合うということにあった。

実際には第1章の「文字列と文章」を重点的に学習した。離散的な確率であるため、積分 論などを気にせず読み進められることが目的のために有益と判断したからである。この離散的な枠組みで、Shannon エントロピーや KullbackーLeibler 距離などの情報理論の概念、およびその使い方などを(ある程度の証明を含めて)学習した。さらに n-gram model のアイデアとそれが元の分布に収束していく度合いなどを理論的に確認したあと、学生が実際に組んだプログラムを通して、より高度なモデルを得るための課題も確認しあった。さらに2章、4章の内容をまとめてくれた学生がいたため、連続的な確率を扱う場合の違いや、信念伝播法などのアルゴリズムなどについても簡潔に学習することができた。

全体として学生と教員がかなり自由に議論しあっていたように思う。ただし演習の数が少なくなり、結果、抽象的な理解に留まってしまったかもしれない。また専門的な参加者がいなかったために、議論が結論まで収束しないことが多かったとの指摘もあった。今後の活動の反省点として活かしていきたい。

参加メンバー