ニューラルネットワークを利用した入試データ解析の試み

林篤裕 (大学入試センター) ・馬場康維 (統計数理研究所)

1 はじめに

ニューラルネットワークモデルは、人間の脳における情報処理をモデル化することを目的に 1940 年代に提案されたものである。ニューロン (神経細胞素子) を脳の最小構成単位としてとらえ、これが有機的にかつ複雑に絡み合うことで、論理的に記述できる機能は全て有限の大きさのニューラルネットワークモデルで表現できることを明らかにした。一時期低調な時期もあったが、近年になってハードウェア性能が飛躍的に向上し、ニューラルネットワークモデルを計算機上に構築できるようになり、再度注目を集めるようになった。

また、ニューラルネットワークは過去の事例からの学習により知識獲得が可能であり、 AI システム構築の際のウイークポイントである知識獲得というボトルネックを解決する有力な手段としても期待されている。

一方、統計的な側面からニューラルネットワークを観察すると、非線形多変量解析の一手法と見ることもできる。加えて、ニューラルネットワークの学習と言う作業は、観測データに基づく未知パラメータの推定問題ととらえることもできる。

そこで、階層型ニューラルネットワークモデルを大量データの一つである入試データの解析に適用して探索的データ解析を行うことを考え、その方策について議論する。

2 階層型ニューラルネットワーク

McCulloch & Pitts(1943) によるニューロンのモデル化によって提案されたニューラルネットワークモデルは、その後の Hebb(1949) の研究によって学習仮説が導入され実用面への期待が一気に高まった。

ニューロンの接続の仕方によって、ニューラルネットワークモデルは階層型ニューラルネットワークと相互結合型ネットワークの 2 つに大別される。前者は、ニューロンを層状に並べて、前の層から次の層へと一方向にのみ信号が伝わっていくタイプのものであり、後者は名前の通り相互に結合されて信号が双方向に伝えられるタイプのものである。

階層型ニューラルネットワークは、その数理的定式化がシンプルであるにもかかわらず、層の数やユニットの連結関数を調整することにより表現能力の高い非線形関数を実現できるという特徴を持っている。また、既存データを用いた学習と言う過程を実行することにより、ユニット間の結合強度を探索させることができる。

そこで、今回我々は、この「豊かな表現力」と「学習」の 2 点に注目して階層型ニューラルネットワークを利用することを考えた。このモデルの特徴としては、

• 入力層、中間層 (1 つとは限らない)、出力層から構成される

• 信号は入力層から中間層を経て出力層に流れる • 連結関数 f(x)(ロジスティック関数が使われることが多い) とユニット間の結合の度合い w を変更す

ることによって種々の非線形モデルが構築できる

• 出力層からのデータと教師信号との差異を小さくするように繰り返し学習を行う

• 学習に用いたデータに対する再現性が高い

• 新規のデータへの予測性が高いことは期待できない

• ユニット数が増加すると学習に要する回数も多くなる

等が挙げられる。

また、階層型ニューラルネットワークの学習アルゴリズムとしては、誤差逆伝搬学習 (BP、 Back Propagation) 法が広く用いられている。これは最適化手法の一つである最急降下法をニューラルネットワークに適応したものである。この手法には、局所解に収束してしまうという最急降下法の欠点を緩和する方策が組み込まれている。

y = f(Σw_{i}X_{i})

図 1. 模式図

3 入試データ

大学入試センターには過去の試験データが蓄積されており、各科目の総得点のみならず、試験問題を構成する最小単位である項目の得点 (項目データ) も保存されている。各科目に含まれる項目が互いにどのように関連しているかを従来の統計手法を用いて明らかにした研究として、渡辺他 (1984) や前川他 (1988) 等が挙げられる。これらの研究では、例えば英語の項目が、語彙・文法問題、英文書き換え問題、読解力に関わる問題、発音の問題等に分類され、これらの関係が考察されている。また、対象となったデータのサイズは 30 万人規模であった。

4 ニューラルネットワークの適用

従来の研究で用いられてきた統計手法は線形関数を用いた解析であった。そこで今回、非線形多変量解析の手法と言えるニューラルネットワークをこの入試データに適用して探索的なデータ解析を行う。

統計学にニューラルネットワークを持ち込んだ研究としては、田崎他 (1993)、佐藤 (1995)、豊田 (1996) 等が挙げられ、ある程度の特性と可能性が報告されている。しかし、取り扱われているデータは、いずれも、実験的なものや小規模なものであり、実大量データのデータ構造を明らかにできるかといったことにまでは踏み込んで適用されていない。

観測データによってニューラルネットワークの学習が完了した段階では、中間層に位置するユニット間の結合度合いはデータ構造を表現していると言えるので、この結合の度合いを評価することによって解釈を行う。

ニューラルネットワークは学習過程でパラメータを推定するが、パラメータに対して観測データの数が十分でないとパラメータの推定が不完全になってしまう。このモデルは、従来の手法よりもパラメータ数が多いため、要求するデータサイズも従来以上に多くなる。この点が利用を敬遠させる一つの要因でもあると思われるが、今回対象とするデータは大量データであるので、学習を行うのには十分であると推測される。

また、ニューラルネットワークモデルの欠点の一つに、予測に利用した場合の精度が期待できないことが挙げられる。つまり、学習データに対しては再現するが、未学習データに対してはどのような予測値が出力されるか保証がないと言う問題である。その意味では確かに汎可性にはまだ検討の余地が残っているので配慮の必要があるが、今回は探索的データ解析ということで、現在所有している観測データに内在するデータ構造を非線形多変量解析という別の角度から表現することに重点を置いているので、データ解析に影響はない。

ここでは 2 つのアプローチについて紹介する。

4.1 回帰分析的アプローチ

後ろの層になるほどユニット数を少なく配置した階層的ニューラルネットワークを用意し (図 2)、入力層に独立変数を、出力層の教師信号に従属変数を割り当ててたモデルを考える。

学習を完了したこのニューラルネットワークモデルは、独立変数から従属変数に向けて総合的指標をまとめあげる過程が構成されていると見ることができる。よってユニット数が少なくなっているより後段層のところの関係を解釈に使ってみようと考えた。なお、中間層が 1 層でもあれば非線形関数を形成できるので、 3 層モデルが最低規模のモデルとなる。

図 2. 回帰分析的アプローチ図 3. 主成分分析的アプローチ

4.2 主成分分析的アプローチ

階層型ニューラルネットワークの構成方法の一つに砂時計モデルと呼ばれるものがある。これは、中間層の部分が入出力層のユニット数より少なく、形状がくびれていることから、このように呼ばれる (図 3)。

入力層に投入したデータと同じものが出力層に出現するようにパラメータを推定した場合、中間層では入力情報を少ないユニットで表現していることになり、データを縮約していることになる。よって、この少ないユニットの意味付けを解釈に使ってみようというものである。また、中間層が 1 層だと線形変換になってしまうので、中間層まで、およびで、中間層からをそれぞれ 3 層とした計 5 層モデルが最低規模のモデルとなる。

5 今後の課題

今回我々はニューラルネットワークモデルの利点である、数値的表現力の豊かさと学習によるパラメータ探索能力に注目して、実大量データの探索的データ解析に応用することを提案した。学習によって各パラメータを推定させ、そこから中間層の個々のユニットの意味付けを読み取って解釈に使おうというものである。

今回はモデルの提案だけであったが、今後、これらを実際に計算機上に実現し数値実験を行って、モデルの有効性とデータ解析に用いる場合の問題点を明らかにしていきたいと考えている。

なお、その際に考慮すべき点として、以下のようなものが挙げられる。

• 層の数の吟味

• 各層、特に中間層のユニット数の吟味

• 連結関数の吟味

• 初期値の吟味

• 局所解に収束してしまう可能性への配慮

• 非線形での解釈可能性、各ユニットの解釈可能性

参考文献

[1] 渡部洋、池田輝政、大塚雄作、鈴木規夫、山田文康 (1984)、昭和 57 年度共通第 1 次学力試験 (国語・数学 I ・英語 B) による尺度化の試み、大学入試センター研究紀要 No.10, PP1-167.

[2] 前川眞一、柳井晴夫、大塚雄作、池田央 (1988)、昭和 54 年度から 59 年度までの共通第 1 次学力試験 (国語・数学 I ・英語 B) に関する比較研究 — 多変量解析の手法を用いて —、大学入試センター研究紀要 No.17, PP273-353.

[3] 栗田多喜夫、本村陽一 (1993)、階層型ニューラルネットワークとその周辺、応用統計学 Vol.22, No.3, PP99-114.

[4] 田崎武信、財前政美、後藤昌司 (1993)、計算機統計学の最前線、第 7 回計算機統計学会シンポジウム論文集、 PP25-36.

[5] 臼井支朗、岩田彰、久間和生、浅川和雄編 (1995)、基礎と実践ニューラルネットワーク、コロナ社.

[6] 佐藤義治 (1995)、ニューラルネットワークと統計的モデル、応用統計学 Vol.24, No.2, PP77-88.

[7] 豊田秀樹 (1996)、非線形多変量解析 — ニューラルネットワークによるアプローチ —、朝倉書店.