ADALINE
ADALINEはパーセプトロンの改良版です。
ここで覚えておきたいことはコスト関数という概念です。
パーセプトロンでは活性化関数としてヘビサイド関数という変な関数で出力を1か-1の2値に無理やりしていましたが、ADALINEでは適当な係数をかけることで連続値として出力してやります。
ADALINEの最終出力は、活性化関数から出力される連続値に対して、ここでヘビサイド関数を作用させることで1か-1の2値にして出力してやります。
最終出力を決定するヘビサイド関数ですが、連続値を無理やり量子化する(1か-1の2値にする)ということでクォンタライザーと呼ばれています。
コスト関数を以下の式で求めてやります。
トレーニングサンプルと重みのかけ合わせ
活性化関数
コスト関数
各トレーニングサンプルでを求めた後、活性化関数内で定数をかけ、全てのに関して教師データとの差を取った後、2乗して足しあわせています。
全てのトレーニングサンプルを使ってコスト関数を求めている為、重みは1エポック毎に更新されます。
重みの更新はコスト関数が小さくなるように更新してやります。
ここで (ナブラと読みます)という記号が出てきましたが、ベクトル関数の勾配を求める記号です。重みをベクトルとしてみています。
はコスト関数 が大きくなる方向を向く重み空間上のベクトルになります。
つまり、 と反対方向に向かって、少しずつ(学習率で調整します)を動かしてやると、コスト関数 が少しずつ小さくなっていきます。
このようにして、コスト関数 が一番小さくなる重みを求めてやります。
一般的に、勾配の反対方向に向かって少しずつ変数(今の場合は重み)を動かし、ある関数(今の場合はコスト関数)の最小値を求めることを勾配降下法といいます。
コスト関数の勾配を具体的に求めてみましょう。
コスト関数をj番目の重みで偏微分してみます。合成関数の微分法則を使ってやるとすぐ求まります。
覚えておく用語
- コスト関数: 全てのトレーニングサンプルで教師データと活性化関数の出力値の差の2乗を足し合わせたもの。
- クォンタライザー: 連続値を飛び飛びの値に変換する(量子化する)関数。
- 勾配降下法: ある関数の勾配と逆方向に変数を動かし、関数を最小化する手法。