読者です 読者をやめる 読者になる 読者になる

演習1.1 [PRML]

機械学習 PRML

問題文

{ \displaystyle
y(x, \bf{\omega}) = \sum_{j=0}^M \omega_j x^j \tag{1.1}
}
{ \displaystyle 
E(\bf{\omega}) = \frac{1}{2} \sum_{n=1}^N \{ y(x_n, \bf{\omega}) - t_n \}^2 \tag{1.2}
}

関数  y(x, \bf{\omega})多項式(1.1)で得られたときの,(1.2)の二乗和誤差関数を考える.この誤差関数を最小にする係数  \bf{\omega} は以下の線形方程式の解として与えられることを示せ.

{ \displaystyle 
\sum_{j=0}^M A_{ij}\omega_j = T_i \tag{1.122}
}

ただし,

{ \displaystyle 
A_{ij} = \sum_{n=1}^N (x_n)^{i+j} , \ \ \ \ \ T_i = \sum_{n=1}^N (x_n)^i t_n \tag{1.123}
}

ここで,下付き添え字の  i j は成分を表し、 (x)^i x i 乗を表す.

※式番号は本文に準拠。


解釈

本文を読んでみると、ある実数列  \{t_1, t_2, \ldots t_N\}多項式(1.1)で近似するときに、目標値との二乗和誤差が最小になるような係数  \bf{\omega} が、線形の連立方程式の解として与えられる、ということを証明する問題のようです。

また、多項式(1.1)は曲線であることから、 x N 次曲線の中から、 \{t_1, t_2, \ldots t_N\} を最もよく近似する曲線を探す問題(曲線フィッティング)でもありそうです。


解いてみる

続きを読む

演習問題を解いていく[PRML]

PRML

別名、黄色い本。またはビショップ本。

パターン認識と機械学習 上

パターン認識と機械学習 上

この分野に携わるのであれば避けては通れないであろうこの本の、とりあえずは上巻を、 夏休みに入るまでに 1 周するのを目指して通読していきたいと思います。

1 周目は基本問題に絞って解いていくつもりです。

公式解答 や、 他の方の解答も参考にしつつ頑張っていきたいです。

次の記事から解き始めます。

目次

  1. 序論

よろしくお願いします

雑記

半年くらい前に確率的情報処理の研究室に配属されたのもあり、 Deep Learning をはじめとする機械学習系の勉強をぼちぼちという感じで始めていたんですが、 同学年の方が書いたこんな記事を見つけてしまい、 このままじゃやばい! ということで勉強がてら自分もブログを始めようと思い立ちました。

本当は Qiita とかに書いていくつもりだったんですが、まあせっかくの機会ですし……。

ここには書いたプログラムの実装とか、解いた問題とか、読んだ論文の話なんかをだらだら書いていこうかなと思っています。 1 週間に 1 回くらいの頻度で何らかの更新ができたらいいな。

どうぞよしなに。