演習1.6 [PRML]

問題文

2 つの変数  x, y が独立なら,それらの共分散は 0 になることを示せ.

解釈

2 つの変数の共分散は、それぞれの期待値を用いて以下のように定義されます。

{ \displaystyle 
cov[x, y] = \mathbb{E}_{x,y}\left[\left\{x - \mathbb{E}\left[x\right] \right\} \left\{y - \mathbb{E}\left[y\right] \right\} \right] \tag{1.6.1}
}

E の下についた添字は、その確率変数についての期待値を示し、以下のように書けます。

{ \displaystyle 
\mathbb{E}_{x,y}\left[f(x,y)\right] = \mathbb{E}_x \mathbb{E}_y \left[f(x,y)\right] \tag{1.6.2}
}

これを使うと、前問と同様、期待値の線形性から、以下の式が導けます。

{ \displaystyle 
cov[x, y] = \mathbb{E}_{x,y}\left[xy\right] - \mathbb{E}\left[x\right]\mathbb{E}\left[y\right] \tag{1.41}
}

この式から、 x,y の独立性を利用して、共分散 0 を示す問題のようですね。

解いてみる

 x, y 独立より、期待値について以下が成り立つ。

{ \displaystyle 
\mathbb{E}\left[xy\right] = \mathbb{E}\left[x\right]\mathbb{E}\left[y\right] \tag{1.6.3}
}

よって、式(1.41)で表される  x, y の共分散は、

{ \displaystyle 
\begin{eqnarray}
cov[x, y]
& = & \mathbb{E}\left[x\right]\mathbb{E}\left[y\right] - \mathbb{E}\left[x\right]\mathbb{E}\left[y\right] \\
& = & 0 \tag{1.6.4}
\end{eqnarray}
}

よって、題意が示された。

まとめ

みじかいっ。
まぁ、ラクなぶんにはいいんですけど……。

それにしても、共分散って機械学習の文脈ではどんな使われ方をするんでしょう。
独立な変数の共分散が 0 になるということは、相関に関わっていそうですが、 相互情報量っぽく、クラス分類の相関を見るのに使えたりするんでしょうか。
詳しい方がいらっしゃったら、教えてくださるとうれしいです。

たまってた分を記事化できたので、ようやく解くのを再開できそうです。
記事化を面倒くさがって、ボトルネックになってしまっているっぽいのがまずいですね……(なかなか進まないイイワケ)。

またいくつか問題を解き終えたころに記事にしようと思います。

次は某ラフの線画化技術の論文をまとめますよ~。

PRML 演習まとめ

次 -> まだ