近似推論法(10章)

PRML

ちょっとコード書こうかなーと思ったけど別エントリでまた後日. ->書いた

以下感想とか

  • 変分ベイズは以下の理解でいい…んだよね
    • 確率モデルを適用するには事後分布p(Z|X)が欲しい
      • Ex: 予測分布はp(x|X)=∫p(x|Z)p(Z|X)dZ
    • p(Z|X)を計算できない場合は近似したい
    • いきなりだけど lnp(X)=L(q)+KL(q||p) と分解して考えてみる
    • KL(q||p)最小化するのはq=p(Z|X)になる
    • L(q)最大化=KL(q||p)最小化
    • 制限したクラスのq(Z)でL(q)最大化すればp(Z|X)が近似できる
  • 10.2.4の「違ったKの値を比べる場合には……lnK!を加減に加えることである」あたりが良くわかってない. ->解決. コメント欄参照
    • 近似解q(z)を一つ求めても他にもK!個の等価なパラメータ設定があって, 真の解では無いので, そのままだと下限(L(q))が間違った値になっちゃうのでlnK!加えて修正するよって話? 全然理解できてない. もちろん問題10.22も解けてない(白目
  • 10.2.5でグラフィカルモデルを使うと導出された分解が簡単に出てくるのは、パッと理解できて何だか楽しいな
  • 10.6(変分ロジスティック回帰)の計算を投げてしまった. 更に10.7後半(グラフィカルモデルが出てきたあたり)の理解も怪しげ. また機会があれば読もう…….

しかしこの本いつになったら読み終わるんだろう……