人工知能に関する断創録スマートフォン用の表示で見るスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。ロボティクス、生物学などに興味を持っています。このブログでは人工知能のさまざまな分野について調査したことをまとめています。Learning、Kerasに関する記事が多いです。(1)機械学習PRMLPythonによるモンテカルロ法(2014/6/20)のつづき。sampling)の実験をしてみたい。重点サンプリングは、PRMLの11章にも出ている。重点サンプリングを使うと期待値のモンテカルロ積分をより効率的に(=少ないサンプル数で高精度に)計算できる。記事が長くなりそうなので今回はイントロのみということでなぜ重点サンプリングが必要かという前置きだけ書き記しておきたい。普通のモンテカルロ積分モンテカルロ積分(2014/7/28)から続く何本かの記事でまとめたけど、下記の期待値の積分をサンプリングによって求めるのがここでの目的。生成し、上記の期待値の積分を次式で近似する。生成できるというのが前提になっている。サンプリングできなかったり、からのサンプルを使って近似値を計算すると非常に効率が悪い(=大量のサンプルを生成しないと近似精度が上がらない)ケースがあるというわけ。効率が非常に悪いケースたとえば、下の積分を通常のモンテカルロ積分で計算しようとすると非常に効率が悪い。上の式を期待値の積分の式に合わせて書き直すととなる。条件を満たす範囲で1を返し、それ以外で0を返す関数とする。この期待値の積分を通常のモンテカルロ法で求めてみよう。正しい答えは、2.8665e-07なのに0.0となってしまった。ほとんど合ってるんだけど(笑)正確には違う。それは図示してみるとよくわかる。全区間の積分は0でいいんでない?と思うかもしれないけど、図の丸で囲んだ部分を拡大してみるとちゃんと面積があるのだ!つまり、0ではない。それでは、通常のモンテカルロ積分で積分が0になってしまう理由を考察してみよう。関数に通してから下式で和を取って積分の近似値を求める。なってしまうため最終的に積分の近似値の和の計算では使われないことになる。0とならない上の図の赤い矢印の範囲のサンプルだけというわけ。赤い矢印の範囲のサンプルが生成される確率はとてつもなく低い。いうとサンプルは青色の正規分布に従って生成されるため正規分布の裾野の裾野のまた裾野くらいの赤い範囲のサンプルが生成される確率はほとんど0なのだ。サンプル程度生成しただけでは、赤い矢印の範囲のサンプルが生成される可能性はほぼなく、最終的な積分の近似値も0になってしまうというわけ。Nをものすごーく大きくすれば運良く赤い範囲のサンプルがいくつか生成されて、積分を近似できるようになるかもしれないけど効率はものすごーく悪くなってしまう。節には次のような記述があった。この問題は高次元空間だとより深刻になるようだ。空間の比較的小さい領域に大きな確率が集中している。この場合、高次元の問題では、非常に小さな割合のサンプルだけが和に対して大きな寄与をするため、一様サンプリングはとても非効率的である。大きな領域に入るサンプル点を本当は抽出したいのである。(注)Rによるモンテカルロ法入門と記号の使い方が違うので混乱しやすい。PRMLでは、確率分布がp(本ブログではf)で任意の関数がf(本ブログではh)になっている。他と比べて大きな値をとる5.0から6.0くらいの範囲のサンプルを本当に抽出したいのだが、が標準正規分布だとそれができない!というのが問題になる。重点サンプリングは、この問題を解決するため欲しい範囲のサンプルを重点的にサンプリングできる重点関数というものを導入しましょうというアイデア。重点サンプリングを使うと上の積分も0にならず、真の値に近い与えが得られる。(2)人工知能を実現する学習アルゴリズムに必...»プロフィールid:aidiary人工知能とその関連分野に興味があります。Blog|ブログを報告する。