blogスマートフォン用の表示で見るスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。NIPS-2006.id:mamorukさんによる紹介。Multicore上でのMap-Reduceを機械学習でやる話。form担っているものに対してMap-Reduceのフレームワークを適用できますよという論文。10個くらいのアルゴリズムに関して書いてある。実験では、コア数に比例するような形で線形にスピードを上げれていることが示されている。formをしているからMap-Reduce回せますよね、というのが書いてある。Dataに対してどうこうというよりコア数に比例するということだけを示したいので問題ないということ。実験で使ってあるデータはNLPのように高次元なデータではなく100次元もないデータだったので、逆行列も計算可能なくらいのところのようだ。formになっているかとかの説明がある。普通のベクトル、行列に対してだけではなく、勾配やヘッセ行列に対してもMap-Reduceなことができるようだ。実験では、16コアくらいまでやられていて、大体線形になっていることが分かる。EMやk-meansのようなアルゴリズム(k-meansもEMでできると言えばできるが)は途中でデータのやり取りが必要になってくるので、他の例と比較するとオーバーヘッドになっている部分が結構あるようということが分かる。計算量のオーダーも書いてあるけど、大規模データで実用に耐えそうなオーダーのものとしてはナイーブベイズ、ニューラルネットワーク、k-meansくらいである。紹介が終わってからちょっと話題になったが、オンラインアルゴリズムとMap-Reduceは相性がよろしくない...とあるが、例えばMapper側でデータをK分割、K個のロジステック回帰をオンラインで計算して、Reducer側で、そのパラメータの平均を取るみたいなことが考えられると思うんだけど、どうだろう。よいパラメータ出てこなさそうだし、意味がよく分からないですね。