人工知能に関する断創録スマートフォン用の表示で見るスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。ロボティクス、生物学などに興味を持っています。このブログでは人工知能のさまざまな分野について調査したことをまとめています。Learning、Kerasに関する記事が多いです。PRML今回もCourseraの機械学習ネタ。method)より強力な最適化アルゴリズムとのこと。勾配降下法に比べてよい点として学習率を手動で設定する必要がない高速という2点が挙げられていました。自分で試してみるとよくわかるけど、学習率の決定は地味に面倒くさいので非常に助かります。デメリットとしては実装が複雑なことが挙げられていました。普通は数値計算のプロが書いたライブラリ使うからほとんどメリットしかないね!CourseraではMatlabまたはOctaveのfminunc()を使っていましたが、今回はPythonのscipy.optimizeの関数を使って書き直してみます。関数最適化に関するライブラリはscipy.optimizeモジュールにまとまっていました。ありますが、今回は共役勾配法のfmin_cg()とBFGSアルゴリズムのfmin_bfgs()を使ってみます。この関数に与えるのは最適化したいコスト関数とその導関数です。コスト関数のパラメータがn個ある場合は、それぞれのパラメータで偏微分するのでn個の導関数のリストになります。