ニューラルネットワークにおいて、古典的なシグモイド関数と比較してReLU活性化関数を使用する利点は何ですか？
1.勾配消失問題：シグモイド関数の微分値の最大値は0.25であり、逆伝播中に勾配の合計が非常に小さくなる可能性がある。これに対してReLUは正の入力に対して一定の勾配1を持つ。
2.計算効率：ReLUはmax(0, x)を用いて計算することができ、シグモイド関数の指数演算よりも効率的です。
3.収束速度：ニューラルネットワークの活性化関数としてReLUを使用した場合、シグモイド関数を使用した場合よりも早く収束することも報告されています。