Які переваги використання функції активації ReLU порівняно з класичною сигмоїдною функцією в нейронних мережах?
1 Проблема зникнення градієнтів: Максимальне значення похідної сигмоїдної функції становить 0,25, що може призвести до того, що загальні градієнти стають дуже маленькими під час розповсюдження назад. На відміну від цього, ReLU має постійний градиент 1 для позитивних входів.
2. Ефективність обчислення: ReLU можна обчислити за допомогою макс(0, x), більш ефективним, ніж експоненціальні операції в сигмоїдній функції.
3 Швидкість конвергенції: також повідомляється, що використання ReLU як функції активації в нейронних мережах конвергує швидше, ніж використання функції сигмоїда.