62230


現在、Tensorflow+Kerasでモデルの学習をおこなっています。  
このモデルにはBatch normalization レイヤーが含まれています。  
ただ、使用しているGPUのメモリが少ないため、バッチサイズが4くらいでしか学習できません。  
このように、バッチサイズが小さい場合でもBatch normalizationはうまく機能するものなのでしょうか。  
よろしくお願いいたします。


CC BY-SA 4.0
2020-01-12T07:52:17.367
62184
2020-01-14T07:31:04.313
37419
question
tensorflow keras
Batch normalization とバッチサイズについて


バッチサイズを大きくできない場合のためのアルゴリズムもいくつか提案されています。

Layer Normalization: <https://arxiv.org/abs/1607.06450>  
Group Normalization: <https://arxiv.org/abs/1803.08494>  
Weight Standardization: <https://arxiv.org/abs/1903.10520>

TensorFlowでLayerNormalizationは提供されているようです。  
<https://www.tensorflow.org/api_docs/python/tf/keras/layers/LayerNormalization>


CC BY-SA 4.0
2020-01-14T07:31:04.313
62230
2020-01-14T07:31:04.313
241
62184
answer