

最近ViTの勉強を始めたのですが、Input Layerにおける位置埋め込みおいて  
「各パッチとクラストークンに加算を行う事で、ViTにパッチの位置情報を伝えることが出来る」と説明されたのですが。なぜ加算をするだけで位置情報をViTに伝える事が出来るのでしょうか、  
ViTのEncoder内部ではニューラルネットワークを何個も積み重ねて数値が変化するにもかかわらず上記のように言える事が疑問で仕方がありません。

もしどなたか、この分野に詳しい方がいらっしゃればご回答いただけると幸いです。  
どうぞよろしくお願いいたします。


CC BY-SA 4.0
2023-11-13T01:32:05.017
96767
2023-11-13T12:41:41.980
2023-11-13T12:41:41.980
3060
58093
question
深層学習
Vit(Vision Transformer)の位置埋め込みについて