

現在、画像処理の分野で研究をしてるのですが、「Learning correspondence from the cycle consistency of
time」という論文でわからないことがあったため質問させてもらいます。  
<https://arxiv.org/abs/1903.07593>

この論文は動画像中の物体を教師なし学習で追跡するような機構で、時刻t→t-1への物体追跡では、時刻t-1の画像と時刻tの画像中から切り出されたパッチが入力となり、出力には時刻tのパッチが時刻がt-1の画像上のどこともっとも対応してるかを出力します。  
その際、画像中のどこと対応しているかを画像中心を座標中心とし、[-1,1]に正規化された空間でのアフィン変換によって表されます(具体的には回転、並進)  
<https://i.stack.imgur.com/rhNVe.png>

ここで質問なのですが、論文ではこのアフィン変換のパラメータを特徴マップ空間での対応としているのですが(p4のFigure4の最後から2行目の文)、実際のコードではそのまま画像空間にアフィン変換のパラメータを適用しています。

これは特徴マップ空間での回転、並進(もっとも似ている場所はどこかのマッチング)といった幾何変換が画像空間での幾何変換と同じものを表してると暗に示していると思いますが、そうなのでしょうか？

参考となる論文は  
「spatial transformer networks」  
<https://arxiv.org/abs/1506.02025>  
と  
「Convolutional neural network architecture for geometric matching」  
<https://arxiv.org/abs/1703.05593>  
の二つです。


CC BY-SA 4.0
2019-12-09T02:02:55.220
61247
2019-12-09T02:02:55.220
20613
question
画像 ニューラルネットワーク
特徴空間での幾何変換のパラメータを画像空間での幾何変換にそのまま適用していいのか