I do the same thing and have always wondered why. I always guessed that it was because it's a habit to move away from other people while talking on the phone as to not be rude. 
මමත් කරන්නේ එකම දේ සහ ඇයි කියලා නිතරම කල්පනා කරනවා. මම නිතරම අනුමාන කළේ දුරකථනයෙන් කතා කරන විට අන් අයගෙන් දුරස් වීම පුරුද්දක් නිසා යැයි මම නිතරම අනුමාන කළෙමි. 