Segundo o próprio Google, a maioria das pesquisas no mecanismo já são feitas a partir de smartphones. Sem versões responsivas, seu site acaba marginalizando uma boa parcela de sua base de clientes ou futuros clientes, lógico que isso afetará diretamente as conversões e vendas no site.
Seu site pode ser fácil de usar, ter conteúdo de qualidade e design atraente, mas sem um atendimento claro e conciso, você simplesmente não converterá.
Os usuários podem querer converter, procuram o botão de comprar, ver mais, fazer o download, etc. Mas não encontram, ou pelo fato do botão estar mal localizado ou simplesmente não existir.