Sites rápidos tendem a ter melhores resultados nas buscas. Isso ocorre porque faz parte da garantia de uma boa experiência para os usuários.
E existem alguns fatores que influenciam neste tempo de carregamento. O primeiro deles esta relacionado a como seu site foi desenvolvido.
Para obter sugestões de melhoria na codificação de seu site, a ferramenta mais recomendada é o Google Page Speed Insights.