Lilian Augusta Ruse nasceu em 11 de junho de 1886, em Reading, Berkshire, Inglaterra. Aos 13 anos de idade recebeu uma bolsa de estudos do Reading College, devido ao seu talento musical. Depois, estudou interpretação na Royal Academy of Dramatic Art.
No começo do século XX atuou nos palcos londrinos, mas abandonou a carreira em 1914, quando casou-se com o advogado de patentes Walter de Havilland. Walter foi contratado para dar aulas em uma universidade no Japão.
Em 1922 ela mudou-se para Saratoga, na Califórnia, devido a problemas de saúde de sua filha mais nova, Joan Fontaine, nascida em 1917. Iriam ficar pouco tempo, mas ela achou que seria melhor para as meninas permanecer nos Estados Unidos. Seu marido logo abandonou a família, voltando para o Japão, para viver com uma antiga amante.
Em 1925 ela voltou a se casar, com George Milan-Fontaine, gerente de uma loja de departamentos. Em 1935, Olivia estreou no cinema, e logo tornaria-se uma das grandes estrelas dos anos de ouro de Hollywood.