No filme, um homem e sua jovem esposa atriz decidem tirar um tempo no interior do País de Gales com sua filha. A casa que eles se hospedam parece trazer segredos, já que ela parece muito maior por dentro do que por fora, com corredores intermináveis e muitas salas.
O casal claramente está passando por alguns problemas: Theo (Kevin Bacon) tenta controlar os ciúmes que ele sente de sua esposa Susanna (Amanda Seyfried) enquanto lida com as consequências de um julgamento, o qual ele foi acusado de assassinar sua ex esposa, mas considerado inocente pelo júri e juiz. Enquanto isso, a casa e seus mistérios serve de pano de fundo para a história.
Theo começa a ter sonhos estranhos, mensagens aparecem no seu diário, sua relação com Susanna fica pior ainda quando seus ciúmes se confirmam e ele descobre que ela estava tendo um affair. Com a esposa fora por um dia por causa da briga, ele começa a fazer experiências com a casa. Os ângulos das paredes não fecham, os cômodos são maiores por dentro que por fora, as portas não dão no lugar que elas deveriam dar, e todos os caminhos os levam de volta para a casa.
A partir daqui acontece de tudo um pouco, com elementos visuais clichês. Idas e vindas no tempo, deslocamentos no espaço, e até encontros com o diabo (ou não...). A diversão do filme se torna tentar entender o que está acontecendo, o que é aquela casa, e como aquilo vai acabar.
Ponto alto do filme, a ambiguidade natural que Kevin Bacon tem em seu carisma nos faz acreditar em seu passado obscuro, assim como em seu presente como um pai e marido amoroso. A cinematografia do filme é encantadora, e o design de produção é muito bem feito; a casa moderna nos deixa aflitos com seu visual de labirinto.
Existe uma ideia muito interessante que fica escondida no coração de You Should Have Left, que infelizmente só se revela nos momentos finais, e mesmo assim tão sutilmente que chega a decepcionar.