Nel 1870, durante una missione architettonica per restaurare la chiesa parrocchiale di St Juliot in Cornovaglia, Hardy incontrò e si innamorò di Emma Gifford, che sposò a Kensington nell'autunno del 1874. affittando la Villa di St David, Southborough (ora Surbiton) per un anno. Nel 1885 Thomas e sua moglie si trasferirono a Max Gate, una casa progettata da Hardy e costruita da suo fratello. Anche se in seguito si allontanarono, la successiva morte di Emma nel 1912 ebbe un effetto traumatico su di lui e dopo la sua morte, Hardy fece un viaggio in Cornovaglia per rivedere i luoghi legati al loro corteggiamento; i suoi Poemi del 191213 alla sua morte riflettono. Nel 1914, Hardy sposò la sua segretaria Emily Florence Dugdale, che aveva 39 anni. Tuttavia, rimase preoccupato per la morte della sua prima moglie e cercò di superare la malattia di sua moglie.
Firenze