Lyster syntyi Dublinissa, Irlannissa, Chaworth Lysterin, armeijan kapteenin, ja hänen vaimonsa Anne Keightlyn kolmanneksi pojaksi. Hänen setänsä oli Irlannin oikeusministeri William Saurin. Saurinin perhe oli osittain ranskalaista hugenoottiperäistä. Toinen hänen setänsä oli James Saurin, Dromoren piispa. Lyster lähetettiin 13-vuotiaana sairauden jälkeen matkalle ympäri maailmaa ja vieraili Sydneyssä ja Melbournessa vuonna 1842. Palattuaan Englantiin hän meni Intiaan aikomuksenaan ryhtyä istuttajaksi, mutta ilmasto ei sopinut hänelle, joten hän palasi jälleen Englantiin. Vuonna 1847 hän oli Etelä-Afrikassa ja taisteli seitsemännessä Cape Frontier -sota
Vuotta myöhemmin hän oli Yhdysvalloissa, jossa hän yritti menestyä näyttelijänä.