Lyster va néixer a Dublín, Irlanda, el tercer fill de Chaworth Lyster, un capità de l'exèrcit, i la seva dona Anne, "née" Keightly. El seu oncle era William Saurin, Fiscal General d'Irlanda. La família Saurin era en part d'extracció hugenot francesa. Un altre dels seus oncles era James Saurin, bisbe de Dromore. A l'edat de 13 anys, Lyster, després d'una malaltia, va ser enviat en un viatge al voltant del món i va visitar Sydney i Melbourne el 1842. Després del seu retorn a Anglaterra, va anar a l'Índia amb la intenció de convertir-se en un plantador, però el clima no li convé, va tornar a Anglaterra. El 1847, va estar a Sud-àfrica i va lluitar a la 7a Guerra de la Frontera del Cap.
, i un any més tard, va estar als Estats Units on va provar la seva sort com a actor amb poc èxit.