Nel 1864 la famiglia si disperse a causa del crescente alcolismo di Charles, e i figli furono temporaneamente alloggiati in tutta Edimburgo. Nel 1867, la famiglia si riunì di nuovo e visse in squallidi appartamenti a 3 Sciennes Place. Il padre di Doyle morì nel 1893, a Crichton, Royal Dumfries, dopo molti anni di malattia psichiatrica. Sostenuto da ricchi zii, Doyle fu inviato in Inghilterra, alla scuola preparatoria gesuita di St Hodder Place, nel Lancashire.
Foley