Charles Altamont Doyle ingelesez jaio zen, irlandar jatorri katolikoa, eta bere ama, Mary (née Foley), irlandar katolikoa zen. Bere gurasoak 1855ean ezkondu ziren. 1864an, familia sakabanatu zen Charlesen alkoholizismoa handitu zelako, eta haurrak aldi baterako Edinburgora joan ziren. 1867an, familia berriro elkartu zen eta etxebizitza txiroetan bizi izan ziren 3 Sciennes Plazan. Doyle-ren aita 1893an hil zen, Crichton-en, Royal Dumfries-en, urte askotan gaixotasun psikiatrikoak izan ondoren. Osaba aberatsek lagundu ondoren, Ingalaterrara bidali zuten, St Hodder Place-ko jesuiten prestakuntza eskolara, Lancashire-n.
Foley-rekin