Rugadh Doyle ar an 22 Bealtaine 1859 ag 11 Picardy Place, Edinburgh, Albain. Rugadh a athair, Charles Altamont Doyle, i Sasana, de shliocht Caitliceach Éireannach, agus bhí a mháthair, Mary (née Foley), Caitliceach Éireannach. Phós a thuismitheoirí i 1855. I 1864 scaip an teaghlach mar gheall ar alcóilís mhéadaithe Charles, agus cuireadh na páistí ar feadh tamaill ar fud Dhún Éideann. I 1867, tháinig an teaghlach le chéile arís agus bhí cónaí orthu i n-eachartáin squalid tenement ag 3 Sciennes Place. Fuair athair Doyle bás i 1893, i Crichton, Dumfries Ríogach, tar éis blianta fada de ghalar síceach.
Crichton Royal, Dumfries,