Nacíu na ciudá de Nueva York, Davenport crióse en Filadelfia. Pertenecía a una familia dactores teatrales, siendol so padre lafamáu intérprete Edward Loomis Davenport, y la so madre, Fanny Vining, una actriz inglesa descendiente del renomáu actor teatral irlandés del sieglu XVIII Jack Johnson. La so hermana yera la tamién actriz Fanny Davenport. El debú de Davenport nescena tuvo llugar con cinco años dedá, na obra Damon and Pythias.