Bruce nació en 1816. Yera fía de George Bruce (1781-1866), un famosu fundidor de tipos d'imprenta que nació n'Edimburgu, y de Catherine Wolfe (1785-1861), fía de David Wolfe (1748-1836) de la ciudá de Nueva York. El so hermanu yera David Wolfe Bruce (1824-1895), quien, xuntu con David Wolfe Bishop, heredó la fortuna de la so prima, Catharine Lorillard Wolfe.