Sau cái chết của Dominga Atherton vào năm 1890, biệt thự đã được bán cho Edgar Mills, anh trai của Darius Ogden Mills của Ngân hàng California, và vào năm 1900 đã được đổi số từ 1950 đến 1990 California St. Năm 1908, nó được mua bởi George Chauncey Boardman, một ông trùm bất động sản và chủ tịch của San Francisco Fire Insurance, người có ngôi nhà đã bị phá hủy trong trận động đất và hỏa hoạn năm 1906
. Vợ góa của ông và các thành viên khác của gia đình sống ở đó cho đến năm 1923, khi nó được mua bởi Charles J. Rousseau, một kiến trúc sư, người chia nhỏ nó thành 13 căn hộ. Vợ góa của ông Carrie sống ở đó với năm mươi con mèo cho đến khi bà qua đời vào năm 1974. Nó vẫn còn được chia nhỏ. Ngôi nhà được cho là bị ám bởi nhiều như bốn con ma, bao gồm cả Carrie Rousseau, và được giới thiệu trong các tour du lịch ma. Câu chuyện thường được trích dẫn là ma ban đầu là George H. B. Atherton, người đã chết trên biển ở Nam Thái Bình Dương vào năm 1887 và thi thể của ông đã được vận chuyển trở lại San Francisco trong một thùng rượu rum, nhưng thùng đã được chuyển đến cảng, không phải đến nhà.