Idlewild on ollut raunioina sen jälkeen, kun se paloi huhtikuussa 2003, kun vandalit sytyttivät sen tuleen. Idlewild kärsi jälleen vahinkoa pienemmästä kuistipalosta elokuussa 2006. Maanjäristys.
23. elokuuta 2011 vaurioitui päätalon savupiippuja - ja tasapuolisti kaksi keittiön savupiippua. Talon tiiliseiniä on vahvistettu teräspalkkeilla, ja maanjäristys ei ole pääasiassa vahingoittanut niitä. Talon kunto pysyy vakaana. On monia teorioita siitä, miten Downmanin talo paloi. On muitakin, kuten kodittomia leiriytyjiä, jotka sytyttävät tulen heikoimmassa takanassa.