Även om stengrunder och rester av murar finns kvar har mycket av det ursprungliga byggnadsmaterialet uppenbarligen fraktats därifrån, vilket enligt Lundberg (1981) förklaras av en muntlig tradition som säger att stenar från Bjärkaholm användes för att bygga gamla slottet på Bjärka-Säby.
ˈɛːvən ɔm stˈɛŋrɵndər ɔk rˈɛstər ɑːv mˈʉrar fˈɪns kvˈɑːr hɑːr mˈykət ɑːv deːt ˈɵʂprɵŋlˌiːɡa bˈyɡnadsmˌatərˌiːalət ˈɵpeːnbˌɑːrlɪɡˌɛn frˈaktats dˈɛːrɪfrˌoːn, vˈɪlkət ˈeːnlɪkt lˈɵndbərj nˈɪtɔnhˈɵndra ˌɔtɪˈɛt fœrklˈɑːras ɑːv ɛn mˈɵntlɪɡ trˌɑːdiːsxˈuːn sɔm sˈɛjər at stˈeːnar froːn bjˈɛrkahˌɔlm ˈanvəndəs føːr at bˈyɡa ɡˈamla slˈɔtət poː bjˈɛrkasˈɛːbyː.