De familie Schepens verhuisde vervolgens naar de bovenverdieping van het gebouw, om het gelijkvloers om te vormen tot koetshuis. Later werden er, naast de paardenwedstrijden, eveneens zijspanmotocrossen gehouden op de renbaan. Vele ouders beschouwden het domein van Oversnes als "verboden terrein voor kinderen" nadat een zesjarig kind was verdronken in de kleine maar diepe vijver in het bos. Hoewel het domein zelf was afgesloten met prikkeldraad, hield dit spelende kinderen niet tegen om het bos te betreden. Bovendien waren kinderen uit de buurt welkom om te komen spelen met Theo, de enige zoon van de Schepens.
Nadat Theo na een tragisch fietsongeval om het leven kwam, begon mevrouw Schepens zich volledig af te sluiten van de buitenwereld, waardoor het kasteel volledig ontoegankelijk werd. Het gebouw werd gesloopt in 1957, waarna het domein werd verkaveld voor de aanleg van de Oversneslaan, Standonklaan en Biesthoevelaan. De oorspronkelijke naam werd in 2002 wel gekozen voor de benoeming van de wandelweg Ooievaarsnest, die loopt van de Biesthoevelaan tot de Doornstraat. De renbaan wordt dan weer herinnerd in de naam van een andere wandelweg, de Renbaanweg. De Oversneslaan zelf werd geopend op 30 januari 1958.