Eu me referia ao código JavaScript, mas vi agora que você está usando a versão ModernBB que já trás essa função por padrão de "fábrica".
Nesse caso, verifique se você tem o template index_box editado. Se sim, você provavelmente mexeu em algum trecho responsável pela abertura e fechamento das categorias, acabando danificando o funcionamento correto delas.