Mesmo diante desse tão positivo quadro de realizações, sentimos que algo de estranho pairava sobre a atuação de Koeler na Diretoria da Colônia, havendo rumores de possíveis descontroles em sua gestão.
Por outro lado, todos reconheciam que tão ciclópico desenvolvimento era devido unicamente ao extraordinário espírito realizador de Koeler, que acumulando quatro cargos em Petrópolis esbanjava competência e dedicação, atributos esses indispensáveis para a consecução dos seus grandiosos projetos.
Todavia, ele não dispunha de auxiliares, na qualidade e na quantidade, suficientes para cuidar do acompanhamento contábil financeiro dos seus encargos.
Koeler jogou tudo nesse seu empreendimento e, até mesmo, “os seus próprios cabedais”, como se dizia na época.
A crise que se avizinhava não traria maiores conseqüências se Koeler pudesse contar com o competentíssimo Paulo Barbosa que, certamente, evitaria todos os possíveis problemas. Entretanto, ele nada poderia esperar do novo Mordomo Velho da Silva que parecia não concordar muito com suas atitudes dinâmicas e eficientes que sempre levaram seus empreendimentos ao sucesso.
Outra questão que também teria suscitado rumores foi o apoio que, supostamente, Koeler prestara ao Visconde de São Salvador de Campos, José Alexandre Carneiro Leão, por ocasião da Eleição Extraordinária para preenchimento de uma Cadeira no Senado, à qual também concorria Saturnino de Souza e Oliveira, irmão do Presidente Aureliano Coutinho.
Surgidas aleatoriamente, ou provocadas insidiosamente, as acusações de “supostas irregularidades” apontadas nas gestões de Koeler à frente da Colônia e da 2º Seção de Obras da Estrada Normal da Estrella surtiram efeitos desastrosos.
Em nenhum momento Aureliano manifestou qualquer tipo de apoio, ou mesmo, condescendência para com o acusado, evidenciando um cabal rompimento.
Ao contrario do que vinha ocorrendo habitualmente, todos os Atos referentes à Colônia de Petrópolis passaram a ser assinados pelo Vice-Presidente em exercício, José da Silva Paranhos.
E assim aconteceu com o “Novo Regulamento da Imperial Colônia de Petrópolis”, aprovado pela Deliberação de 26.V.1847, em cujo caput constava:
“Tendo a experiência mostrado que os regulamentos e ordens que ora regem a Imperial Colônia de Petrópolis e as obras da 2ª Seção da Estrada Normal da Estrella, dão abertas a alguns abusos e faltas que muito convém remover e evitar…”.
Tais “abusos e faltas” poderiam ter seus fundamentos na transferência de verbas oficiais de uma repartição para outra, a fim de possibilitar o atendimento de necessidades julgadas mais prementes, sem as devidas autorizações superiores e os cuidados para evitar o descontrole na contabilidade dos órgãos por ele geridos, principalmente naquilo que se referia à Caixa de Socorro.
Essa última irregularidade era mais grave, pois foi detectado um possível alcance, devido ao não recolhimento, ou emprego indevido, de recursos provenientes das taxas dos aforamentos cobrados pela Imperial Fazenda de Petrópolis, em favor da citada Caixa de Socorro.
No decorrer do dia 1º.VI.1847 Koeler deixou de assinar os Termos de Aforamento processados na Superintendência e, a partir do 15º registro daquela data, o Vice-Superintendente, Alexandre Cirne, passou a assiná-los. Não há como comprovar se tal alteração teria partido de uma decisão do próprio Koeler ou de uma determinação do Mordomo.
E, pouco depois, a 30.VI.1847 foi criado pela Mordomia o “Livro de Ordens das Obras do Imperial Palácio”, evidentemente visando a propiciar um controle mais efetivo na contabilidade daquele setor.
Tais fatos mostram que a gestão de Koeler na Superintendência da Imperial Fazenda também estava sendo intensamente vigiada.
No âmbito da Administração Provincial foram efetuadas investigações mais acuradas, porém nenhuma acusação formal foi apresentada. Todavia, o dano causado à reputação de Koeler, durante o terceiro trimestre de 1847, foi muito pesado.
A Deliberação de 16.IX.1857, também assinada pelo Vice-Presidente José Maria da Silva Paranhos, estourou como uma bomba na serena Petrópolis. O Governo Provincial, alegando medidas de contenção, decidiu aglutinar as funções de Direção das duas Seções da Estrada Normal da Estrella, determinando que o cargo de Diretor, da recém-instituída Seção Única da Estrada Normal da Estrella e o de Diretor da Imperial Colônia de Petrópolis passassem a ser exercidos cumulativamente.
O, então, Diretor da 1ª Seção, Tenente Coronel-ICE Galdino Justiniano da Silva Pimentel, que ocupava um posto acima de Koeler na hierarquia militar, assumiu, na data de 17.IX.1847, o recém-criado cargo unificado, ficando subentendida a dispensa de Koeler em ambas funções que ocupava.
Essa teria sido a sutil solução diplomática para o a afastamento do extraordinário idealizador e realizador da “Colônia da Serra da Estrella”.