"Avaliação de Impacto e a inutilidade de tentar criar um standard" por Paulo Teixeira |
Posted on 25 de May de 2015 by ASII	Leave a comment
Logframe em avaliação no terreno (Guiné Bissau)
A avaliação de impacto é o tema que mais apaixona neste momento o mundo da avaliação e avaliadores um pouco por todo o mundo. Assim como antes na discussão qualitativo vs quantitativo é em torno da complexa questão da avaliação de impacto que hoje se centram os mais acessos debates neste universo da avaliação.
Na verdade, esta discussão já foi mais acesa, há uns 5/6 anos atrás, quando surgiram as posições mais extremadas onde existia um fortíssimo grupo que defendia que só os métodos experimentais garantiam rigor a uma avaliação de impacto e que a necessidade de um contrafactual era basilar em avaliação de impacto. Nesta altura, este grupo defendia que só a utilização de RCT (Randomized Control Trials) garantia a qualidade de avaliações de impacto e que estes seriam o "Gold Standard" para este tipo de avaliação.
Esta posição foi fortemente questionada em todo o mundo e tanto a Sociedade Europeia de Avaliação (EES – European Evaluation Society) como diversos grupos dentro da Associação Americana de Avaliação (AEA – American Evaluation Association) tomaram posições públicas contra a ideia de ter um standard único para definir o que é uma avaliação de impacto de qualidade.
Nos últimos tempos estas tendências de criação de um "gold standard" foram desaparecendo a nível internacional dando lugar a um entendimento alargado sobre a primazia da diversidade metodológica e da adaptação das abordagens às questões de avaliação dos Termos de Referência e às características dos contextos onde as avaliações são levadas a cabo.
Em Portugal temos assistido ao surgimento de um conjunto alargado de atores que parece teimar em criar um standard único e em criarem uma aura de inquestionabilidade em torno de algumas metodologias. Podemos, para citar a mais em voga, citar o grupo alargado de organizações que parece querer fazer do SROI (Social Return On Investment) e metodologias similares assentes em lógicas value for money como as que garantem um resultado "inquestionável" quando falamos em avaliação de impacto e na medição do valor produzido pelas intervenções.
Esta lógica parece-me completamente desacertada e em contraciclo com a evolução do pensamento teórico e das práticas em avaliação a nível mundial, de impacto ou não.
Quero ser claro. Nada tenho contra a utilização de RCTs ou de abordagens Value for Money, aliás, já utilizei e utilizarei no futuro ambos…sempre que as questões a responder na avaliação e as situações concretas fizerem destas metodologias válidas e relevantes!
Vou então sintetizar a minha posição no que diz respeito à avaliação de impacto:
• Os métodos devem ser escolhidos de acordo com as questões de avaliação que temos que responder, da utilização a ser dada aos resultados e das características específicas de cada contexto
• Nenhuma abordagem deve ser considerada o standard para avaliar impactos
• O único "Gold Standard" em avaliação deve ser a utilização de metodologias capazes de responder de forma robusta às questões de avaliação
• Usar RCTs ou abordagens value for money como o SROI é perfeitamente correcto…quando estas abordagens são a mais apropriadas face às questões de avaliação
• Tentar criar uma lógica de metodologia única para seja o que for cria incentivos perversos, viola princípios básicos no que é considerado bom desenho de avaliações e cria riscos desnecessários de leituras fracas ou demasiado simplistas da realidade
Finalmente, há uma última razão para não se forçar a existência de um standard único para avaliar o impacto e/ou valor criado por uma intervenção ou projeto. Os sistemas únicos promovem "rigidez" e diminuição na experimentação de soluções alternativas.
Traduzir a complexidade de impactos e o valor produzido por uma intervenção por um rácio, ou acreditar que uma abordagem focada na eficácia e na transferência para contextos complexos de lógicas experimentais resolvem só por si parece-me irrealista.
Neste momento assistimos à "tensão" entre lógicas de atribuição e contribuição mas esta discussão metodológica é efectuada a nível internacional num registo de diversidade metodológica onde em ambas as lógicas há espaço para diferentes métodos e instrumentos. É neste diálogo entre diferentes perspectivas que penso irão surgir novos desenvolvimentos em avaliação e que esta profissão ganhará ainda maior relevo.
Num mundo onde o denominador comum é a instabilidade dos sistemas e a palavra "mudança", a tentativa de criar uma abordagem única para analisar sistemas complexos é um exercício fútil condenado ao fracasso.