Neste sentido, consideramos que um dos objetivos da avaliação interna é a autorreflexão, possibilitando ao estudante pensar sobre o seu processo de aprendizagem, perceber seus erros e reconstruir seus passos frente a um conhecimento significativo, aplicável e não-estático. Entendemos, portanto, que os resultados das avaliações de aprendizagem fornecem pistas importantes para os professores, a fim de que estes possam avançar em suas práticas pedagógicas ou retomar alguma etapa do processo de ensino/aprendizagem, com o intuito de vencer as dificuldades nela apresentadas pelos alunos individualmente.
Entretanto, o uso da avaliação não tem ficado restrito apenas ao interior da escola. Desde meados dos anos 1980, países da Europa, América Latina e América do Norte vêm apresentando um crescente interesse nas avaliações em larga escala, cujo foco são os sistemas escolares (FONTANIVE et al., 2007, p.262). De acordo com estes, “as avaliações externas dirigidas aos Sistemas Escolares são, pela natureza dos seus objetivos, diferentes dos conhecidos processos de avaliação da aprendizagem realizados cotidianamente por professores e equipes pedagógicas
específicos em suas análises estatísticas que possibilitem a manutenção da comparabilidade e confiabilidades dos resultados.
As avaliações internas e externas servem a propósitos diferentes. De acordo com Horta Neto (2013, p. 22), o teste aplicado internamente é um evento único e independente, cujos resultados incidem sobre um futuro imediato dos alunos e são interpretados independentemente de seu contexto socioeconômico ou educacional. Ainda segundo esse mesmo autor (2013, p.22), o teste externo faz parte de um conjunto de instrumentos utilizados em um levantamento periódico de informações, com o objetivo de captar a evolução do quadro educacional, sendo seus principais usuários, mas não únicos e exclusivos, os gestores educacionais.
Essas diferenças se dão em função dos objetivos de cada uma dessas avaliações. De um lado, temos a identificação do desempenho individual de cada aluno, possibilitando ações específicas para cada caso, ou seja, avalia-se o processo de aprendizagem e pode-se proporcionar uma medida desses processos
(TCT), que leva em conta a soma dos acertos em um item. Isso significa que, aplicado um teste, se a maioria dos alunos avaliados acertou uma determinada questão, de acordo com essa metodologia, conclui-se que eles aprenderam aquele conteúdo. A dificuldade do item, neste caso, é definida em termos de percentagens de acertos, sendo que, quanto mais próximo de 100% é a taxa de acerto, mais fácil é o item (PASQUALI, 2003).
De outro lado, as avaliações externas tendem a utilizar a Teoria de Resposta ao Item (TRI), um modelo matemático que possibilita uma análise refinada sobre os dados gerados nos resultados dessas avaliações. O propósito desse modelo é medir a habilidade do sujeito de acordo com as respostas dadas a cada item. Portanto, segundo Pasquali (2003), a TRI expressa uma relação de causa e efeito, sendo o traço latente a causa, e a resposta do indivíduo, o efeito, cujos estímulos são os itens do teste.
o teste em larga escala pode fornecer para gestores de instituições públicas, a fim de melhorar a educação matemática no ensino básico e, particularmente, no ensino médio, onde os resultados costumam ser ainda mais fracos?
Com essa questão de fundo, trazemos como tema para essa dissertação o Sistema de Avaliação do Estado de Goiás (SAEGO). A pesquisa pretende mostrar como a interpretação estatística dos itens, aliada à interpretação pedagógica, pode contribuir de maneira significativa para que, por meio de um plano de ação pautado nesses resultados, o Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora (CAEd/UFJF), agente responsável pela aplicação, tratamento dos dados e divulgação desses resultados, é capaz de oferecer aos agentes educacionais do estado de Goiás possibilidades de se pensar de forma mais eficiente, e também não-linear, a Educação Matemática oferecida aos estudantes da 3ª série do Ensino Médio.
A possibilidade de trazer contribuições significativas para o ensino de matemática por meio da análise estatística e pedagógica dos resultados de uma avaliação externa, exige clareza sobre o processo de realização e aplicação dos testes padronizados. Discutir o desempenho dos estudantes, apontar o que eles têm consolidado ao longo dos seus 12 anos escolares, e aquilo que tem ficado à margem de uma Educação Matemática transformadora1, é o que se pretende alcançar com essa dissertação.
Meu interesse pelo tema da avaliação em larga escala surgiu quando, em 2006, iniciei meu trabalho no CAEd2. Atuei de 2006 a 2014 como parte da equipe responsável pela elaboração, revisão e interpretação estatística e pedagógica de itens de Matemática que compuseram as diversas avaliações estaduais e municipais avaliadas por aquele centro. De 2008 a 2014, também respondi pela coordenação dessa mesma equipe, período em que participei da elaboração e revisão das diversas matrizes de referência de Matemática de alguns estados e municípios avaliados pela referida instituição. Atuei na escrita dos boletins pedagógicos,
1 Entendemos por Educação Matemática transformadora aquela capaz de levar os alunos a perceber a relação dessa disciplina com outras áreas do saber, fazendo-os encontrar sentido para aquilo que estudam. Uma Educação Matemática transformadora se faz no momento que é capaz de despertar o interesse e a curiosidade do aluno para aprender e aplicar o conhecimento aprendido.
colaborando com aspectos relacionados ao desenvolvimento cognitivo dos alunos no que tange às habilidades matemáticas descritas nas matrizes de referência, além de ter ministrado oficinas de apropriação de resultados e elaborado itens nos diversos estados e municípios nos quais o CAEd atuou. Nesse período, fui responsável tanto pela matemática do ensino fundamental I e II, como do ensino médio. Colaborei também, na construção e análise da escala de proficiência em Matemática do projeto GERES3 (Estudo Longitudinal da Geração Escolar 2005), cuja responsabilidade das análises estatísticas e pedagógicas ficaram a cargo do CAEd, além de ter atuado em pesquisas relacionadas à elaboração de padrões4 de desempenho escolares.
Simultaneamente a essa atuação, e mais particularmente, no período que vai de 2011 a 2012, pude desenvolver trabalhos como colaboradora do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) na (re)interpretação da escala de proficiência em Matemática do Sistema de Avaliação da Educação Básica (SAEB) e na construção de um mapa de itens para o Exame Nacional do Ensino Médio (ENEM), por meio da análise pedagógica do banco de itens dessa instituição.
Deslocando desse lugar de alguém atuante diretamente no processo de elaboração e revisão de itens, para o de quem colabora com outros aspectos estruturantes das avaliações, atuei por um período de dois anos consecutivos (2015 e 2016) com a docência de Matemática no ensino fundamental II e ensino médio do Colégio de Aplicação João XXIII, da Universidade Federal de Juiz de Fora. Lecionei, durante esse período, Matemática e Desenho Geométrico para turmas de 6º e 8º anos do Ensino Fundamental e 1º ano do Ensino Médio, além de ministrar módulo5
4 Os Padrões de Desempenho são agrupamentos a partir da proficiência obtida nas avaliações em larga escala, conforme obtidas, por exemplo, através do uso da Teoria de Resposta ao Item (TRI). Esses padrões podem ser divididos em três ou quatro níveis, de acordo com as diretrizes pedagógicas adotadas pelos municípios e estados. O agrupamento visa a facilitar a interpretação pedagógica das habilidades desenvolvidas pelos estudantes, pois apresenta a descrição das habilidades distintivas de cada um de seus intervalos, em um continuum, do nível mais baixo ao mais alto (CAEd, 2016).
de geometria para alunos dos 7º anos. Tenho participado junto ao departamento de Matemática das discussões curriculares que estão norteando a (re)elaboração do currículo de Matemática dessa escola, na qual a temática da avaliação externa tem permeado, também, as discussões acerca do currículo, aumentando ainda mais o meu interesse pela área.
Durante o tempo de trabalho no Colégio de Aplicação João XXIII, fui convidada algumas vezes pelos departamentos de Matemática e de Ciências Humanas do colégio a ministrar seminários internos sobre a (re)elaboração do currículo de matemática. Mesmo findo o período de contrato com o Colégio, o departamento de Matemática manifestou interesse na continuidade do meu trabalho junto ao grupo de discussões curriculares, algo que acredito ter colaborado para ter sido convida a ser Professora da Especialização em Educação no Ensino Fundamental do Colégio de Aplicação João XXIII.
A despeito dessas diferentes frentes de atuação, a função exercida na equipe de Matemática do CAEd/UFJF foi a que me possibilitou observar a influência de determinadas habilidades matemáticas na montagem dos testes de proficiência. Isso se traduziu, por exemplo, no fato que tais habilidades ancoravam6 em níveis muito altos da escala de proficiência, enquanto que a média de desempenho dos alunos avaliados indicava que os mesmos, em grande parte, não tinham um nível suficientemente alto de proficiência em Matemática para resolver essas questões. Tal fato, portanto, aponta para a necessidade ou conveniência de se promover um maior ajuste entre o teste e a população avaliada, algo que ocorreria quando os parâmetros de dificuldade dos itens utilizados se encontram mais próximo da proficiência média dos alunos que fazem o teste.
O estado de Goiás, entre todos os avaliados pelo CAEd, foi o que me chamou mais a atenção, pois o fato supracitado está claramente ilustrado e será discutido
sólidos geométricos e, por meio dessas construções, serem capazes de analisar as propriedades desses objetos. O conhecimento era construído junto com eles.
com base na curva de montagem do seu teste da 3ª série7 do ensino médio de 2014. Neste caso específico, constata-se que os itens escolhidos para compor o teste não estão ajustados à população. Isso significa que o teste está mais difícil, pois os itens não acompanham a proficiência dos alunos avaliados, ocasionando um problema na medida. Por outro lado, a matriz de referência de Matemática da 3ª série do ensino médio do estado de Goiás8 é constituída por habilidades matemáticas que estão ancoradas na escala de proficiência do SAEB nos níveis acima de 300 pontos9, e a média de proficiência desses alunos, em 201310, é de 262,7 pontos nessa mesma escala.
significativo para todo o processo avaliativo, pois ela especifica os objetivos da avaliação segundo os quais, os especialistas da área, educadores e a sociedade acreditam que os alunos devam aprender durante o processo de escolarização (OLIVEIRA, 2008). Tomamos como referência para as análises, a concepção de que matriz de referência não é um sinônimo de currículo escolar, pois este último norteia o trabalho dos gestores, coordenadores e docentes, ou seja, versa sobre metodologias e conteúdo a serem trabalhados ao longo de toda uma trajetória educacional. A matriz de referência representa, portanto, um recorte do currículo. Então, quando analisamos o teste de proficiência, estamos observando parte do processo de aprendizagem desses estudantes, uma vez que uma matriz de avaliação deve orientar a elaboração de itens para as avaliações externas, além de estar alinhada ao currículo.
Também cabe dizer que uma escala de proficiência11, como a adotada pelo Sistema de Avaliação da Educação Básica (SAEB) e pelo Sistema de Avaliação do Estado de Goiás (SAEGO), associa-se, na prática, a uma matriz de referência, aprovada, por exemplo, pelas Secretarias de Educação de cada estado que
7 Nacionalmente, referimo-nos, desde a implementação do ensino fundamental de nove anos, à organização curricular do ensino médio como ano escolar. Todavia, o estado de Goiás mantém em sua matriz de referência para avaliação a nomenclatura de 3ª série do ensino médio. Tal constatação nos leva a adotar, nesta dissertação, a mesma elencada pelo referido estado.
9 Essa relação da ancoragem dos itens de matemática do SAEGO 3ª série do ensino médio encontra-se no Apêndice A.
10 O teste de um respectivo ano é montado sempre com base nos resultados do ano anterior. Desta forma, para montar o teste de 2014, foi utilizada a distribuição, dos alunos, na escala SAEB de acordo com a proficiência da população em 2013.
promovem tais avaliações, e que é obtida, ou por meio do trabalho de especialistas educacionais contratados para elaborá-la, ou então através da adoção de matrizes pré-existentes e já aplicadas em outros lugares.