Avaliação da aprendizagem: do papel para o computador - PDF
Download "Avaliação da aprendizagem: do papel para o computador"
Raul Franco Pinho
1 Avaliação da aprendizagem: do papel para o computador Thácya A. F. Mattos 1, José Wilson da Costa 1 1 Mestrado em Educação Tecnológica Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG) Belo Horizonte MG Brasil Abstract. The research described in this article stems from the experience of the State of Minas Gerais in the Program of Learning Assessment School of the State Secretary of Education. The aim of this study was to investigate the application of evidence online in Virtual Environment from two aspects: the first compares the application online using computer with application on paper, to verify if the way of application significantly interferes in student performance, the second aspect compares skills of computer usage and internet with performance on tests online to see if these abilities exert influences on student outcomes. Resumo. A pesquisa descrita neste artigo é fruto da experiência vivida em Minas Gerais no Programa de Avaliação da Aprendizagem Escolar da Secretaria de Estado da Educação que buscou analisar a aplicação de provas online em Ambiente Virtual sob dois aspectos: o primeiro compara a aplicação pelo computador com a aplicação impressa em papel, para verificar se a forma de aplicação interfere significativamente no desempenho dos alunos; o segundo aspecto compara habilidades de uso do computador e internet com o desempenho nas provas online para verificar se essas habilidades exercem influências sobre os resultados dos alunos. 1. Introdução Desde 2006 a Secretaria de Estado da Educação de Minas Gerais implementa o Programa de Avaliação da Aprendizagem Escolar (PAAE), que foi idealizado em 2003 visando oferecer aos professores e gestores um Ambiente Virtual composto de um Banco de itens e ferramentas de acompanhamento que possibilitassem verificar a evolução das aprendizagens e estimar o valor agregado pelo trabalho escolar ao desenvolvimento do aluno. Esta avaliação deveria ser a avaliação interna da escola com o objetivo de identificar, de forma ágil, as necessidades imediatas de intervenção pedagógica [MINAS GERAIS 2013]. A avaliação da aprendizagem se caracteriza por ser cíclica e recorrente, como afirma Luckesi (2000), "os atos de avaliar que, por si, implicam em diagnosticar e renegociar permanentemente o melhor caminho para o desenvolvimento", "...a avaliação da aprendizagem escolar não implica aprovação ou reprovação do educando, mas sim orientação permanente para o seu desenvolvimento". DOI: /CBIE.WCBIE
2 A avaliação do processo ensino/aprendizagem constitui um desafio para as instituições de ensino, já que uma experiência criativa e de excelência deve desenvolver uma avaliação dinâmica do processo, que integra a aprendizagem do aluno e a intervenção pedagógica do professor, na direção da construção do conhecimento pretendido. Zabala (1998) destaca as dificuldades dos educadores com a prática da avaliação e assinala alguns questionamentos que devem ser feitos quando se pensa em avaliação: Por que se tem que avaliar? O que se tem que avaliar? A quem se tem que avaliar? Como se avaliar? E como e a quem comunicar a informação obtida através da avaliação? Na perspectiva proposta no PAAE, o acompanhamento da aprendizagem, se faz longitudinalmente, o que demanda várias avaliações perfazendo todo o conteúdo de tópicos e habilidades pertencentes ao currículo [MINAS GERAIS 2013]. Devido a sua extensão e ao grande número de escolas da rede estadual de Minas Gerais, os custos e a logística de aplicação de provas pelo meio tradicional em papel impresso são impedimentos à utilização frequente da avaliação educacional para efeitos diagnósticos. Os problemas de logística e sigilo do Exame Nacional do Ensino Médio (ENEM) em anos recentes, exame cujo objetivo é o de avaliar o desempenho do estudante ao final da escolaridade básica [BRASIL 2013a], servem para enfatizar a complexidade dos sistemas tradicionais de entrega simultânea de um número grande de provas em destinos múltiplos, como constatado na imprensa escrita e falada após a realização da prova. Da mesma forma, os problemas de processamento da Prova Brasil, também recentes, avaliação diagnóstica com o objetivo de avaliar a qualidade do ensino oferecido pelo sistema educacional brasileiro [BRASIL 2013b], sinalizam as diversas dificuldades inerentes à conversão de respostas marcadas em folhas de resposta em bases de dados confiáveis. Inicialmente devido à infraestrutura de laboratórios de informática das escolas estaduais de Minas Gerais, o Ambiente Virtual foi concebido para possibilitar a geração da prova de forma online pelo professor, sua impressão e a aplicação aos alunos em papel, mas com a melhoria dos equipamentos e da conexão à internet dos laboratórios de informática das escolas, foi possível pensar na alternativa de se aplicar a prova online, cada aluno em seu computador permitindo a coleta e o processamento imediato e automático das respostas dos alunos. As vantagens da prova online não se resumem à diminuição dos custos pela eliminação de papel e à redução na perda de provas e informações por problemas logísticos. A vantagem mais importante reside na agilidade dos sistemas online, que facilitam a devolução dos resultados em curto espaço de tempo e permitem aumentar o número e a variedade das aplicações. No caso de provas cujo objetivo principal é o de oferecer feedback ao professor e ao aluno, é preciso garantir esta agilidade permitindo um diagnóstico imediato dos problemas de aprendizagem antes que aconteça a perda da conexão entre os resultados e os indivíduos testados. Para a continuidade do projeto com a introdução de provas online, era necessário que se verificasse se a aplicação online geraria impacto no desempenho do aluno, pelo fato da mudança do meio através do qual o aluno faria sua avaliação e pelo fato de haver alunos com maior ou menor habilidade de uso do computador e internet, por não ser esta, uma prática usual nos sistemas de ensino. Já que a avaliação precisa refletir "uma observação formativa a serviço da regulação das aprendizagens" [PERRENOUD 1999, p. 22], na perspectiva de que avaliar é reconhecer as 403
3 individualidades, os processos de aprendizagem de cada aluno, que se encontre inserido em determinados contextos sociais e culturais, e que possua bagagem de experiências que não podem ser desconsideradas. 2. Metodologia da Pesquisa A pesquisa foi desenvolvida no 2º semestre de 2010, aplicando-se duas provas, uma de Matemática e outra de Língua Portuguesa, cada uma com 10 questões, em uma amostra de 20 escolas de ensino médio da rede pública estadual de Minas Gerais. As provas aplicadas foram as mesmas para todas as escolas, os itens das provas se referem aos conhecimentos, às habilidades e competências a serem adquiridos pelos alunos e foram indexados à matriz de competências básicas do Conteúdos Básicos Comuns (CBC) do 1º ano do ensino médio da Rede Estadual de Ensino de Minas Gerais, que expressam os aspectos fundamentais de cada disciplina que não podem deixar de ser ensinados e que o aluno não pode deixar de aprender [MINAS GERAIS 2006]. As 20 escolas foram selecionadas pelos critérios: experiência de participação no PAAE de 2008 e 2009; localização na área metropolitana de Belo Horizonte e; condições apropriadas do laboratório de informática que deveria possuir pelo menos 10 equipamentos em funcionamento e conexão à internet banda larga. Os critérios foram estabelecidos tendo em vista a construção de uma amostra representativa do universo pesquisado [MARCONI e LAKATOS 2007]. Em um primeiro momento foram organizadas visitas às escolas selecionadas para verificar se os laboratórios das escolas ofereciam condições efetivas para aplicação da prova online. Após as visitas, os alunos do 2º ano do ensino médio se inscreveram voluntariamente e responderam a um questionário com o propósito de identificar quais possuíam maior ou menor habilidade no uso do computador e da internet. Foram escolhidos os alunos do 2º ano do ensino médio por já conhecerem o PAAE e terem estudado os conteúdos obrigatórios do CBC do 1º ano do ensino médio. Os alunos foram separados em dois grupos de forma que no Momento 1, o primeiro grupo fizesse a prova de Matemática online e o segundo grupo fizesse a prova de Matemática impressa e; no Momento 2, o primeiro grupo fizesse a prova de Língua Portuguesa impressa e a o segundo grupo fizesse a prova de Língua Portuguesa online. Desta forma, todos os alunos fariam uma avaliação online e outra impressa conforme mostra a Figura 1. Figura 1. Metodologia de execução da prova 404
4 Para a aplicação da prova foram capacitados os aplicadores e durante a aplicação observadores externos acompanharam o processo anotando a forma como a aplicação da prova ocorreu no Relatório de Observação e Ocorrências. 3. A Aplicação Na amostra inicial foram indicadas 19 escolas, das quais apenas nove foram confirmadas após a conferência dos laboratórios. Um segundo conjunto de escolas foi indicado para suprir as escolas que não possuíam as condições mínimas de infraestrutura para a aplicação da prova online e a amostra final foi composta de 20 escolas, uma delas destinada à aplicação piloto das provas. No total, 1083 alunos se inscreveram; 1065 foram considerados aptos e 852 compareceram e fizeram as provas, como as inscrições foram voluntárias foi permitido que todos os alunos fizessem as avaliações, mas foram selecionados 456 para constituir a amostra para tratamento estatístico dos resultados conforme é relatado a seguir. Entre os motivos que selecionou-se uma amostra menor do que a inicial estão: alguns alunos fizeram as duas provas em papel ou as duas provas online; alguns alunos fizeram somente uma prova ou de matemática ou de Língua Portuguesa e; durante o processo três escolas tiveram que ser excluídas, a indicada para aplicação piloto e duas cujos alunos fizeram somente a prova impressa. Para homogeneizar o tamanho da amostra considerou-se, em cada escola, o número de alunos que fizeram a prova de Matemática online e, entre os que fizeram a de Língua Portuguesa impressa foram selecionados aleatoriamente, pelo critério de início da aplicação das provas, alunos em número correspondente, por haverem um número maior de alunos que fizeram a prova impressa de Língua Portuguesa. Houveram escolas em que o número de alunos que fizeram a prova de Língua Portuguesa impressa foi inferior, nesse caso foi feito o mesmo processo em relação aos que fizeram a prova de Matemática online. Após equilibrar o número de alunos em cada grupo, foram eliminados os alunos que não responderam todas as questões das duas provas; subsequentemente, para reequilibrar o tamanho de cada grupo repetiu-se o processo anterior. Ao final a amostra ficou com 456 alunos, sendo que 228 fizeram Matemática online e Língua Portuguesa escrita e 228 fizeram o inverso. Os 456 alunos dessa amostra final foram ordenados segundo os resultados obtidos no formulário de Avaliação das Habilidades de Uso do Computador e Internet para discriminar os grupos de comparação, ou seja, o Grupo Superior (30% dos melhores resultados, ou 137 alunos com maior habilidade no uso do computador e internet) e o Grupo Inferior (30% dos resultados mais baixos, também com 137 alunos com menor habilidade no uso do computador e internet). A seguir, a Figura 2 mostra a composição dos dois grupos de acordo com o desempenho na Avaliação das habilidades de uso do Computador e Internet. 405
5 Amostra de acordo com as habilidades de uso do computador e internet Grupo Inferior (137 alunos) Grupo Superior (137 alunos) A lun 30 o s a 3 4 a 6 6 a 8 9 a a a a a a a a a 43 Pontos Figura 2. Distribuição dos alunos de acordo com as habilidades de uso do computador e internet 4. Resultados Comparando-se o desempenho do mesmo grupo nas provas de Matemática, nas Figuras 3 e 4, e de Língua Portuguesa, nas Figuras 5 e 6, e na aplicação online e impressa foi possível observar que o desempenho na prova online de Matemática é ligeiramente melhor para o Grupo Superior do que para o Grupo Inferior. É possível observar também, que nas duas modalidades de aplicação, os desempenhos do Grupo Superior e do Grupo Inferior foram melhores em Língua Portuguesa do que em Matemática. Figura 3. Desempenho do Grupo Superior em Matemática Figura 4. Desempenho do Grupo Inferior em Matemática 406
6 Figura 5. Desempenho do Grupo Superior em Língua Portuguesa Figura 6. Desempenho do Grupo Inferior em Língua Portuguesa Foi possível observar que de acordo com as estatísticas descritivas não existe, teoricamente, diferença significativa nas médias das avaliações nas modalidades online e impressa, tanto em Matemática quanto em Língua Portuguesa. Há também uma homogeneidade entre as notas de acordo com o desvio-padrão conforme é mostrado na Tabela 1. Tabela 1. Análise das notas por modalidade de avaliação Provas N Minimum Maximum Mean Std Deviat Matemática Online ,02 1,551 Matemática Impressa ,20 1,535 L. Portuguesa Online ,66 1,945 L. Portuguesa Impressa ,64 1,
7 Comparações entre os dois grupos, por disciplina e forma de aplicação. Figura 7. Desempenho na prova online em Língua Portuguesa Figura 8. Desempenho na prova impressa em Língua Portuguesa Figura 9. Desempenho na prova online em Matemática Figura 10. Desempenho na prova impressa em Matemática Tanto em Matemática quanto em Língua Portuguesa se observa que alunos com maior habilidade no computador têm melhor desempenho tanto na prova online quanto na impressa. Comparando com Língua Portuguesa, o desempenho em Matemática é inferior nas duas modalidades de aplicação. Percebeu-se que nas duas disciplinas a distribuição das notas é bem semelhante nas duas modalidades de avaliação, com uma discreta concentração de notas melhores na prova escrita e para confirmar essa observação, fez-se um teste de hipótese para comparar se a diferença entre as médias (na prova online (O) e na prova escrita (E)) é estatisticamente significativa. 408
8 Para as duas disciplinas, consideraram-se as seguintes hipóteses: H 0 : Média da Prova Online = Média da Prova Escrita H 1 : Média da Prova Online Média da Prova Escrita Group Statistics Notas_MATEMÁTICA TIPO O E Std. Error N Mean Std. Deviation Mean 227 3,0176 1,55138, ,2018 1,53479,10164 Independent Samples Test Notas_MATEMÁTICA Equal variances assumed Equal variances not assumed Levene's Test for Equality of Variances F Sig. t df Sig. (2-tailed) t-test for Equality of Means Mean Difference 95% Confidence Interval of the Std. Error Difference Difference Lower Upper,010,920-1, ,204 -,18413, ,46847, , ,896,204 -,18413, ,46847,10021 Figura 11. Tela de resultados estatísticos na disciplina de Matemática Analisando a disciplina de Língua Portuguesa, temos: Figura 12. Tela de resultados estatísticos na disciplina de Língua Portuguesa Considerando atendidas as suposições de normalidade para as amostras, o teste apresentou um nível de significância observado de 0,204 > 0,05 o que nos levou aceitar que não existe diferença significativa entre as médias das notas na disciplina Matemática para a avaliação online e escrita. Observou-se também a inclusão do valor zero no IC 95%, o que confirma a hipótese de igualdade entre as médias. 409
9 Como o nível de significância observado foi de 0,905 > 0,05, aceitou-se que não existe evidência estatística que as médias das notas, nas duas modalidades de avaliação em Língua Portuguesa, sejam diferentes. Observou-se também que o IC 95% inclui o valor zero. Pode-se concluir então que não existe diferença significativa entre as médias das avaliações on-line e escrita para as duas disciplinas. Estes dados asseguram o uso futuro de aplicações online sem risco de falsear o nível de desempenho. 4. Considerações Finais Os alunos, de forma geral, expressaram maior interesse pelas provas online, mas participaram das duas, o que é natural em uma geração que está muito familiarizada com a tecnologia e a internet. De acordo com Tapscott (2010), os integrantes desta geração são facilmente adaptáveis a novas tecnologias e sem nenhuma resistência às constantes inovações, eles são considerados os filhos da tecnologia, uma geração totalmente imersa na interatividade, na hiperestimulação e no ambiente digital. A avaliação online possibilita maior dinâmica na construção de provas e avaliações e os resultados desta pesquisa evidenciam que, do ponto de vista do desempenho do aluno, a modalidade de aplicação não interfere significativamente, nas duas disciplinas as distribuições das notas eram muito semelhantes nas duas modalidades de avaliação, assim como o fato de o aluno apresentar maior desenvolvimento das habilidades de uso do computador e internet também não assegura melhor desempenho nas provas online. Por outro lado, os resultados demonstraram que alunos que apresentam essas habilidades mais desenvolvidas tem melhor desempenho tanto nos dois conteúdos quanto nas duas modalidades de aplicação. Tais resultados permitem inferir que o letramento digital e as habilidades de uso do computador e internet são fatores que de alguma forma se associam ao desenvolvimento do aluno e seu melhor desempenho escolar. Por trás dessa relação encontram-se as habilidades, relacionadas à motivação, nível socioeconômico, empenho e raciocínio do aluno. Referências BRASIL. Ministério da Educação. Enem. Disponível em: index.php?option=com_content&view=article&id=183&itemid=310. Acesso em: 08 out. 2013a. BRASIL. Ministério da Educação. Prova Brasil. Disponível em: emid=324. Acesso em: 08 out. 2013b. LUCKESI, Carlos Cipriano. O que é mesmo o ato de avaliar a aprendizagem? Porto Alegre: Porto alegre: ARTMED. Ano 3, n. 12 fev./abr Disponível em: /imagem/2511.pdf. Acesso em: 08 out
10 MARCONI, M. de A. e LAKATOS, E. M. Técnicas de Pesquisa: planejamento e execução de pesquisas, amostragens e técnicas de pesquisas, elaboração, análise e interpretação de dados. 6. ed. 2. reimpressão, São Paulo: Atlas, MINAS GERAIS. Secretaria de Estado da Educação. Proposta Curricular. Conteúdos básicos comuns. 03 out Disponível em: sistema_crv/index.aspx?id_projeto=27&id_objeto=39145&tipo=ob&cp=b53c97& cb=&n1=&n2=proposta%20curricular%20-%20cbc&n3=ensino%20médio&n4 =Matemática&b=s. Acesso em: 08 out MINAS GERAIS. Secretaria de Estado da Educação. Sistema Mineiro de Avaliação Pública. Disponível em: simave. Acesso em: 08 out PERRENOUD, Philippe. Avaliação: da excelência à regulação das aprendizagens entre duas lógicas. Porto Alegre: Artes Médicas, TAPSCOTT, Don. A hora da geração digital: como os jovens que cresceram usando a internet estão mudando tudo, das empresas ao governo. Tradução Marcello Lino. Rio de Janeiro: Agir Negócios, ZABALA, Antoni. A prática educativa: como ensinar. Porto Alegre: Artes Médicas,
OS EFEITOS DA PROVA BRASIL NAS ESCOLAS PÚBLICAS DO MUNICÍPIO DE TERESINA
OS EFEITOS DA PROVA BRASIL NAS ESCOLAS PÚBLICAS DO MUNICÍPIO DE TERESINA Isana Cristina dos Santos Lima UFPI (isanacristina@hotmail.com) RESUMO Este artigo apresenta resultados da pesquisa que tem como