Textos EAD > Estratégias para a Individualização e Tratamento Adequado dos Erros Cometidos em Avaliações e Exercícios no Ensino a Distância | ABED
Estratégias para a Individualização e Tratamento Adequado dos Erros Cometidos em Avaliações e Exercícios no Ensino a Distância 22/11/2005
Universidade do Estado do Rio de Janeiro' UERJ
Email: monat@uerj.br
Universidade Salgado de Oliveira' UNIVERSO
Email: nmoulin@attglobal.net
Universidade Federal do Rio de Janeiro' UFRJ
(Texto para download: Formato Word (.DOC))
Intelligent Tutoring Systems (ITS) conducts the learning process according to some important features. Among these features we may mention a careful analysis of the errors made by students during their assessments. This analysis is carried out in order to support them on overcoming their difficulties. In this work, it will be shown how to deal with studentsí wrong answers in virtual courses. Although this feature has been highly neglected in distance teaching so far, we introduce a successful usage of it in a course of Basics Oceanography organized by Rio de Janeiro State University (UERJ). It is also introduced a joint research involving UERJ and the Federal Universities of Rio de Janeiro and Bahia. Sponsored by the Brazilian Council for Research (CNPq), this research intends to provide a computational environment for teaching medical students using a computer network. Using such network, students participate in case studies analyses where senior physicians and an ITS conduct them in their learning process and assessment.
KEYWORDS: Student Profile Identification; Treatment of error in achievement test; Evaluation in virtual Courses; Intelligent Tutoring System
Neste trabalho, mostramos que a adaptação do curso oferecido ao aluno que o está acompanhando, tem sido um objetivo antigo das pesquisas sobre a elaboração dos software educativos que se utilizam de técnicas advindas da Inteligência Artificial, os chamados tutores inteligentes (TI). Os resultados dessas pesquisas são plenamente adaptáveis ao ensino virtual via Internet. Infelizmente, o uso desses resultados não tem estado entre as preocupações dos projetistas de cursos virtuais nas principais instituições em que tais cursos são oferecidos , o que tem comprometido o modelo pedagógico sendo adotado.
Outro elemento sempre presente em TI que deveria ser incorporado aos cursos virtuais, é o tratamento do erro cometido pelo aluno em avaliações e exercícios, de forma a considerar tal erro como um elemento didático no aprendizado do mesmo. ¿ uma resposta errada fornecida por um aluno, não podemos nos restringir a um simples comentário do tipo "você errou tente novamente....", ou a uma mera citação de qual teria sido a resposta mais apropriada.
Mostramos, também, como o levantamento dos perfis dos alunos tem feito parte de cursos presenciais e como estes elementos de ensino podem ser introduzidos dentro da arquitetura cliente-servidor que caracteriza ensino semi-presencial e pela Internet. Em seguida, é feita uma breve introdução aos TI ressaltando-se como os elementos de ensino acima citados estão presentes na concepção dos mesmos. Finalmente apresentamos uma experiência de ensino virtual onde os conceitos de individualização e levantamento dos perfis dos alunos, assim como o tratamento do erro como elemento didático, são aplicados em um curso virtual. Tal experiência diz respeito ao curso virtual de Oceanografia Básica oferecido aos alunos de graduação na Universidade do Estado do Rio de Janeiro (UERJ) e um projeto de ensino em cooperação onde alunos de medicina discutem casos específicos em que médicos seniors e um TI participam da discussão.
2 ' Estratégia para Individualização do Ensino
Quem é o nosso aluno? O que ele sabe? O que deseja saber? Quais são os problemas profissionais que ele enfrenta no dia-a-dia? Quais são suas reais necessidades? Como poderemos ajudá-lo objetivamente a encontrar- se como pessoa e a tornar- se melhor profissional?
Essas questões nos preocupavam quando, na década de 80, iniciamos como instrutores da UNIVERSO, a fase presencial de cursos de Especialização ý distância, para alunos de áreas urbanas e rurais, de outros Estados, e de outras Regiões do Brasil. Para nós que vínhamos de uma metrópole da Região Sudeste (a UNIVERSO tem sua sede no Estado do Rio de Janeiro, cidade das mais populosas de uma região altamente industrializada), muitas vezes enfrentávamos realidades com as quais não estávamos familiarizados. Percebemos então que, para atuar naqueles cursos, além de nossa experiência e formação, precisávamos conhecer o contexto em que trabalhavam e viviam nossos alunos, de onde vinham e onde queriam chegar.
Assim, em nosso primeiro contato com uma nova turma aplicamos dois instrumentos para coleta de dados. Inicialmente, preenchiam uma ficha cadastro com seus dados pessoais, educacionais e profissionais, declarando idade, sexo, local de residência, renda familiar, formação, experiência profissional, condições de trabalho, expectativas com relação ao curso, conhecimentos já dominados e bibliografia conhecida sobre o tema que iríamos tratar. O outro instrumento era uma folha de papel com espaço em branco, onde solicitávamos que o aluno narrasse um fato ou uma situação-problema realmente vivenciada por ele no contexto escolar em que trabalhava.
Desse modo eram obtidos: o perfil individual, o perfil do grupo, informações sócio-culturais, econômicas, escolar e profissional, assim como estavam identificadas as expectativas que deveriam ser preenchidas pelo curso
A coletânea de casos/situações-problema extraída das narrativas mostrou-se preciosa fonte de informações sobre a realidade educacional e profissional do contexto em que o aluno exercia suas atividades, permitindo identificar as principais categorias de problemas profissionais típicas da região, as áreas geográficas em que esses problemas incidiam, constituindo apoio inestimável para o estabelecimento dos objetivos das aulas, a seleção de textos, a elaboração de provas e exercícios, e a formulação de exemplos durante as exposições teóricas e as propostas de atividades práticas."
Uma vez identificado o perfil dos alunos e caracterizado o contexto, era possível "individualizar" os procedimentos didático-pedagógicos. A partir dos dados sobre o domínio do conteúdo sendo ensinado, ou seja, dos assuntos que o aluno dominava com mais facilidade em contrapartida aos assuntos nos quais ele não atingira ainda um nível satisfatório, era possível estabelecer a seqüência de exercícios a serem propostos, que variavam conforme as dificuldades encontradas pelo mesmo.
Outro exemplo prático de individualização dos cursos conforme o perfil socio-cultural do aluno/grupo, relacionou-se com a escolha de textos específicos, temas dos exercícios, e questões de avaliação a fim de que refletissem a realidade local. Como ilustração de uso de textos específicos, citamos a proposta apresentada por Monat e Bezerra (1996) na construção de um conjunto de charadas (em inglês "riddles") para o ensino de lógica para adolescentes. Nesta proposta, os alunos se defrontam com exercícios, baseados em situações do seu convívio social, que exigem capacidade lógica e conhecimento da tabela verdade, para que se alcance a solução. Cada situação envolve um problema que pode ser descrito pela lógica de primeira ordem. Tal problema, em termos de sua formulação em lógica, não se altera. No entanto, o texto que descreve a situação varia conforme o perfil levantado entre os alunos. Desta forma, uma charada envolvendo adolescentes da classe média de uma metrópole brasileira, pode descrever situações onde os jovens estão envolvidos com "shopping-centers", "danceterias", "video-games", etc. O mesmo problema, apresentado para uma turma de alunos de um distrito agrário de uma cidade de menor porte, envolveria outros elementos narrativos, relativos ý vida em fazendas, cooperativas agrícolas, e festas rurais.
Mais recentemente, um outro exemplo de problema trazido pelos instrutores para os quais lecionamos, demonstrou ser típico da aplicação do uso de computadores em sala de aula no Brasil. As situações que são encontradas neste tema, são de total radicalismo. Ou o computador é visto de uma forma muito refratária, ou, como no caso narrado por um dos instrutores, a escola decidiu que todo o processo de ensino tinha que ter o computador como elemento central. Neste caso, a situação que nos foi trazida era de uma escola onde os alunos "assistiam" o computador, ýs vezes sem qualquer interação com o mesmo, pois os responsáveis pelo estabelecimento de ensino acreditavam que estavam assim patrocinando um trabalho atual e moderno.
Este exemplo mostra como um levantamento prévio com os alunos pode ser vital ao planejamento de um curso semi-presencial. Sabedor do relato deste aluno, o material voltado para Informática e Educação centrou-se sobre como levar o estudante daquela escola a interagir com a máquina. O curso seria muito diferente caso a realidade local mostrasse escolas temerosas na introdução de computadores, ou incapazes de instala-los, ou ainda professores sem domínio de elementos básicos da Informática . Neste caso, o trabalho teria focalizado os fundamentos da Informática.
3 - Tutores Inteligentes
Os sistemas de ensino via computador se dividem em dois grandes grupos. No primeiro, denominado de IAC (Instrução Apoiada por Computador), a típica forma de interação entre o computador e o aluno se faz através de uma seqüência de exercícios em que o aluno é consultado sobre qual resposta é a mais apropriada para cada questão. Conforme a resposta obtida, o sistema encaminha um processo de explicação previamente estabelecido, visando a atuar de forma condizente com a resposta dada. Desta forma, há uma árvore de alternativas prefixadas no próprio corpo do programa de ensino, e cabe ao projetista do software de ensino se antecipar ýs possíveis respostas dos alunos e prever uma parte do código do sistema para cada uma das opções. A este tipo de formulação diz-se que as opções estão incrustadas ( no inglês "wired" ) no software.
Em contrapartida aos IAC, existem os sistemas de ensino denominados de Tutores Inteligentes. Neste tipo de abordagem, pretende-se que o computador seja capaz de simular a atividade sendo lecionada, e trabalhar as respostas dos alunos a partir do conhecimento armazenado no sistema. Ou seja, ao invés de simplesmente possuir uma árvore predefinida de opções a ser oferecida ao aluno, o TI deve ser capaz de aceitar qualquer resposta do mesmo, e com o conhecimento do problema analisar porque a resposta está correta ou não, procurando alternativas suas para o problema proposto. Neste caso, o projetista do sistema deve se ocupar em representar de forma apropriada o conhecimento do problema, e com isto possibilitar ao sistema a criação de suas próprias opções de explicação (Clancey, 1986).
Para tornar mais clara esta distinção entre IAC e TI, pode-se utilizar um TI já desenvolvido como ilustração da diferenciação entre as duas formas de atuação. Como exemplo, escolheu-se um sistema tradicionalmente proposto como exercício de confecção de TI aos alunos de mestrado da UERJ interessados em Inteligência Artificial. Trata-se de um TI para exercício das quatro operações básicas da aritmética para alunos que recentemente aprenderam tais operações, e que precisam de treinamento neste tópico.
Nesse exercício, o aluno é consultado sobre como o coelho pode alcançar a tartaruga que está a oito casas de distância. Para calcular o número de casas que o coelho pode avançar, o aluno pode "lançar" três dados pelo computador, que no caso, são três dados cujas 6 faces tem apenas os números de 1 ý 3, cada um deles repetidos em duas faces de cada dado. Suponhamos que o aluno obteve 3, 2 e 2 nos dados. O número de casas a avançar vai ser o resultado de operações aritméticas que o aluno é estimulado a realizar. Para atingir um número por ele mesmo escolhido. Por exemplo: o aluno deve efetuar uma seqüência de operações que levem ý obtenção do número oito. Desta forma, se o aluno optar pela seqüência de operações 3+2/2, por exemplo, ele só obterá o direito de avançar 4 casas, o que no caso deste exercício seria a pior opção, pois deixaria o coelho sobre uma casa marcada por uma bomba. Obviamente uma seqüência apropriada seria 3*2+2.
Na análise do tratamento da resposta dada pelo aluno pode-se mostrar a diferença entre os IAC e os TI. Se o sistema desenvolvido fosse um IAC, ele teria que possuir um código específico para cada problema, e tal código teria que conter trechos dedicados para cada uma das possíveis respostas geradas pelos alunos. Desta forma, um IAC que desejasse trabalhar como este TI teria que possuir uma parte do seu código dedicada para as respostas 3+2+2, 3+2-2, 3-2*2 etc. Claro que isto seria extremamente ineficiente e limitador de possibilidades.
No caso do TI, o sistema possui um módulo simulador das possíveis seqüências, e a capacidade de avaliar as opções consideradas por tal simulador. Com isto, o sistema ao invés de ter predefinida a resposta para a opção 3+2/2, por exemplo, teria a capacidade de calcular o resultado desta seqüência e analisar que a mesma levaria a uma péssima situação.
No entanto, esta flexibilidade não é a característica dos TI que mais pode influenciar a formulação de cursos virtuais. Os elementos previstos na forma de atuação dos TI que deveriam chamar a atenção dos projetistas de cursos pela Internet, podem ser encontrados no ciclo efetuado pelos TI diante de uma resposta dada pelo aluno. Em resumo, este ciclo é composto pelos quatro passos seguintes:
1- Caso o aluno tenha acertado em sua resposta, é preciso que o TI formalize tal resposta correta para que o aluno possa aplicar sua solução em outros contextos semelhantes.
2- Caso o aluno apresente uma resposta incorreta, o TI mostra ao mesmo tempo as conseqüências desta resposta e as contradições que a mesma gera.
3- No mesmo caso do passo anterior, é preciso construir a resposta adequada da questão juntamente com o aluno. Para isto, o TI pode se basear em consultas anteriormente analisadas junto ao mesmo aluno.
4- Cabe ao TI atualizar o perfil do aluno quanto a seu conhecimento do conteúdo sendo lecionado, e de acordo com este perfil, estipular quais serão as próximas etapas de estudo deste aluno.
Este ciclo pode ser exemplificado para o caso do TI voltado para a prática de aritmética básica. Para este TI, quando o aluno acerta a seqüência de operações (passo 1 do ciclo), mostra-se, operação por operação, a resolução da seqüência que ele mesmo propôs, e outras alternativas para a obtenção do mesmo resultado.
Para o caso de o aluno ter errado, é preciso mostrar porque a seqüência sugerida não é apropriada. Isto também é feito com o cálculo detalhado da seqüência e mostrando-se que o resultado final obtido está aquém do esperado. Desta forma, uma opção como 3+2-2 seria calculada por partes e depois se mostraria ao aluno que tal número não levaria ao avanço de casas desejado. Isto significa o passo 2 do ciclo.
O TI deve ser capaz de novamente submeter a questão ao aluno caso este não tenha se saído bem em sua tentativa anterior. Isto é feito no passo 3 do ciclo. Para isto, é preciso que o aluno tenha mais subsídios para sua nova resposta. Por exemplo, caso o aluno tenha feito 3+2-2 como opção, cabe ao TI mostrar ao aluno que o total final está muito abaixo do esperado e que operações de soma e multiplicação tendem a levar a resultados maiores, portanto mais próximos das 8 casas desejadas.
O sistema pode acompanhar os vários exercícios que o aluno realizou e "perceber" que o mesmo não se sai bem quando algumas operações são exigidas. Assim, caso o aluno só proponha seqüências com operações de soma e subtração, ele provavelmente tem dificuldade nas demais operações disponíveis para o exercício. Isto levaria o aluno ser visto pelo sistema como pertencente ao perfil dos que precisam mais exercícios de multiplicação e divisão. Com isto, o TI pode individualizar a ordem e a escolha dos exercícios a se atribuir ao aluno. A idéia é exercitar mais os pontos em que este apresentou mais dificuldades. Essas operações formam o passo 4 do ciclo do TI.
4 - Exemplo do Uso de Técnicas de TI em Ensino Virtual
Um exemplo da abordagem de parcialmente se utilizar os conceitos de TI em ensino via Internet pode ser visto em (Moulin et al, 1998). Na visão dos autores a Internet possibilita a interação aluno/professor controlada pelo aluno, em tempo real ou em processo assíncrono. A avaliação verifica as dificuldades dos alunos, procurando identificar as causas e sugerindo soluções e caminhos alternativos. O erro do aluno recebe um tratamento diferenciado que lhe permite conhecer melhor seu crescimento e avançar na direção pretendida.
Desse modo, o aluno ao errar é incentivado a perceber as conseqüências da sua resposta errada, de forma a que, numa próxima tentativa, se aproxime mais da solução ideal. Com a avaliação virtual, também se pretende construir um perfil a respeito do domínio do assunto pelo aluno. Tal perfil, possibilita diagnosticar quais seriam os conceitos em que o aluno possui maior facilidade e em quais o conhecimento é ainda incompleto. O trabalho de Moulin et al (1998) mostra essa filosofia através do ciclo de avaliação feito no curso virtual de Oceanografia I desenvolvido pela UERJ para alunos que recém ingressaram na universidade.
Quando o aluno acerta a questão, ele é levado a formalizar sua opção com uma explicação que será levada ao conhecimento do professor por e-mail. O professor também fica conhecendo a seqüência de tentativas que o aluno seguiu até atingir a resposta correta. Deste modo, o professor pode avaliar o grau de fluência do aluno (e também da turma) nos assuntos tratados.
Tal diagnóstico possibilita ao professor indicar leituras alternativas e complementares sobre o assunto, caso ele decida que o mesmo ainda não está completamente dominado. Por outro lado, serão reduzidas as atividades relacionadas ao assunto, caso o domínio pelo aluno ( e pela turma) esteja plenamente satisfatório.
5 ' Sistema Cooperativo para Ensino e Tutores Inteligentes
Uma alternativa para criação de um ambiente onde perfis de estudantes é fator determinante é proporcionar uma discussão em grupo onde através da casos se faz o aprendizado e a avaliação dos estudantes. Isto é muito comum na forma de exercitar, ensinar e avaliar estudantes de medicina. Por exemplo, a UCCV/FBC/UFBA participa da formação de cardiologistas através do programa de Residência Médica e de disciplinas do curso de Medicina. Esta formação se dá através da assistência a pacientes, aulas, discussão de artigos e sessões onde estudantes e cardiologistas discutem casos de pacientes e temas atuais da especialidade. Esta formação se dá na UCCV/FBC através da assistência a pacientes, de aulas e de sessões onde estudantes, residentes e cardiologistas discutem casos de pacientes e temas atuais da especialidade.
Muitas aulas são para discussão de artigos previamente distribuídos pelo professor e lidos pelos estudantes. As sessões, realizadas semanalmente, são de quatro tipos:
Sessões Clínicas, onde cirurgiões e cardiologistas de diferentes especialidades discutem com internos e residentes casos de pacientes internados visando determinar a conduta mais;
Sessões de Planejamento Cirúrgico, onde cirurgiões e estudantes fazem o planejamento dos procedimentos cirúrgicos a serem adotados;
Sessões de Acompanhamento Cirúrgico, onde cirurgiões e estudantes fazem uma análise das cirurgias realizadas, do seu resultado e do acompanhamento dos pacientes na UTI e na Unidade de Internamento;
Sessões Científicas, onde cardiologistas, residentes e estudantes de medicina discutem temas de atualidade em cardiologia.
Desta situação, onde o aprendizado se faz de forma altamente cooperativa, desenvolveu-se o CardioEducar, um meta-ambiente educacional para Cardiologia, que tem como objetivo oferecer um ambiente integrado através do qual professores, cardiologistas, médicos e estudantes tenham acesso a diversos ambientes educacionais:
Ambiente de Apoio ý Sessão Clínica, com a integração do sistema HiperClínica,já em uso, ao meta-ambiente;
Ambiente de Apoio ý Sessão Científica, também, através da integração da versão específica, já em uso, do HiperClínica ao meta-ambiente;
Ambiente de Apoio ý Sessão de Planejamento Cirúrgico, a ser desenvolvido;
Ambiente de Apoio ý Sessão de Acompanhamento Cirúrgico, a ser desenvolvido;
Ambiente de Apoio ý Discussão de Artigos Científicos em disciplinas do curso de Medicina, ainda a ser desenvolvido;
Ambiente Cooperativo de Discussão de Casos, a ser desenvolvido;
Ambiente de Preparação de Cursos, através da fábrica de autoria de tutores inteligentes hipermídia para Cardiologia (FabriCar) visando o ensino ý distância (a ser desenvolvido).
Além disso, através de CardioEducar, o usuário poderá: ter acesso ao Medline (banco de dados bibliográfico); ter acesso ý Internet; utilizar produtos de software educacionais disponíveis no mercado e integrados ao ambiente; ter acesso a bancos de dados de casos cardiológicos e ter acesso ao Quadro de Avisos, que contém notícias de interesse para a especialidade (Figura 1). .
No projeto CardioEducar, pretende-se conectar estudantes, professores e um tutor inteligente através de uma rede de computadores, onde alunos participam de uma análise coletiva de casos ligados a Cardiologia.
Nesta situação, cabe aos professores e ao TI, acompanhar os alunos e avaliar seus perfis quanto ao conhecimento envolvido nos casos. O TI é capaz de acompanhar a discussão através de um grafo que sintetiza o estágio da discussão, mostrando as hipóteses que foram levantadas, as analogias, os relacionamentos de causa e efeito, e todos os elementos que normalmente compõem uma discussão entre médicos. Tal grafo é resultado do trabalho de um moderador, que mantém atualizado um arquivo em um servidor da discussão.
Outra característica importante do ambiente de discussão sob o CardioEducar, é a forma com que o tutor se posiciona quando há uma análise onde diversas conclusões diferentes podem ser tomadas, conforme a linha de pensamento do especialista. A este problema chamamos de resolução de consenso. Normalmente, em sistemas especialistas (o mesmo valendo para tutores inteligentes) procura-se tomar uma decisão média em relação ao posicionamento dos diversos especialistas que forneceram o conhecimento do sistema. O CardioEducar se propõe a uma nova alternativa. O sistema se apresenta na rede com diversas opiniões como se fossem vários médicos distintos seguindo linhas de raciocínio diferentes. Com isto espera-se que o estudante possa confrontar-se de forma positiva com o debate e a divergência em sua área de atuação.
Figura 1 ' Sistema CardioEducar
6 ' Conclusões
As novas formas de linguagem que a sociedade encontrou e que foram criadas pela assimilação de sons e imagens, combinadas com a linguagem escrita e oral, e que chega até nós através dos meios de comunicação de massa, dentre eles, o rádio e a TV, estão, como conseqüência, mudando substancialmente as relações da sociedade em si, criando novas formas culturais e antropológicas.
Um relacionamento que está sofrendo uma profunda mudança em decorrência desta evolução é o relacionamento da instituição de ensino com o aluno. O ensino virtual a distância pela Internet é sem dúvida um sinônimo desta mudança. Com o advento da Internet, globalizando a comunicação entre os povos, ficou ainda mais fácil para as instituições de ensino, aderirem a essa nova filosofia, que com certeza irá facilitar a implantação de diversos cursos, em todos os níveis de educação e em qualquer ponto geográfico do planeta.
Porém as Instituições deverão no primeiro momento, preparar o seu corpo docente para essa nova era, montando cursos de atualização na nova metodologia de ensino e aprendizagem, comprar equipamentos de informática e fazer o treinamento do corpo docente e do pessoal de apoio, na área de informática, e montar um Site na Internet para divulgação do seu material.
Estes requisitos são indispensáveis e os mais importantes para o sucesso na implantação de uma Universidade Virtual. Aliados a estes requisitos, vêm as formas de como elaborar os diversos materiais didático - pedagógicos para que os alunos possam ter bom proveito e enriquecimento do saber.
Existe toda uma técnica específica para a elaboração destes materiais. Esta técnica não deve ser criada como se os objetivos tradicionais do ensino não virtual não pudesse servir de base para novas contextualizações decorrentes de novas ferramentas. Por exemplo, a necessidade de individualização do ensino continua tão premente como nunca. Conforme visto neste trabalho, identificação de perfis de alunos, para uma forma apropriada de tratar os erros e fazer avaliações dos alunos, é uma preocupação antiga de cursos presenciais e não presenciais que agora se tornam também muito relevantes no ensino via Internet.
CLANCEY, A. Knowledge based tutoring: the guidon program. Cambridge: MIT Press,1986.
MONAT, André & BEZERRA, Aprígio (1996). Sistema inteligente para ensino de conceitos lógicos. Cadernos de Resumos. Workshop de Educação e Tecnologia. Nova Friburgo, agosto de 1996.
MOULIN, N.; MONAT, A.; e PEREIRA, V. Desatando nós: avaliação de ensino a distância. In: II Jornadas de Educação a Distância MERCOSUL: O presente e o futuro da EAD no MERCOSUL ' cenários e experiências. Fortaleza: Fundação Demócrito Rocha, 1998, p.181-190.
ROCHA, A. R.C.; E. RABELO, e MONAT, A. S. CardioEducar: um meta ambiente para desenvolvimento de software em Cardiologia. Projeto PROTEN-CC /CNPq, 1999. (Financiado pelo CNPq.)