PLANEJANDO A AVALIAÇÃO - ppt carregar
PublicouYasmin Jose Alterado mais de 3 anos atrás
Apresentação em tema: "PLANEJANDO A AVALIAÇÃO"— Transcrição da apresentação:
1 PLANEJANDO A AVALIAÇÃO
2 PLANEJANDO A AVALIAÇÃO
Por que iniciar um processo de Avaliação ? Qual o seu propósito e que perguntas irá responder? Qual será o uso dado às conclusões? Por quem? O que deve ser avaliado, qual o objeto ? Você está interessado em avaliar o processo, os resultados ? Qual será o papel dos envolvidos? Quem vai participar? Quem tem condições de ajudar na avaliação? Será necessário avaliador externo? Existem recursos e tempo para avaliação? O Programa ou Projeto já foi avaliado? Qual o clima político e o contexto em torno da Avaliação? COMO DEFINIR O FOCO DA AVALIAÇÃO ? COMO DEFINIR O FOCO DA AVALIAÇÃO ?
3 PLANEJANDO A AVALIAÇÃO
AVALIADORES EXTERNOS - menos parciais em seus julgamentos; credibilidade, especialistas por demandas específicas, dirigem um "novo olhar" facilita e enriquece a coleta de dados mais controversos/conflituosos menos pressão em caso de resultados pouco populares. AVALIADORES INTERNOS - maior conhecimento sobre o modelo e história do projeto; profundidade quanto aos interesses e preocupações dos interessados; conhecem a dinâmica dos processos decisórios e identifica as pessoas chave; continua na organização podendo seguir esforços; maior rapidez na avaliação; capacidades e limitações bem conhecidas. AVALIADORES EXTERNOS E INTERNOS - a parceria incorpora as vantagens de cada uma e gera aprendizagem para uso institucional no futuro. QUEM DEVE CONDUZIR A AVALIAÇÃO ?
4 PLANEJANDO A AVALIAÇÃO
2. IDENTIFICAÇÃO DOS INTERESSADOS MARCO ZERO As pessoas, os grupos ou as instituições que têm interesse ou são diretamente afetados pelo programa / projeto ou pela avaliação que se pretende implementar. Público - Alvo ; Agentes Sociais relevantes ( ex: líderes formais ou informais e as famílias, etc) PROCESSO O Conteúdo : conceitos, objetivos e visões que orientam a concepção do projeto; A Interação : relações humanas internas e externas ( especialmente com o público-alvo ); Os procedimentos : o método e a técnica adotada na execução das ações. RESULTADOS Todos os envolvidos : ( ex. crianças, famílias, os representantes da comunidade, a própria instituição responsável pelo projeto, parceiros e as instituições financiadoras ).
5 PLANEJANDO A AVALIAÇÃO
COMO ELABORAR UMA MATRIZ AVALIATIVA 1 PERGUNTA AVALIATIVA 2 INDICADORES QUALITATIVOS E QUANTITATIVOS 3 FONTES DE INFORMAÇÃO 4 MÉTODOS PARA COLETA DE DADOS PROCEDIMENTOS PARA COLETA DE DADOS (AMOSTRA, ESTRATÉGIAS, CRONOGRAMA 5 6 MÉTODOS PARA ANÁLISE DOS DADOS 7 ESTRATÉGIAS DE INTERPRETAÇÃO PROCEDIMENTOS PARA DIVULGAÇÃO PÚBLICOS , CONTEÚDO, FORMATO E CRONOGRAMA 8 9 ORÇAMENTO
6 1. SELEÇÃO DAS PERGUNTAS 1ª FASE - DIVERGENTE
- é elaborada uma lista de "todas" ou de "muitas" perguntas consideradas importantes para quem está solicitando a Avaliação, para quem está financiando, para quem trabalha no projeto, para quem é atendido e suas respectivas famílias, para lideranças locais onde o projeto é desenvolvido , e outros. INSTRUMENTOS : reuniões de grupo, entrevistas Individuais e até conversas informais são abordagens mais indicadas para se chegar a essa ampla lista de perguntas. é o esforço para selecionar dessa grande lista as perguntas que deverão ser efetivamente respondidas pela Avaliação. CRITÉRIOS : Grau de importância da pergunta para os interessados; Possibilidade de reduzir dúvidas existentes ou produzir informa- ções novas, não disponíveis no momento; Oportunidade de produzir informações relevantes, que podem influenciar decisões; Foco em aspectos críticos – referência de longo prazo; Influência no alcance e nos objetivos da Avaliação ; Viabilidade no tempo e com os recursos financeiros, humanos e metodológicos disponíveis. 1ª FASE - DIVERGENTE 2ª FASE - CONVERGENTE
7 MATRIZ PARA SELEÇÃO DAS PERGUNTAS Perguntas Avaliativas
CRITÉRIOS Perguntas Avaliativas Fase Divergente 1 2 3 4 5 6 N A pergunta é relevante para os interessados? Contribui para diminuir dúvidas e trata de informações que não estão disponíveis? Possibilita gerar informações que facilitam tomada de decisões operacionais de política? Está centrada em elementos críticos e de interesse constante e não passageiros? Os objetivos ou a amplitude seriam comprometidos sem ela? É possível responder a esta pergunta com os recursos financeiro e de pessoal disponíveis? É possível responder esta pergunta com os métodos e as tecnologias disponíveis? É possível responder a esta pergunta dentro do tempo que se dispõe? RESULTADO FINAL ( somatório de respostas positivas )
8 se coletar as informações. ROTEIRO PARA PRIORIZAÇÃO DOS INDICADORES
2. IDENTIFICAÇÃO DOS INDICADORES Ao serem selecionadas as perguntas, faz-se necessário em seguida pensar em respondê-las. Identificar as informações para se chegar às respostas e estratégias mais adequadas para se coletar as informações. Os INDICADORES são referências que ajudam a responder às Perguntas Avaliativas. São elementos concretos que indicam a medida de sucesso ou fracasso em relação aos processos e resultados esperados. São observáveis na realidade, vão orientar os métodos da coleta de informações. ROTEIRO PARA PRIORIZAÇÃO DOS INDICADORES O indicador proposto é suficientemente representativo? Estão referenciados a partir dos objetivos, metas e ações? O indicador é aceito por ampla gama de especialistas internos e externos ? O indicador é compreensível para os não especialistas ?
9 QUALIDADE DOS INDICADORES :
TIPOS DE INDICADORES : QUANTITATIVOS: medir "o que acontece/aconteceu" (deve mostrar a extensão da questão objeto da avaliação e as características da população alvo). QUALITATIVOS: analisar "como e porque acontece/aconteceu" ( deve explorar um problema e suas possíveis soluções). QUALIDADE DOS INDICADORES :  Simplicidade  Confiabilidade  Validade  Verificabilidade  Disponibilidade / Acessibilidade  Robutez  Sinteticidade  Discriminatoriedade  Cobertura
10 INDICADORES DO PROJETO
ETAPAS DO PROJETO INDICADORES DO PROJETO 7. Avaliação de Resultados do Projeto 7. Usuários com novas percepções, mais autoconfiantes e com auto estima elevada. 6. Avaliação do comportamento e atitudes dos profissionais 6. Profissionais oferecendo maior diversidade de atividades e abertos a escolhas de atividades pelos usuários. 5. Avaliação dos conhecimentos adquiridos 5. Profissionais demonstrando novos conhecimentos adquiridos. 4. Avaliação do grau de satisfação dos participantes 4. Satisfação dos participantes quanto as atividades expressa em instrumentos preenchidos ao final das atividades. 3. Avaliação da participação (numérica e de envolvimento) dos participantes 3. Percentual de participação nas atividades e registros de observação quanto ao grau de participação. 2. Implementação das Atividades previstas 2. Cumprimento das atividades previstas no projeto, bem como atividades não previstas realizadas. 1. Recursos físicos, financeiros, pessoas e conhecimento disponibilizados 1. Grau de disponibilização e uso de recursos físicos, financeiros, pessoas e conhecimentos disponibilizados.
11 OBJETIVO PERGUNTA AVALIATIVA INDICADOR ( ES )
Avaliar o Resultado do Projeto X. " Cultura em Foco" A cultura como instrumento para formação integral das novas gerações. Trabalha com jovens no horário alternado à escola com ações na área de cultura e arte como apoio á escolarização. EX: 1ª Qual é o percentual de promoção de séries das crianças envolvidas no Projeto ? 2ª Em que medida as crianças apresentam mudanças sócio-culturais e comportamentais relacionadas à convivência na escola e no contexto familiar ? Trata de informações quantitativas , sem alto grau de dificuldade para seu desdobramento em Indicadores Aprovação escolar; Evasão escolar. Exige um esforço maior e devem ser propostos por educadores e outros especialistas da área envolvidos no Projeto. Retoma os dados do MARCO ZERO para identificar os comportamentos que eram alvo de determinadas questões e devem ser modificados com a intervenção do Projeto Gosto pela leitura e pela escrita; Domínio da linguagem oral; Capacidade de resolver problemas no cotidiano; Capacidade de adotar regras de conduta; Capacidade de ouvir o outro; Capacidade de lidar com diferenças; Capacidade para participar de atividades em grupo; Incorporação e hábitos culturais; Afetividade junto à família; Auto estima; Sociabilidade.
12 OBJETIVO GERAL : Ampliar o grau de satisfação e motivação dos professores da 2ª CRE do Município de Florais com vistas a imprimir maior qualidade aos processos de aprendizagem dos alunos e reduzir os indicadores retenção e evasão escolar da 2ª CRE. OBJETIVO ESPECÍFICO ATIVIDADES INDICADORES QUANTITATIVOS QUALITATIVOS Qualificar professores nas áreas de Planejamento, novas Metodologias e formas de Avaliação escolar da 2ª CRE. Realizar Visitas Técnicas a outras Unidades Escolares e projetos similares que atuam de forma Número de Visitas realizadas; Freqüência Assiduidade dos participantes; Participação; Motivação; Comportamento Propositivo; Capacidade de articulação com as questões do cotidiano escolar. Cursos de Capacitação nas áreas de Planejamento Escolar; Novas Metodologias e Processos de Avaliação Desempenho (grau ) obtido nos Trabalhos de Avaliação de cada Módulo; Freqüência e Assiduidade; Número (percentual) de ingressantes e concluintes. Participação, Aquisição de novos conhecimentos; Interação espírito de equipe; Liderança; Autonomia; Desenvolver Oficinas para potencializar novas habilidades pedagógicas que atuem como eixo motivacional e de elevação da auto estima que incidam nas práticas de ensino. Número de Oficinas e realizadas; Freqüência e Assiduidade dos participantes; Aquisição de novas habilidades pedagógicas; Auto Estima; Capacidade de socialização dos conhecimentos e experiências; Produção de práticas criativas de ensino Realizar Grupos Focais entre Professores, Equipe e Direção visando monitoramento e avaliação das ações desenvolvidas. Número de Grupos e realizados; Instrumentos aplicados; Relatórios produzidos; Depoimentos individuais e grupais; Nível de satisfação com o trabalho realizado;
13 OBJETIVO PERGUNTA AVALIATIVA INDICADOR ( ES ) RESULTADO IMPACTO
Avaliar o Resultado e o Impacto do Projeto X. EX: Quais os Efeitos e Impactos do Projeto X implantado em 10 comunidades da Zona Norte da Cidade do RJ para atender jovens evadidos do ensino fundamental, sem atividade laboral e sem qualificação profissional durante o período 1999/2002 ? Conclusão do ensino fundamental; Capacitação para o mundo do trabalho; Empregabilidade; Elevação da renda familiar; Acesso aos bens e à rede de Serviços Locais; Ressignificação das relações afetivo-familiares e comunitárias; Mudança de hábitos e padrões de risco; Outras formas de inclusão e conquistas evidenciadas. Elevação dos índices de escolarização; Elevação dos níveis de renda e maior atividade econômica local; Redução dos índices de mortes por causas externas ( violentas ); Redução dos índices de incidência/reincidência de jovens envolvidos em conflitos com a lei; Participação comunitária; Fortalecimento da rede protetiva local; Implantação de políticas/programas intersetoriais voltados para jovens; Implicações ecológicas; Educação ambiental.
14 PERGUNTA AVALIATIVA INDICADOR ( ES )
Programa Inter Ação Objetivo Ampliar as oportunidades de inclusão social de crianças e adolescentes que vivem em situação de risco na cidade do RJ. 1ª Em que medida o Projeto está conseguindo contribuir para o desenvolvimento físico adequado das crianças e adolescentes atendidos ? Existência de estratégia adequada para acompanhamento periódico da curva de crescimento (peso e altura) ; Percentual de crianças e adolescentes na faixa normal da curva de crescimento; Existência de estratégias adequadas para atendimento especial face a problemas de crescimento e/ou nutrição; Percentual com problemas de crescimento que estão recebendo atendimento especializado. 2ª Em que medida o Projeto contribui para o desenvolvimento cognitivo e de habilidades e competências necessárias para o sucesso das crianças na escola e na vida ? Desenvolvimento do gosto pela leitura, pela escrita e domínio da língua oral; Desenvolvimento de raciocínio lógico e capacidade resolutiva para o cotidiano; Desenvolvimento de regras de conduta, habilidades para trabalhar diferenças, ouvir o outro , trabalhar em grupo e criatividade; Evolução das notas escolares, percentual de aprovação, de matriculados na escola e de evasão escolar.
15 3. SELEÇÃO DAS FONTES DE INFORMAÇÃO
Continuando o processo para responder às PERGUNTAS AVALIATIVAS, é o momento de se determinarem quais as FONTES que poderão oferecer as INFORMAÇÕES necessárias sobre os INDICADORES. Deve-se tomar cuidado com a tendência de achar que sempre é necessário coletar novas informações. MUITAS VEZES JÁ EXISTEM ( documentos oficiais do projeto, fichas individuais, etc ) e só PRECISAM SER ORGANIZADAS . É preciso IDENTIFICAR ONDE será possível CONSEGUIR AS INFORMAÇÕES e/ou QUEM PODERÁ FORNECÊ-LAS, para seguir no processo de seleção dos métodos e instrumentos mais adequados.
16 FONTES PRIMÁRIAS FONTES SECUNDÁRIAS
Todo material que não recebeu uma tratamento analítico ( proveniente dos sistema de informação e registro convencional e cotidiano da organização – contábil, financeiro, gerencial, fiscal, registros de produção e serviços prestados, comercialização, administração de pessoal, registros de clientes, etc;) Todo o material recolhido pela própria ou por outras pesquisas – entrevistas e observações; material oriundo da documentação formal e informal – referente à constituição e manutenção da organização RECURSOS : Registros e bancos de dados estatísticos produzidos por organizações públicas e privadas- IBGE, FGV, DIEESE, IDH, IPEA, etc; Material e documentos de comunicação de massa ( jornais, revistas, etc). Material e os documentação pessoal cartas, diários, biografias, fotos, etc FONTES PRIMÁRIAS FONTES SECUNDÁRIAS São aquelas que passaram por alguma forma de elaboração analítica. São constituídos principalmente por livros, teses, dissertações, monografias e artigos científicos, técnicos e profissionais, na forma de papel ou em meio de registro computacional. RECURSOS : Os recursos secundários convencionais são: Bibliotecas, Institutos de Pesquisa e Formação, Bancos de Dados e a Internet.
17 3. SELEÇÃO DAS FONTES DE INFORMAÇÃO
FONTES MAIS USADAS: Destinatários do Projeto/Programa ( público alvo ) Implementadores do Projeto/Programa (AS, professores, instrutores,etc) Pessoas que se relacionam com os destinatários ( família, supervisores, colaterais, etc) Gestores Pessoas ou grupos que poderiam ser afetados (público em geral, instituições, futuros participantes, etc) Legisladores Financiadores Pessoas com conhecimentos especializados do conteúdo, metodologia) Dados documentais existentes (banco de dados, arquivos, documentos. Eventos ou atividades que podem ser observados diretamente.
18 4. SELEÇÃO DE MÉTODOS E INSTRUMENTOS
4.1	DADOS COLETADOS DE PESSOAS IDENTIFICADAS COMO FONTES DE INFORMAÇÃO - Questionários, Entrevistas , Grupo Foco , Testes ,Simulação / Debates Exemplo de trabalho realizado ( redação, Desenhos ) 4.2	DADOS COLETADOS POR MEIO DE OBSERVADOR INDEPENDENTE Relatórios narrativo-descritivos, Roteiros de Observação 4.3 DADOS COLETADOS ATRAVÉS DE APARATOS TECNOLÓGICOS - Gravação de áudio, Gravações de vídeo, Séries de fotografias; Outros aparelhos automáticos 4.4	DADOS COLETADOS A PARTIR DE INFORMAÇÕES EXISTENTES - Revisão de documentos públicos ( relatórios governa-mentais, publicações, etc ) - Revisão de documentos institucionais ( projeto original, relatórios anuais, fichas, atas, publicações.
19 MÉTODO PROPÓSITO VANTAGENS DESAFIOS Questionários ( Survey)
Adquirir de modo mais rápido e fácil grande quantidade de informações ( pode ser aplicado individualmente, grupo, correio, ,etc) Pode medir atitudes, opiniões, circunstâncias de vida, etc É anônimo; Pode incluir questões abertas, fechadas, mistas; Custo razoável / baixo; Administra grande quantidade de pessoas; Adquire grande quantidade de dados. Pode não levar a uma avaliação cuidadosa; Formulários podem influenciar respostas; É impessoal. Dá margem a influência do " desejo de nivelamento social". Entrevistas Entender de forma completa impressões, experiências. Flexível e qualitativo com possibilidade de variações no processo. Informação de maior abrangência; Desenvolve relação com o sujeito respondente. Pode ocupar muito tempo; pode ser de difícil análise e comparação; Pode ter custo alto; o entrevistador pode influenciar as respostas e levar muito tempo Grupo Foco Explora uma questão a fundo, reações, percepções, experiências, sugestões, reclamações com o propósito de obter informações qualitativas.Conduz à discussão. É um método rápido; Eficiente para grande gama de informações em menos tempo; Pode se ter como informação fundamental no programa,projeto. Pode ser de difícil análise ; Precisa de um moderador/ facilitador e observador; Pode ser de difícil programação Depende de seleção criteriosa Informações podem ser generalizadas. Observação Colher a informação mais precisa em relação ao programa ou projeto operando em relação aos processos. Capta comportamentos mais natural. Percepção de como as situações estão ocorrendo realmente; Pode se adaptar a diferentes eventos; Baixa interferência. Pode ser muito complexo polarização pelo observador Pode colocar as observações por categorias; Pode influenciar o comportamento dos participantes; Pode ter alto custo.
20 Estudo de Caso Revisão de Documentos
MÉTODO PROPÓSITO VANTAGENS DESAFIOS Estudo de Caso Entender de forma mais completa ou descrever as experiências dos sujeitos respondentes; administrar a comparação através dos casos. Descreve de forma mais completa a experiência do sujeito em relação ao programa/ projeto, seus processos e resultados; Pode fazer a replicagem do programa/ projeto de melhor forma. Pode consumir muito tempo para levantar, organizar e descrever informações; Pode ter maior profun-didade na informação levantada, em função ao seu tamanho. Revisão de Documentos Possibilita ter uma impressão de como está o programa/projeto sem interrompê-lo, revisando a aplicação dos recursos e rotinas em geral. Adquire informações exclusivas e históricas; Não interrompe as ações; informação já existente; Tem pouca influência sobre a informação; Informação estável. Ocupa muito tempo; a informação pode estar incompleta; Requer clareza sobre o que se está buscando; Não é flexível, se restringe aos dados existentes.
21 5. COLETANDO INFORMAÇÕES QUANTITATIVOS E QUALITATIVOS.
No momento da coleta de informações, o papel do avaliador é o de criar as condições e os meios para que as informações necessárias sejam levantadas. Os métodos facilitam a busca e formulação da informação de qualidade. Estão divididos em: QUANTITATIVOS E QUALITATIVOS. QUANTITATIVOS  Aqueles que podem ser expressos em números, dando uma visão objetiva;  Este método é mais usado em pesquisas demográficas e se constituem em bases importantes para acompanhamento de crescimento populacional, natalidade, etc  Em projetos sociais pode considerar números referentes a produtos: cursos, palestras, consultas, etc,  Possibilita quantificar também o nº de participantes das diferentes atividades ( perfil, condição socioeconômica, idade, sexo, etc ) QUALITATIVOS  São importantes para auxiliar na formulação de hipóteses, complementar e aprofundar a análise de informações quantitativas e buscar significância dos eventos. ( mudanças de comportamento, auto estima, aquisição de habilidades, etc )
22 5. COLETANDO INFORMAÇÕES viabilidade, relevância e utilidade.
OBSERVAÇÕES IMPORTANTES: Após escolha dos métodos, revisar o conjunto para refletir sobre a coerência, viabilidade, relevância e utilidade. Perguntas: Os procedimentos para a coleta de dados não ferem princípios éticos?  Os custos envolvidos com cada método de coleta de dados são justifi- cados pela quantidade e qualidade das informações que serão produzidas ?  Os dados poderão ser coletados sem atrapalhar muito o dia a dia do programa/projeto ?  É possível aplicar os métodos planejados dentro do tempo disponível para a avaliação ?  As informações a serem coletadas são válidas e confiáveis ?  O planejamento para a coleta de dados leva em consideração possíveis informações necessárias que já estejam disponíveis ?
23 6. AMOSTRAGEM TIPOS DE AMOSTRAGEM
Para viabilizar a coleta de dados e responder às perguntas avaliativas é preciso selecionar parte de uma população para um estudo, uma AMOSTRA A Amostragem não é necessária em todas as avaliações. Se a população ou grupo for pequeno, é aconselhável coletar informações de todos. Em sendo necessária, o avaliador deve determinar o tamanho adequado dela. Tanto a variabilidade do fenômeno a ser examinado quanto o grau desejado de precisão afetam o tamanho da amostra ( Krejcie Morgam, 1980) TIPOS DE AMOSTRAGEM Seleção com base na facilidade de acesso e pouca preocupação com a composição da amostra como um todo. Neste tipo há muita probabilidade de equívocos ( ex: pesquisa de opinião em shopping) Acidental ou por Conveniência É obtida com base em determinadas finalidades ou julgamentos. Podem ser úteis para fins descritivos, mas é preciso cuidado para não usá-las para estender os resultados para além do grupo do qual os dados foram coletados. . Intencional ou por Julgamento
24 TIPOS DE AMOSTRAGEM Probabilística Permite generalizar os resultados para a população da qual a amostra foi retirada É necessário definir a população de interesse para a avaliação e especificar a unidade de amostragem. Possui duas variantes: Aleatória Estratificada – é usada quando o avaliador está interessado em examinar as diferenças entre subgrupos da população, alguns dos quais tão pequenos podem não ser representados em números suficientes numa amostragem aleatória simples. Aleatória por Aglomerados – é usada mais frequentemente em estudos nacionais com o objetivo de economizar custos. Envolve a retirada de uma série de amostras aleatórias de aglomerados geográficos ( Ex: blocos ou zonas eleitorais em lugar de unidades individuais) Aleatória Simples
25 É o plano segundo o qual uma amostragem deve ser escolhida
TERMOS ESPECÍFICOS EM AMOSTRAGEM Unidade de Amostragem É um elemento ou conjunto de elementos da população alvo que podem ser individuais Ex: sala de aula, escritório, departamentos, etc ) Plano de Amostragem É o plano segundo o qual uma amostragem deve ser escolhida Seleção de Amostragem É a definição real e listagem das unidades específicas da amostragem a ser observada. É a lista, o mapa ou catálogo ou outra fonte na qual as unidades da amostragem são definidas e com base na qual um conjunto de unidades é selecionado. É útil principalmente se o método de coleta exigir entrevistas ou observações face a face. Base de Amostragem
26 6. ESTABELECENDO A AMOSTRA
Listar os nomes das pessoas que potencialmente farão parte da amostra; Usar uma escolha aleatória ( não viciada ); Utilizar " amostra por juízo" se for o caso – a equipe seleciona os casos que poderão representar o universo de pessoas; Garantir a diversidade; É desejável que a amostra seja a maior possível. 2. COMPARAÇÃO CONTEXTUALIZADA Comparação crítica entre as implicações e os interesses sociais envolvidos. Em geral é mais utilizada em estudos qualitativos e pode também incluir métodos quantitativos – TRANGULAÇÃO.
27 6. ESTABELECENDO A AMOSTRA
EX : TABELA 1 Nº TOTAL DO GRUPO Nº SUGERIDO PARA A AMOSTRA PERCEMTAGEM 100 15 15 % 200 20 10 % 500 50 1.000 5 %
28 6. ESTABELECENDO A AMOSTRA
EX : TABELA 2 TAMANHO DA POPULAÇÃO AMOSTRA 10 60 52 200 132 25 24 80 66 300 169 35 32 100 400 196 50 44 150 108 500 217
29 7. MÉTODOS DE ANÁLISE ESTRATÉGIAS DE ANÁLISE
DESENHO EXPERIMENTAL : Dados Quantitativos e Análise Estatística ; Seleção aleatória dos participantes / sorteio; Comparações entre os 2 grupos para identificar e explicar possíveis diferen-ças por meio de análises estatísticas; DESENHO DE ESTUDO QUALITATIVO : Dados Qualitativos e Análise de Conteúdo; Seleção segundo critérios da Coordenação do Projeto – coleta de dados - entrevistas no início ,durante e ao final ; Identificar através da análise de conteúdo as experiências e características que os participantes e o staff trazem; Indicação de padrões de mudanças nos participantes a partir do staff e avaliadores. MISTURA : Desenho Experimental, Dados Qualitativos e Análise de Conteúdo Seleção por sorteio ( formação de grupo experimental – participante e de controle – não participantes ); Extensas entrevistas com todos os participantes do início ao final; Análise de conteúdo dos dados dos dois grupos que são então comparados.
30 ESTRATÉGIAS DE ANÁLISE
MISTURA 2 : DESENHO EXPERIMENTAL, DADOS QUALITATIVOS E ANÁLISE ESTATÍSTICA Seleção aleatória ( grupo experimental-participante e de controle – não participantes) ; Entrevistas extensas no antes do início e ao final do projeto com cada beneficiário; Instituição de grupo de juizes que deverão refletir sobre as entrevistas e numa escala de 1 a 10, dar uma nota as diferentes dimensões que o projeto pretende influenciar ( ex: probabilidade de ter atitudes saudáveis– nota 1=baixa e 10= alta); Análise estatísticas para comparar os resultados dos 2 grupos. MISTURA 3 : DESENHO QUALITATIVO E ANÁLISE ESTATÍSTICA A diferença do anterior está na escolha de um terceiro grupo para atuar como juízes com atribuição de notas para cada atividade realizada; As notas são baseadas em dados qualitativos visando dar idéia da ambiência em que o projeto se desenvolveu.
31 ESTRATÉGIAS DE ANÁLISE
MISTURA 4 : DESENHO QUALITATIVO, DADOS QUANTITATIVOS E ANÁLISE ESTATÍSTICA. Seleção de acordo com critérios da Coordenação. A equipe de Avaliação sem categorias de análise preestabelecida sobre aspectos importantes a serem acompanhados no projeto; Realiza uma série de observações de eventos e atividades, a equipe de avaliação tenta identificar comportamentos e interações entre os participantes que deverão ser acompanhados; As atividades do projeto são então julgadas a partir dos relacionamento estatístico entre freqüência de ocorrência dos comportamentos e das características específicas das atividades e os números - de pessoas participando, a duração, a quantidade de staff, etc .
32 ANALISANDO E INTERPRETANDO INFORMAÇÕES
Ao final do processo de coleta, há uma grande quantidade de informações brutas que precisam ser lapidadas para elaborar as sínteses para uso dos avaliadores. COMO ANALISAR DADOS QUANTITATIVOS ? É preciso decidir entre os métodos descritivos ou inferências ( comparativos, analíticos ) para responder as perguntas; Explorar ao máximo os dados disponíveis utilizando estatística descritiva, que envolve basicamente números e percentuais apresentados em tabelas e gráficos.
33 ANALISANDO E INTERPRETANDO INFORMAÇÕES
COMO ANALISAR DADOS QUALITATIVOS ? Pode variar da análise quantitativa da ocorrência de temas ou categorias preestabelecidas ou criadas a partir dos dados coletados até descrições narrativas profundas sobre o objeto avaliado.  Agrupar as respostas em categorias e calcular a freqüência de respostas; Possibilidade de uso de análise no campo – no decorrer da coleta , refletir identificando aspectos para serem aprofundados e explorados na avaliação. Identificar os temas e conclusões preliminares ( para cada hora de coleta, 1 hora para análise);  Certificar-se de que os dados disponíveis respondem as perguntas avaliativas;  Fazer cópias eletrônicas organizando os dados por tópicos ou categorias;  Buscar as causas, conseqüências e inter-relações;  Exame das interpretações contraditórias das exceções; Triangulação – comparação entre os dados qualitativos com os quantitativos, das diferentes fontes e das diferentes perspectivas dos observadores; Identificar possíveis distorções causadas por valores, comportamento e perspectivas dos avaliadores;  Qualidade dos dados disponíveis; Reações dos diferentes interessados em relação aos dados coletados e à análise desenvolvida;  Rigor intelectual.
34 ANALISANDO E INTERPRETANDO INFORMAÇÕES
COMO INTERPRETAR OS RESULTADOS ?  Determinar se os objetivos do projeto foram alcançados; Determinar se as necessidades identificadas inicialmente pelo projeto foram reduzidas; Solicitar a grupos ou profissionais de referência na área façam uma revisão crítica; Comparar resultados encontrados com os outros projetos ou iniciativas do mesmo tipo desenvolvidas por outras organizações; Interpretar os resultados atentando para as possíveis limitações dos procedimentos e métodos que foram utilizados para produzi-los.
35 METODOLOGIA DA ANÁLISE DE CONTEÚDO
Tem como suporte instrumental qualquer tipo de mensagem, formas de expressão dos sujeitos sociais, e como produto, um conhecimento não linear. Sua derivação se dá pela observação social do objeto de estudo, onde o tempo e a circularidade da comunicação são considerados significativos; Constitui-se numa forma de olhar para as comunicações que dependendo da postura teórica, política e cultural do avaliador , poderá conduzir à produção de um novo conhecimento, onde a história e a cultura se fazem presentes; Se apresenta como uma proposta metodológica dinâmica que se faz permanentemente por meio de uma interação contínua com o analista; A ANÁLISE DE CONTEÚDO é entendida como TÉCNICA DE COMPREENSÃO, INTERPRETAÇÃO E EXPLICAÇÃO das formas de COMUNICAÇÃO ( escrita, oral ou icônica – gestual ) .
36 ANÁLISE DAS RELAÇÕES  designa técnicas que preocupam-se
OBJETIVO  Ultrapassar o nível do senso comum e do subjetivismo na interpretação de documentos, textos literários, biografias, entrevistas ou observação. Do ponto de vista operacional, a ANÁLISE DE CONTEÚDO relaciona estruturas semânticas ( SIGNIFICANTES ) com estruturas sociológicas ( SIGNIFICADOS ) dos enunciados. TÉCNICAS : ANÁLISE DAS RELAÇÕES  designa técnicas que preocupam-se com as relações que os vários elementos mantêm entre si, dentro de um texto. Principais modalidades a de CO-OCORRÊNCIAS  procura extrair de um texto as relações entre as partes de uma mensagem e assinala a presença simultânea ( co-ocorrências ) de dois ou mais elementos na mesma unidade de contexto. Sua maior utilidade tem sido no esclarecimento das estruturas da personalidade, na análise das preocupações latentes tanto individuais como coletivas, para análise de estereótipos e de representações sociais a ESTRUTURAL  tem por pressuposto a crença na existência de estruturas universais ocultas sob a aparente diversidade dos fenômenos. Os estruturalistas buscam o imutável e permanente sob a heterogeneidade aparente Por trás dessa busca está a noção de sistema.
37 ANÁLISE DA EXPRESSÃO  existe uma correspondência entre o tipo de discurso e as características do locutor e seu meio. Trabalha com indicadores lexicais ( palavras, significados ) , com estilo e encadeamento lógico, com o arranjo das seqüências, com a estrutura da narrativa. Sua aplicação mais comum tem sido na investigação da autenticidade dos documentos, para a psicologia clínica, análise de discursos políticos e /ou persuasivos. ANÁLISE DE AVALIAÇÃO OU REPRESENTACIONAL  tem por finalidade medir as atitudes do locutor enquanto aos objetos de que fala ( pessoas , coisas, acontecimentos ). Seu pressuposto é de que a linguagem representa e reflete quem a utiliza . ANÁLISE TEMÁTICA  consiste em descobrir os núcleos de sentido que compõem uma comunicação cuja presença ou freqüência signifiquem alguma coisa para o objetivo analítico visado. Quantitativamente se encaminha para a contagem de freqüência das unidades de significação e, Qualitativamente a presença de determinados temas denota os valores de referência e os modelos de comportamento presentes no discurso.
38  ANÁLISE DA ENUNCIAÇÃO  apoia-se numa concepção de comuni-cação como processo e não como um dado estático, e do discurso como palavra e ato. Considera que na produção da palavra elabora-se ao mesmo tempo um sentido e operam-se transformações. Trabalha com: a ) as condições de produção da palavra ( triangulação entre o locutor, seu objeto de discurso e o interlocutor ); b ) o continente do discurso e suas modalidades , que se dá através : análise sintática e paralinguística ( tons de voz e sons que permitem saber o estado em que o falante se encontra ); análise lógica , estudo do arranjo do discurso; análise dos elementos formais atípicos : silêncio, omissões, ilogismos ; realce das figuras de retórica. A Entrevista Aberta é o material privilegiado da análise da enunciação, no sentido de que se trata de um discurso dinâmica. Em termos operacionais segue o seguinte roteiro : Estabelecimento do Corpus : delimitação do número de Entrevistas, leva em conta a questão central do objeto da pesquisa para delinear o corpus ; Preparação do Material : cada texto ( entrevista ) é uma unidade básica ( a transcrição deve conservar os silêncios, lapsos, repetições, sons, etc ); As Etapas de Análise : cada Entrevista é submetida a tratamento como uma totalidade organizada e singular. São observados o alinhamento e a dinâmica do discurso para se encontrar a lógica; o estilo e os elementos atípicos .
39 ANÁLISE DO DISCURSO  articula 3 regiões do conhecimento :
a ) o Materialismo Histórico como teoria das formações sociais e suas transformações estando incluída aí a Ideologia ; b ) a Lingüística enquanto teoria dos mecanismos sintáticos; c ) a Teoria do Discurso como teoria da determinação histórica dos processos semânticos . O Objetivo básico é realizar uma reflexão geral sobre as condições de produção e apreensão da significação de textos produzidos nos diferentes campos: religioso, filosófico, sócio-político, jurídico Visa compreender o modo de funcionamento, os princípios de organização e as formas de produção social do sentido. Pressupostos básico: O sentido de uma palavra, de uma expressão ou de uma proposição não existe em si mesmo, mas expressa posições ideológicas em jogo no processo sócio-histórico no qual as palavras, as expressões e proposições são produzidas;
40 8. DIVULGANDO E USANDO OS RESULTADOS DA AVALIAÇÃO
Relatórios escritos elaborados a partir dos públicos; Combinar os Relatórios escritos com Apresentações e discussões orais; Ensaios de fotografias, relatos gravados em áudio, produção de vídeos, slides, transparências, histórias em quadrinhos, apresentação de testemunhos e apresentações de peças teatrais; Relatórios Escrito; Resumo Executivo da avaliação de 2 a 6 páginas, devendo conter os principais resultados encontrados, as interpretações importância dos resultados e recomendações; Introdução Descrição do foco da avaliação; Alguns comentários metodológicos; Apresentação dos Resultados; Conclusões e Recomendações; Anexos.
41 MATRIZ AVALIATIVA Tipo de Avaliação Pergunta Avaliativa Indicadores
Fontes de Informação Métodos de Coleta de Dados Procedimentos para Coleta de Dados Amostra Estratégia Cronograma Avalia o RESULTADO do Projeto "Educação pelo Esporte" 1ª Qual é o percentual de promoção de séries das crianças envolvidas no projeto? 2ª Em que medida as crianças e adolescentes apresentam mudanças comportamen-tais relacionadas à convivência na escola e no contexto sócio-familiar? Aprovação Escolar Evasão escolar Gosto pela leitura e escrita; Domínio da linguagem oral; Capacidade de adotar regras de conduta, ouvir o outro, lidar com diferenças e participar de atividades em grupo; Afetividade junto à família; Auto estima; Sociabilidade. Documentos escolares ( boletins, relatórios, etc ); Crianças e adolescentes; Famílias; Educadores; Parceiros; Financiadores; Revisão e análise dos Documentos Entrevistas Observações Grupo Focal Questionários Entrevista Universo 100 usuários e suas famílias Amostra = 80 Universo 15 Amostra=9 Universo 2 Amostra 2 Universo2 Amostra = 2 Total da Amostra da Avaliação Universo Total = 119 Total = 93 Sensibilização Mobilização para a Avaliação; Contato com os Diretores de Escola e solicitação dos documentos; Elaboração dos roteiros instrumentos; Treinamento dos responsáveis pela avaliação; Organização do processo de coleta e organização Dos dados ( tabulação, transcrições, etc) Elaboração do Termo de Consenti- mento;i Revisão dos Documentos : dezembro e janeiro Organização dos instrumentos e procedi-mentos de coleta de dados : fevereiro Coleta de dados : março
42 Divulgação dos Resultados Públicos Conteúdo Formato Cronograma
Métodos para Análise de Dados Estratégias para Interpretação Procedimentos para Divulgação dos Resultados Públicos Conteúdo Formato Cronograma Análise Documental : estatística descritiva e Comparativa entre as crianças e adolescentes usuárias do projeto e de fora dele; Análise de Conteúdo dos relatórios dos instrumentos de coleta de dados; Síntese dos principais temas identificados. Pelo menos 75% tiveram melhoria no desempenho e nas notas, passando às séries subsequentes? Todas as crianças permaneceram na escola ? Pelo menos 75% apresentaram melhoria/ evolução nos interesses de leitura e escrita, capacidade de raciocínio lógico, criatividade e trabalho grupal? Houve melhorias nas relações e comportamento adotando regras de conduta e aceitando diferenças? Houve melhoria nas relações afetivo-familiares ? Houve elevação da auto estima e Sociabilidade? Equipe de Coordenação e todos os envolvidos no Projeto Conselho Diretor da Agência Financiadora Parceiros Diretores e Professores das Escolas Familiares Público em geral Ajudar a responder as Perguntas Avaliativas Identificar quais aspectos precisam ser aperfeiçoados visando a qualidade do projeto e possibilidade de ampliação, replicação e desdobramentos Relatório Técnico Relatório Executivo para os Diretores e Professores Reunião com os familiares Comunicação à imprensa para divulgação para o público em geral Elaboração de Artigos, etc Apresentação em Fóruns, Seminários, etc Reuniões para discussão dos resultados da Análise : abril Entrega dos Relatórios: Maio