1. Avaliação de impacto de programas sociais: por que, para que e quando fazer? (Cap. 1 do livro) 2. Estatística e Planilhas Eletrônicas 3. - PDF
Download "1. Avaliação de impacto de programas sociais: por que, para que e quando fazer? (Cap. 1 do livro) 2. Estatística e Planilhas Eletrônicas 3."
Victorio Eger Fartaria
2 1. Avaliação de impacto de programas sociais: por que, para que e quando fazer? (Cap. 1 do livro) 2. Estatística e Planilhas Eletrônicas 3. Modelo de Resultados Potenciais e Aleatorização (Cap. 2 e 3 do livro) 4. Econometria: modelo de mínimos quadrados 5. Modelo de Diferenças em Diferenças (Cap. 4 do livro) 6. Estudo de caso: avaliação de impacto do Projeto Verde Novo 7. Pareamento (Cap. 5 do livro) 8. Pareamento do Projeto Verde Novo e tópicos adicionais (Variáveis Instrumentais, Regressão Descontínuas etc.) 9. Matemática financeira 10. O Cálculo do Retorno Econômico (Cap. 8 do livro) 11. Discussão sobre os trabalhos de conclusão de curso 12. Conclusão do curso: apresentação dos trabalhos e prova 2
3 Relembrando, como dito na aula passada, para a avaliação econômica é preciso indicadores objetivos e mensuráveis INDICADORES DE INDICADORES DE INDICADORES DE INDICADORES DE OFERTA MONITORAMENTO RESULTADO IMPACTO Número de Razão entre o Taxa de mortalidade Atendimentos no SUS assistentes sociais, número de visitas das infantil = número de decorrentes a médicos e dentistas; equipes por família e óbitos de menores de doenças relacionadas Número de remédios o número ideal de um ano em relação a a má nutrição na para se distribuir visitas nascidos vivos infância 3
4 A avaliação de resultado e impacto ensinada neste curso usa ferramentas estatísticas para estimar o efeito causal do projeto sobre o beneficiários Nesse sentido, note que podemos classificar os indicadores estudados (de oferta, monitoramento, resultado ou impacto) em duas categorias: Quantitativos (renda familiar, peso das crianças, frequência escolar, taxa de mortalidade infantil, número de tartarugas observadas etc.) Qualitativos ou categóricos (gênero masculino/feminino, região norte/sul/leste/oeste, nível de satisfação alta/média/baixa etc.) 4
5 Os indicadores quantitativos são diretamente mensuráveis (renda, altura, peso etc.), enquanto que os qualitativos podem ser convertidos em escalas mensuráveis (números) Por exemplo: Sexo = 1 se a pessoa for do gênero masculino, e Sexo = 0 caso contrário Região = 1 se for norte, Região = 2 se for sul, Região = 3 se for leste e Região = 4 se for oeste Satisfação = +1 se o nível de satisfação for alto, Satisfação = 0 se o nível de satisfação for médio e Satisfação = -1 se o nível de satisfação for baixo 5
6 Alguns projetos sociais objetivam causar impactos psicológicos na população-alvo. Por exemplo, melhorar a autoestima ou reduzir o nível de tensão em ambientes extremos (como é o caso do projeto Doutores da Alegria ) Nestes casos, os avaliadores precisam medir o que popularmente ficou conhecido por brilho nos olhos das pessoas Para tanto, é possível usar escalas psicométricas para medir algo que parece tão intangível como o brilho nos olhos. Dentre estas escalas, é possível citar: A escala Likert que explora o nível de concordância com alguma afirmação. Por exemplo, em relação a afirmação você está feliz é possível dizer que: (1) concordo; ou, (0) discordo A escala Rosenberg, que é mais complexa que a Likert mas é muito popular em estudos psicométricos 6
7 Tendo em mente que os indicadores são (ou podem ser transformados em) números, note agora que eles sempre estão associados a uma unidade de observação: Renda de um trabalhador que passou pelo treinamento Peso de uma criança acompanhada pelo PSF Número de tartarugas nascidas na região Nordeste (projeto TAMAR) Nível de satisfação de uma pessoa com a Prefeitura De agora em diante passaremos a denotar um indicador (renda, peso, nível de satisfação etc.) associado a uma unidade de observação (trabalhador, região etc.) por y i, onde y representa o indicador e i a unidade de observação Na avaliação, sendo y i um indicador de impacto ou resultado, estaremos interessados em estudar estatisticamente seu comportamento nos grupos de tratamento e controle Tentaremos identificar se o programa causou mudanças de comportamento em relação a y i 7
8 Um indicador qualquer associado a uma unidade de observação qualquer, y i, é uma variável aleatória Ilustrativamente, imagine uma criança de um ano acompanhada pelo Programa Saúde da Família (PSF). Se y i representa o peso dela, seu valor pode ser, em princípio, qualquer valor não negativo. Se o peso pode ser qualquer valor não negativo ele é variável, e se não sabemos ao certo ele é aleatório 8
9 O grupo completo de observações de pessoas, objetos ou coisas é denominado por população, e um subconjunto de observações da população é denominado por amostra Seja a variável aleatória y i. Ela pode ser observada em toda uma população de tamanho N, ou em uma amostra de tamanho n, com n < N Neste curso trabalharemos com amostras! 9
10 Ao estudarmos uma variável aleatória y i, geralmente estaremos interessados em medidas de tendência e de dispersão de seu comportamento Média Moda Tendência y = i=1 n n y i O valor de y i mais comum Variância Desvio Padrão Dispersão S 2 = i=1 n S = y i y 2 n 1 S 2 Mediana O y i cuja metade da amostra registra valor menor que ele Amplitude Distância entre o maior e o menor valor de y i 10
11 Exercícios sobre o cálculo de medidas de tendência e dispersão: Usaremos, em Excel, o arquivo DDD do CD do livro. As variáveis são descritas na p
12 O programa Mulher do Futuro fictício objetiva aumentar a renda de famílias chefiadas por mulheres. Para isso, oferece cursos profissionalizantes em diversas áreas e ajuda na inserção das participantes no mercado de trabalho, por meio de convênios com empresas. Os cursos duram em média seis meses. A avaliação de impacto do programa foi pensada desde sua concepção. Assim, realizou-se uma pesquisa com as participantes e não participantes antes da implementação. Dois anos após o início do programa, o grupo de avaliação voltou a campo e novamente coletou informações sobre as mulheres. O banco de dados DDM contém as informações em dois momentos no tempo escolaridade, idade, se o domicílio possui luz elétrica, se a mulher vive com cônjuge e a renda familiar per capita. 12
13 Selecione apenas as observações referentes ao período inicial 13
14 Compute o numerador da fórmula da média: i=1 n y i = 3000 i=1 escolaridade i 14
15 Compute a fórmula da média: n 3000 escolaridadei y = i=1 n y i = i=
16 Use o assistente de funções para implementar a fórmula MÉDIA do Excel e verifique que os valores são exatamente iguais. Depois repita o processo para as outras variáveis 16
17 Use o assistente de fórmulas do Excel para computar as principais medidas de tendência e dispersão 17
18 Uma ferramenta útil para uma inspeção visual das medidas de tendência e dispersão é a construção de histogramas. Para tanto, abra o assistente de Análise de dados, na aba Dados. 18
19 Construa um histograma para a variável renda per capita A construção de histogramas tem caráter preliminar em qualquer estudo estatístico, e é um importante indicador da função de distribuição de probabilidade de dados 19
20 Inferência estatística 20
21 Em avaliação econômica, com frequência desejamos saber se a média populacional de um indicador de impacto difere entre os grupos de tratamento e controle. Como trabalhamos com amostras, a ferramenta adequada para esta análise é o intervalo de confiança Para introduzir a ideia de intervalor de confiança, um bom exemplo começa por lembrar que em épocas de eleição seguido lemos notícias do tipo: o candidato Fulano tem 50% da intenções de voto, com margem de erro de 2% para cima e para baixo. Ou seja, espera-se que o candidato tenha de 48% a 52% dos votos com algum nível de confiança Para entender como podemos construir intervalos de confiança, precisamos entender dois resultados importantes em estatística: o primeiro é a chamada Lei dos grande números (LGN); e o segundo é o Teorema do Limite Central (TLC) 21
22 A LGN é intuitiva. Ela nos diz que, sendo μ a média populacional de uma variável aleatória, y = i=1 n y i n μ se n for suficientemente grande. Isto é, quanto maior a amostra mais a média amostral estará próxima da média populacional 22
23 A distribuição normal é uma das mais importantes distribuições de probabilidade O Teorema do Limite Central (TLC) postula que, numa população de tamanho N, se você retirar A amostras de tamanho n, você verificará que y a μ ~N(0, 1), onde a = 1,2,, A indica a amostragem. σ a = σ σ a n é o desvio padrão de x a A representação formal é N(μ, σ 2 ) A distribuição é simétrica Média = Mediana = Moda 23
24 Voltando para o exemplo das eleições. Usando técnicas de amostragem, que não serão abordadas aqui, os institutos de pesquisa primeiro definem um tamanho n suficientemente grande Em seguida, perguntam ao eleitor i se ele votará no candidato. Marcando y i = 1 para o caso afirmativo e y i = 0 para o caso contrário Então, pela LNG sabe-se que y a μ, onde a é a amostragem, y a é o percentual de intenções de voto nesta amostragem e μ é a verdadeira (e desconhecida) votação (e.g., 50%) Para calcular a margem de erro, usa-se o TLC observando-se que z a = y a μ σ n e que z a ~N(0, 1) Pelas características da distribuição normal ocorre que: Pr y a z σ n μ y a + z σ n = α% 24
25 Pelas características da Normal Padrão sabemos que com α% de confiança um valor z a encontra-se no intervalo [ z ; +z ] (valores tabelados) z a ~N 0, 1 Pr z z a z = α% Pr z y a μ σ z = α% n Pr z σ n y a μ z σ n = α% Pr y a z σ n μ y a + z σ n = α% Com um pouco de manipulação algébrica podemos determinar com α% de confiança que μ se encontra no intervalo y a z σ n ; y a + z σ n Pr y a z σ n μ y a + z σ n = α% 25
26 Existe um problema de ordem prática para se determinar com α% de confiança que μ se encontra no intervalo y a z σ ; y n a + z σ. Esse intervalo está escrito em n função de σ, o desvio padrão populacional, que é desconhecido do pesquisador Felizmente, sabemos que o TLC também vale para a estimativa amostral do desvio padrão, S a. E neste caso podemos determinar com α% de confiança que μ se encontra no intervalo y a t S a ; y n a + t S a n são os valores tabelados da distribuição t t. Onde t 26
27 Sabendo que com α% de confiança que μ se encontra no intervaloic α% = y a t S a n ; y a + t S a n, então podemos testar a hipótese de que μ seja um determinado valor Por exemplo, se queremos testar a hipótese de que μ = 0, basta observar se 0 pertence ao intervalo IC α%. Se 0 IC α% não podemos rejeitar a hipótese de que μ = 0 27
28 Quando desejamos saber se a média de uma variável aleatória é diferente entre dois grupos (homens e mulheres, atendidos e não atendidos pelo projeto social etc.), não basta comparar os valores das duas médias para saber se há diferença. Por quê? Porque essas médias são médias amostrais e, portanto, são variáveis aleatórias É preciso saber se essas médias são estatisticamente diferentes a um dado nível de confiança Um procedimento simples de teste consiste em construir dois intervalos, um para cada grupo, e verificar se o limite superior de um está descolado do limite inferior do outro 28
29 Exercícios sobre inferência estatística: Novamente usaremos o arquivo DDD do CD do livro. As variáveis são descritas na p
30 O programa Mulher do Futuro fictício objetiva aumentar a renda de famílias chefiadas por mulheres. Para isso, oferece cursos profissionalizantes em diversas áreas e ajuda na inserção das participantes no mercado de trabalho, por meio de convênios com empresas. Os cursos duram em média seis meses. A avaliação de impacto do programa foi pensada desde sua concepção. Assim, realizou-se uma pesquisa com as participantes e não participantes antes da implementação. Dois anos após o início do programa, o grupo de avaliação voltou a campo e novamente coletou informações sobre as mulheres. O banco de dados DDM contém as informações em dois momentos no tempo escolaridade, idade, se o domicílio possui luz elétrica, se a mulher vive com cônjuge e a renda familiar per capita. 30
31 A função INT.CONFIANÇA.T computa o valor t S, onde você informa o n nível de significância 1 α%, no exemplo 5%, e o programa usa o valor tabelado de t para este nível de confiança/significância 31
32 É possível aceitar a hipótese de que a média da renda per capita da população é de R$ 340? Observe que os intervalos das últimas duas varáveis não puderam ser computados, já que estamos trabalhando apenas com o primeiro período de tempo Em seguida você cria os limites superiores e inferiores do intervalo... y a t S n ; y a + t S n 32
33 Agora vamos fazer alguns testes de diferenças de média usando o assistente de Tabela Dinâmica para a construção de estatísticas de diferentes grupos 33
34 Posicione na linha a variável que indica o estado civil da mulher: 1 se vive com um cônjuge e 0 no caso contrário (detalhes p. 172) 34
35 Testaremos a hipótese de diferença de idade média entre mulheres que vivem e não vivem com um cônjuge. Para tanto, precisamos pedir ao assistente de Tabela dinâmica para nos reportar o número de observações, a média de idade e o desvio padrão por grupo, para que possamos construir o intervalo y a t S n ; y a + t S n 36,1 37,2 38,4 39,0 39,4 39,9 O limite superior de um está descolado do limite inferior do outro. Assim, com 95% de confiança, não se pode rejeitar a hipótese de que a média de idade do grupo com cônjuge é maior 35
36 Retorne agora para base de dados completa do programa Mulher do Futuro. O exercício é construir intervalos de 95% de confiança para médias da renda per capita antes versus depois e tratamento versus controle do programa. 36
37 Faça a relação antes versus depois na coluna e a relação tratamento versus controle na linha, computando a média, o número de observações e o desvio padrão para a construção do intervalo y a t S n ; y a + t S n 37
38 Observe que, com 95% de confiança, as médias dos quatro grupos de observação são diferentes 38
39 Fim da Aula 2 39
1. ROTEIRO DE USO DO CORISCO Para usar o CoRisco, e gerar os seus próprios modelos de risco, você deve seguir o roteiro:
Como usar o CoRisco CoRisco é um programa, escrito na linguagem Visual Basic, que executa automaticamente os passos requeridos para a simulação de Monte Carlo, simplificando muito o trabalho de geração
Aula 8 Planejamento e Análise de Experimentos
Aula 8 Planejamento e Análise de Experimentos Professores Miguel Antonio Sovierzoski, Dr. miguelaso@utfpr.edu.br; Vicente Machado Neto, Dr. vmachado@utfpr.edu.br; A maioria das medições industriais usam