( vs. 1) AvaliacaoDasPropostas < Enearte < TWiki
Difference: AvaliacaoDasPropostas ( vs. 1)
name="EnviarProposta"
Este é o resumo da metodologia utilizada pelo papers para a classificação das propostas. Este documento é uma versão generalizada do documento original escrito para o fisl7.0? .
Proposta: é uma proposta de palestra que entrou no sistema até o final do período de envio de propostas.
Trilha: É um conjunto de propostas que tenham o mesmo tema em comum.
Proponente: É o autor de uma proposta.
Avaliador: É uma pessoa escolhida pelo Comitê de Programa do evento para proceder a avaliação das propostas.
Avaliação: É a atribuição de conceitos subjetivos para uma proposta feita por um avaliador em conjunto com a recomendação e a auto-avaliação da capacidade do avaliador.
Avaliação Rejeitada: É uma avaliação que foi rejeitada pelos critérios de exclusão das avaliações conforme descritos a seguir.
Escore Bruto: É um número entre 1 e 20 pelo qual as propostas são avaliadas. O cálculo do Escore Bruto (e seus derivados) é explicado a seguir.
As avaliações serão feitas segundo os seguintes elementos:
Grau de confiança da avaliação (gr): Representa o quanto o avaliador confia em sua própria avaliação. Formado por categorias qualitativas "Não conheço bem o assunto, sou generalista", "Não sou expert, mas sinto-me à vontade com o assunto, mas não sou expert", "Sou expert", atribuídas aos valores 1,0, 1,5 e 2,0 respectivamente.
Relevância (rel): Representa o quanto o avaliador acredita que a proposta é relevante para a finalidade do evento. Formado pelas categorias qualitativas "Nenhuma", "Pouca", "Alguma", "Muita", "Extrema", associadas aos valores de 1 a 5, respectivamente.
Qualidade técnica (qual): Representa a qualidade técnica da proposta segundo o que o avaliador pôde apurar a partir do resumo e da descrição fornecidos pelo autor. Formado pelas categorias qualitativas "Nenhuma", "Pouca", "Alguma", "Muita", "Extrema", associadas aos valores de 1 a 5, respectivamente.
Experiência do autor com o tema (exp):Representa a experiência do autor da proposta segundo o que o avaliador pôde apurar a partir do mini-curríiculo fornecido. Formado pelas categorias qualitativas "Nenhuma", "Pouca", "Alguma", "Muita", "Extrema", associadas aos valores de 1 a 5.
Recomendação geral (rec): Representa a impressão geral do avaliador sobre a proposta. Formado pelas categorias qualitativas "Rejeição forte - Tenho argumentos fortes para rejeitar o trabalho", "Rejeição fraca - Não tenho argumentos fortes para rejeitar o trabalho; tenho mais argumentos para rejeitar o trabalho do que para aceitar", "Aceitação fraca - Não tenho argumentos fortes para aceitar o trabalho; tenho mais argumentos para aceitar o trabalho do que para rejeitar", "Aceitação forte - Tenho argumentos fortes para aceitar o trabalho", associadas aos valores 1,0, 1,5, 1,75, e 2,0 respectivamente.
Critério de Exclusão de uma Avaliação
Para evitar distorções o Comitê de Programa excluirá as avaliações que responderem a qualquer dos seguintes critérios:
Trilha incompleta: O avaliador deverá avaliar a trilha completamente, sem deixar nenhuma proposta sem avaliação. Todas as avaliações (dentro de uma mesma trilha) de um avaliador que não tenha avaliado a trilha completa serão excluídas.
Cálculo do Escores Bruto, Composto e Médio
Os Escores Bruto (eb) e Composto (ec) de cada avaliação e o Escore Médio (em) de cada proposta são calculados através das seguintes fórmulas:
eb = [ (rel * 0,20) + (qual * 0,50) + (exp * 0,30) ]
ec = gr * eb * rec
em = media(ec1 + ec2 + ... + ecN)
Cálculo da Média e do Desvio-Padrão das Trilhas
Todas os em das propostas de uma mesma trilha servem para cálculo da média e do desvio-padrão daquela trilha. As formulas utilizadas são as mesmas de qualquer livro de estatística, mas para constar:
m  = (em1 + em2 + ... + emN) / N
dp = sqrt( 1/2 * ( ((em1 - m) ^ 2) + ((em2 - m) ^ 2) + ... + ((emN - m) ^ 2) ))
Cálculo do Escore Padrão e do Argumento de Classificação
Da mesma forma, com a m, o dp de cada trilha, e os em das propostas, agora podemos calcular o escore padrão (z) de cada proposta. Novamente, os livros de estatística nos trazem a fórmula:
z = (em - m) / dp
O argumento de classificação (ac) é obtido multiplicando o z por 100 e somando 500:
ac = z * 100 + 500
O ac das propostas serve para classificá-las dentro de cada trilha, conforme as seguintes regras:
As propostas serão aceitas a medida que houverem vagas dentro de uma mesma trilha.
Se um proponente tem duas propostas aceitas, a de menor ac será descartada e a próxima proposta da classificação entrará na zona de aceite (a menos que seja, novamente, do mesmo proponente, quando o mesmo processo se repete).