PublicouMiguel Raymundo Alterado mais de 4 anos atrás
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Avaliação de Desempenho de Sistemas Computacionais Aula 4/5 Marcos José Santana Regina Helena Carlucci Santana
Introdução Medidas de Desempenho Freqüentemente Utilizadas Análise Estatística dos Resultados Comparação de Resultados Procedimento para análise de resultados Exemplos 3. Técnicas para Avaliação de Desempenho
Medidas de Desempenho Freqüentemente Utilizadas Análise Estatística dos Resultados Comparação de Resultados Procedimento para análise de resultados Exemplos 3. Técnicas para Avaliação de Desempenho
Deve-se utilizar os resultados que a estatística nos oferece para analisar os resultados dos experimentos. Estatística: ciência que investiga os processos de obtenção, organização e análise de dados sobre uma população e os métodos de tirar conclusões e fazer predições com base nesses dados. Aurélio
20 Análise de Resultados Cuidado...
... as informações utilizadas para opinar, escolher, comprar, absolver, vêm sendo criadas, não para expandir conhecimento, mas para promover um produto, uma causa, um político. Crossen (1996)
21 Análise de Resultados Os números são lindos!!!!
22 Conteúdo Planejamento de Experimentos Análise de Resultados
23 Medidas de Desempenho Freqüentemente Utilizadas
Tempo de resposta intervalo entre o pedido do usuário e a resposta do sistema pedido e resposta instantâneos pedido e resposta realistas duas definições: - fim da requisição e início da resposta - fim da requisição e fim da resposta geralmente o tempo de resposta cai na medida que a carga de trabalho diminui
24 Medidas de Desempenho Freqüentemente Utilizadas
tempo de resposta com pedido e resposta instantâneos
25 Medidas de Desempenho Freqüentemente Utilizadas
tempo de resposta com pedido e resposta realistas
26 Medidas de Desempenho Freqüentemente Utilizadas
Troughput definido como uma taxa de pedidos que podem ser servidos pelo sistema (pedidos por unidade de tempo) capacidade nominal o troughput geralmente aumenta até certo ponto, depois começa a cair eficiência
27 Medidas de Desempenho Freqüentemente Utilizadas
Troughput eficiência (exemplo) gráfico de eficiência em vários processadores
28 Medidas de Desempenho Freqüentemente Utilizadas
Utilização fração de tempo em que o recurso está ocupado sistema ocioso (idle time) deve haver balanceamento de carga para que nenhum recurso seja mais utilizado que outro Confiabilidade tempo provável em que o sistema fica livre de erros
29 Medidas de Desempenho Freqüentemente Utilizadas
Disponibilidade fração de tempo em que o sistema está disponível Custo/Desempenho melhor relação
30 Medidas de Desempenho Freqüentemente Utilizadas
Speed Up = tempo serial/tempo paralelo Problemas com Speed Up exemplo: dois algoritmos, A e B Deve-se evitar esta métrica?
31 Medidas de Desempenho Freqüentemente Utilizadas
MHZ - problemas Métricas populares: MIPS, GIPS, TIPS; MFLOPS, GFLOPS, TFLOPS; LIPS, KFLIPS, MFLIPS; PPS, BPS, bps; TPS; etc.
32 Medidas de Desempenho Freqüentemente Utilizadas
Categorias das medidas de desempenho Alto é melhor (High is Better - HB); Baixo é melhor (Low is Better - LB); Nominal é melhor (Nominal is Better - Nbi).
33 Medidas de Desempenho Freqüentemente Utilizadas
34 Medidas de Posição Média Moda Mediana média aritmética dos valores
35 Medidas de Posição Média X Mediana
36 Medidas de Posição Medidas de Dispersão Variância Desvio Padrão
37 Medidas de Posição Percentis – dividem os dados em cem partes de tamanhos iguais Quartis: dividem em quatro grupos, delimitados pelos percentis 25, 50 e 75 1º Quartil Q1 ou Q valor a que corresponde a percentagem cumulativa de 25% 3º Quartil Q3 ou Q valor a que corresponde a percentagem cumulativa de 75%
38 Medidas de Posição Box Plot
39 Medidas de Posição * o Mediana I D o D – Distância entre Quartis
40 Medidas de Posição Valores extremos Outliers
41 Medidas de Posição Tratamento de Outliers Muita controvérsia...
42 Medidas de Posição Analisando Observações Atípicas (Exemplos)
43 Apenas o especialista na área pode responder.....
Medidas de Posição Podem-se desprezar dados atípicos? Apenas o especialista na área pode responder.....
44 Conteúdo Planejamento de Experimentos Análise de Resultados
45 Análise de Resultados Considera-se que alguma técnica para avaliação de desempenho e obtenção dos resultados tenha sido utilizada
46 Análise de Resultados Em qualquer experimentação, três
47 Análise de Resultados Primeiro problema: Quais as condições iniciais que se devem ter para iniciar uma avaliação? Três condições possíveis: Início no estado vazio; Início no estado de maior probabilidade de ocorrência; Início na média do estado de equilíbrio
48 Análise de Resultados Início no estado vazio Simples
49 Análise de Resultados Início no estado de maior probabilidade de ocorrência; Vantagem: Começar em um estado representativo do sistema Desvantagem: Como determinar o estado mais provável? Como levar o sistema até esse estado?
50 Análise de Resultados Início na média do estado de equilíbrio
51 Segundo problema: Quando parar a Avaliação?
52 Análise de Resultados Limitar tempo de experimentação
53 Análise de Resultados Limitar o número de entidades processadas por um servidor Problema: sistemas com prioridades Ex.: termina só com tarefas longas na fila – pode camuflar os resultados Parada automática Manipulam resultados da experimentação em intervalos selecionados Calculam média e variância Experimentação pára quando a estimativa da variância da média está dentro de certa tolerância
54 Primeiro e Segundo problemas:
55 Análise de Resultados Terceiro problema: Durante a obtenção de dados sobre sistemas computacionais, tem-se que... Os Resultados de uma medição oferecem um resultado dentre muitos outros possíveis
56 Análise de Resultados Terceiro problema:
57 Como analisar os diferentes resultados de uma avaliação?
58 Como definir as sementes?
Análise de Resultados Como definir as sementes? Diferentes sementes -> diferentes conjuntos de números aleatórios Pacotes de simulação permitem a escolha entre vários conjuntos Conjuntos de números aleatórios deve ser verificado – correlação entre os conjuntos
59 Como definir as sementes?
Análise de Resultados Como definir as sementes? Outra possibilidade: valores das sementes obtidos a cada elementos Conjunto 1 Conjunto 2 Conjunto 3 Semente x1 x2 x3 Posição no conjunto 1 Resultados diferentes para cada conjunto
Utilização da CPU Semente 1  0.33 Semente 2  0.32 Semente 3  0.32 Semente 4  0.29 Semente 5  0.34 DISCO1 CPU DISCO2 Como analisar estes resultados? Perigo utilizar resultados de uma única simulação
61 Análise de Resultados Utilização de Intervalos de confiança A partir de um conjunto de resultados possíveis queremos estimar o comportamento de um sistema Podemos utilizar: Valores fixos Intervalos Valores fixos não permitem estimar o erro cometido Intervalos de confiança permitem avaliar a confiança no resultado
62 O que é o Intervalo de confiança?
63 O que significa Intervalo de confiança?
64 Análise de Resultados Como determinar o Intervalo de confiança?
65 Análise de Resultados
66 Como determinar o Intervalo de confiança?
67 Como determinar o Intervalo de confiança?
68 Análise de Resultados - Exemplo
69 Análise de Resultados - Exemplo
70 Análise de Resultados - Exemplo
Simulação executada 10 vezes 1- = 0,95   = 0,05 Média = Y = 406,551 Variância = S2 = DP = t.05/2;9 = 2,26 H = t.05/2;9 *DP =113,88 IC: 292,67 – 520,43 331,993 447,532 366,052 420,858 403,524 355,959 464,856 492,144 393,393 389,200
71 Análise de Resultados - Exemplo
H = 113,88 IC: 292,67 – 520,43 Se a simulação for repetida várias vezes e em cada vez for determinado o intervalo de confiança, 95% destes intervalos irão conter a média verdadeira Tem-se 95% de certeza que a média verdadeira está entre 292,67 – 520,43 Valores individuais podem estar fora do intervalo de confiança
72 Análise de Resultados - Exemplo
Média = Y = 406,554 H = 113,88 IC: 292,67 – 520,43 Amplitude do intervalo de confiança = 226,76  55,7% do valor médio Não é um valor muito grande? Como diminuir? Aumentando o número de replicações
73 Análise de Resultados Controle do Erro
Utilizando-se a técnica de replicações: Não pode-se determinar a precisão desejada Pode-se determinar, aproximadamente, quantas replicações adicionais deve-se considerar para controlar o erro Para um erro , deve-se ter:   H    t1-/2,N-1 *DP
74 Análise de Resultados - Exemplo
Para o exemplo anterior Suponha que se queira  <= 95 Seja r = as próximas replicações r tr-1;0,95 tr-1;0,95* 11 2,23 47,80 106,60 12 2,20 45,58 100,27 13 2,18 43,64 95,13 14 2,16 41,93 90,56 São necessárias mais 4 replicações para atingir o erro máximo desejado
76 Comparação entre dois experimentos
77 Comparação entre dois experimentos
78 Comparação entre dois experimentos
79 Comparação entre dois experimentos
80 Comparação entre dois experimentos
81 Análise de Resultados Após dez replicações de um programa de simulação, avaliando-se o tempo médio na fila de um recurso, obtiveram-se as médias das amostras e intervalo de confiança para 95% e para 90% representados na tabela a seguir: A B Média 12 11 H1 (0,05) 0,8 0,9 H2 (0,2) 0,4 0,5 O que se pode concluir?
82 Análise de Resultados A A B B H2 (0,2) H1 (0,05) A – 11,6 – 12,4
83 Análise de Resultados VarA = 1,13 VarB = 1,27 n = nA + nB – 2 = 18
84 Teste de hipótese X Intervalo de Confiança
85 Teste de hipótese X Intervalo de Confiança
86 Conteúdo Planejamento de Experimentos Análise de Resultados
87 Procedimento para análise de resultados
88 Procedimento para análise de resultados
89 Procedimento para análise de resultados
90 Procedimento para análise de resultados
91 Procedimento para análise de resultados
92 Procedimento para análise de resultados
93 Procedimento para análise de resultados
94 Procedimento para análise de resultados
95 Conteúdo Planejamento de Experimentos Análise de Resultados Exemplos
96 Exemplos Exemplo 1: Avaliar o desempenho gráfico de um sistema computacional Trabalho desenvolvido por alunos do Curso de Engenharia de Computação Exemplo 2: Tese de doutorado de Kalinka R. L. J. C. Branco (ICMC 2004) – Análise de índices de carga Exemplo 3: Redes sem fio X Redes com fio
97 Exemplo 1 Objetivo: avaliar o desempenho gráfico e de CPU de um sistema computacional, e verificar quanto cada fator influência no desempenho do sistema. Utilizam-se três fatores: Placa mãe + processador, possui dois níveis: athleon /dfi-lanparty e athlon /asus Memória RAM: 1GB ddr2 433 dual channel e 2GB ddr2 433 dual channel Placa de vídeo: geforce 7800 GTX, 256mb PCI-Ex e ati radeon x600, 256mb PCI-Ex
98 Exemplo 1 Técnica utilizada: Benchmark
99 Exemplo 1 Gráfico de comparação da pontuação 3DMark dos testes:
100 Exemplo 1 Gráfico de comparação da pontuação CPUMark dos testes:
101 Exemplo 2 Tese de doutorado de Kalinka R. L. J. C. Branco (ICMC 2004)
102 Exemplo 2 – Fatores e Níveis
103 Exemplo 2 – Fatores e Níveis
104 Tempos médios de resposta em uma configuração de máquinas homogêneas
105 Exemplo 2 Escalonamento
106 Exemplo 3 Este trabalho consistiu em medir a diferença de velocidade de navegação entre uma conexão sem fio e uma conexão com cabo de banda larga normal