Testes Multivariados vs Testes A/B - Designr
Dentre os diversos métodos de otimização de design, o teste A/B é um dos mais utilizados. Por outro lado, o teste multivariado é sua alternativa menos abordada, e muitas vezes considerada demorada demais para valer a pena esperar.
Embora o teste multivariado tenha suas limitações, elas são contrabalançadas por seus benefícios, que nem sempre podem ser facilmente alcançados usando apenas o teste A/B.
Vamos supor que você deseja otimizar o design de uma página de detalhes de produto para aumentar as conversões, para adicionar o item ao carrinho do usuário. Imagine que você esteja considerando algumas possíveis mudanças:
Usar um vídeo de um produto em vez de uma imagem;
Alterar o rótulo do botão Comprar Agora para Adicionar ao Carrinho.
Um teste multivariado pode te ajudar a decidir qual combinação dessas opções de design otimizaria as conversões.
Antes de qualquer coisa, vamos esclarecer algumas terminologias:
Variável: um elemento de interface do usuário (como uma imagem ou título) com várias versões de design possíveis. Em nosso exemplo de e-comerce, as variáveis são a representação visual do produto e do rótulo do botão de comprar;
Variante: cada versão de design de uma variável. A imagem do produto e o vídeo do produto representam as duas variantes da variável de representação visual. Os rótulos Adicionar ao Carrinho e Comprar Agora são as variantes da frase de chamada;
Variação: O design resultante contendo uma variante de cada variável, para ser comparado com outras variações.
Em nosso exemplo, haveria quatro variações de design correspondentes a todas as combinações possíveis das variantes das variáveis: imagem x Adicionar ao Carrinho, imagem x Comprar Agora, vídeo x Adicionar ao Carrinho, vídeo x Comprar Agora.
Diferença entre Testes Multivariados e Testes A/B
O teste multivariado é geralmente considerado como um tipo de teste A/B, embora sua configuração e pontos fortes sejam um pouco diferentes. Veja algumas das semelhanças e diferenças entre eles:
Os dois métodos testam variações de design entre si dividindo o tráfego do site (ou aplicativo) em tempo real entre as variações;
Ambos medem qual alternativa de design consegue maior taxa de conversão para as metas especificadas;
Em um teste A/B, as variações que estão sendo testadas podem ser completamente diferentes umas das outras, e não o resultado da manipulação de um pequeno conjunto de variáveis. Por exemplo, você pode ter duas páginas com layouts completamente diferentes, cópia diferente, navegação diferente, design visual diferente e assim por diante. O resultado do teste A/B indicará que uma variação tem melhor desempenho que a outra, mas você não saberá se é porque sua cópia é melhor, se seu design visual é melhor ou se seu layout é melhor (ou a combinação).
Por outro lado, se você usar o teste multivariado, normalmente poderá atribuir crédito a uma variante ou combinação de variantes específica.
Desta forma, você pode, por exemplo, descobrir que um vídeo de produto faz uma diferença muito maior em suas conversões do que alterar o rótulo do botão, o que pode lhe dar mais ideias de estratégia e design (por exemplo, pode valer a pena investir na produção de bons vídeos de produtos).
Limitações do Teste Multivariado
As variações geradas a partir de cada combinação das variantes pode gerar um número grande de variações de design. Até mesmo em nosso exemplo do e-commerce, que é bastante simples, acabou tendo 4 variações de design para comparar.
Adicionar mais 1 variante para a variável do botão de comprar iria criar mais duas variações, geradas pela combinação dessa variante com as outras duas variantes da variável de representação visual.
Em geral, o número de variações será obtido pela multiplicação do número de variantes de cada variável. Portanto, se você tiver duas variáveis, uma com 2 e outra com 3 variantes, obterá 2 x 3, que resultado em um total de 6 variações. Eu sei, muita coisa.
O grande número de variações que precisam ser testadas em um teste multivariado leva à maior limitação deste método: normalmente é necessário muito mais tráfego para executar um teste multivariado em comparação com um teste A/B, para alcançar significância estatística.
Isso acontece porque cada variação adicionada à comparação faz com que o tráfego em tempo real seja dividido em partes menores e, portanto, também pode levar muito tempo para reunir pontos de dados suficientes para cada alternativa de design.
No entanto, tenha mais uma coisa em mente: o tempo necessário para executar o teste depende não apenas do tráfego geral, mas também da mudança esperada na taxa de conversão do objetivo do experimento, porque melhorias maiores são mais fáceis de medir do que pequenas diferenças.
Em geral, dividir o tráfego entre mais variações leva a experimentos de longa duração. E isso pode não ser o que você quer.
Outra limitação do teste multivariado é que todas as combinações das variantes devem fazer sentido juntas. Por exemplo, ao testar as variantes de uma imagem e de um título em uma página, não escreva títulos que se refiram a detalhes de uma variante de imagem (como "Férias em Búzios" e "Férias em Cabo Frio" com fotos correspondentes) porque cada título irá acompanhar cada imagem em uma variação para o teste. Esse tipo de experimento seria melhor configurado como um teste A/B, então as combinações poderiam ser mais controladas.
Para cada ocasião, para cada objetivo, um teste será mais indicado que o outro.
De qualquer modo, use o teste multivariado para refinar um design, não alterá-lo completamente.
O teste multivariado é uma ótima maneira de fazer melhorias incrementais em um design, em vez de reformulações dramáticas. Como exige que você identifique determinados elementos de interesse em uma página para testar várias variantes dessa variável, não é possível comparar facilmente as mudanças radicais nas variações.
Se o seu objetivo é avançar em direção a um novo design substancial, como, por exemplo, um redesign completo de um layout, um teste A / B para comparar esse novo design com o atual é mais apropriado do que um teste multivariado.
Quando o design de desempenho mais alto for descoberto, use testes multivariados para refinar ainda mais os elementos específicos no layout vencedor.