Izabela Que tipo de problemas ou investigações são mais adequadas para as técnicas quali e quando faz mais sentido utilizar as técnicas quanti? Dá alguns exemplos para a gente, por favor.
Caio Eu particularmente não gosto de seguir nenhum livro, nenhum guia passo a passo. Acho que vai um pouquinho de momento a momento, Acredito que técnicas qualis sejam muito boas para a gente mensurar intenção e entender o que as pessoas gostariam de fazer, o que elas estão procurando fazer, como elas vão fazer e assim por diante. Já as técnicas quanti gosto de usar mais para mensurar ação. Um teste A/B para poder mensurar quem foi para onde, uma análise de dados na base para saber quem fez o quê. Enquanto em entrevistas a gente até pode mensurar esse tipo de ação, através de um teste de um protótipo, mas a escala é tão pequena que um teste A/B seria mais verdadeiro mais real aos dados. Meio que fazendo um sumário, eu gosto de levar dessa forma: pesquisas qualitativas para mensurar a intenção e entender o comportamento mais a fundo e pesquisas quantitativas para mensurar ação e ter uma visão mais marco desse comportamento.
Izabela Quando eu escolho ou opto por fazer uma survey e quando faz mais sentido olhar para a base de dados?
Caio Iza, eu acho que depende do tipo de informação que você está querendo. Tem informação que a gente tem na base, imagina que no iFood é o endereço da pessoa ou o último pedido. Agora tem informações que a gente não tem e que precisa extrair na hora, aí a survey facilita muito o acesso a esse montante de informação em volume razoável. Só que surveys são uma ciência por si só. Quando eu digo uma ciência, digo uma ciência de diversas bifurcações. Tem aquela vertente mais acadêmica onde o linguajar é mais robusto, mais quadrado e extremamente preocupado com enviesar a comunicação, com qual termo usar e qual termo não usar, e tem uma vertente um pouco mais leve que começou a reparar que pessoas não entendem mais esse linguajar tão rebuscado, que as pessoas não entendem tanto uma diferença entre ter e usar, que trata as pessoas com uma vertente mais humana e menos experimental, meno um experimento científico por um experimento científico.
Izabela Interessante, muito legal. Você pode dar alguns exemplos de cenários nos quais o Nubank usa teste A/B?
Caio A gente costuma usar muito teste A/B para validar hipóteses que são mais fáceis de validar no campo do que por pesquisa. Por exemplo, se a gente tem uma dúvida se comunicar de forma X ou de forma Y em um call to action vai ter impacto, ao invés de eu fazer isso em uma survey ou fazer isso em entrevistas, como o custo de desenvolver isso é tão baixo, a gente opta por desenvolver e fazer um teste A/B para ter essa gama de aprendizados do que testar isso de forma offline.
Izabela O teste A/B serve mais para o micro, elementos menores, ou vocês olham também para o macro, por exemplo uma tela toda?
Caio Tanto para o micro quanto para o macro. A gente costuma ver trade ofs, tempo de desenvolvimento versus qualidade do aprendizado. Nessas horas, no teste A/B, a gente tem muito ganho da significância estatística. A gente já vai ser capaz de mensurar quantos por cento da base teve preferência pela versão A versus a versão B. Vai ter um valor muito rico porque a gente para de falar de intenção e começa a falar de ação. No teste A/B eu mensuro ação e não intenção. Em momentos em que a gente precisa mensurar esse tipo de coisa é onde a gente vai.
Izabela O teste A/B é feito por você ou pela equipe de dados, como é que funciona essa sua ação no dia a dia?
Caio Depende muito do squad. Acho que não posso entrar muito em detalhes porque é uma resposta sabonete, depende muito, mas varia muito de squad para squad. Tem squad onde eu participo, tem squad que tem analistas próprios para fazer isso, tem squad onde o PM toma conta dessa dessa responsabilidade e assim por diante.
Izabela Bacana. A questão de optar por survey ou o teste A/B, tem a questão da ação e da intenção, né?
Caio Eu acho que, como exemplo, o teste A/B é muito bom para mensurar ação. Eu consigo saber quantos por cento das pessoas conseguiram concluir aquele call to action fidedignamente. É um dado real. Já em uma survey a gente consegue mensurar qual é a intenção da pessoa lidando com aquele produto, fica mais um aspecto interpretativo e não em um aspecto real da conclusão da tarefa.