Tudo sobre o teste A/B
O que é? Como fazer? Quais ferramentas utilizar?
O teste A/B é quando criamos duas versões de design diferentes de um mesmo produto e desejamos medir qual apresenta melhores resultados. Com esse tipo de teste é possível saber por exemplo, qual estilo de botão faz com que as pessoas comprem mais na sua loja online, qual a fonte faz com que as pessoas leiam mais o seu blog ou qual tipo de formulário consegue mais inscritos em sua newsletter.
“Em testes A / B, você libera duas versões diferentes de um projeto e vê qual tem o melhor desempenho.” Nielsen, Jakob — 2015
Muitas vezes no trabalho ou em um projeto, nos vemos debatendo com colegas sobre qual o melhor desenho ou o melhor componente para aquela interface. Porém, se queremos possuir um produto realmente centrado no usuário, somente por meio de testes é possível ter certeza sobre qual a melhor opção e o teste A/B é uma ótima opção para esse problema.
Você pode nunca ter escutado sobre esse termo mas tem participado de testes A/B a todo momento. Empresas como Google, Facebook e Netflix realizam testes A/B a todo momento, em busca melhorar a qualidade da experiência dos clientes com o produto.
"Para garantir que possamos fornecer a melhor qualidade de experiência possível, a Netflix possui uma cultura de experimentação e tomada de decisão baseada em dados que permite que novas idéias sejam testadas em produção para que possamos obter feedback de nossos membros. De fato, toda mudança de produto passa por um processo de teste A/B rigoroso antes" – Netflix Technology Blog
Um dos testes famosos do Netflix é o dos cartazes dos filmes. A todo momentos eles produzem novos cartazes e testam quais conseguem mais audiência. Um exemplo disso é do filme "The Short Game" (figura abaixo), onde os usuários são separados em diferentes células/grupos e para cada grupo é exibido um cartaz diferente e medido o número de interações.
Os testes A/B com os cartazes dos filmes do Netflix não só aumentou o número de pessoas clicando nos filmes mas também aumentou o tempo em que as pessoas passam assistindo e, após a realização de diversos testes, eles começaram a perceber certos tipos de padrões como "cartazes com expressões faciais que exprimem o tom do filme tendem a possuir melhores resultados".
“ A filosofia de teste A / B da Netflix é sobre a construção incremental, usando dados para gerar decisões e falhar rapidamente.” Netflix Technology Blog
Outro exemplo das possíveis descobertas dos testes A/B é o da empresa brasileira Resultados Digitais. Por meio de uma publicação de 2017, André Siqueira co-fundador da empresa, destaca que realizou um teste onde retirou o campo "telefone de contato" do formulário de sua landing page, o que acarretou em um aumento de 167% nas conversões.
É difícil acreditar que remover um único campo do seu site possa gerar tanto resultado. Por isso, quando estiver na dúvida, faça um teste A/B.
"Pense que, para cada R$ 100 investidos em mídia anteriormente, conseguiríamos o mesmo resultado investindo apenas R$37,45." – Siqueira, André — 2017
Porém, tome cuidado! Um teste A/B é um experimento científico e como todo experimento, deve possuir algumas "regras". Para um teste ter validade ele deve ser estatisticamente significativo, em outras palavras, não adianta realizar um teste com pouco acesso (volume da pessoas).
E como fazer um teste bem feito?
- Tenha uma boa hipótese e objetivo. O Netflix, por exemplo, achava que poderia aumentar o número de pessoas assistindo determinada série utilizando diferente designs de cartaz.
- Calcule sua amostra: Antes de realizar o teste é importante determinar o tamanho da amostra. Em geral, quanto menor a variação que está tentando medir, maior deve ser o tamanho da amostra. Ou seja, se você alterou a fonte de um link e viu que aumentou de 10% para 12%, precisa ter um grande volume de dado para confirmar se essa mudança é valida. Porém se o aumento foi de 10% para 60%, o volume de acessos pode ser menor.
Calculadora de Amostra - Realize o teste! Existem várias ferramentas no mercado para realizar testes A/B (Visual Website Optimizer, Optimizely, Inspectlet, Mixpanel, Google Optimize, Pardot…), tudo vai depender do que e como você quer testar. Em breve trago alguns artigos sobre como utilizar algumas ferramentas.
- Analise os resultados: como mencionado anteriormente, para o teste ser considerado válido ele deve ter significância estatística. O recomendado é utilizar no mínimo 95% de significância estatística, menos de 90% o resultado pode ter sido ao acaso. Caso tenha conseguindo tal significância estatística, utilize a versão vencedora 😄
Calculadora de Resultado
O teste A/B não é perfeito! ⚠️
Jakob Nielsen aponta que um grande problema desse tipo de teste é que muitas vezes você não sabe o porque daquele resultado. Tudo que você sabe é que, estatisticamente, a versão A teve melhor resultado que B.
"Digamos, por exemplo, que você testou dois tamanhos de botões Comprar e descobriu que o maior gerou 1% a mais de vendas do que o pequeno. Isso significa que você venderia ainda mais com um botão ainda maior?" Nielsen, Jakob — 2015.
O ideal é combinar testes A/B com pesquisas com usuários. Tal interação ajuda na identificação de causas, desenvolvimento de hipóteses e identificação de novas oportunidades.
Curiosidade
Fica como curiosidade uma artigo do Fabricio Teixeira sobre a aplicação do teste A/B em preços de produtos.
Referências:
- O que é Teste A/B e o que você pode testar — Resultados Digitais, 2017
- A/B Testing and Beyond — Netflix Technology Blog,2017
- Selecting the best artwork for videos through A/B testing — Netflix Technology Blog, 2016
- UX Tools: A/B Split Testing and Anlytics Packages — The Interaction Design Foundation, 2016
- A/B Test by Google — Udacity, 2015
- Putting A/B Testing in Its Place — Nielsen Norman Group, 2015
- Define Stronger A/B Test Variations Through UX Research — Nielsen Norman Group, 2014
- A/B Testing: How do you know that your results are statistically valid? — Salesforce, 2011
