Adotando a cultura de Testes A/B
Teste A/B é uma ferramenta poderosa para experimentar e comprovar ideias. Muitas vezes o teste A/B não vai resultar num aumento de conversão, mas vai evitar que você perca dinheiro mantendo más ideias online.
Muitas empresas pensam que teste A/B é uma ferramenta mágica, pois a internet está cheia de histórias de sucesso sobre como uma estúpida mudança na cor do botão resultou em enorme aumento de conversão. Teste A/B é uma ferramenta poderosa sim, mas requer muito trabalho, e saiba que a maioria dos seus testes irão falhar, e isso é completamente normal. O principal aprendizado sobre teste A/B é: que essa prática realmente trata de aprendizado.
Falhe rápido e aprenda
Testes A/B não evitam que você falhe, mas vão te mostrar rápido que você está falhando e você vai aprender com isso. Todos os dados gerados serão a base para a criação de novas hipóteses, chegando cada vez mais perto do sucesso.
“Essa é uma das mais importantes lições do método científico: se você não pode falhar, você não pode aprender.” Eric Ries.
Já ouvi muitas empresas dizendo que não precisam investir em uma ferramenta de teste A/B pois podem implementar soluções que já deram certo para outros. Porém, essa prática é normalmente um grande erro, talvez até maior que implementar suas próprias ideias no escuro.
Uma solução que deu muito certo para alguém pode servir de inspiração para criar suas próprias hipóteses, mas isso não significa que a mesma solução vai funcionar para você. Seu produto é diferente, sua audiência é específica e o contexto muito específico também. Ouça seus próprios usuários.
Ok, rodar testes A/Bs tem valor, mas também tem custos, e por isso o projeto de se tornar uma empresa (ou um time de design) data-driven pode morrer antes mesmo de começar. Mas a boa notícia é que o investimento pode ser facilmente justificado.
Convencendo alguém numa posição de decisão a fazer testes A/B
Muitos profissionais encontram várias formas passivas e ativas de resistência no momento de adotar uma metodologia direcionada por testes. Como Dan Siroker muito bem coloca em seu livro “A/B Testing”, essa resistência vem muitas vezes de pessoas em uma posição de decisão, conhecido como HiPPO (the Highest Paid Person’s Opinion). Justo porque testes A/B neutralizam a ideologia e a substitui por dados comprovados. Pessoas em posição de autoridade temem desistir de seu status HiPPO e encarar uma cultura mais direcionada por testes, a qual encoraja curiosidade e humildade.
Há duas coisas que podemos dizer para os HiPPOs : A primeira é que empresas data-driven estão tendo mais sucesso porque estão escutando e entendendo seus clientes, um componente essencial no processo de decisão. Você tem muitos concorrentes já fazendo o mesmo que você, porém de um jeito mais voltado para dados, e eles vão ultrapassá-lo porque estão ouvindo os números ao invés de tomar decisões no escuro.
O segundo é que você elimina a necessidade de envolver somente pessoas que “sabem tudo”. Desse modo, passa a deixar a equipe mais confortável para dizer “eu não sei, mas vamos rodar um experimento”. Isso irá economizar horas em reuniões e o valor de cada indivíduo se torna mais importante, pois não dependem somente da habilidade de tomada de decisão que poucos podem fazer, mas sim da habilidade de gerar boas ideias com várias pessoas. A empresa e equipes podem ser mais inclinados a pensar fora do normal e mais arrojados, o famoso pensar fora da caixa.
Como falamos antes, a maioria dos testes irão falhar e é quando você percebe o quanto de dinheiro perdia inserindo hipóteses falhas no seu produto. E o mais importante é sempre analisar, aprender e iterar. É necessário reconhecer que os testes vão gerar mais perguntas do que respostas, e essas perguntas vão apontar para mais hipóteses, e é assim que o processo supostamente funciona.
Na empresa que trabalho, por exemplo, muitas das hipóteses não dão certo na primeira tentativa. Então elas são analisadas, polidas, voltam para experimento e, na medida em que comprovam valor, viram uma feature do produto.
Um dos testes que fizemos, com o objetivo de aumentar o ticket médio das vendas no e-commerce, foi favorecer a exibição de produtos mais caros. Nós erramos, e erramos feio: o resultado foi 33% menor em vendas no grupo de experimento em relação ao grupo de controle.
Bom, se favorecer produtos mais caros não deu certo, então favorecer os mais baratos pode funcionar, certo? Errado! Sendo assim, analisamos os resultados e criamos uma terceira hipótese, desta vez com base no histórico de compra dos consumidores. Foram criados 3 tipos de recomendação: a padrão, para quando não temos nenhum histórico do usuário, a de médio poder de compra e a de alto poder de compra.
Analisando cada consumidor foi possível oferecer produtos na faixa de preço que ele geralmente compra. Recomendando produtos mais focados no seu padrão de consumo, conseguimos aumentar RPV (Receita por visitante) em até 3%.
Podemos considerar que houve uma melhor experiência de consumo pois os usuários encontraram com maior facilidade produtos que gostam e que tem haver com seus perfis.
Como priorizar seus testes?
O sucesso de um processo direcionado à testes depende de gerar valor cedo, para justificar o investimento e gerar mais budget para os próximos testes. Inclusive há empresas que alocam recursos adicionais prevendo os experimentos que irão falhar, pois ainda sim é possível aprender com eles.
Bom, agora que você tem uma lista de hipóteses, a priorização dos seus testes pode ser feita da seguinte forma: maior retorno esperado, menor esforço de implementação e menor tempo de duração do teste.
Uma das maneira para se fazer isso é adicionando as ideias em uma planilha e suas métricas primária, então em outra coluna você e sua equipe irão colocar o impacto esperado para cada ideia. Em outra coluna adicione o esforço de implementação. Você pode usar Fibonacci ou qualquer outro método que seu time já esteja acostumado. Após valorar todas as ideias, divida a coluna do valor pelo esforço, então você terá o ROI de cada ideia.
Isso ajudará a priorizar suas hipóteses minimizando o custo inicial e riscos. Ao rodar os primeiros testes você já terá dados para analisar e criar mais hipóteses, agora mais embasadas e com mais chances de sucesso.
Algumas ideias poderão ficar empatadas ou muito próximas, considere o tempo de duração do teste como meio para selecionar definitivamente as ideias que serão testadas primeiro. A duração do teste é um fator importante na escolha, assumindo que temos ideias com o mesmo potencial de retorno e esforço, iniciar pelo teste de duração mais curta significa um possível retorno mais rápido e experimentar a próxima ideia mais cedo.
Prever a duração de um teste é algo que seu time deve saber fazer, mas isso já é assunto para tratarmos mais profundamente em outro post.
Takeaways
A maioria dos testes irão falhar, é triste, mas isso impede de deixar ideias ruins no ar;
Não conte com intuição, testes são imprevisíveis;
Não implemente o que deu certo para outros sem testar no seu próprio negócio, lembre-se, seu público e contexto são únicos;
Falhe rápido, analise, aprenda e experimente novamente;
E por fim, a sobrevivência da cultura de testes depende de uma boa priorização.
Bibliografia:
Dan Siroker, Pete Koomen. A/B Testing — The Most Powerful Way To Turn Clicks Into Customers
