Trabalhando com métricas, na prática

Antes de começar, uma introdução sobre a metodologia lean.

“A ação certa, na hora certa”.
O movimento lean prega uma abordagem mais ágil de trabalho, onde nós construímos, medimos e aprendemos.

É desperdício construir e não medir.
Exemplo: Não colocar o Google Analytics no site, não criar um funil, não acompanhar as métricas semanalmente.

É desperdício medir e não aprender.
Exemplo: Não discutir com seu time sobre as métricas, não criar experimentos para melhorar os números de forma sistemática.

É desperdício aprender e não usar isso para construir algo melhor dentro do mesmo escopo.
Exemplo: Não documentar o que foi aprendido nos testes e usar isso de norte para o próximo lançamento.

O jeito tradicional de trabalhar — Waterfall — é repleto de desperdícios para nossa realidade digital. Esta forma de labutar foi criada em um contexto de materiais físicos, onde sim, você tinha que planejar muito bem algo antes de colocar na linha de produção. Errar custava caro.

Com a internet, isso mudou bastante.

Podemos construir landing pages, protótipos, campanhas de Facebook e qualquer sorte de material digital a um custo muito baixo. Hoje podemos criar, medir e aprender de maneira iterativa. Fazendo um pouco de cada vez, e melhorando a cada sprint.

Lean é sobre mitigar riscos. Aquele nosso roadmap de 6 meses nada mais é do que uma hipótese. Se não for validado, ele é um risco.

O profissional que trabalha com lean é pautado por experimentos. Experimentos orientados por hipóteses e números. Não vamos confundir isso com ser guiado *apenas* por números. Falarei deste ponto no final do texto.

Vamos entender como esse processo acontece no dia-a-dia.

0. Pegue uma cópia da sua planilha de experimentos. Ela vai te ajudar a documentar e acompanhar seus testes. Ela foi criada pelo Paulo, da Neue Labs, e é muito fácil de usar.

1. Agora, você precisa definir um objetivo. Um bom objetivo é quantitativo (pode ser medido) e tem um período de tempo atrelado (comparativo).

Melhorar ativação. (objetivo mal definido)
Melhorar a ativação em 20% dentro de uma semana. (objetivo bem definido)

2. Agora é hora de escrever sua hipótese. O que achamos que vai fazer com que esse objetivo seja atingido?

Exemplo:
Trocar a cor do botão para azul vai melhorar a ativação em 20% em uma semana.

3. Solte seu experimento. O ideal é que seu experimento esteja o mais isolado possível. Evite que fatores externos (uma nova campanha publicitária, eventos sazonais) causem ruído nos seus números. SISO.

4. Documente o aprendizado. Volte na sua planilha e escreva se vocês atingiram ou não o resultado desejado.

“Trocar a cor do botão para azul não melhorou a ativação em 20% em uma semana. Ficamos apenas em 5% de melhora”.

5. Por fim, defina os próximos passos. Após discutir os resultados com a sua equipe, vocês devem listar aqui o que vocês aprenderam (não muito no caso de mudar a cor de um botão…) e quais as novas hipóteses em cima disso.

Experimentos são sempre assim, só medimos números?
A natureza de um experimento é sim, validar algo de forma quantitativa. Porém, isso não quer dizer que o jeito de experimentar deve ser sempre quantitativo. Não importa muito a forma que você faz um teste, o importante é medir e aprender com os resultados.

Que tipos de experimento posso fazer?

Experimentos podem ser entrevistas com usuários, landing pages, testes A/B, Google AdWords, campanhas de crowdfunding, um vídeo explicativo, um concierge, um blog, um protótipo digital ou de papel.

“Numbers alone won’t tell you the answer; instead you must think critically about the qualitative characteristics of your business.” Peter Thiel — Paypal

Por fim, existem situações onde os números não dizem muito. Nessa hora devemos parar de analisá-los e começar a fazer perguntas. Dar um passo para trás.

A análise de métricas é uma ótima ferramenta para quem quer desenhar não apenas produtos, mas negócios relevantes.

Métricas são o meio, e não o fim. Nada é feito para elas, mas através delas.

Crédito da foto: Tassia Bianchini