Testar para aprender, não para validar

Teste de Usabilidade

Querendo ou não, todo aplicativo para celular recebe feedbacks em sua página na lojinha do Google e/ou da Apple e, entre elogios e reclamações, são frequentes os pedidos de melhorias, mudanças e novas funcionalidades. E com o jogo em Android que desenvolvemos não foi diferente. Mas além dos comentários (Reviews) na Google Play, os feedbacks também vinham pelo do canal de atendimento do app, pesquisas, entrevistas e testes de usabilidade.

Apesar da grande diversidade de feedbacks, uma funcionalidade sempre esteve em destaque e essa preferência foi corroborada em pesquisa aplicada com os jogadores mais ativos do App, ou como são conhecidos, os “baleias” do jogo.

A inclusão dessa nova funcionalidade permitiria que uma partida de cartas no mundo virtual se aproximasse bastante do mundo real, onde amigos/familiares se reúnem, escolhem suas duplas e passam um período do dia jogando e se divertindo. Apesar de ser uma funcionalidade complexa (backend, infra, cliente Android, fluxo e usabilidade), ela sempre esteve no radar de produto (Product Backlog), não somente pela demanda constante dos jogadores, mas também pela hipótese interna de que o desenvolvimento dessa feature pudesse melhorar os números do jogo, como os das métricas pirata:

Aquisição (Acquisition): % novos jogadores que baixaram o jogo e realizaram uma determinada atividade.

Ativação (Activation): % jogadores que, por exemplo, criaram uma conta no jogo, ou terminaram uma ou mais partidas.

Retenção (Retention): % jogadores que após uma primeira experiência, ainda estão interagindo com o jogo após 1, 7, 14, 30, 60, 90 dias.

Receita (Revenue): quanto, em média, um jogador gera de receita para o jogo.

Recomendação (Referral): % jogadores que gostaram do jogo e colocaram um comentário positivo na loja e/ou recomendaram ele para seus amigos, familiares, conhecidos.

Enfim a funcionalidade foi priorizada e iniciamos os primeiros rabiscos com possíveis alternativas.

Concepção

A nova feature foi concebida em um ambiente colaborativo e incremental, com participação do time, Stakeholders e jogadores.

As primeiras ideias, rabiscos e fluxos foram colocados no papel e no quadro branco, com a colaboração de todo o time: Product Manager, UX Designer, Desenvolvedores e analista de QA (Quality Assurance).

No papel ou no quadro branco todos podem desenhar, rabiscar e interagir mais facilmente, inclusive aqueles que normalmente não têm o costume de criar, como parte dos Desenvolvedores. Nessa fase, qualquer retrabalho tem o custo do uso de uma borracha ou de um apagador, enquanto se deixarmos para mudar no final, dependendo do produto, a borracha vai dar lugar a um martelo, picareta ou até mesmo uma britadeira.

Com os primeiros testes, ainda com as telas e fluxos em papel, a funcionalidade começou a ganhar forma e foi possível alinhar a sua viabilidade e alternativas com os times de Infraestrutura, Backend, Projeto e Produto.

Com o escopo mais fechado, foram criados protótipos funcionais digitais, ainda em baixa fidelidade (sem acabamento gráfico), mas que já permitia testar a organização dos elementos, informações, interações, navegação e usabilidade.

Apesar da nova funcionalidade fazer muito sentido para quem joga cartas, seu fluxo em um aplicativo de celular/tablet acabava sendo bem diferente do mundo real.

“Have the mindset of testing to learn, not testing to validate”. — Brendan Boyle, Founder, IDEO Toy Lab

E como só se aprende testando, aplicamos repetidos testes de usabilidade com colegas de trabalho, familiares e amigos que jogavam o jogo. Desta forma, conseguimos aprender muito rápido e pudemos ajustar, reajustar e mais uma vez azeitar a funcionalidade, seus fluxos e usabilidade.

Desenvolvemos curtos ciclos de iteração, inicialmente com protótipos de baixa fidelidade, mas depois também com protótipos em média e alta fidelidade (já com design mais próximo a versão final do jogo), sempre aplicando ao próximo protótipo os insights observados e recebidos durante os testes. Pouco a pouco fomos refinando a nova funcionalidade para, enfim, chegar a um ponto onde já era hora de parar de treinar e partir para o jogo de fato, ou seja, iniciar o desenvolvimento da funcionalidade no cliente Android.

As primeiras versões da funcionalidade, mesmo que somente com parte do fluxo implementado, já começaram a ser testadas por um pequeno grupo de jogadores.

Teste Alfa

Os participantes deste teste foram cadastrados no canal Alfa do jogo na Google Play (é necessário que os usuários tenham uma Conta do Google) para, assim, baixar o jogo com a nova funcionalidade em sua página na loja do Google Play. O teste Alfa é recomendado para ser usado com um grupo pequeno de usuários e com versões menos estáveis e experimentais do app, por isso, só foram incluídos nesta etapa colegas de trabalho, familiares e amigos jogadores.

Durante o teste Alfa foi possível avaliar os principais fluxos do jogo, a usabilidade da nova funcionalidade, conteúdos, performance e os serviços de infraestrutura e backend, assim como encontrar e tratar os primeiros bugs e crashes do jogo.

O que é um crash em um App? É geralmente quando o aplicativo fecha do nada, sem nenhum motivo aparente, retornando à tela inicial do dispositivo sem que o usuário tenha feito nenhuma ação para fechá-lo. Sem exceção, todos os apps têm crashes, mas o percentual de usuários afetados por eles é um número relevante e bastante utilizado para avaliar a saúde dos aplicativos.

A cada nova versão saída do forno, o time testava os fluxos da nova funcionalidade e, caso fosse aprovada, era mais uma vez disponibilizada no canal Alfa no Google Play, onde todos os participantes do teste poderiam atualizar e usar novamente o jogo.

Depois de alguns, muitos refinamentos e com uma versão completa e estável do jogo, foi hora de colocar o App oficialmente em homologação para ser sabatinado pelo time de qualidade (QA).

Mas para nossa surpresa, a aprovação de QA acabou sendo mais rápida do que esperado para uma versão com mudanças tão grandes na estrutura do aplicativo. Isso só foi possível porque a cada versão do jogo, todo o time, incluindo a participação do analista de QA, parava o que estava fazendo para testar a última versão do aplicativo.

Teste Beta

Mesmo com a aprovação do app pelo time de QA, decidimos iniciar um outro teste para receber mais feedbacks de usuários do jogo e também para avaliar o comportamento do aplicativo com uma variedade maior de dispositivos e contextos. O teste Beta é uma outra opção para aplicativos Android e é recomendado para grupos com muitos usuários e versões mais estáveis do App.

Beta aberto e fechado

Existem dois tipos de testes Beta para aplicativos Android publicados no Google Play, o Beta aberto e o fechado:

• Fechado: Os participantes recebem um convite (link) para se inscrever no programa do Beta. Normalmente essa opção é utilizada com um grupo mais controlado de usuários.
• Aberto: Quando o Beta é aberto, qualquer usuário Android pode se inscrever. Para isso basta visitar a loja do aplicativo e clicar em “Aceitar” ser um testador Beta. Essa é a opção mais indicada para um teste com grupos maiores de participantes.

Beta teste aberto

Uma vez testadores Beta, os usuários podem escolher deixar o programa a qualquer momento. Nesse programa não existe um limite pré-definido de participantes, entretanto, os desenvolvedores podem definir um número limite de usuários para participar do teste.

Tanto no teste Alfa como no Beta (aberto ou fechado), todos os comentários (reviews) publicados na loja ficam visíveis somente para os desenvolvedores.

Decidimos então seguir com o Beta fechado, ou seja, para participar do Beta os jogadores teriam que receber e aceitar um convite para participar do programa.

Desafio

Como testar um app onde somente participantes do teste Beta com o novo jogo instalado poderiam receber e/ou enviar um convite para uma partida de cartas?

Ou seja, para funcionar, todos os amigos desafiados/convidados para uma partida deveriam ter a mesma versão do jogo instalado para, então, receber e aceitar jogar uma partida com seus amigos.

Mas além do desafio de juntar grupos de amigos com um interesse em comum, como faríamos para acompanhar e receber feedbacks/insights com um grupo ainda maior de jogadores?

Grupos no Facebook e WhatsApp

A alternativa para viabilizar o teste Beta com um maior número de jogadores foi a criação de grupos fechados nas redes sociais do Facebook e WhatsApp.

Recrutamento

Inicialmente, foram convidados por e-mail 110 jogadores que já haviam respondido uma pesquisa e se candidatado a participar de testes para melhorar o jogo. Mas como a adesão foi baixa — somente 7% entraram no Beta -, selecionamos em nossa base os jogadores mais ativos no último mês e enviamos um convite para testar a funcionalidade e entrar nos grupos de WhatsApp e Facebook.

Os convites foram enviados por e-mail (em lotes de mil), e quando chegamos a 150 inscritos suspendemos o envio de novos e-mails. Rapidamente os próprios jogadores começaram a chamar seus amigos e se transformaram em 250 usuários somente no WhastApp.

Utilizamos os canais para dar instruções de como entrar no programa Beta, convidar seus amigos para participar no Beta, tirar dúvidas e, caso precisassem, instruções sobre a nova funcionalidade. Além e pegar muitos, mas muitos feedbacks.

Resultados

Durante o teste Beta foi possível:

• Avaliar se o app estava estável, com boa performance, funcionando como esperado e sem novos bugs e crashes;
• Validar o envio dos novos eventos para as ferramentas de analytics;
• Avaliar como estava a usabilidade do jogo com um número maior de jogadores e perfis, e assim medir se a nova funcionalidade estava fácil de aprender e jogar;
• Receber muitos insights sobre a nova funcionalidade e também sobre todo o jogo.

BETA - problemas:

• Falta de informações mais detalhadas sobre a ativação do beta na Google Play;
• Após aceitar entrar no programa Beta no Google Play, o aplicativo demorava alguns minutos para ficar disponível para download;
• Falta de um FAQ com as principais perguntas e respostas sobre o processo de ativação e condução da versão Beta.
• Falta de uma Landing Page Beta do jogo, com vídeos e explicações sobre o jogo e a ativação do Beta;
• Falta de um profissional especialista em gerenciar redes sociais;
• No grupo do WhatsApp, nem sempre os jogadores conseguiram parceiros suficientes para fechar mesa em todos os horários do dia e acabavam ficando frustrados;
• Após os primeiros dias alguns grupinhos se formaram e passaram a excluir alguns jogadores.
• Um grupo migrou do nosso grupo para um novo no WhastApp, sem a participação dos administradores do Beta e de alguns jogadores.

BETA - Crashes e Bugs

• Crashes: durante o Beta identificamos novos crashes que poderiam ter grande impacto em produção;
• Bugs: com ajuda dos jogadores foram encontrados novos erros na funcionalidade;
• Otimização e performance: foi possível validar e melhorar os serviços e infraestrutura com um volume maior de usuários;
• Analytics: validação dos principais eventos de tracking nas diferentes plataformas de analytics.

BETA - Insights

• Vários problemas de usabilidade foram identificados, corrigidos e validados a partir de feedbacks dos participantes. Como, por exemplo, a opção para escolher a dupla que não estava sendo percebida por todos jogadores.
• Descobrir que parte significativa dos jogadores não conhecem pessoas para jogar Online.
• Mesmo os jogadores que tinham amigos para jogar, ficaram felizes em poder conhecer outros jogadores;
• Não é nada trivial gerenciar um grupo social;
• Após alguns dias, os jogadores passaram a orientar outros novos participantes sobre a ativação do Beta;
• Sugestões de melhorias, novas funcionalidades e modalidades de jogo foram de grande valia para auxiliar o time na priorização do backlog do produto.

Resumindo o experimento, foi grande o aprendizado sobre a nova funcionalidade e o aplicativo, mas foi capital conhecer de perto os jogadores, suas dores, hábitos e desejos. O time conseguiu sair do outro lado do túnel ainda mais forte e unido, com todos cientes da importância de abrir mão ideias, crenças e achismos. E que mudar de ideia não é sinal de fraqueza, mas de evolução e crescimento profissional e pessoal.

Don’t “Validate” Designs; Test Them
Kara Pernice — Nielsen Norman Group

#JABÁ

E se você quer discutir sobre discovery, métricas, user research e muito mais no dia-a-dia do Product Manager, as próximas turmas do curso Product Manager Mobile já estão abertas.

• Rio de Janeiro, 21 e 22 de Julho — INSCRIÇÕES AQUI
• Florianópolis, 4 e 5 de Agosto — INSCRIÇÕES AQUI