Testes de usabilidade na pandemia
Validando soluções com usuários de forma remota.
Já faz mais de um ano que fomos atingidos pela pandemia da Covid-19. Neste cenário, muitas empresas precisaram se reinventar, visto que o distanciamento social foi e é necessário para a segurança de seus funcionários. Assim, novas rotinas surgiram como o trabalho em regime home office, as reuniões por videoconferência e os happy hours remotos 🍻.
Porém, haviam atividades que eram realizadas necessariamente de forma presencial, como por exemplo uma pesquisa de campo. O nome já é bem sugestivo, se é uma pesquisa de campo precisaremos ir a campo, mas devido a pandemia isso não é mais seguro.
Nós, designers de experiência, sabemos que, uma das pesquisas aplicadas com usuários é o teste de usabilidade. Estes testes são sessões onde convidamos alguns participantes para testar soluções projetadas. Nesta oportunidade, precisamos estar próximos dos participantes para observá-los, captar o não-dito, entender seus comportamentos, ações e frustrações, para que então, possamos confirmar/refutar nossas hipóteses e captar insights.
Essa era uma prática presencial, mas agora, existe a necessidade de uma adaptação para o contexto pandêmico. Neste post, trago uma história na qual realizamos testes de usabilidade de forma 100% remota, com o objetivo de avaliar a usabilidade de um aplicativo para um banco digital.
Nas próximas seções, serão mostradas como as etapas de planejamento, recrutamento, execução, análise e resultados foram realizadas, os obstáculos enfrentados e quais as lições e boas práticas aprendi com essa experiência.
Antes de começar:
Pra você que está chegando agora no universo do design e nunca ouviu falar de testes de usabilidade, recomendo que leia este artigo antes de prosseguir. Agora que estamos todos na mesma página, vamos começar.
⠀
Contexto
Atualmente, estou trabalhando na Bemol, a maior varejista do Amazonas. Atuo em um setor chamado Bemol Digital, onde nossa responsabilidade é criar novas soluções para o meio digital, assim como, dar manutenção nos produtos já existentes.
O produto no qual tenho trabalhado trata-se de um banco digital o qual irá fornecer muitos benefícios para os empregados da empresa e para a população. Após terminar o desenvolvimento das primeiras funcionalidades desse produto, nós designers (somos 3) decidimos fazer testes de usabilidade remotos com usuários reais:
⠀
1. Planejamento dos testes
Para organizar nossa pesquisa com usuários, elaboramos 2 documentos: (1) planejamento do teste e (2) roteiro. Todos os documentos foram desenvolvidos utilizando a ferramenta online Google Doc's, optamos por ela para que todos tivessem acesso simultâneo ao conteúdo escrito e pudessem dar suas contribuições. Como tudo estava sendo feito de forma remota, era essencial a rapidez no processo co-criativo.
O documento de planejamento era voltado para as definições de cronograma, objetivos, metodologia, perfil/quantidade de participantes e métricas impactadas. Já o documento do roteiro, continha todo o script de execução do teste, desde a introdução, entrevista quebra gelo, roteiro das atividades e debriefing. É um documento tradicional que serve para guiar o facilitador no momento da execução do teste.
⠀
2. Recrutamento
Definido todo o planejamento da pesquisa, seguimos em recrutar os participantes para os testes. Para isto, entramos em contato com o time de marketing para nos ajudar. Fizemos um alinhamento de expectativas, no caso sobre os participantes do teste, repassamos que gostaríamos de pessoas com o seguinte perfil: colaboradores da Bemol, com idade entre 28 e +50, com variações de gênero e área de atuação dentro do grupo Bemol. Preferimos primeiramente testar com nossos colaboradores, visto que eles são nosso público-alvo e também porque facilitaria o recrutamento.
Como resultado, conseguimos elaborar um email que continha toda a contextualização sobre os testes e um convite aos colaboradores para participar. Ao final do email, o colaborador tinha acesso a um questionário (feito no Google Forms) onde poderia responder algumas perguntas como: área de atuação, gênero, faixa etária, modelo de celular e disponibilidade de datas e horários. Após responder o questionário, o participante era considerado inscrito para os testes.
O email foi enviado para todos os colaboradores da empresa e acreditamos que esta etapa foi um sucesso pelo fato de termos conseguido 856 participantes inscritos. Os colaboradores realmente estavam engajados em nos ajudar, porém para os testes de usabilidade uma amostra de 10 pessoas já era o suficiente, então de 856 participantes filtramos um total de 11 (1 para o teste piloto e 10 para os testes normais).
Essa filtragem foi realizada pelos designers do time na ferramenta online Google Sheets. Nosso filtro de escolha foi composto por algumas categorias como: (1) gênero, nós queríamos testar com um público diverso; (2) área de atuação, queríamos pessoas de diferentes áreas para termos olhares diferenciados sobre o nosso produto e (3) modelo de celular, precisávamos testar em diferentes modelos para entender se havia problemas de uma versão para outra. Por fim, conseguimos filtrar os 11 participantes para os testes e estávamos prontos para dar continuidade na execução dos mesmos.
⠀
3. Execução
Ferramentas e Agendamento
Antes de começarmos as baterias de testes, precisávamos definir quais ferramentas iríamos utilizar nas sessões. Então, para as reuniões de videoconferência decidimos utilizar o Google Meet e para o registro da utilização do produto pelo usuário optamos pela ferramenta Lookback.
Essa ferramenta foi escolhida pois fornece recursos de gravação de vídeo do rosto do participante no momento do teste, e da tela do dispositivo. Então ao final de cada teste, teríamos dois vídeos: um da tela do celular e outro do rosto do participante. Também usamos o bloco de notas para fazer anotações e o Google Forms para registrar as escolhas dos usuários em cada atividade e assim obter dados quantitativos.
Quanto ao agendamento dos testes, os questionários respondidos nos deram acesso aos contatos dos inscritos. Sendo assim, falamos individualmente com todos os participantes para confirmar as datas do teste e da reunião pré-teste.
⠀
Reunião pré-teste
Essa reunião foi realizada 2 dias antes das sessões e tinha o objetivo de preparar todo o ambiente, para que no dia do teste não houvesse imprevistos e este pudesse ser realizado de maneira fluída. Nesta reunião quase todos os participantes estavam presentes juntamente dos designers do produto.
Passamos algumas orientações básicas aos participantes, como a instalação do lookback nos seus dispositivos e o download do nosso produto nas lojas digitais, como nosso produto ainda está em versão beta, era necessário uma orientação especial. Fizemos o acompanhamento das instalações, alguns conseguiram instalar, outros não conseguiram por problemas técnicos. Por fim, reforçamos a importância da participação de todos nessa pesquisa e continuamos dando suporte a quem não conseguiu configurar o ambiente após a reunião.
⠀
O Teste Piloto
Realizamos um teste piloto para validar se nossa sessão estava adequada ao que pretendemos descobrir, neste teste conseguimos entender algumas coisas como:
- Quanto tempo em média pode durar uma sessão;
- Em que partes o roteiro precisava ser ajustado;
- Temos que ser ágeis com as ferramentas de registro como o Lookback;
- Precisamos melhorar o contexto de algumas atividades, dando menos ou mais detalhes;
Todos estes ajustes foram fundamentais para que pudéssemos realizar sessões de testes mais assertivas com os participantes. Sempre que puder, não desperdice a oportunidade, faça um piloto.
“O teste piloto oferece a oportunidade de validar o enunciado das tarefas, entender o tempo necessário para a sessão e, se tudo correr bem, pode até fornecer um ponto de dados adicional para o seu estudo.”
— Amy Schade
⠀
Os Testes de Usabilidade
Os testes foram realizados em sessões com 3 pessoas: um facilitador que é a pessoa que irá conduzir a sessão, uma pessoa para dar suporte com as ferramentas de gravação e anotações e o próprio participante do teste.
Ao total foram realizados 10 testes de usabilidade distribuídos em 2 dias, sendo 5 testes para cada dia. Sobre todo esse processo, tivemos algumas lições aprendidas a compartilhar:
- Logo no primeiro dia, tivemos um participante que teve problemas de infra e ele não conseguiu baixar o aplicativo. Mesmo com uma reunião pré-teste para solucionar esse tipo de problema, não foi possível tratar tudo com todos e infelizmente tivemos que adiar este teste para o dia seguinte. Se isso acontecer, não se desespere, no ambiente remoto é natural que esse tipo de imprevisto ocorra, mas faça o possível para evitar.
- Adiando um teste, ficamos sobrecarregados no segundo dia, visto que agora teríamos que realizar 6 testes em um só dia. Pesado hein! 🥵Cumprimos com a missão, mas a lição aprendida aqui é que precisávamos de mais espaço entre um teste e outro para compilar as informações e descansar um pouco, portanto, quando for agendar as sessões deixe uma gordura de sobra, pois imprevistos acontecem.
- Outro ponto é que fui o facilitador em todos os testes, no terceiro teste do dia, minha garganta já estava falhando de tanto falar. Então fica a dica para sempre que possível, intercale os papéis.
- Apenas dois moderadores em um teste remoto não é suficiente, meu parceiro de teste além de ter que gerenciar as ferramentas de gravação, também tinha que anotar os pontos destacados pelo participante. O ideal seria uma pessoa para cada atividade.
- O Lookback é uma excelente ferramenta para registrar as sessões, porém exige uma certa complexidade de nossos participantes para a sua instalação.
Apesar de muitos pontos de melhoria, conseguimos realizar todas as sessões, obtivemos um número significativo de dados para analisar e muito material registrado. Ao final de cada teste, fazíamos uma sessão de debriefing para saber a satisfação do participante com toda a experiência vivida e então, o convidamos para fazer parte da nossa comunidade de beta testers. Atualmente, já temos 10 pessoas na nossa comunidade.
⠀
4. Análise de dados
Para analisar os dados, assistimos todo o material que foi gravado e transcrevemos todas as nossas anotações para um board na plataforma Miro.
Após a transcrição dos dados, organizamos as informações em post-its e as separamos nas categorias: problemas de experiência, comportamental, insights, sugestões e quotes.
Nossa avaliação de usabilidade foi feita através de discussões entre os designers sobre os problemas de experiência apontados pelos participantes, onde cada erro era classificado de acordo com um grau de severidade definido por Nielsen. Por fim, conseguimos classificar todos os problemas de experiência apontados pelos participantes e obtivemos um board com post-its no seguinte formato:
Outro fator que ajudou na análise foram as informações advindas dos formulários, como expliquei anteriormente, utilizamos o Google Forms para marcar as escolhas dos usuários e obter dados quantitativos. Desta forma, obtivemos alguns gráficos para nos orientar com relação a frequência de erros, como mostra o exemplo abaixo:
De modo geral, tenho alguns pontos de atenção sobre a etapa de análise:
- A transcrição dos dados de um bloco de notas para o Miro foi demorada, perdemos um dia inteiro de trabalho fazendo isso. As informações estavam descritas de uma forma superficial, ao passar para o Miro consertamos os erros de português e escrevíamos cada informação de uma forma mais objetiva para facilitar a análise, isso nos custou tempo.
- Devido a transcrição ter demorado muito, algumas atividades transbordaram e tivemos que fazer hora extra para que pudéssemos fechá-las no prazo. Devíamos ter nos planejado melhor ☹️.
⏳ Se pudéssemos voltar no tempo:
- Poderíamos ter envolvido nosso time de pesquisa nesta etapa, assim teríamos mais auxílio na transcrição das informações e até mesmo na detecção de insights.
- Poderíamos fazer a transcrição das entrevistas ao final de cada teste e não no outro dia.
Contudo, a análise de dados gerou muitos insights e trouxe debates relevantes para a melhora de nosso produto.
⠀
5. Resultados
Como principais resultados deste teste de usabilidade, tivemos:
- Uma lista de erros de usabilidade classificados com um grau de severidade. Estes erros foram apresentados para o time e priorizados para serem corrigidos.
- Uma lista de insights e sugestões de novas funcionalidades.
- Um grupo de beta testers formado.
- Conseguimos validar nossas hipóteses e cumprir com nossos objetivos.
- Apresentamos nossos resultados para a diretoria da empresa. Na oportunidade mostramos a importância das pesquisas com usuários e como isso pode impactar nosso produto.
⠀
Lista de Ferramentas
Pra você que está a procura de ferramentas para fazer seu teste, separei esta seção para listar todas que utilizamos:
- 📄 Google Doc’s
- 📊 Google Forms
- 📉 Google Sheets
- 🎥 Google Meet
- 🕺🏼Google Presentation
- 📹 Lookback
- 🚀 Testflight
- 📋 Miro
Essas foram as ferramentas que funcionaram pra gente, mas lembre-se, existem várias plataformas disponíveis, e fica a seu critério decidir o que melhor se encaixa para seu contexto.
⠀
Conclusão
A aplicação de testes de usabilidade remoto proporcionou uma experiência de aprendizagem sobre cada uma das etapas. Desde o planejamento com o desenvolvimento dos documentos de forma compartilhada, o recrutamento realizado junto com o time de marketing, a execução de testes piloto, definição de ferramentas e coleta de dados através de entrevistas em profundidade nos fez compreender os obstáculos em realizar pesquisas com usuários a distância. A análise dos dados nos trouxe vários insights, erros de usabilidade e principalmente lições aprendidas. E por fim, os resultados que obtivemos foram essenciais para o aprimoramento do produto.
Toda essa experiência permitiu entender na prática o que muda de uma abordagem presencial para outra a distância. Espero que através de nossos erros e acertos mostrados aqui, possamos auxiliar designers e pesquisadores na realização de pesquisas com usuários de forma remota.
Por fim, gostaria de agradecer a Bemol Digital por apoiar essa pesquisa e aos meus colegas Bruce e Sabine que foram incríveis na realização deste trabalho.
Obrigado por ter lido até aqui 💙
Referências
- Amy Schade - Teste piloto: acertando (antes) na primeira vez, 2015.
- Elvys Soares - Teste de usabilidade à distância (remoto), 2020.
- Gabriela Vieira - O que eu aprendi com a aplicação de teste de usabilidade remoto no meio da quarentena, 2020.
- Jakob Nielsen - Classificações de gravidade para problemas de usabilidade, 1994.
- Kate Moran - Teste de usabilidade 101, 2019.
- Luana Sena - Como foi a experiência de fazer um Teste de Usabilidade remoto, 2020.
