Curva de Aprendizagem no UX: Como medir a aprendizagem de uma interface de usuário
O que é curva de aprendizagem e como ela é usada para mensurar resultados em testes de usabilidade.
Quando falamos em curva de aprendizagem, a primeira imagem que vem à cabeça é o desenho de um gráfico em curva. A história da curva surgiu com o psicólogo alemão Hermann Ebbinghaus em 1885, mas foi somente em 1936, com a Primeira Guerra Mundial, que ela se popularizou.
Quando o engenheiro aeronáutico Theodore Wright, observou que à medida que a produção de aviões aumentava, o tempo de montagem diminuía. Essa progressão rendeu o famoso gráfico em curva e a conclusão de que a eficiência em cumprir uma tarefa aumenta à medida que o indivíduo pratica ela e o esforço diminui ao longo do tempo, conforme a tarefa é repetida.
No UX a capacidade de aprendizagem é um dos 5 componentes da usabilidade com eficiência, memorização, erros e a satisfação e é o componente presente na quarta heurística de Nielsen, sobre consistência e padrões.
Este é um artigo para quem quer aprender o que é a curva de aprendizagem, como dimensionar e aplicar um teste de aprendizagem. Os exemplos são baseados principalmente no artigo da Alita Joyce pela Nielsen and Norman Group, no artigo de Kevin C. Kupillas.
Pra que serve a curva de aprendizagem
“Os usuários não devem ter que se perguntar se palavras, situações ou ações diferentes significam a mesma coisa em uma interface.”
— Jakob Nielsen (April 24, 1994 · Updated Jan. 30, 2024). 4: Consistency and Standards, 10 Usability Heuristics for User Interface Design.
Teste de curva de aprendizagem é o teste ideal se você está buscando validar mudanças em interfaces que precisam ser usadas em tarefas cotidianas como acontece em aplicativos de banco, produtos de CRM ou em apps de serviços e sistemas usados com frequência no dia-a-dia.
Ou seja, se as tarefas da interface forem complexas e repetitivas já é um bom objeto de estudo para teste de curva de aprendizagem. Apesar disso, é um teste de usabilidade ainda bastante negligenciado no UX por conta da pressa das empresas lançarem atualizações e funcionalidades novas.
Em situações até certo ponto repetitivas mas esporádicas, como inscrever-se em um serviço ou declarar imposto de renda, a tendência é que, por conta do longo intervalo de tempo, o usuário comporte-se como se fosse a primeira vez a cada vez que realizar a tarefa.
A aprendizagem na usabilidade
A capacidade de aprendizagem considera o quão fácil é para os usuários realizarem uma tarefa pela primeira vez e quantas repetições são necessárias para que eles se tornem eficientes nela.
— Alita Joyce (October 20, 2019) How to Measure Learnability of a User Interface
A aprendizagem está no centro de toda boa estratégia de UX. Testar a aprendizagem serve para verificar a qualidade de integração de um usuário às situações e caminhos da interface.
Quanto mais familiarizado a uma interface menor é o custo de adaptação para o usuário e melhor a interface desempenha comercialmente para alegria dos stakeholders. Afinal, nada pior do que uma tarefa chata de fazer que precisa ser feita com frequência.
E é justamente porque as pessoas passam a maior parte do tempo usando produtos digitais diferentes, que essas experiências moldam as suas expectativas ao usar uma interface nova. Então, a curva de aprendizagem é inerente ao primeiro uso de qualquer interface.
Ou seja, usabilidade e utilidade são igualmente importantes em um sistema de design de interface. Pouco importa se algo é fácil se não for o que você precisa. Também não é bom se um sistema faz hipoteticamente o que você quer, mas você não consegue usar.
Definição de Útil = usabilidade + utilidade .
Definição de Usabilidade = quão fácil e agradável é.
Definição de Utilidade = quando o design fornece os recursos que você precisa.
Para projetar uma interface com alta capacidade de aprendizagem observe os componentes da usabilidade e imagine o modelo mental dos usuários.
1. Capacidade de aprendizagem
O quão fácil é para os usuários realizarem tarefas básicas pela primeira vez?
2. Eficiência
Depois deles aprenderem, o quão rápido conseguem executar as tarefas? Os usuários diminuíram o seu tempo e se tornaram eficientes após repetições?
3. Memorabilidade
Quando os usuários retornam ao design após um período sem utilizá-lo, com que facilidade eles se lembram do caminho? Eles conseguem restabelecer a proficiência?
4. Erros
Quantos erros foram cometidos? Quão graves eles são? Com que facilidade os usuários se recuperam deles?
5. Satisfação
O quão satisfeitos eles se sentem em realizar a tarefa? O quão agradável foi para os usuários usarem a interface para chegar até o objetivo?
Aprendizagem no UX é sobre a capacidade de o usuário apreender uma interface nova e encontrar os caminhos para as suas ações, por isso, lembre-se, nenhum usuário é uma tela em branco. É o modelo mental das pessoas que informa as ações que eles irão tomar e ele é construído a partir das expectativas que os usuários criam por meio de suas repetições.
Como medir a curva de aprendizagem?
Ao desenvolver o gráfico da Curva de Aprendizagem Theodore Wright construiu uma fórmula para calculá-la, y=C1.Xª as variáveis criadas pelo matemático representam o seguinte:
y = Tempo médio de produção dos aviões;
C1 = Tempo de produção da primeira unidade;
x = Unidades de aviões produzidas;
ª = Taxa de aprendizado da pessoa trabalhadora.
O que a fórmula descreve é que a medida que determinada tarefa é executada repetidas vezes, aumenta-se a eficiência em sua execução. Do mesmo modo, o esforço colocado na realização das tarefas diminui.
Para que uma tarefa seja realizada de forma frequente, em geral é preciso que a interface ajude tanto usuários experientes, acelerando suas interações, quanto novatos.
Em testes de usabilidade de aprendizagem de interface, geralmente queremos descobrir se os usuários recorrentes conseguirão melhorar sua performance tornando-se eficientes na nova interface, ou se ficarão incomodados com os novatos por terem que executar as mesmas ações repetidamente.
Como mensurar o impacto da curva
Vamos supor que estamos realizando um teste de aprendizagem para um sistema de treinamento de backup em que um deles é um aplicativo para administradores de TI realizarem backup e o outro é um fluxo de trabalho orientado por assistente virtual.
O aplicativo é um sistema altamente aprendível e os usuários são capazes de executar as tarefas o mais rápido possível. Em 4 tentativas eles atingem um ponto de saturação da curva de aprendizagem.
Já no sistema de fluxo orientado por assistente virtual a curva é praticamente plana, já que os participantes tiveram que passar pelas mesmas telas e responder às mesmas perguntas para executar o backup não houve melhoria de tempo com as repetições.
Outra maneira de mensurar o impacto de uma interface é medir o retorno sobre o investimento, comparando as descobertas da pesquisa com os custos e ROI.
Supondo o que você está medindo uma interface que passou por uma atualização do design system em que um administrador gasta 10 minutos por dia para concluir uma tarefa de backup de forma otimizada em que a tarefa é executada diariamente durante todo ano, isso equivale a 3650 minutos ou aproximadamente 60 horas.
A um custo de $ 100 por hora, significa que a empresa gastará $ 6000 para concluir os backups. Se esse valor é um bom resultado ou se a taxa de tempo ou eficiência precisará ser reduzida para atender as expectativas vai depender da meta e das especificidades de cada produto.
Que métricas usar? 💭
O foco em teste de usabilidade de curva de aprendizagem é reunir métricas para observar as tarefas repetidas ao longo do tempo e como eficiência é a principal métrica associada a taxa de tempo é uma das métricas primárias mais usadas.
Mas, diversas outras métricas podem ser reunidas em testes quantitativos de curva de aprendizagem, como taxa de erro, satisfação, SUM e SUS.
O teste de curva de aprendizagem é um teste que simula uma atividade rotineira para o usuário, por isso medir a taxa de erros ao longo das repetições pode ser uma boa opção se o seu objetivo for testar a eficácia dos caminhos.
“É muito difícil alterar uma rotina praticada com frequência, mesmo depois de um erro ter sido cometido uma vez — ou até mesmo várias vezes.”
— Aurora Harley (December 10, 2017) Variations on Practiced Patterns Cause Mistakes
Na primeira tentativa o usuário provavelmente cometerá mais erros, porque é mais eficiente para o usuário usar o sistema que ele já está acostumado. Testes de curva de aprendizagem precisam ser padronizados e consistentes porque enquanto o participante repete as tarefas ele também aprende a usar a nova interface.
Aqui vão algumas dicas na hora de preparar um teste de usabilidade de curva de aprendizagem:
Passo 1: Crie um documento de planejamento do teste ✍🏼
Comece o seu estudo definindo um planejamento junto a sua equipe. Descreva o objetivo do teste, a pergunta principal a ser respondida, perguntas secundárias norteadoras, quais ferramentas serão utilizadas e formule a hipótese.
Testes de curva de aprendizagem consomem tempo e orçamento, um bom documento de planejamento contendo as restrições, complexidade, tempo e responsabilidades na execução dos testes ajudará você a obter um teste mais claro e uma boa análise ao final do ciclo.
Passo 2: Faça um bom screening 📋
O screening é nada mais que um conjunto de perguntas com o propósito de selecionar os participantes e filtrar os usuários que participarão dos testes.
Um teste de curva de aprendizagem busca determinar o quão facilmente as pessoas aprendem interfaces. Então para efeito comparativo, recrute participantes de pelo menos dois grupos, um grupo com pouca ou nenhuma experiência no sistema e outro de usuários experientes.
É recomendável em pesquisas quantitativas que se recrute um número razoavelmente grande de participantes, pelo menos 30–40 participantes. Na hora de recrutar, faça um screening alinhado não só com objetivos comerciais, mas com critérios de diversidade e acessibilidade de interface.
Representar a diversidade da amostra fará a diferença na hora dos designers tomarem decisões que tenham como público pessoas com diferentes perspectivas e experiências. Quando os usuários descartam áreas da tela, por conta dos seus modelos mentais, é porque eles têm uma suposição errada sobre a funcionalidade.
Vamos dizer que você esteja testando um simulador de financiamento para concessionárias de veículos elétricos e recrutou donos de concessionária para participar do teste. O dono da concessionária não conhece a ferramenta de simulação de financiamento tão bem quanto o vendedor que usa a interface todos os dias. O seu screening precisa conter perguntas capazes de filtrar um usuário qualificado.
O Governo estadual de Queensland, Austrália, disponibiliza um Manual de design de serviços digitais com diversos templates e recomendações de como projetar pesquisas centradas no usuário no caso de prestação de serviços e apoio a comunidade australiana.
Clique aqui e acesse o Screening do estado de Queensland
A plataforma de Respondent.io também disponibiliza um conjunto de ferramentas e guias para conduzir Questionários Screening em diferentes tipos de testes de usabilidade, moderados e não moderados como templates.
Clique aqui e acesse, o Screening da Respondent.io
Passo 3: Determine a métrica 📊
Observe o seu caso com um caso de estudo. Geralmente a taxa de tempo é coletada como a métrica primária, mas dependendo do seu sistema, o tempo da tarefa pode não ser tão relevante.
Nessas situações, considere coletar o número de erros ou metrificar a memorabilidade do caminho, considerando a ocorrência de caminho por repetição.
Considere as restrições da métrica que você estiver usando. Por exemplo, se você optar pela Single Usability Metric (SUM), a Métrica Única de Usabilidade, deverá ter um único caminho feliz na hora de planejar o seu teste.
Isso quer dizer que os demais caminhos terão que ser tratados como desvios e o participante não poderá “errar”, concluindo a tarefa por caminhos alternativos porque esses caminhos não estarão abertos no protótipo. Se você tiver mais de um caminho feliz por tarefa, ao invés de ter um KLM vai ter uma quantidade de KLM proporcional ao número de caminhos.
Caso você opte pela SUM e deixe os caminhos abertos, precisará definir um critério de compensação de nota, como considerar o caminho contando um desvio a mais na hora de computar os dados, o que pode ser bem trabalhoso de processar manualmente se o teste for randomizado.
Na métrica SUS as respostas dos usuários são pontuadas a partir de uma escala que considera a percepção do usuário em relação às heurísticas de Nielsen de facilidade de aprendizagem, eficiência, facilidade de memorização, erros e satisfação. Essa escala pode ser útil pra comparar a aprendizagem entre versões de interface por exemplo.
Por último, não deixe de definir qual é a métrica primária. É ela que você vai usar para comparar os resultados entre a primeira e a última rodada de testes e obter a diferença entre as repetições.
Passo 4: Determine o número de tentativas 🪃
Como todo aprendizado, aprender uma nova interface requer muitas repetições. Normalmente, todos os usuários atingem um patamar de eficiência quando aprendem completamente uma interface, isso acontece quando repetir a tarefa mais vezes não reduz o tempo.
Se você está se perguntando quanto tempo é necessário de intervalo entre os testes e o número de tentativas, considere com que frequência que os seus clientes usam o produto normalmente e defina um intervalo o mais próximo possível.
Para uma tarefa que os usuários realizam diariamente ou algumas vezes por semana, você pode ter testes em dias consecutivos ou com 2 a 3 dias de intervalo. Mas para tarefas feitas uma vez por mês, você pode querer deixar 4 semanas entre os testes. Na dúvida, considere de 5 a 10 testes e planeje mais testes do que você acha que precisa para ter certeza de que atingiu um desempenho estável.
Passo 5: Reúna e plote os dados 📈📉
É hora de consultar o plano de pesquisa e o screening para reunir os dados e verificar se os mesmos participantes avançaram nos testes repetindo as mesmas tarefas.
Verificando se os padrões de metrificação do teste foram seguidos na moderação. Se a cota de participantes novatos e especialistas foi cumprida, se todos os segmentos de grupos de usuários da amostra foram contemplados (exemplo: participantes segmentados por renda, faturamento ou concorrente).
Em caso de um teste de curva de aprendizagem com muitas tarefas, certifique-se de randomizar as tarefas para evitar que os usuários fiquem “viciados” em um caminho pela ordem e apliquem as tarefas futuras e os resultados de satisfação e memorização acabem enviesados;
Para cada tarefa, calcule as médias métricas de cada teste e plote-as, ou seja visualize as médias em um gráfico de linha com eixos rotulados. Ao plotar os dados para cada teste, você obterá a curva de aprendizado da tarefa em relação à métrica.
Passo 6: Faça a análise da curva 🧮
Hora de analisar a curva. A queda que você vê na curva de aprendizagem após atingir o ponto máximo é real ou é apenas o resultado de ruído nos dados? Por ser um estudo quantitativo você vai querer analisar se os dados têm significância estatística antes de apresentar para os seus stakeholders.
A significância estatística mede a probabilidade de uma diferença nas taxas entre uma Versão/Caminho A e a Versão B/Caminho B de um teste não ser causada por acaso. Em outras palavras: se os resultados do seu teste mostrarem que um caminho da interface tem 95% de significância estatística, isso significa que há uma probabilidade de 95% do resultado estar correto e 5% de chance de que, repetindo o experimento, o vencedor seja diferente, ou o resultado inconclusivo.
Depois de descobrir se o teste foi significativo, considere a inclinação da sua curva de aprendizado.
Quão alta é a produtividade com que os usuários atingiram o platô e aprenderam a usar a interface?
Esse aspecto é particularmente importante para interfaces que precisam ser usadas por usuários especialistas, pessoas com uma necessidade frequente e duradoura de usar o sistema.
Interfaces menos aprendíveis têm quedas relativamente pequenas na curva e levam muitas tentativas para atingir um ponto de saturação. Enquanto, sistemas altamente aprendíveis têm curvas íngremes que caem rapidamente e atingem o ponto de saturação após menos repetições. Ou seja, um sistema aprendível nem sempre é eficiente.
Na maioria das vezes a mudança vem como uma surpresa para o usuário. O objetivo de qualquer mudança é garantir que ela seja valiosa e necessária. E o objetivo das curvas de aprendizagem é que elas sejam necessárias, administráveis, valham o investimento e sejam introduzidas da melhor maneira possível.
Mesmo quando a curva de aprendizado é pequena, ainda é uma curva de aprendizado para ser analisada pois a mudança tornará a vida das pessoas mais fácil daqui para frente.
Em uma apresentação de curva de aprendizagem levante hipóteses de como as mudanças podem atender melhor o público com melhorias nos componentes da interface ou criação de novos recursos para públicos experientes, como atalhos e aceleradores.
Se quisermos construir melhores experiências ao longo do tempo, repensar como as mudanças foram lançadas e construídas é o que irá fazer a diferença na hora de apresentar uma pesquisa de curva de aprendizagem.
Outra dica é que você pode convidar o Product Designer da sua equipe para colaborar com você, participando ou observando os testes de usabilidade e prototipando soluções ao final do ciclo.
E aí? Você já tinha ouvido falar de teste de usabilidade de curva de aprendizagem? O que você achou? Compartilha comigo a sua opinião sobre este artigo e me ajude a continuar melhorando :]
Referências
- Jakob Nielsen (April 24, 1994 · Updated Jan. 30, 2024). 10 Usability Heuristics for User Interface Design
- Mariana Mendes (Oct 26, 2022). Capacidade de Aprendizagem de uma Interface de Usuário.
- Design Banco Bmg (Oct 11, 2023). Abraçando o Potencial dos Erros na Curva de Aprendizagem
- Jonathan Thomas (May 1, 2024). The 10–80–10 Principle: Creating Inclusive User Experiences for Everyone
- Jonathan Thomas (Jun 25, 2024). Reducing Learning Curves: Introducing UX Nudges, Progressive Disclosures for feature-Rich Product Experiences
- Kevin C. Kupillas (30 de abril de 2018). A mudança gera curvas de aprendizagem. Ser mais atencioso sobre como proporcionamos mudanças às pessoas que usam nossos produtos e serviços
- Rachel Krause (January 10, 2021). Maintain Consistency and Adhere to Standards (Usability Heuristic #4)
- Alita Joyce (October 20, 2019). How to Measure Learnability of a User Interface.
- Aurora Harley (December 10, 2017). Variations on Practiced Patterns Cause Mistakes.
- 2 minute video by Jakob Nielsen. Jakob’s Law of Internet User Experience.
- Rachel Krause (January 10, 2021). Maintain Consistency and Adhere to Standards (Usability Heuristic #4)
- 2 minute video by Kate Moran. Usability Heuristic 9: Help Users Recognize, Diagnose, and Recover from Errors.
- Artigo Learning curve de Wikipedia, the free encyclopedia.
