FOUUX: Um framework para medir usabilidade

Colete e interprete métricas de usabilidade por todos os ângulos.

Métricas de design ainda é um assunto não resolvido em muitas conversas. É daqueles temas que todo mundo fala, defende a importância, reproduz métodos, mas muitas vezes a sensação de que não medimos o suficiente nunca cessa, seja por prazos apertados para realizar testes e validações ou, no pior cenário, por não sabermos muito bem por onde começar (ou terminar).

O FOUUX (Framework for Usability and User Experience) é um framework fruto de uma tese lançada em 2009 por Jia Tan onde ela reuniu uma extensa lista com as mais variadas definições que o termo usabilidade acumulou durante o tempo sob a ótica de diversos autores, métodos de testagem reconhecidos e padrões ISO.

O resultado de todo esse trabalho são nove atributos-chave que, combinados com as perguntas certas, são capazes de medir usabilidade sob os mais variados ângulos através de um método replicável, democrático e que pode ser aplicado por pessoas muito ou pouco técnicas em pesquisa.

A tal da usabilidade

Usabilidade pode ser entendida como a métrica que define a capacidade de um produto em permitir que seus usuários completem tarefas em um determinado contexto, o que pode variar de acordo com:

• Características dos usuários : aspectos psicológicos como humor, motivação, hábitos
• Características da tarefa : condições nas quais a tarefa é aplicada (duração, frequência, como ela foi projetada)
• Características do ambiente ou meio de aplicação do teste de usabilidade : hardware, sistema operacional, conexão com internet
• Ambiente físico : nível de barulho, privacidade, problemas de segurança
• Ambiente organizacional : times operacionais e pessoas que aplicam testes, cultura organizacional
• Ambiente social : interrupções, grau de concentração, imprevistos

#PraCegover: roda contendo os 9 atributos de usabilidade (eficiência, eficácia, satisfação, produtividade, aprendizado, acessibilidade, generalização, entendimento e segurança) em tons de verde com um círculo branco nomeado usabilidade no centro.

Os nove atributos da usabilidade

O framework é organizado como uma lista de perguntas que identificam o nível de eficiência, eficácia, satisfação, produtividade, aprendizado, acessibilidade, generalização, entendimento e segurança de um produto, serviço ou aplicação.

Cada atributo conta com um conjunto de sub-atributos compartilhados entre eles. A lista de perguntas abaixo não está completa e alguns itens foram adaptados para o universo de produtos digitais.

Eficiência

Eficiência é a capacidade de oferecer uma performance adequada com os recursos disponíveis e sob determinadas condições.

1. Quantas ações os usuários precisam fazer para completar uma tarefa?
2. Quanta informação os usuários precisam acessar para completar uma tarefa?
3. Qual a taxa de sucesso de cada tarefa?
4. Qual o número de erros persistentes?
5. Quais tarefas ou ações são mais frequentemente realizadas?
6. Qual o percentual de usuários que completa uma tarefa no primeiro uso?
7. Quanto cada tarefa custa para a empresa (treinamento)?
8. Quantas chamadas para suporte cada tarefa ou funcionalidade causa?
9. Quantos usuários acessam a ajuda?

⠀

Eficiência e Tempo

1. Quanto tempo os usuários levam para completar uma tarefa ou um conjunto de tarefas?
2. Quanto demora para a aplicação dar uma resposta a uma ação específica
3. Qual o tempo máximo em que os usuários devem completar uma tarefa ou um fluxo?
4. Qual o tempo máximo que usuários toleram para terem uma resposta da aplicação?
5. Quantas tarefas podem ser completadas dentro de um dado período de tempo?
6. Com quantas tarefas concorrentes a aplicação pode lidar em um período de tempo?
7. Quanto tempo leva para os usuários completarem tarefas na primeira vez?
8. Qual o tempo médio que usuários gastam buscando ajuda?

⠀

Eficiência e Utilização de recursos

1. O uso de recursos da aplicação está alto demais causando ineficiência total ou parcial?
2. Qual a quantidade média de mensagens de erro e falhas que acontecem durante uma tarefa ou em um conjunto de tarefas?
3. Qual impacto a aplicação causa no tempo de espera dos usuários?
4. Quão frequentemente usuários encontram problemas na aplicação?
5. Qual capacidade mínima a aplicação precisa ter para não impactar a experiência de uso?
6. A aplicação é capaz de completar as tarefas que se espera dela sem impactar a experiência de uso?

⠀

Eficiência e Mínima Ação

1. Dados obrigatórios são pedidos apenas uma vez?
2. São necessárias poucas ações para concluir tarefas?
3. Os usuários precisam movimentar muito o mouse para realizar tarefas?

⠀

Eficiência e Esforço cognitivo

1. A interface indica o local onde usuários estão na aplicação?
2. A informação é objetiva e enxuta?
3. Fluxos extensos são quebrados em partes menores?

⠀

Eficiência e Operabilidade

1. Há algo que causa demora nos usuários em entender qual deve ser a próxima ação?
2. Usuários podem operar a aplicação sem erros humanos?
3. Qual proporção de tarefas podem ser canceladas antes de serem completadas?
4. Qual proporção de tarefas podem ser desfeitas?
5. Usuários podem corrigir facilmente seus erros em tarefas?
6. Usuários podem se recuperar de erros ou tentar novamente?

⠀

Eficiência e Feedback

A aplicação informa o status de processamento de uma tarefa?

⠀

Eficiência e Navegabilidade

1. É fácil para usuários avançarem e retornarem nas telas da aplicação?
2. É fácil navegar pelo menu e toolbars?
3. Quando executando uma tarefa, você precisa parar e pensar sobre o que precisa fazer para prosseguir?
4. A próxima tela está numa sequência lógica e previsível?

Eficácia

A capacidade de permitir que usuários cumpram tarefas com precisão.

1. Qual o percentual de tarefas completadas?
2. Quantas tarefas foram completadas como o esperado?
3. Quantas tarefas não foram completadas?
4. Quantas tarefas os usuários desistiram de completar?
5. Quantas tarefas ficaram incompletas?
6. Qual o percentual de tarefas completadas na primeira tentativa?

⠀

Eficácia e Consistência

1. Os componentes são consistentes em diferentes dispositivos?
2. O layout é consistente entre telas de diferentes tamanhos?
3. Os usuários são forçados a navegar em uma grande área na tela para completar tarefas?
4. Instruções e mensagens sempre aparecem na mesma área facilitando o reconhecimento?
5. Há muita inconsistência na aplicação?

⠀

Eficácia e Precisão

1. Qual o percentual de usuários que completam tarefas como o esperado?
2. Qual o percentual de usuários que encontram resultados diferentes do que esperavam?
3. Quão completa foi a implementação de componentes para permitir precisão no preenchimento de dados?
4. Qual a quantidade de erros cometidos durante a execução de uma tarefa?
5. Qual o número de subtarefas concluídas corretamente?
6. Quantas tentativas foram necessárias até completar a tarefa?
7. Quantas dicas foram necessárias para completar a tarefa?
8. Qual o percentual de palavras lidas corretamente a uma distância normal da tela?
9. Quantos erros de usuários podem ser tolerados?
10. Todos os campos de dados fornecem validação de tipo de dados?

⠀

Eficácia e Feedback

1. A aplicação informa quão corretas as informações de usuários inseridas estão corretas?
2. A aplicação informa as consequências de possíveis ações de usuários (Exemplo: "Ao clicar em apagar todo o conteúdo será deletado permanentemente?")?
3. A aplicação informa o progresso em tarefas com várias etapas?

⠀

Eficácia e Memorização

1. Qual a quantidade de tarefas completadas com sucesso após o usuário passar um período sem usar a aplicação?
2. As pessoas conseguem lembrar de funcionalidades da interface após um período sem utilizá-la?

⠀

Eficácia e Avaliação de usuários

Qual a avaliação dos usuários sobre a qualidade da aplicação?

Satisfação

Mede o quão usuários se sentem satisfeitos com a utilização.

1. Qual proporção de potenciais usuários decidem usar o produto?
2. Qual a taxa de reclamação de usuários?
3. Quão satisfeito você está com uma determinada funcionalidade?
4. Você se sente bem usando o produto?
5. Você acha fácil cometer erros?
6. Você sente que o produto é confiável após utilizá-lo?
7. Você sentiu dificuldade ao executar a tarefa?
8. Você usaria esse produto regularmente?
9. Você recomendaria este produto para outras pessoas?
10. O propósito do produto está claro?
11. Você sabia o que fazer quando começou a usar o produto?
12. É fácil acessar o que você precisa?
13. Cada área do produto está bem definida?
14. O produto fornece informação de valor?
15. O produto está defasado ou atualizado?
16. O produto é único?
17. Você sente que o produto é familiar?
18. O produto é confuso ou complicado de usar?
19. Você sempre sabe o que esperar quando usa as funcionalidades do produto?
20. Você sente frustração ao usar o produto?
21. Você ficaria feliz em usar o produto novamente?
22. O produto é eficiente?
23. Você sente estresse ao usar a aplicação?
24. Você gosta de inserir dados desse jeito?
25. Você acha que a aplicação precisa de alguma melhoria?
26. Você tem que se concentrar muito para usar o produto?
27. Você se sente sem controle ao usar a aplicação?
28. A quantidade de informação exposta na tela é suficiente para você?
29. As instruções para correção de erros são claras?
30. A aplicação sempre informa o que está sendo feito?
31. As ações que você faz na aplicação sempre levam a um resultado esperado?
32. A demora entre operações é aceitável?
33. É difícil aprender funcionalidades avançadas?
34. Ocorrem falhas na aplicação frequentemente?
35. A aplicação sempre informa sobre problemas que ocorrem ou podem ocorrer?
36. Você sente que é fácil corrigir seus erros na aplicação?
37. O som é bem audível (claro e sem falhas)?
38. Áudio e vídeo estão sincronizados nos vídeos?

⠀

Satisfação e Operabilidade

1. Os componentes da interface são consistentes?
2. Os usuários entendem facilmente as mensagens da aplicação?
3. Usuários podem customizar a aplicação para facilitar o modo como eles a utilizam?
4. Qual a proporção de elementos que podem ser customizados?
5. Qual a proporção de elementos da interface são auto-explicativos?

⠀

Satisfação e Atratividade

1. Quão atrativa a interface é para você?
2. Como você avalia a interface em termos de amor ou ódio?
3. A interface tem um design atraente?

⠀

Satisfação e Simpatia

1. Você gosta da interface?
2. Você gostou de usar o produto (escala de 1 a 5)?
3. Você escolheria essa marca de produto/serviço novamente baseado na sua experiência com ela?
4. Você recomendaria esse produto para seus amigos baseado na sua experiência com ele?
5. Você gosta da aparência dos gráficos, ícones e cores da interface?

Satisfação e Mínima ação

1. É fácil inserir dados na aplicação?
2. A troca de seções/páginas é fácil?
3. Você tem confiança de que não precisará pressionar uma tecla mais de uma vez para fazer uma ação?

Satisfação e Orientação de uso

1. A aplicação guia você em todas as etapas?
2. A mensagem de erro é útil? (especificar quais)
3. A aplicação permite reiniciar uma ação?
4. A aplicação permite desfazer uma ação?
5. A aplicação permite cancelar uma ação?
6. A aplicação fornece feedback para dados inseridos?
7. A aplicação indica progresso?
8. Caso você vá para um lugar errado usando o menu, é fácil voltar para onde você se encontrava antes?

⠀

Satisfação e Atitudes e percepções de usuários

1. Você sente que faz parte do conjunto de pessoas que utilizam esse tipo de aplicação?
2. Você acha que a aplicação fornece informação de alta qualidade?
3. Como você julga a qualidade do resultado das tarefas que você executa na aplicação?
4. Você tem sensação de sucesso ao usar a aplicação?
5. Como você avalia a sua performance usando a aplicação?
6. Qual interface/seção/tarefa você acha que concluiu mais rapidamente
7. Quão difícil foi concluir essa tarefa?
8. A interface é fácil de usar?
9. Você se sentiu bem usando a aplicação?
10. No geral, a aplicação é boa?
11. Comparado com outras aplicações similares que você usou, qual delas atende melhor às suas necessidade?
12. Você tem comentários negativos sobre a aplicação?

⠀

Satisfação e Flexibilidade

1. É fácil configurar a aplicação?
2. É fácil criar atalhos para as suas ações favoritas?

Produtividade

Há dois tipos de produtividade: uma são as ações que esperamos que o usuário faça para realizar a tarefa esperada. A outra é o tempo que resta após a pessoa usar ajuda, buscar informação ou mesmo passar por períodos de indecisão, ou seja, é o tempo realmente gasto na tarefa sem pausas.

Produtividade e Tempo

1. Quanto leva para completar uma tarefa?
2. Qual a produtividade real durante o uso?
3. Quão eficientes são usuários normais comparados a usuários experts da aplicação?

⠀

Produtividade e Utilização de recursos

Qual o custo-benefício de usar a aplicação?
Por exemplo: tempo dos usuários, tempo de outros dando assistência (suporte), ligações, materiais etc.

Aprendizado

Capacidade de permitir que usuários aprendam facilmente.

1. A aplicação fornece clareza em seus textos?
2. A aplicação não penaliza usuários por erros?
3. É fácil aprender funcionalidades avançadas?
4. É fácil descobrir novas funcionalidades?
5. Você acha que precisaria de alguma pessoa técnica para conseguir usar a aplicação?
6. Você acha que a maioria das pessoas aprenderia a usar a aplicação rapidamente?
7. Você acha a aplicação "pesada"?
8. Você precisou aprender um monte de coisas antes de poder usar a aplicação?

⠀

Aprendizado e Mínima ação

1. A aplicação fornece uma busca geral?
2. A navegação requer o mínimo de cliques possível para levar a algum lugar?
3. O retorno para as áreas principais é feito com um único clique?

⠀

Aprendizado e Esforço cognitivo

1. Os rótulos de campos de entrada de dados são fáceis de entender?
2. Os elementos selecionados são destacados na tela?
3. A hierarquia entre os elementos está clara e fácil de entender?

⠀

Aprendizado e Orientação de usuários

1. Mensagens de erro são informativas?
2. Quão útil são as mensagens de erro?
3. Há alguma área de documentação de ajuda como FAQ ou Wiki?
4. Qual proporção de fluxos e tarefas estão documentadas na ajuda?

⠀

Aprendizado e Consistência

1. As cores são usadas de maneira consistente?
2. As formas de feedback da aplicação são consistentes?
3. Há termos não comuns ao universo dos usuários?
4. Há palavras ou termos ambíguos?
5. O formato de rótulos (labels) de campos de entrada são consistentes?
6. A localização de rótulos de campos de entrada é consistente?
7. A redação/padrão de escrita é consistente em todas as telas?

⠀

Aprendizado e Auto-descrição

1. As tarefas e processos são tão bem explicados que não há necessidade de ajuda extra?
2. A aplicação explica sobre si mesma através de dicas e instruções na tela?
3. Você sente confiança que, ao clicar em um link, o mesmo vai te levar ao lugar que você pretendia, para realizar a ação que você desejava?

⠀

Aprendizado e Simplicidade

1. A aplicação é simples o suficiente para você?
2. Você acha que a aplicação é desnecessariamente complexa?
3. A função principal da aplicação é imediatamente aparente?
4. A aplicação minimiza o número de ações que usuários têm que escolher e nomeia elas de forma fácil para que eles entendam exatamente o que cada uma delas faz?
5. Os textos da interface são curtos e diretos para que usuários absorvam e entendam rapidamente?
6. A aplicação foca na sua funcionalidade principal?
7. Você acha que essa tarefa poderia ser executada de uma maneira mais rápida e simples?
8. Você acha o número de passos para cumprir essa tarefa exagerado ou suficiente?
9. Os passos para concluir a tarefa seguem uma lógica sequencial?
10. Você aprendeu rápido a usar a aplicação?

⠀

Aprendizado e Navegação

1. A arquitetura da informação permite aprendizado rápido?
2. A ordem das opções do menu é lógica?

⠀

Aprendizado e Capacidade de memorização

1. É fácil lembrar nomes e comandos?
2. É difícil lembrar regras específicas de preenchimento de certos campos de dados?
3. Os nomes dos comandos são auto-explicativos a ponto de serem memorizados facilmente?
4. Usuários podem memorizar mensagens importantes facilmente?

Acessibilidade

Capacidade de ser utilizado por pessoas com alguma deficiência.

Acessibilidade e Orientação de usuários

É fornecida ajuda para pessoas com alguma deficiência?

⠀

Acessibilidade e Operabilidade

1. Usuários podem se recuperar do seu pior erro possível usando a aplicação
2. Usuários podem reduzir procedimentos operacionais para sua conveniência?
3. Qual a proporção de funcionalidades que usuários com deficiências físicas podem acessar?
4. Qual a proporção de funcionalidades que podem ser customizadas para usuários com deficiências físicas?
5. Qual a proporção de funcionalidades que podem tolerar erros de usuários?

⠀

Acessibilidade e Flexibilidade

1. A aplicação possui funcionalidade de zoom para expandir os elementos na tela sem quebrar a consistência?
2. A aplicação fornece funcionalidades para pessoas com deficiência?
3. A aplicação fornece funcionalidades para situações de deficiências (usuários dirigindo ou sem óculos, por exemplo)

⠀

Acessibilidade e Mínima ação

1. A seleção de itens primária é feita apontando para eles?
2. A seleção de itens secundária é feita apontando para eles?

⠀

Acessibilidade e Esforço cognitivo

A aplicação possui rótulos textuais que descrevem ícones?

⠀

Acessibilidade e Legibilidade

1. Pessoas com deficiência conseguem ler textos da interface facilmente?
2. As imagens estão desfocadas ou nítidas?
3. As imagens estão claras ou escuras?
4. Há contraste suficiente em todos os elementos?
5. O sistema de cores contempla pessoas com daltonismo ou outras alterações visuais?

⠀

Acessibilidade e Controle

Pessoas com deficiência se sentem sem controle quando usam a aplicação?

⠀

Acessibilidade e Auto-descrição

Explicações estão disponíveis quando usuários solicitam?

⠀

Acessibilidade e Simplicidade

Você acha que as informações mais frequentemente usadas na interface estão bem visíveis e acessíveis?

⠀

Acessibilidade e Navegabilidade

1. É fácil para pessoas com deficiência avançar e voltar nas telas da aplicação?
2. É fácil para pessoas com deficiência navegar nos menus?

Generalização

Capacidade de acomodar diferentes tipos de usuários com backgrounds culturais, gêneros, idiomas e idade diferentes.

Generalização e Flexibilidade

1. Usuários podem renomear elementos de acordo com suas necessidades
2. A aplicação tem um onboarding capaz de treinar usuários com diferentes perfis?
3. Usuários podem customizar a interface?
4. Usuários podem atribuir nomes a comandos?
5. A aplicação fornece opções que se adequam às necessidades de diferentes culturas?
6. A aplicação está disponível em múltiplos idiomas e em múltiplos países?

⠀

Generalização e Consistência

1. O sistema de cores da interface é conveniente para usuários de diferentes culturas?
2. Os dados e informações da aplicação são consistentes com as convenções dos usuários?
3. Símbolos e códigos visuais levam em conta a padronização universal?

⠀

Generalização e Atratividade

Qual a porcentagem de elementos da interface que podem ter sua aparência customizada?

⠀

Generalização e Feedback

Os feedbacks da aplicação são entendidos por todos os usuários?

⠀

Generalização e Simplicidade

1. Os elementos respeitam o tamanho mínimo de espaçamento para que estejam visíveis e possam ser facilmente acessados?
2. Os elementos frequentemente usados estão posicionados em um lugar da interface onde são mais visíveis e acessíveis?
3. É fácil clicar em áreas sem clicar acidentalmente em outra adjacente?

⠀

Generalização e Esforço mínimo

Os símbolos, ícones e outros elementos na interface são facilmente entendidos e lembrados por todos os usuários?

⠀

Generalização e Auto-descrição

1. Explicações sobre a aplicação estão disponíveis para usuários solicitarem a qualquer hora?
2. A aplicação se auto-explica com dicas, elementos visuais e metáforas mostradas na interface?

⠀

Generalização e Navegabilidade

Foram contemplados diferentes perfis de usuários quando a estrutura hierárquica do menu foi criada?

⠀

Generalização e Controle

A aplicação acomoda pessoas mais velhas?

Entendimento

Se usuários conseguem entender como a aplicação atende suas necessidades e como ela pode ser usada para realizar tarefas com o menor atrito possível

1. Qual a proporção de funcionalidades que estão listadas na descrição do produto?
2. Qual a proporção de funcionalidades complexas que têm demonstração de como usar?
3. Qual a proporção de funcionalidades da aplicação que são evidentes para usuários?
4. Qual a proporção de funcionalidades que os usuários conseguem entender corretamente?
5. Qual a proporção de funcionalidades que são entendidas após usuários lerem a descrição da aplicação?
6. Qual a proporção de tutoriais/guias que podem ser acessados pelos usuários?
7. Qual a proporção de funcionalidades que os usuários conseguem usar com sucesso após acessar um tutorial?
8. Usuários conseguem entender que dados devem inserir na aplicação e o que a aplicação retorna para eles?
9. Os termos utilizados na aplicação são fáceis de entender e livres de jargões?
10. A informação é disposta de uma forma que corresponde a como os usuários visualizam que pode solucionar seus problemas?
11. Os elementos e informações da tela são agrupados de forma lógica?
12. A aplicação contém mensagens de status claras que informam os usuários sobre o que está acontecendo?
13. A sequência de telas de um fluxo é confusa ou clara?

Segurança

Mede o risco do produto de ferir pessoas, prejudicar o negócio, propriedade ou o ambiente em um determinado contexto. Isso inclui segurança do usuário e de todos que são afetados pelo uso do produto, seja mental, física ou economicamente.

Segurança e Precisão

Quão frequentemente os usuários encontram resultados imprecisos?

⠀

Segurança e Tolerância a erros

1. Quão frequentemente a aplicação causa falhas que impedem que usuários a utilizem?
2. Processos foram criados para impedir falhas críticas da aplicação?
3. Quantas funcionalidades estão implementadas com capacidade de evitar operações incorretas?
4. Você acha que o menu de navegação da aplicação previne você de cometer erros?

⠀

Segurança e Proteção

1. Quão completa é a trilha de auditoria relativa ao acesso do usuário à aplicação e aos dados?
2. Quão controlável é o acesso à plataforma?
3. Quão completa é a implementação de prevenção à corrupção de dados
4. Quão completa é a implementação de criptografia de dados?
5. Qual é a incidência de danos às pessoas que utilizam a aplicação?
6. Qual a incidência de dano econômico?

⠀

Segurança e Privacidade

1. Dados de usuários podem ser acessados por pessoas não-autorizadas?
2. A aplicação tem mecanismos para impedir o vazamento de dados?

Conclusão

O FOUUX é um guia flexível e escalável que pretende medir todos os aspectos que determinam a usabilidade.

É flexível ao permitir que times definam quais atributos deverão ser medidos em uma determinada etapa de validação com usuários, podendo adaptar as perguntas para atender a seus contextos ou mesmo criar outras perguntas para aprofundar as respostas.

É escalável porque permite que times criem roteiros replicáveis de testes de usabilidade (o framework traz como exemplo formulários com as perguntas aplicadas usando a escala Likert, além de diversas fórmulas para calcular proporções, tempo etc.) que geram dados que ajudam a dar uma direção mais precisa de como evoluir a experiência de uso dos nossos produtos.

Referências

• Tan, Jia , FOUUX: A Framework for Usability & User Experience. 2009
• Interaction Design Foundation , Usability: A part of the User Experience. 2020
• Quovantis , How to perform Usability testing?. 2017
• Sarp Cebi , How to build a usability lab anytime, anywhere. 2018

O UX Collective doa US$1 para cada artigo publicado na nossa plataforma. Esse artigo contribuiu para a World-Class Designer School: uma escola de design gratuita de nível universitário, com foco em preparar designers africanos jovens e talentosos para o mercado de produtos digitais local e internacional. Construa a comunidade de design na qual você acredita.