Questionário online — você está perguntando direito?

Esta é uma série de posts sobre pesquisa com usuários. O plano é falar sobre tipos de pesquisa, boas práticas e dar dicas para quem quer começar.

— -

Levante a mão se você já montou um questionário online.
Levante a outra mão se você divulgou para o Facebook e recebeu um monte de respostas dos seus amigos (boa parte deles, pessoas que trabalham com UX).

\o/

Pois é, mas essa talvez não seja a melhor forma de obter resultados significativos para sua pesquisa.

Mas vamos por partes.

Você pode montar um questionário online com vários objetivos:

• Como pesquisa qualitativa, de inspiração: “Vou fazer um site sobre catchup. Quero descobrir como as pessoas usam catchup e vou fazer uma enquete com uma pergunta aberta.”
• Como pesquisa quantitativa: “Já conversei com algumas pessoas e descobri que vários cariocas colocam catchup na pizza. Agora quero descobrir quantas pessoas fazem isso e se é só coisa do Rio de Janeiro, mesmo.”
• Como recrutamento ou pré-recrutamento: “Vou fazer um teste de usabilidade e preciso achar pessoas de um perfil específico.”
• Como formulário de inscrição: “Vou fazer um evento gratuito sobre selfies.”

Mas será que montar um bom questionário online é tão simples quanto fazer perguntas? Para ilustrar, seguem alguns exemplos de questões um pouco… questionáveis. Algumas reais, algumas exageros em nome da didática.

“De que marca de catchup você gosta mais?” Resposta: quem disse que eu gosto de catchup?

Quem é seu público-alvo? Onde você pode encontrá-lo? Em uma pesquisa sobre catchup, não adianta perguntar “de que marca de catchup você gosta mais” se a pessoa nem gosta de catchup.

Se a pesquisa é sobre uso de internet, divulgar a seus amigos de UX pode não ser a melhor estratégia. Afinal: você tem certeza de que eles representam o perfil da maior parte das pessoas?

Uma boa coisa é ter perguntas no começo do formulário que qualificam a pessoa como “dentro do perfil” ou “fora do perfil”. No exemplo, seria: “Você gosta de catchup?”, “Você tem catchup na geladeira da sua casa?”. Se a pessoa está fora, você descarta as respostas. Para ser legal, pode até criar uma regra que manda ela para um “Obrigado, já terminou”.

“Responda esta pesquisa sobre o incrível Axure”

Será que quem não curte o Axure vai responder? E ainda: será que quem responder vai se sentir influenciado a classificar o Axure como “super incrível” na escala de avaliação?

No ano passado eu estava trabalhando na pesquisa sobre o perfil do profissional de UX Freela no Brasil em conjunto com o Blog de AI. A intenção era descobrir quem fazia freela, quem não fazia. E entre quem não era freela, entender um pouco o porquê. Só que o questionário foi lançado com um título mais ou menos assim: “Pesquisa sobre o Freela de UX no Brasil”. Resultado: amigos comentaram comigo que “Legal, mas eu não vou responder porque não faço freela”. Um detalhe no título já limitou o universo de respondentes e com isso não conseguimos um dado confiável sobre o universo total de freelas X não freelas.

“Se você nunca usou esse aplicativo, pule para a questão 23”

Olha, existe uma coisa mágica em formulários que é: regra. Várias ferramentas (Wufoo, Typeform) permitem fazer uma lógica que só mostra uma pergunta X se a pessoa respondeu Y na pergunta anterior.

Quem tem que fazer o esforço com a pesquisa é você, não quem está respondendo.

“O que achou deste filme? Ótimo ou bom?”

Sim, este é um exemplo real.

Se você usa uma escala, é bom garantir que ela não “puxe” os resultados nem para o lado bom, nem para o lado ruim. Se não, é roubar no jogo, né?

Se você criou uma pergunta fechada de múltipla escolha, é importante que todo mundo se encaixe em uma das opções. Se a pessoa não souber como responder ou não se encaixar em nenhuma delas, pode selecionar qualquer uma só para passar adiante — e isso estraga os seus resultados. Na dúvida, é bom colocar uma opção “outros”. E ficar de olho: se a maioria das pessoas clica ali, sinal de que as suas alternativas não estão muito boas.

E para complicar mais ainda: a ordem das opções pode afetar os resultados. Há estudos como este do Jeff Sauro que mostram que pode haver uma tendência de selecionar as opções mais à esquerda. E entre uma lista de opções, nem sempre a pessoa lê todas para escolher a melhor; muitas vezes escolhe a primeira que faz um mínimo de sentido para ela (Satisficing). É por isso que algumas ferramentas mais parrudas de questionário permitem randomizar as respostas — cada pessoa vê em um ordem.

“Na sua visão, o mercado de internet brasileiro está preparado para atender mobile?”

É pesquisa ou dissertação de vestibular?

Considere que quem responde sua pesquisa está te fazendo um favor e quem deveria ter mais trabalho com a pesquisa é você. Não é muito legal pensar uma pesqusia como uma forma de obter respostas prontas para cortar e colar no seu trabalho de faculdade, por exemplo. Se o seu tema ainda está super aberto e quer ter visões especializadas sobre o assunto, pode ser mais legal fazer entrevistas individuais com cada um deles — pode ser rapidinho, pelo Skype. Sim, vai te dar mais trabalho. Mas é bem melhor para responder esse tipo de pergunta.

Minhas perguntas não têm respostas definidas, posso fazer um formulário com 10 perguntas abertas? Se coloque no lugar do outro: você teria paciência de responder 10 perguntas abertas apenas para ajudar alguém que você mal conhece (afinal, uma boa pesquisa vai além do seu círculo de amigos)? Qual a motivação da pessoa em responder?

“Você já cometeu algum crime que te impeça de entrar nos Estados Unidos?”

Se você precisa que as pessoas sejam sinceras sobre um assunto, nem sempre perguntar de forma direta é a melhor estratégia. Principalmente quando a pessoa preenche o formulário para ganhar algo (no exemplo acima, o visto para os Estados Unidos).

Se você quer recrutar pessoas que já amam catchup para uma pesquisa com uma recompensa de R$ 100, não pergunte “Você ama catchup?”. Muita gente pode responder “SIIIIIIM” só para ganhar os R$ 100.

—

Por fim, vale para questionário online como para um monte de coisas na vida: teste. Peça para um amigo responder e marcar o tempo que ele leva e depois peça para ele comentar o que entendeu de cada pergunta. Se puder, peça para vários amigos. Por mais esperto que você seja na arte de perguntas as coisas certas, sempre há uma ambiguidade que escapa e que pode comprometer os resultados.
[tw-divider]Referências / para ler mais[/tw-divider]

Using Questionnaires for Design Research, Emma Bolton

Survey Respondents Prefer The Left Side Of A Rating Scale, Jeff Sauro @ Measuring Usability

Typeform — ferramenta para montar questionários lindos

Wufoo — ferramenta para montar questionários com várias regras e customizações

Imagem do filme Quem Quer Ser um Milionário?