Fonte: nngroup. Testar 5 usuários três vezes é melhor do que testar 15 usuários APENAS uma vez.

Artigo Escrito por Jakob Nielsen em 19 de março de 2000.

Resumo: Elaborar testes de usabilidade são um desperdício de recursos. Os melhores resultados vêm de testes não mais do que com 5 usuários e elaborando quantos pequenos testes você puder. Para ver essa matéria no site original clique aqui (em inglês).

Algumas pessoas pensam que a usabilidade é muito cara e complexa e que os testes de usuário devem ser reservados para o projeto de web design raro com um grande orçamento e um calendário de luxo. Não é verdade. Testes de usabilidade elaborados são um desperdício de recursos. Os melhores resultados vêm de testes não mais do que com 5 usuários e funcionando como muitos pequenos testes que você pode pagar.

Na pesquisa anterior, Tom Landauer e eu mostramos que o número de problemas de usabilidade encontrados em um teste de usabilidade com usuários é:

N (1- (1- L) n)

onde N é o número total de problemas de utilização na criação e L é a proporção de problemas de utilização descobertos durante o teste de um único utilizador. O valor típico de L é de 31%, em média, através de um grande número de projetos que estudamos.

Determinação da curva de L = 31% dá o seguinte resultado:

20000319-user-testing-diminshing-returns-curve
Aumento na proporção de problemas de usabilidade encontrados como uma função do número de utilizadores testados.

A verdade mais marcante da curva é que os zero usuários dão zero insights.

Assim que você coletar dados a partir de um único usuário de teste, suas ideias vão para o ar e você já aprendeu quase um terço de tudo o que há para saber sobre a usabilidade do design. A diferença entre zero e até mesmo um pouco de dados é surpreendente.

Quando você testar o segundo usuário, você vai descobrir que essa pessoa faz algumas das mesmas coisas que o primeiro usuário e, então, há alguma adição na sua aprendizagem. As pessoas são definitivamente diferentes, assim também haverá algo novo que o segundo usuário faz que você não observou no primeiro usuário. Assim, o segundo usuário adiciona uma certa quantidade de uma nova visão, mas não tanto quanto o primeiro usuário fez.

O terceiro usuário irá fazer muitas coisas que você já observou com o primeiro usuário ou com o segundo usuário e até mesmo algumas coisas que você já viu duas vezes. Além disso, é claro, o terceiro usuário gera uma pequena quantidade de novos dados, mesmo se não tanto quanto o primeiro e o segundo usuário fez.

A medida em que você adiciona mais e mais usuários, você aprende cada vez menos, porque você vai continuar vendo as mesmas coisas de novo e de novo. Não há nenhuma necessidade real para continuar a observar a mesma coisa várias vezes uma vez que você estará muito motivado para voltar à prancheta de desenho e reformular o site para eliminar os problemas de usabilidade.

Após o quinto usuário, você está desperdiçando seu tempo observando os mesmos resultados repetidamente mas não aprendendo muito.

Design interativo

A curva mostra claramente que você precisa testar com pelo menos 15 usuários para descobrir todos os problemas de usabilidade no design. Então, por que eu recomendo testes com um número muito menor de usuários?

A principal razão é que é melhor para distribuir o seu orçamento para testes de usuários através de muitos pequenos testes em vez de soprar tudo em um único estudo, elaborado. Vamos dizer que você tem o financiamento para recrutar 15 clientes representativos para testar seu design. Ótimo. Passe este orçamento em três testes com 5 usuários cada!

Você deseja executar vários testes, porque o verdadeiro objetivo da engenharia de usabilidade é para melhorar o projeto e não apenas para documentar suas fraquezas. Após o primeiro estudo com 5 usuários encontrou 85% dos problemas de usabilidade, você vai querer corrigir esses problemas em um redesign.

Depois de criar o novo design, você precisa testar novamente. Mesmo que eu disse que o redesenho deve “corrigir” os problemas encontrados no primeiro estudo, a verdade é que você acha que o novo design supera os problemas. Mas já que ninguém pode projetar a interface de usuário perfeita, não há garantia de que o novo projeto é o que, de facto, corrigirá os problemas. Um segundo teste vai descobrir se as correções deram certo ou não deram certo. Além disso, na introdução de um novo design, há sempre o risco de introdução de um novo problema de usabilidade, mesmo com o antigo problema corrigido.

Além disso, o segundo teste com cinco utilizadores vai descobrir a maioria dos restantes 15% dos problemas de usabilidade originais que não foram encontrados no primeiro teste. (Haverá ainda 2% dos problemas originais deixados – eles vão ter que esperar até o terceiro teste para serem identificados).

Finalmente, o segundo teste será capaz de explorar mais profundamente a usabilidade da estrutura fundamental do site, avaliando questões como a arquitetura de informação, fluxo de tarefas e combinar com as necessidades do usuário. Estas questões importantes são muitas vezes obscurecidas em estudos iniciais, onde os usuários estão perplexos por problemas de usabilidade estúpidos de nível de superfície que os impedem de realmente cavar no site.

Assim, o segundo teste será tanto servir como garantia do resultado do primeiro estudo de qualidade e ajudar a fornecer uma percepção mais profunda também. O segundo teste vai sempre levar a uma nova (mas menor) lista de problemas de usabilidade para fixar em um redesign. E o mesmo se aplica a esta visão de redesign: nem todas as correções vão funcionar; algumas questões mais profundas serão descobertas após a revisão da interface. Assim, um terceiro teste também é necessário.

A experiência do usuário final é melhorada muito mais por três testes com 5 usuários do que por um único teste com 15 usuários.

Por que não testar com um único usuário?

Você pode pensar que quinze testes com um único usuário seriam ainda melhor do que três ensaios com 5 usuários. A curva mostra que aprendemos muito mais a partir do primeiro usuário do que de quaisquer usuários subsequentes, então por que continuar?

Duas razões:

  • Há sempre o risco de ser enganado pelo comportamento espúrio de uma única pessoa que pode executar determinadas ações por acidente ou de forma representativa. Até três usuários são suficientes para se ter uma ideia da diversidade no comportamento do usuário e insights sobre o que é original e o que pode ser generalizado.
  • A análise de custo-benefício do teste do usuário fornece a proporção ideal em torno de três ou cinco usuários, dependendo do estilo de teste. Há sempre um custo inicial fixo associado ao planejamento e execução de um teste: é melhor para depreciar este custo inicial entre os achados de vários usuários.

Quando testar mais usuários

Você precisa testar usuários adicionais quando um site tem vários grupos altamente distintos de usuários. A fórmula só vale para os usuários comparáveis que estarão usando o site de maneiras bastante similares.

Se, por exemplo, você tem um site que vai ser usado por crianças e pais, em seguida, os dois grupos de usuários terão comportamento suficientemente diferente que se torna necessário testar com pessoas de ambos os grupos. O mesmo seria válido para um sistema que visa interligar agentes de compras com a equipe de vendas.

Mesmo quando os grupos de usuários são muito diferentes, ainda haverá grandes semelhanças entre as observações dos dois grupos. Todos os usuários são humanos, afinal. Além disso, muitos dos problemas de usabilidade estão relacionados com a maneira das pessoas interagem com a internet e a influência de outros sites sobre o comportamento do usuário.

Ao testar vários grupos de usuários diferentes, você não precisa incluir tantos membros de cada grupo como você faria em um único teste de um único grupo de usuários. A junção entre as observações irá garantir um melhor resultado do teste de um menor número de pessoas em cada grupo. Eu recomendo:

  • 3-4 usuários de cada categoria se testando dois grupos de usuários.
  • 3 usuários de cada categoria se testando três ou mais grupos de usuários (você sempre quer, pelo menos, 3 usuários para garantir que você cobriu a diversidade de comportamento dentro do grupo).

Referência:

Nielsen, Jakob, e Landauer, Thomas K .: “A mathematical model of the finding of usability problems,” Proceedings of ACM Conference INTERCHI’93 (Amsterdam, Holanda, 24-29 abril 1993), pp. 206-213.

One thought on “Por que você só precisa testar com 5 usuários

Comments are closed.

Next Post

Fatos interessantes tornam as páginas convincentes

qua fev 11 , 2015
Fonte: nngroup. As pessoas procuram por fatos e conversas diretas. Fatos irrelevantes reduzem a credibilidade do site. Escrito por Jakob Nielsen em 09 de junho de 2013 […]