Recrutando participantes teste para o estudo de usabilidade

Fonte: nngroup. Recrutamento fácil de usuário teste é crucial para um processo de usabilidade eficaz.

Por Jakob Nielsen em 20 janeiro de 2003

Resumo: Recrutamento fácil de usuário teste é crucial para um processo de usabilidade eficaz. O custo médio por usuário é de US $ 171, mas varia muito, dependendo da localização e da profissão alvejadas. Para ver essa matéria no site original clique aqui (em inglês).

Até agora, a maioria das empresas aceitam a necessidade de melhorar a usabilidade de seus sites, intranets, software e projetos de hardware e outros projetos em que existe a interface de usuário. Muitas empresas também sabem que o teste de usuário é o método mais rápido e mais fácil na caixa de ferramentas de engenharia de usabilidade. (Infelizmente, muitos não sabem sobre os outros métodos na caixa de ferramentas ou como combinar efetivamente vários métodos de usabilidade ao longo do ciclo de vida do projeto, mas isso é uma história para outro dia).

Muitas pessoas acreditam em testes com usuários, mas em projetos de design reais não há muitos testes sendo rodados. Por que a discrepância entre a crença e a ação? Principalmente, é a incapacidade da empresa para disparar um teste rápido, pequeno, quando confrontado com uma decisão de design. Poucas organizações podem executar esses testes dentro dos prazos exigidos por projetos de desenvolvimento em movimento rápido. Esta falta de teste-prontidão significa que o teste torna-se um evento raro e precioso que – na melhor das hipóteses – acontece uma vez por projeto.

Projetos de único teste invariavelmente adiam testes de usabilidade até que o projeto completo esteja disponível. Esta prática ainda ocorre apesar de 20 anos de experiência uniforme mostrando que a maioria dos projetos requerem várias rodadas de testes e redesenho para alcançar a qualidade de experiência do usuário aceitável e o achado igualmente forte que é cem vezes mais barato para corrigir problemas de usabilidade descobertos no início do projeto do que corrigir estes problemas apenas quando encontrados no final do projeto.

Simplificar Teste do Usuário

Para aumentar o número de empresas que aplicam métodos de usabilidade corretamente, temos de tornar mais fácil e mais barato para fazer a coisa certa.

As três regras principais para o teste de usuário simplificado são:

  1. Obter usuários representativos
  2. Peça-lhes para executar tarefas representativas com o design
  3. Fique quieto e deixe que os usuários falem

A terceira regra é surpreendentemente difícil, enquanto a regra #2 requer alguma experiência para executar bem. Ainda assim, o principal obstáculo para teste de usuário rápido e frequente é a dificuldade de encontrar usuários que satisfaçam a regra #1. A maioria das empresas não têm procedimentos para obtenção de cinco clientes para mostrar-se em horários específicos na próxima quarta-feira e, no entanto, é isso que é necessário para um estudo de usabilidade de sucesso.

Recrutamento de participante é o fundamento “sem glamour” para todos os testes do usuário. Sem recrutamento, você não terá os usuários. Ter um programa de recrutamento sistemático no lugar vai fazer uma enorme diferença na quantidade de testes de usabilidade que sua organização realiza e a qualidade do seu recrutamento vai aumentar imediatamente a qualidade dos seus resultados de teste.

Recrutamento: O estado da Arte

Para avaliar o estado atual dos participantes do estudo de recrutamento usabilidade, Nielsen Norman Group entrevistou 201 profissionais de usabilidade. Nós queríamos relatar como recrutamento ocorre realmente em projetos de design de hoje, deliberadamente pesquisamos uma amostra tendenciosa dos entrevistados que estavam ativamente envolvidos em testes de usabilidade e de recrutamento. Claro, porque a maioria das empresas atualmente não realizam testes com usuários, eles também não recrutam participantes para o teste. Os resultados aqui apresentados referem-se exclusivamente às práticas das empresas que executam testes de usabilidade.

Dos entrevistados, 54% estavam nos EUA, 8% no Reino Unido, 7% no Canadá, e de 5% na Austrália. Europa Continental representaram 14% dos entrevistados e no Brasil, China, Equador, Índia, Israel, México, Nova Zelândia, Cingapura e África do Sul foram representados também. Claramente, testes de usabilidade e, assim, participante de recrutamento, é um fenômeno mundial.

Agências de recrutamento especializadas

A maioria das empresas recrutaram seus próprios participantes do teste, possivelmente por causa do custo de contratar uma agência de recrutamento especializado. Apenas 36% dos nossos entrevistados utilizaram uma agência de recrutamento externo. Essas empresas geralmente tratam alguns dos seus próprios recrutamentos; apenas 9% dos entrevistados utilizaram agências externas para encontrar todos os seus participantes do teste.

Recrutar os custos de agência pode ser substancial: a taxa média de agência foi de US $ 107 por participante. As taxas variaram significativamente com base na geografia, com as maiores taxas do mundo na costa oeste dos EUA, onde a média foi de US $ 125 por participante. Como eu posso atestar a partir da experiência dolorosa, o Vale do Silício não é apenas um lugar caro para fazer negócios, é também um lugar onde você deve trabalhar duro para recrutar pessoas que ainda não tenham sido estudadas até a morte.

As empresas que fizeram seu próprio recrutamento relataram gastos uma média de 1,15 horas de tempo dos funcionários para cada participante recrutados. Ainda assim, 24% dos entrevistados relataram passar mais de duas horas por participante. Se você não tem um processo de recrutamento simplificado na empresa, com um especialista em recrutamento especializado, então não pode pagar para lidar com recrutamento in-house.

Taxas de recrutamento também variaram drasticamente por perfil de usuário. Não é nenhuma grande surpresa que as agências cobram duas vezes mais para recrutar profissionais high-end (high-user -$ 161 por pessoa) como para recrutar consumidores ou estudantes (cerca de US $ 84 por pessoa) médios.

Incentivos para participantes do teste

As empresas ofereceram incentivos monetários para apenas 10% dos participantes em estudos internos, como a intranet ou testes do sistema MIS. Este achado corresponde bem com a minha recomendação de que as empresas não pagam os seus próprios empregados dinheiro extra para participar de testes de usabilidade porque eles já estão sendo pagos por seu tempo.

Cerca de um terço das empresas (35%) não oferecem incentivos não monetários para os participantes de testes internos. Normalmente, esse foi um pequeno presente, como um cupom para um livro livre ou almoço no refeitório da empresa.

Em contrapartida, as empresas normalmente ofereceram dinheiro para os participantes recrutados fora da empresa como incentivo para participar de um teste: 63% dos usuários externos receberam uma compensação monetária, 41% receberam incentivos não monetários, e 9% não receberam nada. (Os números totalizam mais de 100%, porque 13% dos sortudos participantes externos ganharam tanto os incentivos monetários e não monetários).

O incentivo médio pago aos usuários externos foi de US $ 64 por hora de teste. Mais uma vez, a Costa Oeste dos EUA foi a mais cara, com um incentivo médio de US $ 81 por hora.

Incentivos variam ainda mais por perfil de usuário: profissionais de alto nível receberam quase quatro vezes mais do que os usuários não profissionais ($ 118 vs. US $ 32 por hora, em média).

No-Show Rates

Os participantes do estudo relataram uma taxa média de no-show de 11%, o que se traduz em um em cada nove usuários faltando após confirmar o teste. No entanto, por causa de eventos incontroláveis, como o tempo, tráfego e eventos pessoais aleatórios, as taxas de não comparência são altamente variáveis ​​para um próximo estudo. Assim, se você estiver executando um teste simples “standard” com cinco usuários, você pode facilmente ser atingido por um ou dois no-shows.

Há muitos truques para minimizar no-shows e atenuar o seu impacto quando ocorrem, mas infelizmente não podemos eliminar completamente o problema. No-shows são altamente irritantes e, por isso, uma das principais razões pelas quais eu recomendo pagar incentivos bastante generosos para testar os participantes, mesmo quando o seu salário/hora normal de trabalho é relativamente baixa.

Iniciar o recrutamento sistemático

Eu recomendo fortemente que você trate o participante recrutado como um componente importante de seu processo de experiência do usuário. Quanto mais você criar e sistematizar a sua abordagem de recrutamento, mais fácil será para executar estudos, quando você precisa de dados de usabilidade.

Se você é uma pequena empresa ou se você não tiver feito muitos testes com usuários no passado, eu recomendo a você considerar a contratação de uma agência de recrutamento profissional. Se você não pode pagar a taxa de agência ou se você realiza muito poucos estudos para empregar um especialista em recrutamento em casa, certamente você pode recrutar seus próprios participantes do teste e isso se tornará mais fácil de ser feito ganhando experiência ao longo do tempo.

Em qualquer caso, seguir as melhores práticas de recrutamento irá reduzir o custo total do seu programa de usabilidade e aumentar a validade de seus resultados de teste. Se você receber os usuários errados ou se você não conseguir número suficiente de usuários, seus estudos de usabilidade não irão gerar os resultados que você merece e sua credibilidade poderia sofrer como resultado.

Relatório completo (Free)

O relatório completo sobre o recrutamento de usuários de teste para estudos de usabilidade está disponível para download gratuito.

(Atualização adicionado 2013: taxas de agência de recrutamento e incentivos de usuários recomendados são agora cerca de 20% maior do que os números aqui apresentados, mas o tamanho relativo das despesas permanece o mesmo).