Momento Hands-on: testes não moderados

Dias desses estava lendo um artigo de uma pesquisadora gringa falando sobre as experiências ruins dela com ferramentas de testes não-moderados: Maze, Lookback, Userberry e afins. As principais questões eram a respeito da impossibilidade de interpretar alguns resultados e sobre o recrutamento, principalmente quando feito pela própria ferramenta.

Geralmente os problemas encontrados por pesquisadores mundo afora são bem parecidos. Nesse caso, apesar de entender os pontos dela, fiquei pensando na minha própria experiência e descobri que tive problemas um pouquinho diferentes por aqui.

Como fazíamos nosso próprio recrutamento, esse problema era mitigado.Nossa dor de cabeça era outra: como trabalhar os dados obtidos, devido a sua natureza de classificação.

Os objetivos ao usar essas ferramentas eram claros: escalar e acelerar a pesquisa. Ou seja, diminuir o máximo de incertezas do produto, de maneira rápida.

Maaasss…

No nosso universo de usuários, não dava pra considerar uma pesquisa com o mínimo de testes que a ferramenta recomendava uma amostra quanti representativa… Essa quantidade jogava os resultados mais para perto de um teste de usabilidade. Só que esses dados — a maior parte números e taxas — também não eram qualitativos.

Ao mesmo tempo, esse tipo de resultado cria uma “ilusão de certeza”: um sentimento de confiança que pesquisadores ou designers têm ao receberem dados quantitativos rápidos e de alto volume, que embora pareçam objetivos, podem ser enganadores ou mal interpretados sem o devido contexto.

Acompanhando essa ilusão de certeza, vem a sensação de dever cumprido de toda equipe de produto: “fizemos a pesquisa, tudo validado, temos números e resultados irrefutáveis”.

Eu entendo a birra da gringa: não tem como igualar testes não-moderados com testes de usabilidade moderados. Fica devendo entendimento, pois os dados são obtidos sem a chance de aprofundamentos que a interação com um moderador possibilita. Mas a culpa não é do método: ele não tem esse objetivo.

Se você aplica um teste não moderado para fazer discovery ou entender motivações, a chance de ter desperdício de tempo e energia é grande: provavelmente seu leque de dúvidas vai abrir ainda mais, e daí, adeus objetivo de escalar e agilizar pesquisa. Nesse caso, seria preferível ter os clássicos 5 testes iniciais moderados, como já nos recomendava nosso querido vovô. Ou usar algum outro método mais adequado para discovery.

Por outro lado, conseguíamos dados interessantes e úteis o suficiente para não abandonar a ferramenta e o método. Então resolvemos usar os testes não-moderados (fossem eles teste de protótipo, first-click etc) com critérios definidos:

• testando soluções, não fazendo discovery.
• tarefas pequenas e pontuais, mesmo que tivesse que quebrar o fluxo em vários testes.
• instruções simples e diretas nas tarefas.
• métricas de satisfação, usabilidade & perguntas abertas no final dos testes.
• e por fim, mas não menos importante: aumentamos a amostra, para tornar o dado representativo e CONFIÁVEL para nosso universo. Porque no final das contas, o foco é diminuir as incertezas do produto.

Testes não-moderados são uma ferramenta valiosa no repertório de uma equipe de UX Research, não tenho dúvidas. Eles trazem velocidade, escala e apontam quick-wins acionáveis. Porém também podem dar uma sensação enganosa de objetividade, se não usados com critério. Porque não adianta fazer pesquisa só para cumprir um check no processo sem trazer nenhum conhecimento pro negócio, ou ainda pior, trazer “certezas” travestidas de dados que podem não ser úteis ou mesmo conduzir a equipe a falsas conclusões.

( e sim, esse texto tem travessão, bullet points e emojis — é assim que escrevo 🙂)