Isadora Oliveira Serpa
Isadora Oliveira Serpa's Blog

Follow

Isadora Oliveira Serpa's Blog

Follow
Guia para rodar um experimento

Guia para rodar um experimento

Neste artigo compartilho um template para que você possa criar seu próprio experimento.

Isadora Oliveira Serpa's photo
Isadora Oliveira Serpa
·Jul 10, 2022·

7 min read

Criei esse template de experimento para auxiliar o processo de estruturação de um experimento e garantir que todos os pontos para sua execução estejam cobertos. Nele, existem diferentes etapas e para cada uma delas, uma série de perguntas a serem respondidas para que o preenchimento dos quadrantes possa ser feito.

As perguntas podem ajudar na definição de cada tópico e na redução dos vieses inconscientes.

Vieses inconscientes são pressupostos, crenças ou atitudes aprendidos dos quais não estamos necessariamente cientes. Embora o viés seja um aspecto natural do funcionamento do cérebro humano, ele pode às vezes reforçar estereótipos. (Fonte: Asana)

Durante o planejamento de um experimento é importante manter o foco no que deve ser validado e nos aprendizados esperados. Evite se apegar a solução ou a resultados esperados no seu imaginário.

Dado contexto do template, estão preparadas? Então vamos lá!

O template de experimento possui 9 quadrantes ou etapas.

Elaborado pela autora

1- Análise de Dados

Nessa etapa, reuna os dados disponíveis sobre o produto, as pessoas usuárias e os atores do ecossistema. Procure pesquisas qualitativas e quantitativas, busque entender testes realizados no passado. Identifique as informações que podem ser relevante para o seu contexto e procure entender mais sobre os indicadores do negócio e como está o momento atual da empresa. No meu caso, o produto era algo novo e o teste também. Apesar de nunca ter sido realizado algo igual, haviam funcionalidades semelhantes que tinham sido testadas. As informações foram úteis para gerar insights e serviram como base para a próxima etapa: Definição do problema.

Checklist:

  • Os dados de experimentos passados fazem sentido para esse experimento atual?
  • Existem dados qualitativos que podem ser analisados?
  • Existem dados quantitativos que podem ser analisados?
  • Existem perguntas que podem ser respondidas sem precisar do desenvolvimento do experimento? Avalie se realmente é necessário realizar um experimento.

2- Definição do Problema

Normalmente, experimentos iniciam por essa etapa, pois o problema já está evidente. No meu caso, essa etapa foi importante para tangibilizar e alinhar com as pessoas envolvidas o problema que havíamos entendido que deveria ser prioritário. Alguns exemplos de problemas que podem ser identificados nessa etapa são:

  • Problema na performance do produto
  • Problemas de usabilidade
  • Quebra de conversão ou fricção em um fluxo de produto
  • Reclamações de usuário em relação a determinada funcionalidade

Checklist:

  • Esses problemas são baseados em dados qualitativos ou quantitativos?
  • Os problemas identificados estão explícitos para o time?

3- Hipóteses

Nesta seção, são criadas as hipóteses que se espera validar com o experimento. Hipóteses são frases que resumem o objetivo do seu teste. A hipótese é importante para ter uma noção de resultados esperados do teste e auxilia a entender melhor seu foco e sua visão.

Para criar as hipóteses você pode utilizar alguns frameworks, como:

a) Framework 4 passos (Meclabs Institute)

Se [resumo descritivo]

Ao [Remover/Adicionar/Mudar]

Então [Melhoraremos a performance]

Porque [Insight do consumidor]

b) Framework (Invision)

Acreditamos que [Criando essa experiência]

Para [Persona]

Atingiremos [Resultado]

Checklist:

  • A hipótese se baseia em observações, ideias ou dados?
  • O experimento se concentra em uma ação que pode ser testada?
  • O experimento tem variáveis mensuráveis e pode se revelar falso?
  • O que as pessoas esperam aprender com o experimento?

4- Experimento

Todo produto, serviço ou conteúdo será consumido por alguém. Para conseguir criar um experimento, é importante conhecer o seu público-alvo e qual o jornada de consumo dessa pessoa. Sendo assim, uma vez feita a análise de dados, definição do problema e hipóteses, é chegado o momento de pensar nas ofertas que podem gerar mais valor para esse grupo de usuários e como será realizada essa validação.

Exemplos de experimento:

  • Validação de um protótipo
  • Melhoria em um fluxo de produto existente
  • Mudanças de um fluxo, tela, botão

Checklist:

  • Qual o tipo de teste será realizado? Teste A/B, Teste multivariado, teste de com protótipo navegável e etc.

5- Amostra

Defina o perfil das pessoas que você deseja que participem desse experimento e entenda qual o tamanho necessário da amostra para que você tenha relevância estatística e confiabilidade nos dados.

Exemplo de população e amostra:

  • População: Pessoas que já compraram ao menos 1 vez no último mês e possuem a conta ativa por no mínimo 6 meses.
  • Amostra: Deve ser uma parte dessa população na qual seja possível ter um nível de confiança e margem de erro factíveis. Para realizar esse cálculo existem calculadoras online como essa aqui. Para o cálculo da amostra ideal são considerados: tamanho da população, nível de confiança e a margem de erro.

Na tabela abaixo, é possível entender os impactos na precisão do experimento quando esses valores aumentam ou diminuem.

Fonte: Survey Monkey

Se você quiser uma margem de erro menor, use um tamanho de amostra maior com a mesma população. Quanto maior o nível de confiança de amostragem desejado, maior será o tamanho da amostra.

Checklist:

  • As características de grupo controle correspondem às do grupo teste?
  • Quais segmentos de usuários serão incluídos no teste?
  • Que tamanho de amostra é necessário para medir o impacto esperado
  • Algum viés restante foi eliminado com a utilização de análises estatísticas ou outras técnicas?

6- Período

A quantidade de tempo que você gasta na execução de um experimento para gerar evidências suficientes.

Checklist:

  • Quanto tempo será necessário para validar o experimento?
  • Esse período está alinhado com expectativas das pessoas envolvidas, times impactados e/ou stakeholders?

7- Métricas

Defina qual métrica você usará para avaliar se sua hipótese é verdadeira, falsa ou nula.

Exemplos de métricas:

  • Cliques em um botão
  • Conversão em um fluxo de compra

Checklist:

  • Foram incluídas todas as variáveis que poderiam afetar nossas métricas?
  • As métricas primárias irão ajudar na tomada de decisão?
  • Foram identificadas métricas secundárias que podem ser afetadas com o experimento?

8- Critérios de Sucesso

É a meta quantificável que mostra que o experimento foi bem-sucedido. A definição de um critério de falha pode ajudar em uma tomada de decisão realista.

Checklist:

  • O que é considerado sucesso do experimento?
  • O que se entende como falha para esse experimento?
  • Quais os resultados esperados para cada cenário? Confirmação, falha e hipótese nula?

9- Ações pós experimento

Descreva que ações serão tomadas após a coleta de dados do experimento. Teresa Torres, em seu template de experimentos, cita alguns tipos de suposições e tratativas de acordo com o resultado das hipóteses.

a) Se a hipótese for confirmada

Se uma hipótese for confirmada, essa suposição será solucionada e potencialmente serão geradas outras hipóteses para serem validadas.

b) Se a hipótese falhar
- Suposição de design: Neste caso, será necessário avaliar outros recursos de design antes de desistir do recurso ou da proposta de valor. Caso sejam testados diversos designs e nenhum deles estiver passando, então será importante rever as características.
- Suposição de funcionalidade: Se várias funcionalidades foram testadas e nenhuma delas está passando, então provavelmente seja útil considerar outras propostas de valor.
- Suposição de proposta de valor: Neste caso, é preciso considerar uma nova proposta de valor.
- Suposição de viabilidade: Reconsiderar as funcionalidades ou designs propostos para chegar a uma nova solução.

c) Inconclusiva

Caso você esteja experimentando algo e não note diferença comparando o grupo controle vs grupo tratamento, isso significa que sua nova proposta (de design, funcionalidade ou proposta de valor) tem os mesmos impactos do antigo. Nestes casos, ainda que a validação seja inconclusiva, talvez faça sentido continuar com a nova proposta em detrimento de desempenho técnico ou outra razão que seja relevante para o negócio.

Checklist:

  • Estão sendo utilizadas evidências experimentais para aumentar a transparência do processo decisório?
  • Quais as mudanças específicas podem ser feitas com base nos resultados?

Documentação: Lembre-se de documentar o plano e resultados do experimento. À medida que a equipe ou a área começarem a realizar experimentos em grande volume, será importante ter visibilidade do histórico dos testes, a forma como foram conduzidos e os resultados gerados. Isso evitará re-trabalho ou repetição de testes para os quais já se tem resultados acumulados.

Fonte: Giphy

Referências:

 
Share this