Como ler o resultado
O que decide se um teste enxerga um efeito não é o percentual do hold-out, e sim o número absoluto de conversões esperadas em cada grupo combinado com o tamanho do efeito que você procura. É por isso que a intuição de "separa 10% que resolve" falha tanto: em base pequena, 10% pode significar poucas dezenas de conversões, e nesse volume só um efeito gigante se separa do acaso.
O menor efeito detectável acima é o limite da sua medição, calculado com 95% de confiança e 80% de poder estatístico — o padrão usado no guia. Um lift real menor que ele continua existindo, mas o teste não consegue distingui-lo de ruído: você recebe um número, e esse número não sustenta decisão nenhuma.
Quando a base não alcança
Quatro saídas legítimas, em ordem de preferência:
- Alongue a janela. Um hold-out global medido ao longo de um trimestre acumula muito mais conversões que uma campanha isolada de uma semana. É a saída mais eficaz e a mais barata.
- Meça receita por cliente em vez de taxa de conversão. Uma métrica contínua carrega mais informação por pessoa que um sim ou não, e por isso exige menos gente para a mesma confiança.
- Aumente o controle. Em base pequena, 20% ou até 50% custa pouco em receita absoluta e melhora muito a leitura. Metade e metade é o desenho mais eficiente que existe.
- Aceite o que dá para medir. Se só dá para detectar efeitos grandes, meça efeitos grandes e diga isso ao apresentar. Resultado honesto com limitação declarada vale mais que número preciso inventado.
Antes de rodar, confira o desenho
Dimensionamento correto não salva um controle inválido. O grupo precisa ser sorteado, sorteado antes do disparo e isolado do estímulo — as três condições juntas. O passo a passo completo está em como medir CRM, e a leitura do resultado depois que a janela fecha está em métricas de CRM.
O método completo, em 5 módulos
Esta calculadora é a conta do Módulo 3. O guia cobre o caminho inteiro: por que o report comum não prova nada, como montar o hold-out sem uma equipe dedicada, como ler o resultado com margem de erro e como defender tudo isso na sala onde o orçamento é decidido.