Como medir CRM: o método que prova o resultado da operação

1. O que "medir CRM" realmente significa

Existe uma pergunta que aparece cedo ou tarde na carreira de qualquer profissional de CRM, quase sempre feita por alguém de fora da área:

"Se a gente parasse de fazer isso, quanto a empresa perderia?"

Não é uma pergunta hostil. É a pergunta mais razoável que existe sobre qualquer investimento. Performance responde com CAC e ROAS. Comercial responde com pipeline. Operações responde com custo por unidade. CRM, na maioria das empresas, responde com "temos 22% de abertura e 3% de clique" — o que não é uma resposta, é uma mudança de assunto.

Medir CRM, portanto, não é acompanhar o desempenho das peças. É estimar o contrafactual: o que teria acontecido com esses mesmos clientes se você não tivesse feito nada. Toda a dificuldade da área está aí, porque o mesmo cliente não pode ser observado nos dois cenários ao mesmo tempo.

2. Por que o report padrão não prova nada

O report típico de campanha tem esta forma, e passa em qualquer reunião:

Ele contém quatro problemas, todos invisíveis para quem está na sala:

• As cinco primeiras linhas descrevem a peça, não o efeito. Entrega, abertura e clique servem para diagnosticar assunto fraco, entregabilidade caindo ou criativo que não convence. São úteis — mas responder "quanto a empresa perderia sem CRM" com taxa de abertura é como responder "esse remédio cura?" com "97% dos pacientes conseguiram engolir o comprimido".
• "Atribuída" é uma convenção, não uma medição. A palavra significa: essas conversões aconteceram dentro de uma janela depois do envio, então decidimos contá-las como da campanha. A ferramenta não sabe se a campanha causou a compra. Ela sabe que a compra veio depois. E "depois" não é "por causa".
• O denominador some. 1.800 conversões soa muito; 1.800 sobre 200.000 é 0,9%. A pergunta que importa é qual a taxa de compra natural dessa base numa semana sem campanha nenhuma. Sem esse número, 0,9% é literalmente ininterpretável.
• Todo o resultado é creditado à campanha. Esse é o erro central, e ele tem tamanho.

Suponha que a taxa de compra natural dessa base seja 0,7% na mesma janela. Isso significa que 1.400 daquelas pessoas comprariam de qualquer forma:

Todos os números deste artigo são fictícios e construídos para fins didáticos.

3. Incrementalidade: o conceito que resolve

Incrementalidade é a parcela do resultado que só existe porque a ação existiu. É o que sobra depois de descontar o que aconteceria de qualquer forma. A fórmula é uma subtração:

Como o contrafactual é impossível de observar, a saída prática é construir uma boa aproximação dele. Se você separa aleatoriamente uma parte do público antes de disparar e não envia nada para ela, esse grupo funciona como uma janela para o universo onde a campanha não aconteceu: compra no ritmo natural, sujeito às mesmas promoções de loja, à mesma sazonalidade e ao mesmo humor da economia.

O sorteio é o que garante que, na média, os dois grupos se pareçam em tudo que você mediu e também em tudo que você nem sabe que existe. Essa última parte é o que nenhuma segmentação manual consegue entregar.

4. As três condições de um grupo de controle válido

Falhar em qualquer uma delas não enfraquece a medição: invalida.

1. Sorteado. Os clientes do controle foram escolhidos por acaso, não por comportamento, cadastro, engajamento ou valor. Qualquer critério que você use para escolher quem fica de fora provavelmente também se relaciona com quem compra mais.
2. Sorteado antes. A separação acontece antes do disparo, sobre o público elegível. Definir o controle depois de ver os dados é escolher a linha de chegada depois da corrida: sempre dá para achar um recorte em que o resultado fica bonito.
3. Realmente isolado. Quem está no controle não recebe o estímulo por nenhum caminho — nem pelo mesmo canal, nem por uma régua paralela, nem por campanha de outro time que por acaso pega o mesmo público.

O erro mais comum: quem sobrou não é controle

Compare quem recebeu com quem não recebeu e o número fica ótimo — porque quem não recebeu não recebeu por algum motivo. Veja o mesmo caso das duas formas:

A campanha funcionou: 20% de lift é um resultado respeitável. Mas o report dizia 200%, e foi sobre esse número inflado que a empresa decidiu aumentar o investimento. Os falsos controles mais comuns são sempre os mesmos: quem não tem e-mail ou telefone válido, quem deu opt-out, quem não abriu a mensagem, quem ficou fora do segmento, quem teve falha de entrega e — o clássico — o mesmo período do ano anterior.

5. Como montar a medição, passo a passo

1. Defina a pergunta. "O CRM inteiro vale o que custa?" pede um hold-out global: um percentual fixo da base fora de toda comunicação por um trimestre. "Vale a pena repetir esta ação?" pede controle por campanha. Comece pelo global: responde à pergunta que sustenta o orçamento e tem custo recorrente próximo de zero.
2. Sorteie o cliente, não o envio. Se o sorteio for feito campanha a campanha, o mesmo cliente cai no controle numa semana e no impactado na outra — e um cliente que recebeu doze campanhas e ficou fora de uma não é controle, é um impactado que perdeu uma mensagem.
3. Marque na origem. A marcação vive como campo fixo no cadastro do cliente, na base ou no data warehouse. Nunca em filtro de campanha, lista salva ou exclusão configurada na jornada: filtro de campanha não sobrevive a troca de responsável, duplicação de jornada ou mudança de régua.
4. Use um critério reproduzível. Derive o grupo de uma função estável do identificador do cliente, para que a mesma pessoa caia sempre do mesmo lado mesmo que a marcação precise ser recalculada depois de uma migração.
5. Aplique a exclusão em um único ponto. Na consulta que monta o público, o mais acima possível no fluxo. Um ponto de exclusão é auditável; sete pontos são sete chances de falha.
6. Documente. Qual é o grupo, desde quando existe, qual critério, qual período e quem pode alterar. Grupo de controle sem documentação vira ruído em três meses.
7. Feche a janela antes de olhar. Métrica principal e janela definidas antes de rodar. Escolher depois, olhando os números, garante que você vai encontrar o resultado que queria encontrar.

6. Tamanho do grupo: a conta que quase ninguém faz

A intuição diz que 5% ou 10% da base resolve. O que decide, na verdade, não é o percentual: é o número absoluto de conversões esperadas em cada grupo, combinado com o tamanho do efeito que você quer detectar. Para uma base que compra naturalmente a 0,75% na janela de medição:

Coluna da direita supondo controle de 8% da base. Nível de confiança de 95% e poder estatístico de 80%.

Leia essa tabela devagar, porque ela contraria a intuição de quase todo mundo: com 200 mil clientes e hold-out de 8%, você enxerga com confiança apenas efeitos de 27% ou mais. Um lift de 15% — que seria excelente — devolve um número, mas um número indistinguível de ruído.

Quando a base não alcança, há quatro saídas legítimas, em ordem de preferência: alongar a janela (um hold-out trimestral acumula muito mais conversões que uma campanha de uma semana), medir receita por cliente em vez de taxa de conversão (métrica contínua carrega mais informação por pessoa), aumentar o controle (em base pequena, 20% ou até 50% custa pouco em receita absoluta) e aceitar medir só efeitos grandes, declarando isso ao apresentar.

Use a calculadora de dimensionamento para verificar, com os números da sua base, qual é o menor efeito que a sua medição consegue enxergar — antes de rodar o teste.

7. Do dado bruto ao número da apresentação

Um hold-out global de 10% numa base de 400 mil clientes, medido ao longo de um trimestre, ticket médio de R$ 85:

1. Lift absoluto: 3,45% − 3,10% = 0,35 ponto percentual.
2. Lift relativo: 0,35 ÷ 3,10 = 11,3%.
3. Conversões incrementais: 0,35% sobre 360 mil impactados = 1.260 compras que não teriam acontecido.
4. Receita incremental: 1.260 × R$ 85 = R$ 107.100 no trimestre.

8. Como saber se o resultado é real ou ruído

Grupos sorteados sempre diferem um pouco por acaso. Veja o que acontece com exatamente as mesmas taxas em bases de tamanhos diferentes:

Mesmas taxas, mesmo lift, conclusões opostas. Na base de 400 mil, a margem vai de 0,17 a 0,53 p.p.: toda a faixa está acima de zero, o efeito existe e resta discutir o tamanho. Na base de 40 mil, a margem vai de −0,22 a +0,92: a faixa atravessa o zero, o que significa que os dados são compatíveis com a campanha ter ajudado, não ter feito nada ou até ter atrapalhado. Reportar "lift de 11%" nesse caso é apresentar ruído como resultado.

Quatro hábitos evitam o autoengano:

• Reporte a faixa, não só o ponto. "Entre 0,17 e 0,53" é mais honesto e, na prática, mais convincente que um número seco.
• Meça a janela seguinte. Se o impactado compra mais na primeira janela, menos na seguinte, e a soma empata com o controle, você não gerou receita: antecipou uma compra que já era sua. Isso muda a decisão, principalmente se houve desconto.
• Rode um teste A/A. Antes de olhar o resultado, compare os dois grupos no período anterior ao teste. Se já havia diferença relevante quando nenhum dos dois tinha recebido nada, o sorteio falhou em algum lugar. Descobrir isso antes de apresentar economiza uma reunião muito ruim.
• Desconfie do resultado que muda de sinal quando você mexe levemente na janela. Efeito real é estável.

Vale também conhecer as três armadilhas que enganam mesmo com um bom controle, e que se disfarçam de boa notícia: autosseleção (quem clica já estava interessado — a intenção causou o clique e a compra), antecipação (você puxou a compra, não criou) e canibalização (parte de quem converteu com desconto compraria sem ele; o volume não muda, o faturamento sobe um pouco e o lucro cai).

9. Como apresentar para quem decide o orçamento

Seu número correto e menor compete com um número antigo, maior e mais confortável, que várias pessoas já usaram em apresentações anteriores. Se você apresentar só o resultado, perde. Se apresentar o método antes do resultado, a comparação deixa de ser entre dois números e passa a ser entre duas formas de medir — e nessa comparação você tem argumento.

A ordem que funciona tem três camadas:

1. O que fizemos. "Separamos aleatoriamente 40 mil clientes que não receberam nenhuma comunicação no trimestre."
2. O que encontramos. "Quem recebeu comprou 11% mais que esse grupo, com margem de erro estreita."
3. O que isso significa. "São R$ 107 mil de receita que só existiram porque a operação existiu."

A palavra aleatoriamente na primeira frase não é detalhe técnico: é o argumento inteiro. Corte do slide a taxa de abertura e de clique — se elas aparecerem, a conversa volta ao terreno antigo e o seu número novo vira mais uma métrica na lista.

E quando alguém perguntar por que deixar de falar com clientes que poderiam comprar, a resposta é preparada, não improvisada: o hold-out é custo de informação, uma fração de um por cento do orçamento da área gasta para dar sentido a todo o resto, com prazo definido e data para revisar.

10. Os sete erros mais comuns

• Usar quem não recebeu como controle, em vez de sortear antes.
• Sortear o envio em vez do cliente, perdendo o efeito acumulado da régua.
• Guardar a marcação em filtro de campanha, e não no cadastro.
• Filtrar o grupo impactado por abertura ou clique na hora de calcular.
• Rodar o teste sem verificar se a base comporta o efeito que se quer detectar.
• Apresentar só o lift relativo — 40% sobre uma métrica minúscula pode valer menos dinheiro que 4% sobre uma métrica grande.
• Medir só a primeira janela, transformando antecipação de compra em resultado.

Perguntas frequentes

---

Continue: Métricas de CRM: quais realmente importam — as duas famílias de métrica, o conjunto mínimo que responde à liderança e como montar um painel enxuto.