Por Que Eu Dei Essa Palestra de Novo
A primeira versão dessa palestra eu dei no fim de 2012 — “Sucesso na medida certa”. Três anos depois, o slide que mais envelheceu mal foi justamente o que eu mais tinha orgulho na época: um gráfico lindo, subindo, de cadastros, sem nenhuma resposta honesta pra pergunta “e daí?” anexada.
Então dei de novo. Mesmo tema, pergunta mais afiada. Se você não pode fazer nada pra melhorar uma métrica — por que tá medindo ela?
Essa pergunta é a palestra inteira.
O Que Métrica de Vaidade Realmente É
Métrica de vaidade não é número falso. É número real que não muda como você decide.
Total de usuários cadastrados. Downloads acumulados. Seguidores. Page views. Parecem progresso porque sempre sobem. Tem que subir — uma vez que o usuário se cadastrou, ele não se descadastra. O número não tá mentindo; só não tá te falando nada que você consiga usar.
O teste que eu uso é esse: se esse número subisse 30% semana que vem, o que eu faria? Se a resposta é “ficaria feliz”, é vaidade. Se a resposta é “ia em cima do experimento que causou”, é acionável.
Teste A/B: Onde a Honestidade Começa
Se você não isola a mudança, você não pode reivindicar o resultado. É isso. É o ponto inteiro do teste A/B.
Em 2012 eu vi um time mostrar uma melhoria de qualidade e um pico de cadastros no mesmo slide. No dia seguinte, o marketing mostrou o mesmo pico debaixo da campanha de banner. Os dois tavam certos. Os dois tavam errados. Sem teste A/B, nenhum dos lados conseguia falar honestamente o que causou o quê.
Teste A/B não é ferramenta que você pluga uma vez por trimestre. É hábito. Toda mudança que entra ou tem contrafactual ou não tem, e se não tem, a história depois do lançamento vai virar briga por crédito.
Análise de Coorte: A Imagem Que a Média Esconde
Total mente por média. Um usuário que se cadastrou em janeiro se comporta de um jeito totalmente diferente de um que se cadastrou semana passada, e um gráfico de coorte te mostra isso em 30 segundos enquanto um dashboard com totais esconde por um trimestre.
Agrupa teus usuários por quando entraram (ou por qual experimento pegaram, ou por qual canal trouxe eles). Aí plota o comportamento ao longo do tempo dentro da coorte deles.
O que normalmente aparece:
- Ativação cai conforme você se afasta do lançamento
- Curvas de retenção divergem por canal de aquisição
- Total “crescendo” geralmente tá escondendo que coortes novas performam pior que as velhas
Se o total tá subindo e as coortes tão caindo, você tá queimando teu runway pra crescer pro lado errado.
O Relatório AAA: Acionável, Acessível, Auditável
A parte mais difícil desse trabalho não é escolher métrica. É escolher métrica que o time vai usar. Eu comecei a chamar isso de Relatório AAA.
Acionável: cada número tem uma decisão amarrada. Se a métrica sobe, a gente faz X. Se desce, a gente faz Y. Se a gente não sabe o que faria nos dois casos, ela não entra no relatório.
Acessível: qualquer um do time consegue achar, ler e explicar sem precisar de tradutor. Se só um analista entende o dashboard, o time não tá usando — o analista tá.
Auditável: a origem é rastreável. A gente consegue mostrar como o número foi calculado, quando foi a última atualização, e quais ressalvas conhecidas ele tem. O número que ganha discussão é o que ninguém consegue furar.
Dois dos três não bastam. Acionável que ninguém lê é caderninho privado. Acessível que ninguém verifica é história. Acionável, acessível e auditável juntos é o que dá confiança pro time pra de fato se mover com base no que o dado fala.
Genchi Genbutsu
Princípio do Ohno no Sistema Toyota: vai e vê com teus próprios olhos. Não infere o problema do dashboard. Vai onde o trabalho acontece — fala com o usuário, observa o funil, senta com a pessoa fechando o ticket — e deixa o que você vê corrigir o que você assumiu.
Os números te falam onde olhar. Genchi Genbutsu te fala o que de fato tá lá.
Eu ainda lembro isso toda vez que um time monta dashboard lindo e esquece que não fala com cliente há seis semanas.
O Que Eu Falo Hoje Que Eu Não Falaria Em 2012
Três coisas.
Primeira: métrica de vaidade sozinha não é perigosa — métrica de vaidade em apresentação pra liderança é. Gráfico subindo pra direita é recompensado. Isso é problema de cultura, não de gráfico. Arruma a sala antes de arrumar o slide.
Segunda: teste A/B não é o objetivo — aprendizado é. Se o teste não vai mudar uma decisão independente do resultado, você não tá testando, tá comemorando.
Terceira: o Relatório AAA não é entregável, é disciplina. A primeira versão vai estar errada. O time acerta apertando ela toda retro durante um ano.
Pra Fechar
“Métricas de vaidade: ótimas pra se sentir bem, péssimas pra agir.”
Não se engane. Escolha os números que você toparia ser cobrado por. Faz eles pequenos. Faz eles acionáveis. Faz eles teus.
Me segue: @helmedeiros