A morte do NPS

O Net Promoter Score (NPS) é um dos indicadores mais populares no universo da gestão de produtos. Contudo, a sua eficácia está longe de ser unanimidade dentre o público fluente em dados. Nosso objetivo através deste texto é explorar alguns dos questionamentos levantados pelos detratores do indicador.

O conceito de NPS

O NPS é um indicador calculado a partir das respostas, numa escala de 0 a 10, para a seguinte pergunta: “O quanto você indicaria nosso produto para um amigo?”

A partir disso os respondentes são categorizados em promotores (respostas 9 ou 10), neutros ou passivos (respostas 7 ou 8) e detratores (respostas entre 0 e 6). A fórmula que descreve o cálculo do NPS é:

NPS = % de promotores - % de detratores

Net Promoter Score. Retirado de: Resultados Digitais

Qual o problema do NPS?

Sabemos que o cálculo do NPS é feito através de notas dadas por uma amostra de usuários de um produto. Em estatística, a amostra significa uma parcela do total de indivíduos num grupo (por sua vez, chamado de população). Além disso, não há (ou não deveria existir, salvo por motivo de bug 👀) qualquer seleção deliberada sobre quais usuários responderão à pesquisa, o que caracteriza uma amostra aleatória.

Sendo assim, quem responde à pesquisa de NPS apenas representa uma amostra de usuários. Contudo, poucas vezes discutimos as limitações dessa representação. Nessa perspectiva, é necessário dedicar atenção a determinadas propriedades estatísticas.

Isso não é uma população de usuários (e sim uma amostra)! Retirado de: Wikimedia Commons

A primeira delas é a margem de erro (ou intervalo de confiança), propriedade que pode ser descrita como quanto um número calculado (NPS, por exemplo) a partir de uma amostra “se distancia” do número “real” (calculado a partir da população).

A segunda propriedade é o nível de confiança, que pode ser descrito como o grau de tolerância aceito em relação à margem de erro do número calculado.

Num contexto de NPS: na maioria dos casos, não possuímos dados de todos os usuários do produto (população). Logo, estaremos lidando com uma amostra (aleatória) de usuários, logo, margem de erro e nível de confiança são propriedades inerentes à amostra. O problema do NPS é:

• De novo, ele é feito a partir de uma amostra aleatória de usuários, que pode ser uma representação mais ou menos próxima da realidade de sua população;
• No cálculo dos detratores, estamos lidando com uma parcela de uma amostra aleatória, que pode ser uma representação mais ou menos próxima da população de detratores do produto;
• No cálculo dos promotores, o mesmo cenário se repete, estamos lidando com uma parcela de uma amostra aleatória, que pode ser uma representação mais ou menos próxima da realidade da população de promotores do produto;

Quando subtraímos a porcentagem de promotores da porcentagem de detratores, estamos “somando” o efeito da margem de erro de ambos (algo que acontece por conta da variância, um conceito que não vamos explorar aqui).

Acompanhe o raciocínio:

• Uma startup aplicou a pesquisa de NPS numa base de 15 mil usuários e obteve 1.600 respostas;
• Considerando um nível de confiança de 95%, isso é, caso aplicássemos a pesquisa numa amostra aleatória de usuários por 100 vezes, 95 delas obteriam o indicador NPS dentro da mesma margem de erro;
• O resultado do cálculo do NPS foi 68 com margem de erro de mais ou menos 3,2;
• Isso significa que podemos afirmar, com 95% de confiança, que o NPS desse produto está numa faixa entre 64,8 e 71,2 (pior e melhor cenário, respectivamente, considerando o número de elementos na amostra e o nível de confiança escolhido);

Um exemplo da consequência desse tipo de conclusão, na prática, é: caso você seja o gerente de produto dessa startup e tenha como resultado-chave de um novo trimestre aumentar o NPS em 3 pontos, será necessário:

• Que o NPS no final do novo trimestre seja 76,6 com margem de erro de 2,3 e assumindo mesmo número de respostas (1.600) e nível de confiança escolhido (95%), porém com distribuição diferente de notas em relação ao trimestre anterior;
• Isso significa que o NPS desse produto no novo trimestre está numa faixa entre 74,2 e 78,9;
• Chegamos à surpreendente e nada intuitiva (para quem não está acostumado com estatística) conclusão: para ter 95% de confiança que o NPS de fato aumentou em 3 pontos é preciso ir de 68 para 76,6.
• Sim, para ter 95% de confiança que você aumentou 3 pontos no NPS, na realidade, é necessário aumentá-lo 8,6 pontos!
• Não apenas isso, mas qualquer mudança do indicador entre 68 e 71,1 (o que aparentemente seria o suficiente para atingir a meta) pode ser mera consequência do acaso. Sim, é plenamente possível que atingir ou não esse resultado-chave seja questão de sorte (ou melhor, probabilidade).

Além disso, nem sequer consideramos o cenário onde o número de respostas obtidas (que é um desafio à parte, convenhamos) no novo trimestre é inferior a 1.600. Nesse caso a margem de erro seria ainda maior e o acréscimo de pontos necessários para alcançar uma melhora de 3 pontos percentuais de NPS, com 95% de confiança, seria ainda maior! Caso queira observar os cenários descritos numa planilha do Google Sheets, clique aqui.

O NPS está morto, vida longa ao NPS!

Após as considerações apresentadas, é seguro dizer que indicadores calculados a partir da soma ou subtração de outros indicadores precisam ser interpretados à luz das propriedades estatísticas envolvidas.

NPS = (número de promotores / número de usuários respondentes) - (número de detratores / número de usuários respondentes)

Contudo, o trabalho de gestão de produto precisa ser prático e, sendo assim, podemos usar dois atalhos para desviar dos problemas do NPS:

1. Pesquisar sobre os promotores, mesmo que sem desviar dos problemas do NPS, é um meio de fazer a “engenharia reversa” da capacidade de recomendação deste grupo de usuários. Os insights gerados podem servir para potencializar o uso de funcionalidades existentes no produto ou também para fomentar a estratégia de aquisição de novos usuários;
2. Buscar insights de neutros e detratores através de dados não estruturados (exemplos: adicionar uma caixa de comentários após a atribuição da nota ou classificar tickets de atendimento para análise posterior);
3. Avaliar a capacidade de recomendação (word of mouth) e grau de dependência do produto, indiretamente, através do Product-Market Fit Score (PMF Score): um indicador calculado a partir das respostas para a pergunta “Como você se sentiria caso não pudesse mais usar o nosso produto?” e cujas alternativas de resposta são “Muito desapontado”, “Pouco desapontado” e “Indiferente”.

No fim do dia o gerente de produto não precisa ser um estatístico de formação, apenas ser capaz de exercer um pouco de pensamento crítico sobre os tão comuns indicadores de produto. A discussão apresentada aqui é justamente minha contribuição em direção a isso. Pessoas de produto, vamos tentar depender menos da sorte? Perdão, depender da probabilidade!