> ## Content Index
> Fetch the complete content index at: https://productoversee.com/llms.txt
> Use this file to discover other available public pages before exploring further.

# A morte do NPS
- URL: https://productoversee.com/blog/a-morte-do-nps/
- Published: 2022-04-13T19:53:00.000Z
- Updated: 2022-04-17T14:39:09.000Z
- Description: NPS não é eficiente como um indicador acionável. Queremos explicar por quê agora.
- Author: Paulo Silveira
- Tags: Indicadores e Dados, #blog, Opinião

O *Net Promoter Score* (NPS) é um dos indicadores mais populares no universo da gestão de produtos. Contudo, a sua eficácia está longe de ser unanimidade dentre o público fluente em dados. Nosso objetivo através deste texto é explorar alguns dos [questionamentos levantados pelos detratores do indicador](https://blog.usejournal.com/time-to-drop-nps-76a15907fdd3?ref=productoversee.com).

## **O conceito de NPS**

O NPS é um indicador calculado a partir das respostas, numa escala de 0 a 10, para a seguinte pergunta: “O quanto você indicaria nosso produto para um amigo?”

A partir disso os respondentes são categorizados em **promotores** (respostas 9 ou 10), **neutros** ou passivos (respostas 7 ou 8) e **detratores** (respostas entre 0 e 6). A fórmula que descreve o cálculo do NPS é:

*NPS = % de promotores - % de detratores*

![](https://cdn.substack.com/image/fetch/w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2F7737e6c9-69f9-424c-8173-f9fe99afc294_1600x934.png)

*Net Promoter Score. Retirado de: [Resultados Digitais](https://resultadosdigitais.com.br/blog/o-que-e-nps/?ref=productoversee.com)*

## **Qual o problema do NPS?**

Sabemos que o cálculo do NPS é feito através de notas dadas por uma amostra de usuários de um produto. Em estatística, a **amostra** significa uma parcela do total de indivíduos num grupo (por sua vez, chamado de **população**). Além disso, não há (ou não deveria existir, salvo por motivo de bug 👀) qualquer seleção deliberada sobre quais usuários responderão à pesquisa, o que caracteriza uma **amostra aleatória**.

Sendo assim, **quem responde à pesquisa de NPS apenas representa uma amostra de usuários**. Contudo, poucas vezes discutimos as limitações dessa representação. Nessa perspectiva, é necessário dedicar atenção a determinadas [propriedades estatísticas](https://www.sciencedirect.com/topics/mathematics/margin-of-error?ref=productoversee.com).

![](https://cdn.substack.com/image/fetch/w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2F78050cc1-af3e-4f1f-9d28-d4b50f2f9ff6_300x210.png)

*Isso não é uma população de usuários (e sim uma amostra)! Retirado de: [Wikimedia Commons](https://en.wikipedia.org/wiki/The%5FTreachery%5Fof%5FImages?ref=productoversee.com#/media/File:MagrittePipe.jpg)*

A primeira delas é a **margem de erro** (ou intervalo de confiança), propriedade que pode ser descrita como quanto um número calculado (NPS, por exemplo) a partir de uma amostra “se distancia” do número “real” (calculado a partir da população).

A segunda propriedade é o **nível de confiança**, que pode ser descrito como o grau de tolerância aceito em relação à margem de erro do número calculado.

Num contexto de NPS: na maioria dos casos, não possuímos dados de todos os usuários do produto (população). Logo, estaremos lidando com uma amostra (aleatória) de usuários, logo, margem de erro e nível de confiança são propriedades inerentes à amostra. O problema do NPS é:

- De novo, ele é feito a partir de uma amostra aleatória de usuários, que pode ser uma representação mais ou menos próxima da realidade de sua população;
- No cálculo dos detratores, estamos lidando com uma parcela de uma amostra aleatória, que pode ser uma representação mais ou menos próxima da população de detratores do produto;
- No cálculo dos promotores, o mesmo cenário se repete, estamos lidando com uma parcela de uma amostra aleatória, que pode ser uma representação mais ou menos próxima da realidade da população de promotores do produto;

Quando subtraímos a porcentagem de promotores da porcentagem de detratores, estamos “somando” o efeito da margem de erro de ambos (algo que acontece por conta da variância, um conceito que não vamos explorar aqui).

Acompanhe o raciocínio:

- Uma startup aplicou a pesquisa de NPS numa base de 15 mil usuários e obteve 1.600 respostas;
- Considerando um [nível de confiança](https://www.significados.com.br/intervalo-de-confianca/?ref=productoversee.com) de 95%, isso é, caso aplicássemos a pesquisa numa amostra aleatória de usuários por 100 vezes, 95 delas obteriam o indicador NPS dentro da mesma margem de erro;
- O resultado do cálculo do NPS foi 68 com margem de erro de mais ou menos 3,2;
- Isso significa que podemos afirmar, com 95% de confiança, que o NPS desse produto está numa faixa **entre 64,8** **e 71,2** (pior e melhor cenário, respectivamente, considerando o número de elementos na amostra e o nível de confiança escolhido);

Um exemplo da consequência desse tipo de conclusão, na prática, é: caso você seja o gerente de produto dessa startup e tenha como resultado-chave de um novo trimestre aumentar o NPS em 3 pontos, será necessário:

- Que o NPS no final do novo trimestre seja 76,6 com margem de erro de 2,3 e assumindo mesmo número de respostas (1.600) e nível de confiança escolhido (95%), porém com distribuição diferente de notas em relação ao trimestre anterior;
- Isso significa que o NPS desse produto no novo trimestre está numa faixa entre 74,2 e 78,9;
- Chegamos à surpreendente e nada intuitiva (para quem não está acostumado com estatística) conclusão: para ter 95% de confiança que o NPS de fato aumentou em 3 pontos **é preciso ir de 68 para 76,6**.
- **Sim, para ter 95% de confiança que você aumentou 3 pontos no NPS, na realidade, é necessário aumentá-lo 8,6 pontos!**
- Não apenas isso, mas qualquer mudança do indicador entre 68 e 71,1 (o que aparentemente seria o suficiente para atingir a meta) pode ser mera consequência do acaso. Sim, **é plenamente possível que atingir ou não esse resultado-chave seja questão de sorte (ou melhor, probabilidade).**

Além disso, nem sequer consideramos o cenário onde o número de respostas obtidas (que é um desafio à parte, convenhamos) no novo trimestre é inferior a 1.600\. Nesse caso a margem de erro seria ainda maior e o acréscimo de pontos necessários para alcançar uma melhora de 3 pontos percentuais de NPS, com 95% de confiança, seria ainda maior! Caso queira observar os cenários descritos numa planilha do Google Sheets, clique [aqui](https://docs.google.com/spreadsheets/d/1bnfeyo46in4I4QmjQuyJWW2XAAg0DRWUJ9oGqvkjLi0/edit?ref=productoversee.com#gid=0).

## **O NPS está morto, vida longa ao NPS!**

Após as considerações apresentadas, é seguro dizer que indicadores calculados a partir da soma ou subtração de outros indicadores precisam ser interpretados à luz das propriedades estatísticas envolvidas.

*NPS = (número de promotores / número de usuários respondentes) - (número de detratores / número de usuários respondentes)*

Contudo, o trabalho de gestão de produto precisa ser prático e, sendo assim, podemos usar dois atalhos para desviar dos problemas do NPS:

1. Pesquisar sobre os promotores, mesmo que sem desviar dos problemas do NPS, é um meio de fazer a “engenharia reversa” da capacidade de recomendação deste grupo de usuários. Os insights gerados podem servir para potencializar o uso de funcionalidades existentes no produto ou também para fomentar a estratégia de aquisição de novos usuários;
2. Buscar insights de neutros e detratores através de dados não estruturados (exemplos: adicionar uma caixa de comentários após a atribuição da nota ou classificar tickets de atendimento para análise posterior);
3. Avaliar a capacidade de recomendação (*word of mouth*) e grau de dependência do produto, indiretamente, através do *[Product-Market Fit Score](https://review.firstround.com/how-superhuman-built-an-engine-to-find-product-market-fit?ref=productoversee.com)* (*PMF Score*): um indicador calculado a partir das respostas para a pergunta “Como você se sentiria caso não pudesse mais usar o nosso produto?” e cujas alternativas de resposta são “Muito desapontado”, “Pouco desapontado” e “Indiferente”.

No fim do dia o gerente de produto não precisa ser um estatístico de formação, apenas ser capaz de exercer um pouco de pensamento crítico sobre os tão comuns indicadores de produto. A discussão apresentada aqui é justamente minha contribuição em direção a isso. Pessoas de produto, vamos tentar depender menos da sorte? Perdão, depender da probabilidade!