Por Ivan de Paiva
Toda semana pós eleição recebo um monte de mensagens perguntando por que os institutos de pesquisa erram tanto.
Mas posso entender o sentimento de indignação das pessoas. Elas passam dias comentando o resultado das pesquisas, fundamentando suas teorias sobre o desempenho e as estratégias dos candidatos alicerçadas em números que, quando confrontados com os resultados das urnas, se mostram pouco ou nada confiáveis.
Quero começar falando sobre erros que podem acontecer e que estão previstos nos cálculos estatísticos. Estou falando do nível de confiança. Mas o que é mesmo isso? O nível de confiança pode ser de 90%, de 95% ou de 99%. Nas pesquisas divulgadas nas eleições as pesquisas tinham um nível de confiança de 95%. Isso significa que, de cada 100 pesquisas feitas, 95 delas acertariam os resultados dentro da margem de erro.
Essa é a principal resposta que os diretores de instituto de pesquisas dão quando confrontados com os resultados despontantes das pesquisas, mas não creio que sejam toda a resposta para os erros das pesquisas publicadas.
A verdade é que as pesquisas deixaram de ser, para muitos, um instrumento de informação para ser uma ferramenta de marketing.
A estatística é uma ciência comprovadamente útil e eficaz. Funciona com resultados satisfatórios em muitíssimas áreas. E sei que funcionam também para a política.
Então o que gera o erro nas pesquisas?
Arrisco dizer que estamos errando no básico – Erros no processo de coleta. Aqui destaco dois erros básicos: a automatização e o dimensionamento da equipe de entrevistadores. Poderia falar de outros, mas creio que aqui resolvemos grande parte do problema.
Explico: muitos institutos automatizaram o processo de “entrevista” com uso de robôs de ligação telefônica, onde o entrevistado ouve uma mensagem de voz e depois aperta a tecla referente a sua escolha. Num país de dimensões continentais como o Brasil, onde o número de analfabetos funcionais cresce a cada ano, depender que as pessoas prestem atenção na mensagem e teclem corretamente me parece temerário. O segundo gerador de erro no processo de coleta é o dimensionamento de equipes. Para diminuir os gastos, muitas vezes as equipes de entrevistadores são reduzidas e, cada entrevistador, tem que fazer um número muito alto de entrevistas válidas o que faz com que a necessidade de terminar a entrevista seja maior do que o interesse em ouvir o entrevistado.
Além disso, não se consideram movimentos importantes como o voto útil que sempre tem um papel importante nos dois últimos dias de cada eleição. Não vejo questionários que procuram medir esse tipo de fenômeno e creio que isso ajudaria, e muito, no processo de melhoria nos resultados.
A verdade é que tomamos conhecimento das pesquisas de, no máximo, uma dúzia de institutos de pesquisa. Alguns deles tem errado já há várias eleições e continuam recebendo o destaque da mídia.
Ao invés de termos um ranking de empresas de pesquisa como o que se tentou fazer nessas eleições, baseados no “achometro” de algumas pessoas, deveríamos classificar os institutos por nível de acerto nas pesquisas publicadas na última semana da eleição.
Assim, independentemente de ser um instituto famoso, ligado a grupos financeiros poderosos ou não, seria a qualidade dos resultados que dariam destaque ao instituto.
Isso obviamente faria com que os institutos que errassem perdessem clientes na próxima eleição para os institutos que acertassem mais, e isso, com certeza, faria com que os institutos que costumam errar revissem e atualizassem a sua metodologia.
Como em qualquer área da vida, o desempenho no conjunto das pesquisas publicadas é que deve ser o que mostra se um instituto é confiável ou não. Assim, mesmo com os erros do nível de confiança, teríamos um histórico de acertos de cada instituto que se propusesse a publicar seus resultados. Isso traria muito mais clareza ao processo como um todo e impediria que todo um mercado sério de pesquisas de opinião seja atingido pelo erro de poucos mas famosos participantes.
