A esmagadora maioria dos contratantes não se preocupam em conhecer a equipe que realizará a pesquisa, podendo esta oferecer riscos finais maiores ou menores ao transformar dados coletados em informações. Escrevem Zeca Martins e Renê Pimentel
10/10/2022 06:34
”Há equipes de entrevistadores mal selecionados, mal capacitados, mal remunerados e que nunca poderiam estar em tal papel”
Imagem ilustrativa/PoderData
Vamos lá! Bora comentar sobre o tema pesquisas de opinião, com foco nas eleitorais, pelo momento, e seus resultados.
Eu, Renê Pimentel, sócio da Potencial Inteligência, com 38 anos trabalhando com esta atividade, tendo formação adequada que remete a um razoável conhecimento da ciência estatística (mestre em administração, engenheiro com aperfeiçoamento em estatística pelo Instituto Brasileiro de Geografia e Estatística- IBGE), somados aos 28 anos de atuação como estatístico e pesquisador eleitoral de meu sócio Zeca Martins, destacamos inicialmente que, apesar de ser um dos temas mais comentados durante o pleito eleitoral de 2022, poucos têm legitimidade para comentar tecnicamente sobre este assunto fora da academia. Dentre os textos e matérias jornalísticas que lemos abordando este assunto não nos deparamos com nenhum escrito por quem domina a ciência estatística ainda. Talvez este seja o primeiro. Não estamos falando dos artigos acadêmicos, que não são poucos, mas infelizmente não chegam e se chegam não são compreendidos pelo grande público.
É essencial iniciar dizendo que as pesquisas de intenção de voto adotam a metodologia quantitativa que tem sua concepção na Teoria da Amostragem. Portanto, conceitos como significância que remete a dimensão da amostra relativamente ao universo de todos os entrevistados possíveis, bem como representatividade que tem a ver com envolver na amostra a maior diversidade possível dos perfis dos potenciais entrevistados, são dois aspectos que certamente fazem grande diferença no desenho amostral das pesquisas que são realizadas pelas empresas que trabalham com esta atividade. Podemos considerar que todas as empresas sérias e responsáveis se preocupam com tais conceitos e que, portanto, suas amostras são tecnicamente confiáveis e defensáveis. Há que se destacar, no entanto, que todas as empresas que exercem a atividade são designadas como institutos de forma equivocada. Quando se acessa o site do STE (https://pesqele-divulgacao.tse.jus.br/index.xhtml) para verificarmos as pesquisas que foram registradas percebemos razões sociais que remetem há empresas de comunicação, tecnologia, consultoria, dentre outras. O seja, não são todas as empresas que efetivamente são institutos de pesquisas. Talvez algo que precise ser revisto pelo TSE.
Sob outra perspectiva, precisamos considerar dois outros conceitos que são: o nível de confiança da amostra (probabilidade da amostra trazer um resultado que se aproxime bastante do fenômeno pesquisado, e sua tolerância – que é conhecida como margem amostral, ou, como a maioria se refere – erro amostral, que na verdade é uma diferença matemática esperada entre o valor obtido com a amostra e o verdadeiro valor que representa a população, que é desconhecido).
Aqui iniciamos uma reflexão muito importante que é a utilização do termo erro na divulgação dos resultados pela mídia que também desconhece a ciência da estatística, e que para nossa população com baixíssima instrução formal, traz um significado totalmente equivocado de que há coisas erradas naquelas proporções obtidas como resultados das amostras, o que não é verdade, se o processo de pesquisa foi seriamente planejado e implementado. Destacamos ainda que mesmo aqueles que têm nível superior, na sua enorme maioria mencionam uma conhecida aversão às ciências exatas – quantas e quantas vezes nós em sala de aula escutamos na graduação, tanto quanto nos cursos lato e stricto sensu, a menção – “detesto números!”. Aqui fazemos questão de refutar quem não tem conhecimento ou qualquer afinidade com a ciência estatística ao comentar ou criticar qualquer resultado de pesquisa. Que fique clara esta nossa posição. Sobre cirurgias podem falar e criticar tecnicamente somente os médicos cirurgiões. Sobre jurisprudências podem falar e criticar tecnicamente somente os advogados que passaram no exame da OAB. Sobre programação e inteligência artificial podem falar e criticar somente os analistas de sistemas atualizados. Sobre pesquisas de opinião e mercado quantitativas podem falar e criticar tecnicamente somente os que dominam a ciência da estatística. Sociólogos, comunicólogos, psicólogos, dentre outros profissionais, que muitas vezes comentam, elogiam ou criticam os resultados das pesquisas de intenção de voto têm legitimidade para comentar sobre o que os resultados representam em relação ao comportamento do eleitor / consumidor, porém, nunca em relação ao plano amostral, que requer conhecimento profundo sobre uma ciência que eles não dominam. É preciso sermos realistas.
Por que os números das pesquisas foram diferentes do que ocorreu nas urnas?
Simples demais responder a esta pergunta. Porque isso é esperado!
Pode soar estranho, mas é exatamente isso. A Teoria da Amostragem que é o fundamento das pesquisas de intenção de voto, nunca se propôs a garantir que as estimativas pontuais geradas com base em uma amostra se concretizem no parâmetro do fenômeno ou nos números / resultados das eleições. Esta é a expectativa da grande maioria, que sem um qualquer conhecimento da área, tem limitações no entendimento e por isso deve ter muito cuidado antes de se pronunciar a respeito. Estamos falando desde a imprensa especializada em política até o eleitor comum.
Aproveitamos para alertar que a imprensa de forma geral analisa com superficialidade os resultados das pesquisas, focando apenas nos números, ou melhor nas proporções e não naquilo, que de fato, os resultados estão demonstrando, não por outra razão, que não o desconhecimento que tem sobre a Ciência da Estatística e especificamente da Teoria da Amostragem.
Os institutos, em sua grande maioria, trabalham com dimensões amostrais que garantem 95% de probabilidade de que os resultados de suas amostras sejam próximas do que pensam todos os possíveis entrevistados naquele momento em que os dados foram adequadamente coletados. Se há 5% de probabilidade da estimativa obtida com a amostra não coincidir com os resultados reais de toda população alvo, não há porque falar de erro das pesquisas. Os institutos que trabalham com seriedade e responsabilidade fazem tudo exatamente como deve ser feito e mesmo assim as estimativas podem não coincidir com os resultados das eleições. Erraram? NÂO! Apenas estão dentro das limitações da ciência, que já é esperada desde o início da elaboração de qualquer projeto de pesquisa de intenção de voto. Então propomos parar definitivamente de falar que os institutos erraram, pois desta forma parece que fizeram coisas erradas – o que não necessariamente procede.
Outra questão importante é deixar bem evidente que a pesquisa de intenção de voto avalia um fenômeno pré-eleitoral e a eleição propriamente dita é outro fenômeno. Muitas coisas ocorrem nos últimos momentos que antecedem o dia da votação e que podem alterar as percepções dos eleitores e consequentemente suas escolhas. Por isso a importância de se avaliar o que de fato os resultados representam e não a proximidade do número / estimativa pontual da amostra perante o resultado final. Como exemplo temos o caso extremo das eleições para governador de Pernambuco em que o marido de uma das candidatas infelizmente faleceu na manhã do dia das eleições. Qual terá sido a influência deste infeliz ocorrido na votação da referida candidata? Não há como as pesquisas identificarem movimentações no eleitorado de última hora. A importante e necessária regulamentação que impõem a obrigatoriedade do registro no TSE com antecedência de seis dias da divulgação traz limitações na comparação dos resultados das pesquisas com os reais resultados das eleições.
Por outra perspectiva, quando os institutos têm séries de aferições de intenções de voto e tais séries não captam mudanças de tendências, apresentando resultados totalmente divergentes dos reais resultados do fenômeno em questão, ai sim, devemos ser mais criteriosos nas análises de tais processos de pesquisas que geraram as referidas séries. Para que evitemos estas situações no futuro há de se exigir que auditagens externas sejam incluídas nos levantamentos que compõem as séries com o envolvimento de entidades como o Conselho Federal de Estatística (CONFE) e os Conselhos Regionais de Estatística (CONRE), além das representativas da atividade de pesquisa, como a Associação de Empresas de Pesquisas (ABEP) e a Associação Brasileira dos Pesquisadores de Mercado (ASBPM), além é claro da própria Justiça Eleitoral.
Um exemplo específico foi dos resultados dos estudos que a POTENCIAL INTELIGÊNCIA realizou ao longo do processo eleitoral na Bahia. Em todos as cinco pesquisas realizadas, o candidato líder nas pesquisas sempre oscilou entre 40 e 45% dentro da margem amostral. O candidato que chegou a frente no primeiro turno apresentou resultados crescentes ao longo do estudo, com respectivas estimativas: 12%, 17%, 22%, 27% e 36%. Provavelmente se ocorresse uma sexta pesquisa o resultado tenderia ser um empate técnico ou já apareceria na frente do outro candidato. Ou seja, em termos práticos, a real interpretação do estudo é que um dos candidatos estabilizou num determinado patamar e o outro foi crescendo organicamente. Outra questão importante a se observar é que as pesquisas identificam eleitores indecisos. Já no resultado final das eleições isso já não existe, pois apenas os votos válidos são computados.
Para além destes esclarecimentos cabe destacar que em momentos polarizados como o que vivemos, os resultados das pesquisas de intenções de votos, devem ser analisados à luz de outras lentes de observação, a exemplo das perspectivas de outras áreas do conhecimento como a psicologia, a antropologia e a sociologia. Por exemplo, a sociologia contribui com a Espiral do Silêncio que é uma teoria da ciência política e comunicação de massa proposta em 1977 pela alemã Elisabeth Noelle-Neumann. Neste modelo de opinião pública, a ideia central é que os indivíduos omitem sua opinião quando conflitantes com a opinião dominante devido ao medo do isolamento, da crítica, ou da zombaria. Os agentes sociais analisam o ambiente ao seu redor e, ao identificar que pertencem à minoria, preferem resguardar-se para evitar impasses. Esse comportamento gera uma tendência progressiva ao silêncio, tratando-se, pois, de um movimento ascendente em espiral. Daí a denominação Espiral do Silêncio, porque o indivíduo, ao não expor sua ideia, automaticamente compactua com a maioria, de modo que outras pessoas, que poderiam com ele concordar, também deixam de verbalizar suas ideias. Quanto menor o grupo que assume abertamente a opinião divergente, maior o ônus social em expressá-la. Preocupada com os efeitos que levaram o eleitorado à mudança na reta final das eleições de 1965 e 1972, na Alemanha, Noelle-Neumann decidiu estudar o que, de fato, ocorria. Então, ela descobriu que um fator importante para a mudança ter ocorrido é o Clima de Opinião. Noelle-Neumann descobriu que quando um lado é superestimado, outras pessoas, decididas ou não, são influenciadas a seguir por ele. Consequentemente, quando o outro é subestimado, as pessoas tendem a afastar-se dele. Para chegar a tal conclusão, ela utilizou alguns instrumentos para medir o Clima de Opinião. Segundo ela, são necessárias questões que possam mensurar a tendência de as pessoas falarem ou de manterem-se em silêncio quando submetidas a ideias diversas daquelas que elas apoiam. Outro fator importante é a opinião sobre a escolha do eleitor em função de quem ele acha que vai ganhar. Aristóteles sugere que a sociabilidade é uma propriedade essencial do homem, de forma que precisa de vínculos sociais para satisfazer suas necessidades e, consequentemente, teme o isolamento.
Por fim chamamos a atenção de que não é possível acusarmos esse ou aquele instituto disso ou daquilo, sem antes observarmos duas dimensões existentes nos processos de pesquisas: a dimensão da margem amostral (erro amostral) e dos erros não amostrais. A margem amostral NÃO É UM ERRO. É pré-definida e gerenciável no momento do dimensionamento das amostras. A segunda dimensão – a dos erros não amostrais, diz respeito a qualidade da informação obtida, pois envolve todas as etapas do processo de pesquisa, que contempla desde a capacidade dos entrevistadores, as diversas técnicas atualmente disponíveis, cada uma com seus aspectos positivos e negativos, a capacitação e remuneração de toda a equipe, que normalmente é totalmente desconhecida de todos, bem como o tratamento dos dados e respectiva formatação para análise e divulgação. Em outras palavras é possível defender tecnicamente qualquer resultado obtido por uma amostra, desde quando seu contratante não acompanhou cada um dos passos com o rigor necessário. Para terem uma ideia, nestes 38 anos de trabalho na atividade de pesquisa só tivemos uma única experiência com os consultores da McKinsey & Company, que, num determinado projeto, desde o primeiro dia de contratação, passaram a acompanhar cada uma das etapas do processo da pesquisa encomendada. Isso porque estes profissionais muito bem formados e capacitados, e efetivamente compreendem o que estão fazendo. Diferentemente da esmagadora maioria dos contratantes de pesquisas que se quer se preocupam em conhecer a equipe de entrevistadores que estão coletando os dados que dão início a todo o processo de construção do conhecimento desejado, que quando transformados em informações subsidiarão as decisões que sempre trazem consigo riscos maiores ou menores. Em verdade há equipes de entrevistadores mal selecionados, mal capacitados, mal remunerados e que nunca poderiam estar em tal papel.
Fala-se muito, mas raríssimos falam com legitimidade sobre este complexo assunto.
Por José Carlos Martins Leite, o ”Zeca Martins” é Professor, Estatístico formado pela ENCE/RJ – Escola de Nacional de Ciências Estatísticas (Registrado no CONRE 5), atua na área de pesquisa desde 1994. Especializado em Pesquisa de Mercado e de Opinião com ênfase em Marketing pela UERJ. Especializado em Marketing Político e Comunicação Eleitoral pela UGF/SP. Associado a ABCOP – Associação Brasileira de Consultores Políticos e ABRAPEL – Associação Brasileira de Pesquisadores Eleitorais.
Renê Gomes Pimentel, é mestre em Administração pela UFBA – Universidade Federal da Bahia, com mais de 30 anos de experiência em pesquisas de opinião e mercado. Membro da Strategic & Competitive Intelligence Professionals – SCIP – London – UK. Volunteer Membership of Project Management Institute / PMI – ID: 6747522. Professor Universitário, Doutorando em Engenharia Industrial (UFBA), Bacharel em Engenharia Mecânica (UGFRJ), Especialista em Gestão Pública (UFRG) com aperfeiçoamento em estatística pelo IBGE. Foi conselheiro da Sociedade Brasileira de Pesquisa de Mercado, diretor da Painel da Painel e diretor de Planejamento Estratégico da White Martins.