[ABE-L] Todos os institutos de pesquisa têm a mesma credibilidade?

Qui Out 23 16:58:11 -03 2014

Ia comentar sobre isso, Neale. Os dados que o CESOP tem, e disponibilizou alguns desses para sua tese, não servem para avaliar o histórico dos institutos?

Atte,
Clécio

Em Quinta-feira, 23 de Outubro de 2014 16:50, Raphael Nishimura <raphael_nishimura em yahoo.com.br> escreveu:

Neale,

Gostaria de parabenizá-lo novamente por essa iniciativa, procurando deixar mais transparente o que você faz no PollingData (apesar de ainda achar que você deveria voltar a colocar no site as informações da metodologia que você usa com um pouco mais de detalhes técnicos). 

Acho uma excelente ideia atribuir pesos diferentes para os institutos que levem em consideração outros fatores além do tamanho amostral da pesquisa. Você certamente conhece melhor do que eu a metodologia dos agregadores de dados americanos, mas me parece que Nate Silver, por exemplo, leva em consideração para a classificação não só a acurácia histórica dos institutos, como também as diferentes metodologias implementadas por eles (por exemplo, se usam telefone celular ou não). É interessante também que ele considera coisas como se o instituto participa da Iniciativa de Transparência da AAPOR (o que infelizmente não temos nada parecido no Brasil ainda) e se eles disponibilizam dados para o Roper Center (temos o CESOP da Unicamp aqui no Brasil, que é uma parceria com o Roper Center). Não sei se você viu, mas ele divulgou a metodologia de como ele cria essas classificações dos institutos nesse link:
 http://fivethirtyeight.com/features/how-fivethirtyeight-calculates-pollster-ratings/ e também deixou disponível a base de dados dessa classificação com um monte de outros dados nesse outro link: https://github.com/fivethirtyeight/data/tree/master/pollster-ratings O que é interessante é que aparentemente ele fez essa classificação com base em dados das pesquisas desde 1998. Claro que ele só pôde fazer isso porque há um considerável número de pesquisas eleitorais divulgadas nos EUA, bem maior do que no Brasil, mas talvez você possa adotar parte da metodologia dele na sua classificação. 

Olhando sua classificação, me parece que seria apenas interessante diferenciar de alguma forma o IBOPE do Datafolha, pois esse utiliza ponto de fluxo (como você identificou na sua outra mensagem), enquanto aquele usa uma amostra domiciliar, uma diferença que parece ser bastante importante.  

Um abraço,
Raphael

Em Quinta-feira, 23 de Outubro de 2014 12:31, Neale El-Dash <neale.eldash em gmail.com> escreveu:

Faz mais de 12 anos
que trabalho com pesquisas eleitorais, mas meu foco sempre foi mais em produzir
pesquisas do que em consumi-las. Por causa do PollingData (www.pollingdata.com.br) isso mudou. Até o
momento, procurei discutir mais a questão metodológica das pesquisas de opinião
e dos institutos de pesquisa. Porém existem muitos fatores “não-metodológicos”
que podem influenciar bastante os resultados das pesquisas.

Nesse momento, o PollingData está
acompanhando 14 eleições estaduais além da eleição presidencial, num total de 186 pesquisas de 29 institutos de pesquisas. Como esse
é o primeiro ano do site, ainda não temos um histórico muito grande, e a
maioria dos institutos têm poucas pesquisas divulgadas. Ou seja, é dificil
avaliar a metodologia de cada pesquisa para cada uma desses institutos.
Realmente difícil.

Além da questão
metodológica, existe a possibilidade de fraude também. Abaixo inclui alguns
links com exemplos desse tipo de problema. Claro que as fontes também são
questionáveis, pois aqui no Brasil muitas vezes se discute política como se
fosse um jogo de futebol, muita emoção e pouca razão. Como se existisse um lado
certo e um lado errado. Independente disso, a possibilidade de fraude sempre
existe.

http://exame.abril.com.br/brasil/noticias/campanha-de-dilma-questiona-pesquisa-do-instituto-parana

http://www.revistaforum.com.br/blogdorovai/2014/10/08/epoca-divulga-pesquisa-fajuta-para-beneficiar-aecio/

Já trabalhei com
pesquisas para consumo interno de políticos em campanha. Há muita pressão
externa. E a pressão é ENORME! Consigo apenas imaginar como deve ser no caso de
pesquisas que serão publicadas. E existem muitas formas diferentes dessa “pressão”
alterar os resultados das pesquisas. Algumas mais diretas, outras indiretas.
Algumas mais intencionais, outras nem tanto. Alterar ordem das perguntas do
questionário, alterar o texto das perguntas, não rodiziar nomes de candidatos,
incluir o partido junto com o nome do candidato ou não, escolher
regiões/cidades/bairros sabidamente favoráveis a um partido, testar diversas
ponderações e escolher a que faz mais sentido – ou que tenha o melhor resultado
segundo algum critério. Existem muitas outras formas que nem estou mencionando
aqui. Abaixo, segue mais um link com um exemplo.

http://politica.estadao.com.br/noticias/eleicoes,metodologia-de-pesquisa-beneficia-pre-candidato-tucano-imp-,1161716

Pela lei, para
publicar uma pesquisa, o instituto é obrigado a divulgar quem é o contratante.
Essa informação seria bastante relevante pra tentar avaliar se há algum conflito
de interesses entre o resultado da pesquisa e quem encomendou a pesquisa. Porém
virou prática comum o instituto dizer que foi ele mesmo que financiou a
pesquisa. Em alguns casos é verdade. Em outros, o objetivo é esconder a fonte
dos recursos.

Outra forma, talvez
mais sútil de publicar resultados favoráveis, é fazendo um tracking (diário ou
em períodos com menor frequência). Registra-se então pesquisas no TSE em vários
dias diferentes, porém a pesquisa somente é publicada nos dias que apresentam
uma variação amostral na direção conveniente ao contratante.  Note
que nesse caso, a metodologia pode ser “perfeita”, porém o que está sendo
publicando tem um viés. Isso explicaria, por
exemplo, o número muito maior de pesquisas registradas do que publicadas.

Estou discutindo esses
pontos aqui pra mostrar como a lei, do jeito que está, tem muitas falhas. Ter
algum tipo de fiscalização já faria alguma diferença.  Eu trabalho
com pesquisas, tenho enorme prazer em trabalhar com elas, sei que podem ser
bem-feitas e acredito que são muito importantes para a democracia. Mas é
necessário acabar com  a corrupção e a manipulação de
resultados. E por favor, não usem esse texto
pra argumentar pelo fim das pesquisas, pois como todos sabem, a corrupção está presente em
todo Brasil, principalmente em tudo que envolve a esfera política. A idéia não
é proibir, mas sim melhorar! Também acredito
que conforme o mercado das pesquisas eleitorais no Brasil amadurece, ele também
será capaz de se auto-regular. Um dos nossos objetivos é que o PollingData faça
parte desse movimento.

Eu sei que os parágrafos anteriores estão um pouco exagerados pro contexto que estou discutindo aqui, mas
meu ponto é: será que no modelo do PollingData, pesquisas de todos
os institutos devem ter um peso igual, ou seja, que depende somente do tamanho
da amostra? Tenho certeza que o modelo será otimizado (em algum sentido) se
pesquisas com metodologias mais questionáveis, ou institutos sem histórico, ou ainda
institutos com a credibilidade questionável tiverem um peso diferenciado,
reduzindo assim sua influência nas estimativas do modelo. Por enquanto, não vou
retirar nenhuma pesquisa de nenhum instituto do modelo. Mas pretendo rever essa
política caso haja fortes evidências de fraude.

Não tenham dúvidas que
o critério para atribuir pesos aos institutos será bastante subjetivo,
principalmente nesse primeiro ano onde não temos um histórico grande de
pesquisas. Isso também evoluirá com o tempo, esse é apenas o primeiro passo.
Acredito que num futuro próximo será possível definir um ranking de qualidade dos
institutos de pesquisa. Por enquanto, nosso critério distinguirá apenas três
grupos: 1) Institutos que têm um histórico conhecido e confiável, 2) Institutos
que estão trabalhando para partidos politicos nesse ciclo eleitoral, e 3)
Institutos pequenos ou com pouco histórico.

Os pesos serão
simplesmente aplicados diretamente no tamanho da amostra de cada instituto.
Institutos do grupo ‘2’ terão uma precisão máxima de +/- 4% e do grupo
‘3’ serão limitados por +/- 5%. Segue
abaixo a relação dos institutos em cada grupo. Nas
próximas horas o PollingData estará
atualizado utilizando esses pesos. Acessem o site pra ver os novos resutados….

Críticas e sugestões
são muito bem vindas!

Grupo Instituto Pesquisas no PollingData 
1 Ibope 66 
Datafolha 37 
MDA 13 
2 Sensus (PSDB) 10 
Vox Populi (PT) 9 
3 Fortiori 6 
Serpes 5 
Grupom 4 
Veritá 4 
Delta 3 
Iveiga 3 
Seta 3 
Gerp 2 
IDP 2 
O&P Brasil 2 
Souza Lopes 2 
Verus 2 
Instituto Verita 2 
Action 1 
Datamax 1 
DMP 1 
EPP 1 
FSB 1 
GPP 1 
Ibrape 1 
Ipespe 1 
Methodus 1 
Vale 1 
Parana Pesquisas 1 

-----------------------------------------------
Neale Ahmed El-Dash
Doutor em Estatística
Celular: +55 19 998893939
Email: neale.eldash em gmail.com
_______________________________________________
abe mailing list
abe em lists.ime.usp.br
https://lists.ime.usp.br/mailman/listinfo/abe

_______________________________________________
abe mailing list
abe em lists.ime.usp.br
https://lists.ime.usp.br/mailman/listinfo/abe
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20141023/db9e0317/attachment.html>