[ABE-L] Todos os institutos de pesquisa têm a mesma credibilidade?

Qui Out 23 16:44:05 -03 2014

Neale,
Gostaria de parabenizá-lo novamente por essa iniciativa, procurando deixar mais transparente o que você faz no PollingData (apesar de ainda achar que você deveria voltar a colocar no site as informações da metodologia que você usa com um pouco mais de detalhes técnicos). 

Acho uma excelente ideia atribuir pesos diferentes para os institutos que levem em consideração outros fatores além do tamanho amostral da pesquisa. Você certamente conhece melhor do que eu a metodologia dos agregadores de dados americanos, mas me parece que Nate Silver, por exemplo, leva em consideração para a classificação não só a acurácia histórica dos institutos, como também as diferentes metodologias implementadas por eles (por exemplo, se usam telefone celular ou não). É interessante também que ele considera coisas como se o instituto participa da Iniciativa de Transparência da AAPOR (o que infelizmente não temos nada parecido no Brasil ainda) e se eles disponibilizam dados para o Roper Center (temos o CESOP da Unicamp aqui no Brasil, que é uma parceria com o Roper Center). Não sei se você viu, mas ele divulgou a metodologia de como ele cria essas classificações dos institutos nesse link: http://fivethirtyeight.com/features/how-fivethirtyeight-calculates-pollster-ratings/ e também deixou disponível a base de dados dessa classificação com um monte de outros dados nesse outro link: https://github.com/fivethirtyeight/data/tree/master/pollster-ratings O que é interessante é que aparentemente ele fez essa classificação com base em dados das pesquisas desde 1998. Claro que ele só pôde fazer isso porque há um considerável número de pesquisas eleitorais divulgadas nos EUA, bem maior do que no Brasil, mas talvez você possa adotar parte da metodologia dele na sua classificação. 
Olhando sua classificação, me parece que seria apenas interessante diferenciar de alguma forma o IBOPE do Datafolha, pois esse utiliza ponto de fluxo (como você identificou na sua outra mensagem), enquanto aquele usa uma amostra domiciliar, uma diferença que parece ser bastante importante.  

Um abraço,Raphael

     Em Quinta-feira, 23 de Outubro de 2014 12:31, Neale El-Dash <neale.eldash em gmail.com> escreveu:

 Faz mais de 12 anosque trabalho com pesquisas eleitorais, mas meu foco sempre foi mais em produzirpesquisas do que em consumi-las. Por causa do PollingData (www.pollingdata.com.br) isso mudou. Até omomento, procurei discutir mais a questão metodológica das pesquisas de opiniãoe dos institutos de pesquisa. Porém existem muitos fatores “não-metodológicos”que podem influenciar bastante os resultados das pesquisas. Nesse momento, o PollingData estáacompanhando 14 eleições estaduais além da eleição presidencial, num total de 186 pesquisas de 29 institutos de pesquisas. Como esseé o primeiro ano do site, ainda não temos um histórico muito grande, e amaioria dos institutos têm poucas pesquisas divulgadas. Ou seja, é dificilavaliar a metodologia de cada pesquisa para cada uma desses institutos.Realmente difícil. Além da questãometodológica, existe a possibilidade de fraude também. Abaixo inclui algunslinks com exemplos desse tipo de problema. Claro que as fontes também sãoquestionáveis, pois aqui no Brasil muitas vezes se discute política como sefosse um jogo de futebol, muita emoção e pouca razão. Como se existisse um ladocerto e um lado errado. Independente disso, a possibilidade de fraude sempreexiste. http://exame.abril.com.br/brasil/noticias/campanha-de-dilma-questiona-pesquisa-do-instituto-parana http://www.revistaforum.com.br/blogdorovai/2014/10/08/epoca-divulga-pesquisa-fajuta-para-beneficiar-aecio/ Já trabalhei compesquisas para consumo interno de políticos em campanha. Há muita pressãoexterna. E a pressão é ENORME! Consigo apenas imaginar como deve ser no caso depesquisas que serão publicadas. E existem muitas formas diferentes dessa “pressão”alterar os resultados das pesquisas. Algumas mais diretas, outras indiretas.Algumas mais intencionais, outras nem tanto. Alterar ordem das perguntas doquestionário, alterar o texto das perguntas, não rodiziar nomes de candidatos,incluir o partido junto com o nome do candidato ou não, escolherregiões/cidades/bairros sabidamente favoráveis a um partido, testar diversasponderações e escolher a que faz mais sentido – ou que tenha o melhor resultadosegundo algum critério. Existem muitas outras formas que nem estou mencionandoaqui. Abaixo, segue mais um link com um exemplo. http://politica.estadao.com.br/noticias/eleicoes,metodologia-de-pesquisa-beneficia-pre-candidato-tucano-imp-,1161716
 Pela lei, parapublicar uma pesquisa, o instituto é obrigado a divulgar quem é o contratante.Essa informação seria bastante relevante pra tentar avaliar se há algum conflitode interesses entre o resultado da pesquisa e quem encomendou a pesquisa. Porémvirou prática comum o instituto dizer que foi ele mesmo que financiou apesquisa. Em alguns casos é verdade. Em outros, o objetivo é esconder a fontedos recursos. Outra forma, talvezmais sútil de publicar resultados favoráveis, é fazendo um tracking (diário ouem períodos com menor frequência). Registra-se então pesquisas no TSE em váriosdias diferentes, porém a pesquisa somente é publicada nos dias que apresentamuma variação amostral na direção conveniente ao contratante.  Noteque nesse caso, a metodologia pode ser “perfeita”, porém o que está sendopublicando tem um viés. Isso explicaria, porexemplo, o número muito maior de pesquisas registradas do que publicadas. Estou discutindo essespontos aqui pra mostrar como a lei, do jeito que está, tem muitas falhas. Teralgum tipo de fiscalização já faria alguma diferença.  Eu trabalhocom pesquisas, tenho enorme prazer em trabalhar com elas, sei que podem serbem-feitas e acredito que são muito importantes para a democracia. Mas énecessário acabar com  a corrupção e a manipulação deresultados. E por favor, não usem esse textopra argumentar pelo fim das pesquisas, pois como todos sabem, a corrupção está presente emtodo Brasil, principalmente em tudo que envolve a esfera política. A idéia nãoé proibir, mas sim melhorar! Também acreditoque conforme o mercado das pesquisas eleitorais no Brasil amadurece, ele tambémserá capaz de se auto-regular. Um dos nossos objetivos é que o PollingData façaparte desse movimento. Eu sei que os parágrafos anteriores estão um pouco exagerados pro contexto que estou discutindo aqui, masmeu ponto é: será que no modelo do PollingData, pesquisas de todosos institutos devem ter um peso igual, ou seja, que depende somente do tamanhoda amostra? Tenho certeza que o modelo será otimizado (em algum sentido) sepesquisas com metodologias mais questionáveis, ou institutos sem histórico, ou aindainstitutos com a credibilidade questionável tiverem um peso diferenciado,reduzindo assim sua influência nas estimativas do modelo. Por enquanto, não vouretirar nenhuma pesquisa de nenhum instituto do modelo. Mas pretendo rever essapolítica caso haja fortes evidências de fraude. Não tenham dúvidas queo critério para atribuir pesos aos institutos será bastante subjetivo,principalmente nesse primeiro ano onde não temos um histórico grande depesquisas. Isso também evoluirá com o tempo, esse é apenas o primeiro passo.Acredito que num futuro próximo será possível definir um ranking de qualidade dosinstitutos de pesquisa. Por enquanto, nosso critério distinguirá apenas trêsgrupos: 1) Institutos que têm um histórico conhecido e confiável, 2) Institutosque estão trabalhando para partidos politicos nesse ciclo eleitoral, e 3)Institutos pequenos ou com pouco histórico. Os pesos serãosimplesmente aplicados diretamente no tamanho da amostra de cada instituto.Institutos do grupo ‘2’ terão uma precisão máxima de +/- 4% e do grupo‘3’ serão limitados por +/- 5%. Segueabaixo a relação dos institutos em cada grupo. Naspróximas horas o PollingData estaráatualizado utilizando esses pesos. Acessem o site pra ver os novos resutados…. Críticas e sugestõessão muito bem vindas! 
|  Grupo  |  Instituto  |  Pesquisas no PollingData  |
|  1  |  Ibope  |  66  |
|  Datafolha  |  37  |
|  MDA  |  13  |
|  2  |  Sensus (PSDB)  |  10  |
|  Vox Populi (PT)  |  9  |
|  3  |  Fortiori  |  6  |
|  Serpes  |  5  |
|  Grupom  |  4  |
|  Veritá  |  4  |
|  Delta  |  3  |
|  Iveiga  |  3  |
|  Seta  |  3  |
|  Gerp  |  2  |
|  IDP  |  2  |
|  O&P Brasil  |  2  |
|  Souza Lopes  |  2  |
|  Verus  |  2  |
|  Instituto Verita  |  2  |
|  Action  |  1  |
|  Datamax  |  1  |
|  DMP  |  1  |
|  EPP  |  1  |
|  FSB  |  1  |
|  GPP  |  1  |
|  Ibrape  |  1  |
|  Ipespe  |  1  |
|  Methodus  |  1  |
|  Vale  |  1  |
|  Parana Pesquisas  |  1  |

-----------------------------------------------
Neale Ahmed El-Dash
Doutor em Estatística
Celular: +55 19 998893939
Email: neale.eldash em gmail.com
_______________________________________________
abe mailing list
abe em lists.ime.usp.br
https://lists.ime.usp.br/mailman/listinfo/abe

-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20141023/f3a2f380/attachment.html>