[ABE-L] Todos os institutos de pesquisa têm a mesma credibilidade?
Neale El-Dash
neale.eldash em gmail.com
Qui Out 23 16:48:12 -03 2014
Valeu Raphael,
nao tinha visto esse post dele. E concordo com todos seus comentarios. Com
certeza vou levar em conta a metodologia dos institutos. Mas nesse primeiro
momento, dado a proximidade das eleicoes, priorizei a questao dos
institutos que estao fazendo pesquisas para partidos politicos. Mas vou
chegar la ;)
Abraco
Em 23 de outubro de 2014 16:44, Raphael Nishimura <
raphael_nishimura em yahoo.com.br> escreveu:
> Neale,
>
> Gostaria de parabenizá-lo novamente por essa iniciativa, procurando deixar
> mais transparente o que você faz no PollingData (apesar de ainda achar que
> você deveria voltar a colocar no site as informações da metodologia que
> você usa com um pouco mais de detalhes técnicos).
>
> Acho uma excelente ideia atribuir pesos diferentes para os institutos que
> levem em consideração outros fatores além do tamanho amostral da pesquisa.
> Você certamente conhece melhor do que eu a metodologia dos agregadores de
> dados americanos, mas me parece que Nate Silver, por exemplo, leva em
> consideração para a classificação não só a acurácia histórica dos
> institutos, como também as diferentes metodologias implementadas por eles
> (por exemplo, se usam telefone celular ou não). É interessante também que
> ele considera coisas como se o instituto participa da Iniciativa de
> Transparência da AAPOR (o que infelizmente não temos nada parecido no
> Brasil ainda) e se eles disponibilizam dados para o Roper Center (temos o
> CESOP da Unicamp aqui no Brasil, que é uma parceria com o Roper Center).
> Não sei se você viu, mas ele divulgou a metodologia de como ele cria essas
> classificações dos institutos nesse link:
> http://fivethirtyeight.com/features/how-fivethirtyeight-calculates-pollster-ratings/
> e também deixou disponível a base de dados dessa classificação com um monte
> de outros dados nesse outro link:
> https://github.com/fivethirtyeight/data/tree/master/pollster-ratings O
> que é interessante é que aparentemente ele fez essa classificação com base
> em dados das pesquisas desde 1998. Claro que ele só pôde fazer isso porque
> há um considerável número de pesquisas eleitorais divulgadas nos EUA, bem
> maior do que no Brasil, mas talvez você possa adotar parte da metodologia
> dele na sua classificação.
>
> Olhando sua classificação, me parece que seria apenas interessante
> diferenciar de alguma forma o IBOPE do Datafolha, pois esse utiliza ponto
> de fluxo (como você identificou na sua outra mensagem), enquanto aquele usa
> uma amostra domiciliar, uma diferença que parece ser bastante importante.
>
> Um abraço,
> Raphael
>
>
> Em Quinta-feira, 23 de Outubro de 2014 12:31, Neale El-Dash <
> neale.eldash em gmail.com> escreveu:
>
>
> Faz mais de 12 anos que trabalho com pesquisas eleitorais, mas meu foco
> sempre foi mais em produzir pesquisas do que em consumi-las. Por causa do
> PollingData <http://www.pollingdata.com.br/> (www.pollingdata.com.br)
> isso mudou. Até o momento, procurei discutir mais a questão metodológica
> das pesquisas de opinião e dos institutos de pesquisa. Porém existem muitos
> fatores “não-metodológicos” que podem influenciar bastante os resultados
> das pesquisas.
>
> Nesse momento, o PollingData <http://www.pollingdata.com.br/> está
> acompanhando 14 eleições estaduais além da eleição presidencial, num total
> de 186 pesquisas de 29 institutos de pesquisas. Como esse é o primeiro
> ano do site, ainda não temos um histórico muito grande, e a maioria dos
> institutos têm poucas pesquisas divulgadas. Ou seja, é dificil avaliar a
> metodologia de cada pesquisa para cada uma desses institutos. Realmente
> difícil.
>
> Além da questão metodológica, existe a possibilidade de fraude também.
> Abaixo inclui alguns links com exemplos desse tipo de problema. Claro que
> as fontes também são questionáveis, pois aqui no Brasil muitas vezes se
> discute política como se fosse um jogo de futebol, muita emoção e pouca
> razão. Como se existisse um lado certo e um lado errado. Independente
> disso, a possibilidade de fraude sempre existe.
>
>
> http://exame.abril.com.br/brasil/noticias/campanha-de-dilma-questiona-pesquisa-do-instituto-parana
>
>
> http://www.revistaforum.com.br/blogdorovai/2014/10/08/epoca-divulga-pesquisa-fajuta-para-beneficiar-aecio/
>
> Já trabalhei com pesquisas para consumo interno de políticos em campanha.
> Há muita pressão externa. E a pressão é ENORME! Consigo apenas imaginar
> como deve ser no caso de pesquisas que serão publicadas. E existem muitas
> formas diferentes dessa “pressão” alterar os resultados das pesquisas.
> Algumas mais diretas, outras indiretas. Algumas mais intencionais, outras
> nem tanto. Alterar ordem das perguntas do questionário, alterar o texto das
> perguntas, não rodiziar nomes de candidatos, incluir o partido junto com o
> nome do candidato ou não, escolher regiões/cidades/bairros sabidamente
> favoráveis a um partido, testar diversas ponderações e escolher a que faz
> mais sentido – ou que tenha o melhor resultado segundo algum critério.
> Existem muitas outras formas que nem estou mencionando aqui. Abaixo, segue
> mais um link com um exemplo.
>
> *http://politica.estadao.com.br/noticias/eleicoes,metodologia-de-pesquisa-beneficia-pre-candidato-tucano-imp-,1161716
> <http://politica.estadao.com.br/noticias/eleicoes,metodologia-de-pesquisa-beneficia-pre-candidato-tucano-imp-,1161716>*
>
> Pela lei, para publicar uma pesquisa, o instituto é obrigado a divulgar
> quem é o contratante. Essa informação seria bastante relevante pra tentar
> avaliar se há algum conflito de interesses entre o resultado da pesquisa e
> quem encomendou a pesquisa. Porém virou prática comum o instituto dizer que
> foi ele mesmo que financiou a pesquisa. Em alguns casos é verdade. Em
> outros, o objetivo é esconder a fonte dos recursos.
>
> Outra forma, talvez mais sútil de publicar resultados favoráveis, é
> fazendo um tracking (diário ou em períodos com menor frequência).
> Registra-se então pesquisas no TSE em vários dias diferentes, porém a
> pesquisa somente é publicada nos dias que apresentam uma variação amostral
> na direção conveniente ao contratante. Note que nesse caso, a metodologia
> pode ser “perfeita”, porém o que está sendo publicando tem um viés. Isso
> explicaria, por exemplo, o número muito maior de pesquisas registradas do
> que publicadas.
>
> Estou discutindo esses pontos aqui pra mostrar como a lei, do jeito que
> está, tem muitas falhas. Ter algum tipo de fiscalização já faria alguma
> diferença. Eu trabalho com pesquisas, tenho enorme prazer em trabalhar com
> elas, sei que podem ser bem-feitas e acredito que são muito importantes
> para a democracia. Mas é necessário acabar com a corrupção e a manipulação
> de resultados. *E por favor, não usem esse texto pra argumentar pelo fim
> das pesquisas, pois como todos sabem, a corru**pção está presente em todo
> Brasil, principalmente em tudo que envolve a esfera política. A idéia não é
> proibir, mas sim melhorar**!* Também acredito que conforme o mercado das
> pesquisas eleitorais no Brasil amadurece, ele também será capaz de se
> auto-regular. Um dos nossos objetivos é que o PollingData faça parte desse
> movimento.
>
> Eu sei que os parágrafos anteriores estão um pouco exagerados pro
> contexto que estou discutindo aqui, mas meu ponto é: será que no modelo do
> PollingData <http://www.pollingdata.com.br/>, pesquisas de todos os
> institutos devem ter um peso igual, ou seja, que depende somente do tamanho
> da amostra? Tenho certeza que o modelo será otimizado (em algum sentido) se
> pesquisas com metodologias mais questionáveis, ou institutos sem histórico,
> ou ainda institutos com a credibilidade questionável tiverem um peso
> diferenciado, reduzindo assim sua influência nas estimativas do modelo. Por
> enquanto, não vou retirar nenhuma pesquisa de nenhum instituto do modelo.
> Mas pretendo rever essa política caso haja fortes evidências de fraude.
>
> Não tenham dúvidas que o critério para atribuir pesos aos institutos será
> bastante subjetivo, principalmente nesse primeiro ano onde não temos um
> histórico grande de pesquisas. Isso também evoluirá com o tempo, esse é
> apenas o primeiro passo. Acredito que num futuro próximo será possível
> definir um ranking de qualidade dos institutos de pesquisa. Por enquanto,
> nosso critério distinguirá apenas três grupos: 1) Institutos que têm um
> histórico conhecido e confiável, 2) Institutos que estão trabalhando para
> partidos politicos nesse ciclo eleitoral, e 3) Institutos pequenos ou com
> pouco histórico.
>
> Os pesos serão simplesmente aplicados diretamente no tamanho da amostra de
> cada instituto. Institutos do grupo ‘2’ terão uma precisão máxima de +/-
> 4% e do grupo ‘3’ serão limitados por +/- 5%. Segue abaixo a relação dos
> institutos em cada grupo. Nas próximas horas o PollingData
> <http://www.pollingdata.com.br/> estará atualizado utilizando esses
> pesos. Acessem o site pra ver os novos resutados….
>
> Críticas e sugestões são muito bem vindas!
>
> *Grupo*
> *Instituto*
> *Pesquisas no PollingData*
> 1
> Ibope
> 66
> Datafolha
> 37
> MDA
> 13
> 2
> Sensus (PSDB)
> 10
> Vox Populi (PT)
> 9
> 3
> Fortiori
> 6
> Serpes
> 5
> Grupom
> 4
> Veritá
> 4
> Delta
> 3
> Iveiga
> 3
> Seta
> 3
> Gerp
> 2
> IDP
> 2
> O&P Brasil
> 2
> Souza Lopes
> 2
> Verus
> 2
> Instituto Verita
> 2
> Action
> 1
> Datamax
> 1
> DMP
> 1
> EPP
> 1
> FSB
> 1
> GPP
> 1
> Ibrape
> 1
> Ipespe
> 1
> Methodus
> 1
> Vale
> 1
> Parana Pesquisas
> 1
>
>
>
>
>
> -----------------------------------------------
> Neale Ahmed El-Dash
> Doutor em Estatística
> Celular: +55 19 998893939
> Email: neale.eldash em gmail.com
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/mailman/listinfo/abe
>
>
>
--
There are two routes to success in soccer. One is being good. The other is
being lucky. You need both to win a championship. But you only need one to
win a game. (The numbers game)
-----------------------------------------------
Neale Ahmed El-Dash
Doutor em Estatística
Celular: +55 19 998893939
Email: neale.eldash em gmail.com
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20141023/d731afa6/attachment.html>
Mais detalhes sobre a lista de discussão abe