[ABE-L] Todos os institutos de pesquisa têm a mesma credibilidade?

Neale El-Dash neale.eldash em gmail.com
Qui Out 23 17:11:15 -03 2014 

Clecio, e' claro que servem ;)

Aqueles dados sao uma "mina de ouro". Mas tem que ser trabalhados, leva
tempo pra conseguir criar essa base de dados. Eu trabalhei na tese somente
com dados do periodo de 1989 ate 2004. Ainda tenho que atualizar com as
pesquisas mais recentes. Outro problema e' que  os dados do CESOP sao de
apenas alguns poucos institutos, correto?  Mas como a  proxima eleicao e'
apenas daqui a 2 anos, com certeza terei tempo pra formar um ranking ate
la.

Minha intencao, a medio prazo,  e' disponibilizar um acervo com os
resultados de todas as pesquisas que eu tenho acesso, assim quem trabalha
nessa area pode fazer suas proprias analises, sem ter que utilizar os
microdados.

Abraco

Em 23 de outubro de 2014 16:58, Clécio da Silva Ferreira <
clecio.ferreira em yahoo.com.br> escreveu:

> Ia comentar sobre isso, Neale. Os dados que o CESOP tem, e disponibilizou
> alguns desses para sua tese, não servem para avaliar o histórico dos
> institutos?
>
> Atte,
> Clécio
>
>
>   Em Quinta-feira, 23 de Outubro de 2014 16:50, Raphael Nishimura <
> raphael_nishimura em yahoo.com.br> escreveu:
>
>
> Neale,
>
> Gostaria de parabenizá-lo novamente por essa iniciativa, procurando deixar
> mais transparente o que você faz no PollingData (apesar de ainda achar que
> você deveria voltar a colocar no site as informações da metodologia que
> você usa com um pouco mais de detalhes técnicos).
>
> Acho uma excelente ideia atribuir pesos diferentes para os institutos que
> levem em consideração outros fatores além do tamanho amostral da pesquisa.
> Você certamente conhece melhor do que eu a metodologia dos agregadores de
> dados americanos, mas me parece que Nate Silver, por exemplo, leva em
> consideração para a classificação não só a acurácia histórica dos
> institutos, como também as diferentes metodologias implementadas por eles
> (por exemplo, se usam telefone celular ou não). É interessante também que
> ele considera coisas como se o instituto participa da Iniciativa de
> Transparência da AAPOR (o que infelizmente não temos nada parecido no
> Brasil ainda) e se eles disponibilizam dados para o Roper Center (temos o
> CESOP da Unicamp aqui no Brasil, que é uma parceria com o Roper Center).
> Não sei se você viu, mas ele divulgou a metodologia de como ele cria essas
> classificações dos institutos nesse link:
> http://fivethirtyeight.com/features/how-fivethirtyeight-calculates-pollster-ratings/
> e também deixou disponível a base de dados dessa classificação com um monte
> de outros dados nesse outro link:
> https://github.com/fivethirtyeight/data/tree/master/pollster-ratings O
> que é interessante é que aparentemente ele fez essa classificação com base
> em dados das pesquisas desde 1998. Claro que ele só pôde fazer isso porque
> há um considerável número de pesquisas eleitorais divulgadas nos EUA, bem
> maior do que no Brasil, mas talvez você possa adotar parte da metodologia
> dele na sua classificação.
>
> Olhando sua classificação, me parece que seria apenas interessante
> diferenciar de alguma forma o IBOPE do Datafolha, pois esse utiliza ponto
> de fluxo (como você identificou na sua outra mensagem), enquanto aquele usa
> uma amostra domiciliar, uma diferença que parece ser bastante importante.
>
> Um abraço,
> Raphael
>
>
>   Em Quinta-feira, 23 de Outubro de 2014 12:31, Neale El-Dash <
> neale.eldash em gmail.com> escreveu:
>
>
> Faz mais de 12 anos que trabalho com pesquisas eleitorais, mas meu foco
> sempre foi mais em produzir pesquisas do que em consumi-las. Por causa do
> PollingData <http://www.pollingdata.com.br/> (www.pollingdata.com.br)
> isso mudou. Até o momento, procurei discutir mais a questão metodológica
> das pesquisas de opinião e dos institutos de pesquisa. Porém existem muitos
> fatores “não-metodológicos” que podem influenciar bastante os resultados
> das pesquisas.
>
> Nesse momento, o PollingData <http://www.pollingdata.com.br/> está
> acompanhando 14 eleições estaduais além da eleição presidencial, num total
> de 186 pesquisas de 29 institutos de pesquisas. Como esse é o primeiro
> ano do site, ainda não temos um histórico muito grande, e a maioria dos
> institutos têm poucas pesquisas divulgadas. Ou seja, é dificil avaliar a
> metodologia de cada pesquisa para cada uma desses institutos. Realmente
> difícil.
>
> Além da questão metodológica, existe a possibilidade de fraude também.
> Abaixo inclui alguns links com exemplos desse tipo de problema. Claro que
> as fontes também são questionáveis, pois aqui no Brasil muitas vezes se
> discute política como se fosse um jogo de futebol, muita emoção e pouca
> razão. Como se existisse um lado certo e um lado errado. Independente
> disso, a possibilidade de fraude sempre existe.
>
>
> http://exame.abril.com.br/brasil/noticias/campanha-de-dilma-questiona-pesquisa-do-instituto-parana
>
>
> http://www.revistaforum.com.br/blogdorovai/2014/10/08/epoca-divulga-pesquisa-fajuta-para-beneficiar-aecio/
>
> Já trabalhei com pesquisas para consumo interno de políticos em campanha.
> Há muita pressão externa. E a pressão é ENORME! Consigo apenas imaginar
> como deve ser no caso de pesquisas que serão publicadas. E existem muitas
> formas diferentes dessa “pressão” alterar os resultados das pesquisas.
> Algumas mais diretas, outras indiretas. Algumas mais intencionais, outras
> nem tanto. Alterar ordem das perguntas do questionário, alterar o texto das
> perguntas, não rodiziar nomes de candidatos, incluir o partido junto com o
> nome do candidato ou não, escolher regiões/cidades/bairros sabidamente
> favoráveis a um partido, testar diversas ponderações e escolher a que faz
> mais sentido – ou que tenha o melhor resultado segundo algum critério.
> Existem muitas outras formas que nem estou mencionando aqui. Abaixo, segue
> mais um link com um exemplo.
>
> *http://politica.estadao.com.br/noticias/eleicoes,metodologia-de-pesquisa-beneficia-pre-candidato-tucano-imp-,1161716
> <http://politica.estadao.com.br/noticias/eleicoes,metodologia-de-pesquisa-beneficia-pre-candidato-tucano-imp-,1161716>*
>
> Pela lei, para publicar uma pesquisa, o instituto é obrigado a divulgar
> quem é o contratante. Essa informação seria bastante relevante pra tentar
> avaliar se há algum conflito de interesses entre o resultado da pesquisa e
> quem encomendou a pesquisa. Porém virou prática comum o instituto dizer que
> foi ele mesmo que financiou a pesquisa. Em alguns casos é verdade. Em
> outros, o objetivo é esconder a fonte dos recursos.
>
> Outra forma, talvez mais sútil de publicar resultados favoráveis, é
> fazendo um tracking (diário ou em períodos com menor frequência).
> Registra-se então pesquisas no TSE em vários dias diferentes, porém a
> pesquisa somente é publicada nos dias que apresentam uma variação amostral
> na direção conveniente ao contratante.  Note que nesse caso, a metodologia
> pode ser “perfeita”, porém o que está sendo publicando tem um viés. Isso
> explicaria, por exemplo, o número muito maior de pesquisas registradas do
> que publicadas.
>
> Estou discutindo esses pontos aqui pra mostrar como a lei, do jeito que
> está, tem muitas falhas. Ter algum tipo de fiscalização já faria alguma
> diferença.  Eu trabalho com pesquisas, tenho enorme prazer em trabalhar com
> elas, sei que podem ser bem-feitas e acredito que são muito importantes
> para a democracia. Mas é necessário acabar com  a corrupção e a manipulação
> de resultados. *E por favor, não usem esse texto pra argumentar pelo fim
> das pesquisas, pois como todos sabem, a corru**pção está presente em todo
> Brasil, principalmente em tudo que envolve a esfera política. A idéia não é
> proibir, mas sim melhorar**!* Também acredito que conforme o mercado das
> pesquisas eleitorais no Brasil amadurece, ele também será capaz de se
> auto-regular. Um dos nossos objetivos é que o PollingData faça parte desse
> movimento.
>
> Eu sei que os parágrafos anteriores estão um pouco exagerados pro
> contexto que estou discutindo aqui, mas meu ponto é: será que no modelo do
> PollingData <http://www.pollingdata.com.br/>, pesquisas de todos os
> institutos devem ter um peso igual, ou seja, que depende somente do tamanho
> da amostra? Tenho certeza que o modelo será otimizado (em algum sentido) se
> pesquisas com metodologias mais questionáveis, ou institutos sem histórico,
> ou ainda institutos com a credibilidade questionável tiverem um peso
> diferenciado, reduzindo assim sua influência nas estimativas do modelo. Por
> enquanto, não vou retirar nenhuma pesquisa de nenhum instituto do modelo.
> Mas pretendo rever essa política caso haja fortes evidências de fraude.
>
> Não tenham dúvidas que o critério para atribuir pesos aos institutos será
> bastante subjetivo, principalmente nesse primeiro ano onde não temos um
> histórico grande de pesquisas. Isso também evoluirá com o tempo, esse é
> apenas o primeiro passo. Acredito que num futuro próximo será possível
> definir um ranking de qualidade dos institutos de pesquisa. Por enquanto,
> nosso critério distinguirá apenas três grupos: 1) Institutos que têm um
> histórico conhecido e confiável, 2) Institutos que estão trabalhando para
> partidos politicos nesse ciclo eleitoral, e 3) Institutos pequenos ou com
> pouco histórico.
>
> Os pesos serão simplesmente aplicados diretamente no tamanho da amostra de
> cada instituto. Institutos do grupo ‘2’ terão uma precisão máxima de +/-
> 4% e do grupo ‘3’ serão limitados por +/- 5%. Segue abaixo a relação dos
> institutos em cada grupo. Nas próximas horas o PollingData
> <http://www.pollingdata.com.br/> estará atualizado utilizando esses
> pesos. Acessem o site pra ver os novos resutados….
>
> Críticas e sugestões são muito bem vindas!
>
>  *Grupo*
>  *Instituto*
>  *Pesquisas no PollingData*
>  1
>  Ibope
>  66
>  Datafolha
>  37
>  MDA
>  13
>  2
>  Sensus (PSDB)
>  10
>  Vox Populi (PT)
>  9
>  3
>  Fortiori
>  6
>  Serpes
>  5
>  Grupom
>  4
>  Veritá
>  4
>  Delta
>  3
>  Iveiga
>  3
>  Seta
>  3
>  Gerp
>  2
>  IDP
>  2
>  O&P Brasil
>  2
>  Souza Lopes
>  2
>  Verus
>  2
>  Instituto Verita
>  2
>  Action
>  1
>  Datamax
>  1
>  DMP
>  1
>  EPP
>  1
>  FSB
>  1
>  GPP
>  1
>  Ibrape
>  1
>  Ipespe
>  1
>  Methodus
>  1
>  Vale
>  1
>  Parana Pesquisas
>  1
>
>
>
>
>
> -----------------------------------------------
> Neale Ahmed El-Dash
> Doutor em Estatística
> Celular: +55 19 998893939
> Email: neale.eldash em gmail.com
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/mailman/listinfo/abe
>
>
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/mailman/listinfo/abe
>
>
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/mailman/listinfo/abe
>
>


-- 

There are two routes to success in soccer. One is being good. The other is
being lucky. You need both to win a championship. But you only need one to
win a game. (The numbers game)

-----------------------------------------------
Neale Ahmed El-Dash
Doutor em Estatística
Celular: +55 19 998893939
Email: neale.eldash em gmail.com
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20141023/3c72a217/attachment.html>

Mais detalhes sobre a lista de discussão abe