[ABE-L] Sobre a metodologia dos institutos de pesquisa

Seg Out 20 13:38:03 -03 2014

Neale, excelente o seu post sobre o tema, ao reunir boas referências e
apresentar bons argumentos para discussão.

Lamentavelmente, não temos ainda experimentos bem conduzidos comparando
abordagens 'não probabilísticas' com as 'probabilísticas' feitos no Brasil,
no contexto das pesquisas eleitorais.

Um único comentário crítico a uma afirmação sua:
"3- Na APC, existe um controle geográfico excelente, equivalente ao que se
poderia obter em qualquer amostra probabilística se elas pudessem ser
feitas no mundo real. "

Amostras probabilísticas são feitas no mundo real todos os dias, aqui no
Brasil, não só pelo IBGE como também por várias outras instituições. O fato
de que sua implementação sofre de problemas tais como não resposta, não
torna as amostras probabilísticas similares às amostras por cotas.

Saudações, e parabéns por manter o debate vivo e em excelente nível.

Pedro.

Em 20 de outubro de 2014 13:19, Neale El-Dash <neale.eldash em gmail.com>
escreveu:

> Nesse sábado foram publicados dois textos na Folha de São Paulo debatendo
> o mesmo tema: “É correta a maneira como são feitas as pesquisas eleitorais
> no Brasil?”. Um deles defende que NÃO, escrita pelo José Carvalho com o
> título de “O erro da margem de erro” e o outro defende o SIM, escrito pelo
> Ney Figueiredo com o título “Instrumento a serviço da democracia”. Seguem
> os links abaixo. Estão muito bem escritos, e acredito que são relevantes na
> discussão sobre a importância e a qualidade das pesquisas eleitorais no
> Brasil. Vale a pena a leitura.
>
>
>
> NÃO -
> http://www1.folha.uol.com.br/fsp/opiniao/191233-o-erro-da-margem-de-erro.shtml
>
> SIM -
> http://www1.folha.uol.com.br/opiniao/2014/10/1534428-e-correta-a-maneira-como-sao-feitas-as-pesquisas-eleitorais-no-brasil-sim.shtml
>
>
>
> Eu concordo com muitos dos argumentos utilizados pelos dois. Achei
> engraçado que a minha maior objenção aos argumentos utilizados é a mesma
> para os dois textos.  Tanto o SIM quanto o NÃO assumem (implicitamente) que
> todas as pesquisas realizadas no Brasil utilizam a mesma metodologia. Isso
> não é verdade. Tanto faz se o objetivo é criticar as pesquisas ou
> valorizá-las. Na minha opinião, para que o debate sobre as pesquisas
> eleitorais amadureça, é preciso justamente entender que existem
> diferenças metodológicas e que elas são relevantes. Essas diferenças não
> são apenas detalhes. Elas têm consequências na qualidade da pesquisa.
>
>
>
> O Carvalho (NÃO) fala sobre isso abertamente, porém assume que todas as
> pesquisas estão na mesma categoria “Não-probabilística”. Já para o
> Figueiredo (SIM) as pesquisas do Ibope e o Datafolha estão na categoria na
> qual a metodologia está mais do que “provada e aprovada”.
>
>
>
> Anteriormente já escrevi sobre a diferença entre as pesquisas denominadas
> “Amostragem por Cotas” (AC) e as denominadas “Amostragem Probabilística por
> Cotas” (APC). Existe apenas uma semelhança entre as duas metodologias:
> ambas têm a palavra “Cotas” no nome, indicando que não são probabilísticas.
> Isso não quer dizer que sejam iguais. Pelo contrário, existem muitas
> diferenças entre elas, vou mencionar algumas abaixo:
>
>
>  1- Na APC as entrevistas são domiciliares. Na AC as entrevistas são
> realizadas em pontos de fluxo. Como o Carvalho diz em seu texto: “os pontos
> de concentração podem ser shoppings, esquinas de ruas movimentadas, ou
> seja, lugares onde é fácil preencher as cotas”.
>
> 2- Na APC existe muito controle sobre o entrevistador e a sua liberdade
> de escolha dos entrevistados. Ele tem que percorrer um trajeto muito
> restrito com critérios claros e objetivos.  Na AC, o entrevistador escolhe
> quem quiser, contanto que esteja nas cotas.
>
> 3- Na APC, existe um controle geográfico excelente, equivalente ao que se
> poderia obter em qualquer amostra probabilística se elas pudessem ser
> feitas no mundo real. Na AC, as pesquisas acabam tendo uma aglomeração
> geográfica muito maior.
>
> 4- Na APC o objetivo das cotas é controlar a probabilidade de resposta
> das pessoas. Na AC, o objetivo é reproduzir características demográficas da
> população alvo.
>
>
>
> Os dois artigos principais, que discutem essas metodologias e as comparam
> com amostragem probabilística na prática (aquela cheia de suposições e com
> não resposta) são:
>
>
>
> APC - [Ref1]Probability SampIing with Quotas: An Experiment (C. BRUCE
> STEPHENSON)
>
>
> http://publicdata.norc.org:41000/gss/DOCUMENTS/REPORTS/Methodological_Reports/MR007.pdf
>
>
> AC -[Ref2]An experimental study of quota sampling (C. A. Moser and A.
> Stuart)
>
>
> http://www.jstor.org/discover/10.2307/2343021?uid=3737664&uid=2&uid=4&sid=21104724117583
>
>
>
> Basta ler ambos os artigos pra ver como as metodologias (e as criticas)
> são muito diferentes. Mais importante, existe um efeito negativo importante
> na qualidade da AC pelo fato das entrevistas serem realizadas em pontos de
> fluxo. Apenas para exemplificar, no artigo [Ref2] sobre AC, os autores
> dizem que os maiores vícios encontrados na comparação foram: 1) A
> distribuição geográfica da amostragem por cotas (AC) era mais aglomerada, 2)
> na amostragem probabilística (aquela da prática, com voltas e
> substituições) havia mais não-resposta na variável de renda e 3) foram
> observadas mais pessoas na categoria sem renda/com renda baixa e renda alta
> do que na AC.
>
>
>
> Não é difícil encontrar um explicação para todas essas diferenças que está
> bastante relacionada ao fato de realizar entrevistas em pontos de fluxo
> (não necessariamente por causa das cotas). Fazendo entrevistas em pontos de
> fluxo, claramente a distribuição geográfica será mais concentrada. Além
> disso, usualmente pessoas sem ocupação e/ou aposentadas não precisam ir as
> esses locais, consequentemente pessoas sem renda/renda baixa também serão
> sub-representadas. Pessoas com renda alta podem não se sentir à vontade ao
> responder uma pergunta sobre a sua renda nesses locais, também sendo
> sub-representadas e aumentando a não resposta.
>
>
>
> Meu ponto é: outras características metodológicas, além das cotas, também
> são claramente responsáveis por vícios observados na AC. Pra mim, pesquisas
> em ponto de fluxo são um sinal de baixa qualidade da pesquisa
> (potencialmente). Muito mais do que o fato de usar cotas. Cotas podem ser
> bem efetivas, principalmente se forem associadas com variáveis claramente
> relacionadas com a probabilidades de resposta de uma pessoa. Também é
> relevante em qual estágio se utilizam cotas. Por isso é importante
> distinguir entre AC e APC.
>
>
>
> Só pra enfatizar como as metodologias dos institutos de pesquisa são
> diferentes, consultei no site do TSE as pesquisas mais recentes dos
> institutos que mais divulgaram pesquisas nacionais (Ibope, Datafolha,
> Sensus, Vox Populi e MDA). No geral as descrições metodológicas são vagas e
> um tanto confusas, porém sabendo  quais palavras procurar è possìvel
> descobrir qual tipo de pesquisa está sendo feita. Buscando as palavras
> “Setor Censitário” e “pesquisas domiciliares”, importantes para a APC, é
> possível identificar o uso da APC.
>
>
>
> A metodologia de cada instituto está descrita abaixo. É claro que existem
> outros fatores que também são relevantes para a qualidade das pesquisas
> além de ser APC ou AC, como verificação, cotas utilizadas, amostragem nos
> primeiros estágios, como os resultados são analisados, ponderações,etc….
> mas a lista abaixo pelo menos já esclarece se é AC ou APC. Também é
> importante frisar que não existem muitos detalhes sobre a metodologia do
> Datafolha. Eu já ouvi falar que eles também fazem APC em áreas urbanas, e
> que tem algum tipo de controle geográfico especial dentro de cada ponto de
> fluxo, mas não encontrei a descrição dessa metodologia. Achei importante
> fazer essa ressalva a metodologia do Datafolha pois nao acredito que ela
> seja exatamente a mesma descrita no artigo acima sobre AC.
>
>
>
> *Pesquisa:*  Ibope - BR-01097/2014
>
> *Link:*
> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28419
>
> *Resumo:* “*No segundo estágio faz-se um sorteio probabilístico dos
> setores censitários, onde as entrevistas serão realizadas, pelo método PPT
> (Probabilidade Proporcional ao Tamanho), tomando a população de 16 anos ou
> mais residente nos setores como base para tal seleção.**”*
>
> *Tipo: *Amostragem probabilística com Cotas (APC)
>
>
>
> *Pesquisa:*  Datafolha - BR-01098/2014
>
> *Link: *
> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28424
>
> *Resumo:* “*Num segundo estágio, são sorteados os bairros e pontos de
> abordagem onde serão aplicadas as entrevistas. Por fim, os entrevistados
> são selecionados aleatoriamente para responder ao questionário, de acordo
> com cotas de sexo e faixa etária*”.
>
> *Tipo: *Amostragem por Cotas (AC) – em pontos de fluxo
>
>
>
> *Pesquisa:*  Vox Populi - BR-01079/2014
>
> *Link: *
> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28079
>
> *Resumo:* “*2º estágio: seleção aleatória dos setores censitários ou
> bairros dentro do município; 3º estágio: seleção dos respondentes dentro
> dos setores censitários ou bairros através de uma quota proporcional de
> Gênero, Idade, Escolaridade e Renda Familiar, de acordo com o perfil da
> população em estudo. As entrevistas foram pessoais e domiciliares**”*.
>
> *Tipo: *Amostragem probabilística com Cotas (APC)
>
>
>
> *Pesquisa:*  Sensus - BR-01076/2014
>
> *Link: *
> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28020
>
> *Resumo:* “*Probabilística sistemática até o Setor Censitário para Urbano
> e Rural, com cotas para Sexo, Idade, Escolaridade e Renda no Setor
> Censitário*”.
>
> *Tipo: *Amostragem probabilística com Cotas (APC)
>
>
>
>
>
> *Pesquisa:*  MDA - BR-01032/2014
>
> *Link: *
> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=27250
>
> *Resumo:* “*Por fim, já no município, é realizada a seleção aleatória de
> setores censitários ou bairros onde serão alocadas as entrevistas de forma
> proporcional ao universo em função do gênero e faixa etária do eleitorado*
> ”.
>
> *Tipo: *Amostragem probabilística com Cotas (APC) em áreas urbanas. Não
> dá pra saber sobre as áreas rurais.
>
>
>
>
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/mailman/listinfo/abe
>
>

-- 
Pedro Luis do Nascimento Silva
*ISI President-Elect 2013-2015*
IBGE - Escola Nacional de Ciências Estatísticas
Phone: +55 21 21424957
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20141020/9cc9ff93/attachment.html>