[ABE-L] Sobre a metodologia dos institutos de pesquisa

Seg Out 20 14:07:01 -03 2014

Obrigado Pedro.

E voce tem razao quanto a amostragem probabilistica nesse ponto. O meu
comentario " se elas pudessem ser feitas no mundo real"  alem de nao contar
toda a historia, era desnecessario!

Abraco Neale

Em 20 de outubro de 2014 13:38, Pedro Luis do Nascimento Silva <
pedronsilva em gmail.com> escreveu:

> Neale, excelente o seu post sobre o tema, ao reunir boas referências e
> apresentar bons argumentos para discussão.
>
> Lamentavelmente, não temos ainda experimentos bem conduzidos comparando
> abordagens 'não probabilísticas' com as 'probabilísticas' feitos no Brasil,
> no contexto das pesquisas eleitorais.
>
> Um único comentário crítico a uma afirmação sua:
> "3- Na APC, existe um controle geográfico excelente, equivalente ao que
> se poderia obter em qualquer amostra probabilística se elas pudessem ser
> feitas no mundo real. "
>
> Amostras probabilísticas são feitas no mundo real todos os dias, aqui no
> Brasil, não só pelo IBGE como também por várias outras instituições. O fato
> de que sua implementação sofre de problemas tais como não resposta, não
> torna as amostras probabilísticas similares às amostras por cotas.
>
> Saudações, e parabéns por manter o debate vivo e em excelente nível.
>
> Pedro.
>
>
>
> Em 20 de outubro de 2014 13:19, Neale El-Dash <neale.eldash em gmail.com>
> escreveu:
>
>> Nesse sábado foram publicados dois textos na Folha de São Paulo debatendo
>> o mesmo tema: “É correta a maneira como são feitas as pesquisas eleitorais
>> no Brasil?”. Um deles defende que NÃO, escrita pelo José Carvalho com o
>> título de “O erro da margem de erro” e o outro defende o SIM, escrito pelo
>> Ney Figueiredo com o título “Instrumento a serviço da democracia”. Seguem
>> os links abaixo. Estão muito bem escritos, e acredito que são relevantes na
>> discussão sobre a importância e a qualidade das pesquisas eleitorais no
>> Brasil. Vale a pena a leitura.
>>
>>
>>
>> NÃO -
>> http://www1.folha.uol.com.br/fsp/opiniao/191233-o-erro-da-margem-de-erro.shtml
>>
>> SIM -
>> http://www1.folha.uol.com.br/opiniao/2014/10/1534428-e-correta-a-maneira-como-sao-feitas-as-pesquisas-eleitorais-no-brasil-sim.shtml
>>
>>
>>
>> Eu concordo com muitos dos argumentos utilizados pelos dois. Achei
>> engraçado que a minha maior objenção aos argumentos utilizados é a mesma
>> para os dois textos.  Tanto o SIM quanto o NÃO assumem (implicitamente) que
>> todas as pesquisas realizadas no Brasil utilizam a mesma metodologia. Isso
>> não é verdade. Tanto faz se o objetivo é criticar as pesquisas ou
>> valorizá-las. Na minha opinião, para que o debate sobre as pesquisas
>> eleitorais amadureça, é preciso justamente entender que existem
>> diferenças metodológicas e que elas são relevantes. Essas diferenças não
>> são apenas detalhes. Elas têm consequências na qualidade da pesquisa.
>>
>>
>>
>> O Carvalho (NÃO) fala sobre isso abertamente, porém assume que todas as
>> pesquisas estão na mesma categoria “Não-probabilística”. Já para o
>> Figueiredo (SIM) as pesquisas do Ibope e o Datafolha estão na categoria na
>> qual a metodologia está mais do que “provada e aprovada”.
>>
>>
>>
>> Anteriormente já escrevi sobre a diferença entre as pesquisas denominadas
>> “Amostragem por Cotas” (AC) e as denominadas “Amostragem Probabilística por
>> Cotas” (APC). Existe apenas uma semelhança entre as duas metodologias:
>> ambas têm a palavra “Cotas” no nome, indicando que não são probabilísticas.
>> Isso não quer dizer que sejam iguais. Pelo contrário, existem muitas
>> diferenças entre elas, vou mencionar algumas abaixo:
>>
>>
>>  1- Na APC as entrevistas são domiciliares. Na AC as entrevistas são
>> realizadas em pontos de fluxo. Como o Carvalho diz em seu texto: “os pontos
>> de concentração podem ser shoppings, esquinas de ruas movimentadas, ou
>> seja, lugares onde é fácil preencher as cotas”.
>>
>> 2- Na APC existe muito controle sobre o entrevistador e a sua liberdade
>> de escolha dos entrevistados. Ele tem que percorrer um trajeto muito
>> restrito com critérios claros e objetivos.  Na AC, o entrevistador escolhe
>> quem quiser, contanto que esteja nas cotas.
>>
>> 3- Na APC, existe um controle geográfico excelente, equivalente ao que
>> se poderia obter em qualquer amostra probabilística se elas pudessem ser
>> feitas no mundo real. Na AC, as pesquisas acabam tendo uma aglomeração
>> geográfica muito maior.
>>
>> 4- Na APC o objetivo das cotas é controlar a probabilidade de resposta
>> das pessoas. Na AC, o objetivo é reproduzir características demográficas da
>> população alvo.
>>
>>
>>
>> Os dois artigos principais, que discutem essas metodologias e as comparam
>> com amostragem probabilística na prática (aquela cheia de suposições e com
>> não resposta) são:
>>
>>
>>
>> APC - [Ref1]Probability SampIing with Quotas: An Experiment (C. BRUCE
>> STEPHENSON)
>>
>>
>> http://publicdata.norc.org:41000/gss/DOCUMENTS/REPORTS/Methodological_Reports/MR007.pdf
>>
>>
>> AC -[Ref2]An experimental study of quota sampling (C. A. Moser and A.
>> Stuart)
>>
>>
>> http://www.jstor.org/discover/10.2307/2343021?uid=3737664&uid=2&uid=4&sid=21104724117583
>>
>>
>>
>> Basta ler ambos os artigos pra ver como as metodologias (e as criticas)
>> são muito diferentes. Mais importante, existe um efeito negativo importante
>> na qualidade da AC pelo fato das entrevistas serem realizadas em pontos de
>> fluxo. Apenas para exemplificar, no artigo [Ref2] sobre AC, os autores
>> dizem que os maiores vícios encontrados na comparação foram: 1) A
>> distribuição geográfica da amostragem por cotas (AC) era mais aglomerada, 2)
>> na amostragem probabilística (aquela da prática, com voltas e
>> substituições) havia mais não-resposta na variável de renda e 3) foram
>> observadas mais pessoas na categoria sem renda/com renda baixa e renda alta
>> do que na AC.
>>
>>
>>
>> Não é difícil encontrar um explicação para todas essas diferenças que
>> está bastante relacionada ao fato de realizar entrevistas em pontos de
>> fluxo (não necessariamente por causa das cotas). Fazendo entrevistas em
>> pontos de fluxo, claramente a distribuição geográfica será mais
>> concentrada. Além disso, usualmente pessoas sem ocupação e/ou aposentadas
>> não precisam ir as esses locais, consequentemente pessoas sem renda/renda
>> baixa também serão sub-representadas. Pessoas com renda alta podem não se
>> sentir à vontade ao responder uma pergunta sobre a sua renda nesses locais,
>> também sendo sub-representadas e aumentando a não resposta.
>>
>>
>>
>> Meu ponto é: outras características metodológicas, além das cotas, também
>> são claramente responsáveis por vícios observados na AC. Pra mim, pesquisas
>> em ponto de fluxo são um sinal de baixa qualidade da pesquisa
>> (potencialmente). Muito mais do que o fato de usar cotas. Cotas podem ser
>> bem efetivas, principalmente se forem associadas com variáveis claramente
>> relacionadas com a probabilidades de resposta de uma pessoa. Também é
>> relevante em qual estágio se utilizam cotas. Por isso é importante
>> distinguir entre AC e APC.
>>
>>
>>
>> Só pra enfatizar como as metodologias dos institutos de pesquisa são
>> diferentes, consultei no site do TSE as pesquisas mais recentes dos
>> institutos que mais divulgaram pesquisas nacionais (Ibope, Datafolha,
>> Sensus, Vox Populi e MDA). No geral as descrições metodológicas são vagas e
>> um tanto confusas, porém sabendo  quais palavras procurar è possìvel
>> descobrir qual tipo de pesquisa está sendo feita. Buscando as palavras
>> “Setor Censitário” e “pesquisas domiciliares”, importantes para a APC, é
>> possível identificar o uso da APC.
>>
>>
>>
>> A metodologia de cada instituto está descrita abaixo. É claro que existem
>> outros fatores que também são relevantes para a qualidade das pesquisas
>> além de ser APC ou AC, como verificação, cotas utilizadas, amostragem nos
>> primeiros estágios, como os resultados são analisados, ponderações,etc….
>> mas a lista abaixo pelo menos já esclarece se é AC ou APC. Também é
>> importante frisar que não existem muitos detalhes sobre a metodologia do
>> Datafolha. Eu já ouvi falar que eles também fazem APC em áreas urbanas, e
>> que tem algum tipo de controle geográfico especial dentro de cada ponto de
>> fluxo, mas não encontrei a descrição dessa metodologia. Achei importante
>> fazer essa ressalva a metodologia do Datafolha pois nao acredito que ela
>> seja exatamente a mesma descrita no artigo acima sobre AC.
>>
>>
>>
>> *Pesquisa:*  Ibope - BR-01097/2014
>>
>> *Link:*
>> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28419
>>
>> *Resumo:* “*No segundo estágio faz-se um sorteio probabilístico dos
>> setores censitários, onde as entrevistas serão realizadas, pelo método PPT
>> (Probabilidade Proporcional ao Tamanho), tomando a população de 16 anos ou
>> mais residente nos setores como base para tal seleção.**”*
>>
>> *Tipo: *Amostragem probabilística com Cotas (APC)
>>
>>
>>
>> *Pesquisa:*  Datafolha - BR-01098/2014
>>
>> *Link: *
>> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28424
>>
>> *Resumo:* “*Num segundo estágio, são sorteados os bairros e pontos de
>> abordagem onde serão aplicadas as entrevistas. Por fim, os entrevistados
>> são selecionados aleatoriamente para responder ao questionário, de acordo
>> com cotas de sexo e faixa etária*”.
>>
>> *Tipo: *Amostragem por Cotas (AC) – em pontos de fluxo
>>
>>
>>
>> *Pesquisa:*  Vox Populi - BR-01079/2014
>>
>> *Link: *
>> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28079
>>
>> *Resumo:* “*2º estágio: seleção aleatória dos setores censitários ou
>> bairros dentro do município; 3º estágio: seleção dos respondentes dentro
>> dos setores censitários ou bairros através de uma quota proporcional de
>> Gênero, Idade, Escolaridade e Renda Familiar, de acordo com o perfil da
>> população em estudo. As entrevistas foram pessoais e domiciliares**”*.
>>
>> *Tipo: *Amostragem probabilística com Cotas (APC)
>>
>>
>>
>> *Pesquisa:*  Sensus - BR-01076/2014
>>
>> *Link: *
>> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28020
>>
>> *Resumo:* “*Probabilística sistemática até o Setor Censitário para
>> Urbano e Rural, com cotas para Sexo, Idade, Escolaridade e Renda no Setor
>> Censitário*”.
>>
>> *Tipo: *Amostragem probabilística com Cotas (APC)
>>
>>
>>
>>
>>
>> *Pesquisa:*  MDA - BR-01032/2014
>>
>> *Link: *
>> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=27250
>>
>> *Resumo:* “*Por fim, já no município, é realizada a seleção aleatória de
>> setores censitários ou bairros onde serão alocadas as entrevistas de forma
>> proporcional ao universo em função do gênero e faixa etária do eleitorado*
>> ”.
>>
>> *Tipo: *Amostragem probabilística com Cotas (APC) em áreas urbanas. Não
>> dá pra saber sobre as áreas rurais.
>>
>>
>>
>>
>>
>> _______________________________________________
>> abe mailing list
>> abe em lists.ime.usp.br
>> https://lists.ime.usp.br/mailman/listinfo/abe
>>
>>
>
>
> --
> Pedro Luis do Nascimento Silva
> *ISI President-Elect 2013-2015*
> IBGE - Escola Nacional de Ciências Estatísticas
> Phone: +55 21 21424957
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/mailman/listinfo/abe
>
>

-- 

There are two routes to success in soccer. One is being good. The other is
being lucky. You need both to win a championship. But you only need one to
win a game. (The numbers game)

-----------------------------------------------
Neale Ahmed El-Dash
Doutor em Estatística
Celular: +55 19 998893939
Email: neale.eldash em gmail.com
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20141020/bf492e66/attachment.html>