[ABE-L] Sobre a metodologia dos institutos de pesquisa

[Neale El-Dash]

Raphael,


de fato, não é possível saber pela descrição da metodologia no TSE se os
entrevistadores dos institutos fazem um trajeto restrito com critérios
claros e objetivos na APC, porém com certeza eles têm muito mais restrições
do que na AC. Acho que esse seu ponto leva aquela discussão que tivemos na
lista da STAT-MATH: seria intessante se os institutos também fossem
obrigados a divulgar medidas de controle da qualidade na coleta de dados.
Me parece evidente que uma pesquisa realizada em 2 dias não terá os mesmo
mecanismos de controle de uma pesquisa realizada em uma semana (ou mais).
Existem alguns artigos mostrando que quanto mais dias de campo uma pesquisa
tem, menor o erro observado.


Quanto ao viés de não-resposta, realmente ele será diferente para cada
variável, pois é determinado pelo proporção de pessoas que não respondem e
pela diferença sistemática entre quem responde e quem não-responde. Mas no
caso da APC, se existem grupos de pessoas dentro do setor censitário com
probabilidades de resposta diferentes, controlar a quantidade de pessoas de
cada um desses grupos estará na amostra é importante.


Para quem tem interesse em fazer uma “amostra probabilística (com
suposicoes)”,  utilizando a metodologia da APC como descrevi, e supondo que
as probabilidades de resposta de pessoas dentro de uma mesma cota são
iguais, as probabilidades de seleção passam a ser conhecidas (claro que
ainda é necessário estimar a probabilidade de resposta, na minha tese
desenvolvi um algoritmo EM que permite que isso seja feito).


Abraço

Em 21 de outubro de 2014 01:05, Raphael Nishimura <
raphael_nishimura em yahoo.com.br> escreveu:

> Neale,
>
> De fato é muito importante diferenciar as metodologias utilizada pelos
> diferentes institutos do Brasil para se avaliar melhor a qualidade das
> pesquisas realizadas por cada um deles. No entanto, gostaria de fazer uma
> observação com relação a uma das diferenças apontadas por você entre os
> dois métodos de amostragem por cotas, a saber:
>
> "2- Na APC existe muito controle sobre o entrevistador e a sua liberdade
> de escolha dos entrevistados. Ele tem que percorrer um trajeto muito
> restrito com critérios claros e objetivos.  Na AC, o entrevistador escolhe
> quem quiser, contanto que esteja nas cotas."
>
> Analisando a descrição metodológica dos maiores institutos disponível no
> TSE (e que você bem resumiu em sua mensagem), não é possível saber se eles
> de fato implementam o que você menciona ("percorrer um trajeto muito
> restrito com critérios claros e objetivos"). E se eles não o fazem, isso
> seria um importante desvio do que é proposto por esse método, com possíveis
> implicações na qualidade das suas pesquisas. Infelizmente, a falta de
> clareza e transparência na descrição metodológica desses institutos, como
> apontado por você, prejudica avaliar de fato a qualidade de seus métodos. Do
> que é de meu conhecimento nenhum desses institutos listados por você
> efetivamente realiza o procedimento mencionado no item 2.
>
> Aliás,  como o José Carvalho mencionou o livro do Leslie Kish, é
> interessante ver a opinião dele sobre amostras por cotas com respeito a
> esse tipo de restrição mais rigoroso, em um depoimento dado por ele dois
> anos antes de seu falecimento, :
>
> http://www.websm.org/db/12/11504/Bibliography/Quota_sampling_Old_Plus_New_Thought/?menu=1&lst=&q=kishquota_0_111111_0&qdb=12&qsort=0
>
> Outro ponto que gostaria de comentar é sobre a sua afirmação: "Cotas podem
> ser bem efetivas, principalmente se forem associadas com variáveis
> claramente relacionadas com a probabilidades de resposta de uma pessoa".
> Isso de certa forma funciona como um ajuste de não-resposta, que poderia
> ser realizado por meio de outros métodos, como ponderação ou imputação.
> Mas, na realidade, Little and Vartivarian (Survey Methodology, 2005)
> mostram que não basta que as variáveis utilizadas nesses ajustes sejam
> relacionadas apenas com a probabilidade de resposta; para uma redução no
> viés de não-resposta elas também precisam ser associadas com as variáveis
> de estudo, caso contrário você não reduz o viés de não-resposta e tende a
> apenas aumentar a variância amostral (no caso de ponderação para
> não-resposta, pelo menos). Esse artigo pode ser obtido no seguinte link:
> http://www.statcan.gc.ca/ads-annonces/12-001-x/9046-eng.pdf
>
> Isso me leva a um outro ponto interessante: existem possíveis trade-offs
> entre erros amostrais e não-amostrais, com o objetivo de se reduzir o erro
> total da pesquisa. Ou seja, mesmo em amostras probabilísticas, muitas
> pesquisas utilizam-se de estratégias de seleção não-probabilísticas para
> procurar diminuir outros erros não-amostrais. Por exemplo, muitas pesquisas
> com amostras domiciliares probabilísticas, ao invés de utilizarem um método
> de seleção probabilístico para a seleção de um respondente dentro do
> domicílio (como o método Kish), elas utilizam métodos não-probabilisticos,
> como "Next/Last Birthday", pois os métodos probabilísticos em geral exigem
> uma completa enumeração dos habitantes do domicílio, que, por sua vez,
> tende a gerar não-resposta e erros de cobertura. Aliás, o instituto Gallup,
> discutido aqui na lista, utiliza-se do método "Last Birthday" em suas
> pesquisas (
> http://www.gallup.com/poll/101872/how-does-gallup-polling-work.aspx).
> Gaziano (Public Opinion Quarterly, 2005) fez uma interessante análise
> desses diferentes métodos e o seu impacto na não-resposta. Outro exemplo é
> o uso de substituição de não-respondentes em amostras probabilísticas,
> estratégia muito comum em pesquisas escolares quando uma escola se recusa a
> participar do estudo.
>
> Aliás, se alguém na lista estiver fazendo alguma pesquisa nessa linha de
> trade-offs com métodos de seleção não-probabilísticos para compensar erros
> não-amostrais e estiver interessado em apresentar sua pesquisa no
> International Total Survey Error Conference (www.tse15.org), por favor,
> entre em contato comigo, pois estou tentando organizar uma sessão sobre
> esse tema.
>
> Um abraço,
> Raphael
>
>
>
>   Em Segunda-feira, 20 de Outubro de 2014 12:09, Neale El-Dash <
> neale.eldash em gmail.com> escreveu:
>
>
> Obrigado Pedro.
>
> E voce tem razao quanto a amostragem probabilistica nesse ponto. O meu
> comentario " se elas pudessem ser feitas no mundo real"  alem de nao
> contar toda a historia, era desnecessario!
>
> Abraco Neale
>
> Em 20 de outubro de 2014 13:38, Pedro Luis do Nascimento Silva <
> pedronsilva em gmail.com> escreveu:
>
> Neale, excelente o seu post sobre o tema, ao reunir boas referências e
> apresentar bons argumentos para discussão.
>
> Lamentavelmente, não temos ainda experimentos bem conduzidos comparando
> abordagens 'não probabilísticas' com as 'probabilísticas' feitos no Brasil,
> no contexto das pesquisas eleitorais.
>
> Um único comentário crítico a uma afirmação sua:
> "3- Na APC, existe um controle geográfico excelente, equivalente ao que
> se poderia obter em qualquer amostra probabilística se elas pudessem ser
> feitas no mundo real. "
>
> Amostras probabilísticas são feitas no mundo real todos os dias, aqui no
> Brasil, não só pelo IBGE como também por várias outras instituições. O fato
> de que sua implementação sofre de problemas tais como não resposta, não
> torna as amostras probabilísticas similares às amostras por cotas.
>
> Saudações, e parabéns por manter o debate vivo e em excelente nível.
>
> Pedro.
>
>
>
> Em 20 de outubro de 2014 13:19, Neale El-Dash <neale.eldash em gmail.com>
> escreveu:
>
> Nesse sábado foram publicados dois textos na Folha de São Paulo debatendo
> o mesmo tema: “É correta a maneira como são feitas as pesquisas eleitorais
> no Brasil?”. Um deles defende que NÃO, escrita pelo José Carvalho com o
> título de “O erro da margem de erro” e o outro defende o SIM, escrito pelo
> Ney Figueiredo com o título “Instrumento a serviço da democracia”. Seguem
> os links abaixo. Estão muito bem escritos, e acredito que são relevantes na
> discussão sobre a importância e a qualidade das pesquisas eleitorais no
> Brasil. Vale a pena a leitura.
>
> NÃO -
> http://www1.folha.uol.com.br/fsp/opiniao/191233-o-erro-da-margem-de-erro.shtml
> SIM -
> http://www1.folha.uol.com.br/opiniao/2014/10/1534428-e-correta-a-maneira-como-sao-feitas-as-pesquisas-eleitorais-no-brasil-sim.shtml
>
> Eu concordo com muitos dos argumentos utilizados pelos dois. Achei
> engraçado que a minha maior objenção aos argumentos utilizados é a mesma
> para os dois textos.  Tanto o SIM quanto o NÃO assumem (implicitamente) que
> todas as pesquisas realizadas no Brasil utilizam a mesma metodologia. Isso
> não é verdade. Tanto faz se o objetivo é criticar as pesquisas ou
> valorizá-las. Na minha opinião, para que o debate sobre as pesquisas
> eleitorais amadureça, é preciso justamente entender que existem
> diferenças metodológicas e que elas são relevantes. Essas diferenças não
> são apenas detalhes. Elas têm consequências na qualidade da pesquisa.
>
> O Carvalho (NÃO) fala sobre isso abertamente, porém assume que todas as
> pesquisas estão na mesma categoria “Não-probabilística”. Já para o
> Figueiredo (SIM) as pesquisas do Ibope e o Datafolha estão na categoria na
> qual a metodologia está mais do que “provada e aprovada”.
>
> Anteriormente já escrevi sobre a diferença entre as pesquisas denominadas
> “Amostragem por Cotas” (AC) e as denominadas “Amostragem Probabilística por
> Cotas” (APC). Existe apenas uma semelhança entre as duas metodologias:
> ambas têm a palavra “Cotas” no nome, indicando que não são probabilísticas.
> Isso não quer dizer que sejam iguais. Pelo contrário, existem muitas
> diferenças entre elas, vou mencionar algumas abaixo:
>
>  1- Na APC as entrevistas são domiciliares. Na AC as entrevistas são
> realizadas em pontos de fluxo. Como o Carvalho diz em seu texto: “os pontos
> de concentração podem ser shoppings, esquinas de ruas movimentadas, ou
> seja, lugares onde é fácil preencher as cotas”.
> 2- Na APC existe muito controle sobre o entrevistador e a sua liberdade
> de escolha dos entrevistados. Ele tem que percorrer um trajeto muito
> restrito com critérios claros e objetivos.  Na AC, o entrevistador escolhe
> quem quiser, contanto que esteja nas cotas.
> 3- Na APC, existe um controle geográfico excelente, equivalente ao que se
> poderia obter em qualquer amostra probabilística se elas pudessem ser
> feitas no mundo real. Na AC, as pesquisas acabam tendo uma aglomeração
> geográfica muito maior.
> 4- Na APC o objetivo das cotas é controlar a probabilidade de resposta
> das pessoas. Na AC, o objetivo é reproduzir características demográficas da
> população alvo.
>
> Os dois artigos principais, que discutem essas metodologias e as comparam
> com amostragem probabilística na prática (aquela cheia de suposições e com
> não resposta) são:
>
> APC - [Ref1]Probability SampIing with Quotas: An Experiment (C. BRUCE
> STEPHENSON)
>
> http://publicdata.norc.org:41000/gss/DOCUMENTS/REPORTS/Methodological_Reports/MR007.pdf
>
> AC -[Ref2]An experimental study of quota sampling (C. A. Moser and A.
> Stuart)
>
> http://www.jstor.org/discover/10.2307/2343021?uid=3737664&uid=2&uid=4&sid=21104724117583
>
> Basta ler ambos os artigos pra ver como as metodologias (e as criticas)
> são muito diferentes. Mais importante, existe um efeito negativo importante
> na qualidade da AC pelo fato das entrevistas serem realizadas em pontos de
> fluxo. Apenas para exemplificar, no artigo [Ref2] sobre AC, os autores
> dizem que os maiores vícios encontrados na comparação foram: 1) A
> distribuição geográfica da amostragem por cotas (AC) era mais aglomerada, 2)
> na amostragem probabilística (aquela da prática, com voltas e
> substituições) havia mais não-resposta na variável de renda e 3) foram
> observadas mais pessoas na categoria sem renda/com renda baixa e renda alta
> do que na AC.
>
> Não é difícil encontrar um explicação para todas essas diferenças que está
> bastante relacionada ao fato de realizar entrevistas em pontos de fluxo
> (não necessariamente por causa das cotas). Fazendo entrevistas em pontos de
> fluxo, claramente a distribuição geográfica será mais concentrada. Além
> disso, usualmente pessoas sem ocupação e/ou aposentadas não precisam ir as
> esses locais, consequentemente pessoas sem renda/renda baixa também serão
> sub-representadas. Pessoas com renda alta podem não se sentir à vontade ao
> responder uma pergunta sobre a sua renda nesses locais, também sendo
> sub-representadas e aumentando a não resposta.
>
> Meu ponto é: outras características metodológicas, além das cotas, também
> são claramente responsáveis por vícios observados na AC. Pra mim, pesquisas
> em ponto de fluxo são um sinal de baixa qualidade da pesquisa
> (potencialmente). Muito mais do que o fato de usar cotas. Cotas podem ser
> bem efetivas, principalmente se forem associadas com variáveis claramente
> relacionadas com a probabilidades de resposta de uma pessoa. Também é
> relevante em qual estágio se utilizam cotas. Por isso é importante
> distinguir entre AC e APC.
>
> Só pra enfatizar como as metodologias dos institutos de pesquisa são
> diferentes, consultei no site do TSE as pesquisas mais recentes dos
> institutos que mais divulgaram pesquisas nacionais (Ibope, Datafolha,
> Sensus, Vox Populi e MDA). No geral as descrições metodológicas são vagas e
> um tanto confusas, porém sabendo  quais palavras procurar è possìvel
> descobrir qual tipo de pesquisa está sendo feita. Buscando as palavras
> “Setor Censitário” e “pesquisas domiciliares”, importantes para a APC, é
> possível identificar o uso da APC.
>
> A metodologia de cada instituto está descrita abaixo. É claro que existem
> outros fatores que também são relevantes para a qualidade das pesquisas
> além de ser APC ou AC, como verificação, cotas utilizadas, amostragem nos
> primeiros estágios, como os resultados são analisados, ponderações,etc….
> mas a lista abaixo pelo menos já esclarece se é AC ou APC. Também é
> importante frisar que não existem muitos detalhes sobre a metodologia do
> Datafolha. Eu já ouvi falar que eles também fazem APC em áreas urbanas, e
> que tem algum tipo de controle geográfico especial dentro de cada ponto de
> fluxo, mas não encontrei a descrição dessa metodologia. Achei importante
> fazer essa ressalva a metodologia do Datafolha pois nao acredito que ela
> seja exatamente a mesma descrita no artigo acima sobre AC.
>
> *Pesquisa:*  Ibope - BR-01097/2014
> *Link:*
> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28419
> *Resumo:* “*No segundo estágio faz-se um sorteio probabilístico dos
> setores censitários, onde as entrevistas serão realizadas, pelo método PPT
> (Probabilidade Proporcional ao Tamanho), tomando a população de 16 anos ou
> mais residente nos setores como base para tal seleção.**”*
> *Tipo: *Amostragem probabilística com Cotas (APC)
>
> *Pesquisa:*  Datafolha - BR-01098/2014
> *Link: *
> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28424
> *Resumo:* “*Num segundo estágio, são sorteados os bairros e pontos de
> abordagem onde serão aplicadas as entrevistas. Por fim, os entrevistados
> são selecionados aleatoriamente para responder ao questionário, de acordo
> com cotas de sexo e faixa etária*”.
> *Tipo: *Amostragem por Cotas (AC) – em pontos de fluxo
>
> *Pesquisa:*  Vox Populi - BR-01079/2014
> *Link: *
> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28079
> *Resumo:* “*2º estágio: seleção aleatória dos setores censitários ou
> bairros dentro do município; 3º estágio: seleção dos respondentes dentro
> dos setores censitários ou bairros através de uma quota proporcional de
> Gênero, Idade, Escolaridade e Renda Familiar, de acordo com o perfil da
> população em estudo. As entrevistas foram pessoais e domiciliares**”*.
> *Tipo: *Amostragem probabilística com Cotas (APC)
>
> *Pesquisa:*  Sensus - BR-01076/2014
> *Link: *
> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28020
> *Resumo:* “*Probabilística sistemática até o Setor Censitário para Urbano
> e Rural, com cotas para Sexo, Idade, Escolaridade e Renda no Setor
> Censitário*”.
> *Tipo: *Amostragem probabilística com Cotas (APC)
>
>
> *Pesquisa:*  MDA - BR-01032/2014
> *Link: *
> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=27250
> *Resumo:* “*Por fim, já no município, é realizada a seleção aleatória de
> setores censitários ou bairros onde serão alocadas as entrevistas de forma
> proporcional ao universo em função do gênero e faixa etária do eleitorado*
> ”.
> *Tipo: *Amostragem probabilística com Cotas (APC) em áreas urbanas. Não
> dá pra saber sobre as áreas rurais.
>
>
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/mailman/listinfo/abe
>
>
>
>
> --
> Pedro Luis do Nascimento Silva
> *ISI President-Elect 2013-2015*
> IBGE - Escola Nacional de Ciências Estatísticas
> Phone: +55 21 21424957
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/mailman/listinfo/abe
>
>
>
>
> --
>
> There are two routes to success in soccer. One is being good. The other is
> being lucky. You need both to win a championship. But you only need one to
> win a game. (The numbers game)
>
> -----------------------------------------------
> Neale Ahmed El-Dash
> Doutor em Estatística
> Celular: +55 19 998893939
> Email: neale.eldash em gmail.com
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/mailman/listinfo/abe
>
>
>


-- 

There are two routes to success in soccer. One is being good. The other is
being lucky. You need both to win a championship. But you only need one to
win a game. (The numbers game)

-----------------------------------------------
Neale Ahmed El-Dash
Doutor em Estatística
Celular: +55 19 998893939
Email: neale.eldash em gmail.com
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20141021/6d2334a4/attachment.html>