[ABE-L] Sobre a metodologia dos institutos de pesquisa

Ter Out 21 01:05:17 -03 2014

Neale, 
De fato é muito importante diferenciar as metodologias utilizada pelos diferentes institutos do Brasil para se avaliar melhor a qualidade das pesquisas realizadas por cada um deles. No entanto, gostaria de fazer uma observação com relação a uma das diferenças apontadas por você entre os dois métodos de amostragem por cotas, a saber:
"2- Na APC existe muito controle sobre o entrevistador e a sua liberdade de escolha dos entrevistados. Ele tem que percorrer um trajeto muito restrito com critérios claros e objetivos.  Na AC, o entrevistador escolhe quem quiser, contanto que esteja nas cotas."
Analisando a descrição metodológica dos maiores institutos disponível no TSE (e que você bem resumiu em sua mensagem), não é possível saber se eles de fato implementam o que você menciona ("percorrer um trajeto muito restrito com critérios claros e objetivos"). E se eles não o fazem, isso seria um importante desvio do que é proposto por esse método, com possíveis implicações na qualidade das suas pesquisas. Infelizmente, a falta de clareza e transparência na descrição metodológica desses institutos, como apontado por você, prejudica avaliar de fato a qualidade de seus métodos. Do que é de meu conhecimento nenhum desses institutos listados por você efetivamente realiza o procedimento mencionado no item 2. 
Aliás,  como o José Carvalho mencionou o livro do Leslie Kish, é interessante ver a opinião dele sobre amostras por cotas com respeito a esse tipo de restrição mais rigoroso, em um depoimento dado por ele dois anos antes de seu falecimento, : http://www.websm.org/db/12/11504/Bibliography/Quota_sampling_Old_Plus_New_Thought/?menu=1&lst=&q=kishquota_0_111111_0&qdb=12&qsort=0
Outro ponto que gostaria de comentar é sobre a sua afirmação: "Cotas podem ser bem efetivas, principalmente se forem associadas com variáveis claramente relacionadas com a probabilidades de resposta de uma pessoa". Isso de certa forma funciona como um ajuste de não-resposta, que poderia ser realizado por meio de outros métodos, como ponderação ou imputação. Mas, na realidade, Little and Vartivarian (Survey Methodology, 2005) mostram que não basta que as variáveis utilizadas nesses ajustes sejam relacionadas apenas com a probabilidade de resposta; para uma redução no viés de não-resposta elas também precisam ser associadas com as variáveis de estudo, caso contrário você não reduz o viés de não-resposta e tende a apenas aumentar a variância amostral (no caso de ponderação para não-resposta, pelo menos). Esse artigo pode ser obtido no seguinte link: http://www.statcan.gc.ca/ads-annonces/12-001-x/9046-eng.pdf
Isso me leva a um outro ponto interessante: existem possíveis trade-offs entre erros amostrais e não-amostrais, com o objetivo de se reduzir o erro total da pesquisa. Ou seja, mesmo em amostras probabilísticas, muitas pesquisas utilizam-se de estratégias de seleção não-probabilísticas para procurar diminuir outros erros não-amostrais. Por exemplo, muitas pesquisas com amostras domiciliares probabilísticas, ao invés de utilizarem um método de seleção probabilístico para a seleção de um respondente dentro do domicílio (como o método Kish), elas utilizam métodos não-probabilisticos, como "Next/Last Birthday", pois os métodos probabilísticos em geral exigem uma completa enumeração dos habitantes do domicílio, que, por sua vez, tende a gerar não-resposta e erros de cobertura. Aliás, o instituto Gallup, discutido aqui na lista, utiliza-se do método "Last Birthday" em suas pesquisas (http://www.gallup.com/poll/101872/how-does-gallup-polling-work.aspx). Gaziano (Public Opinion Quarterly, 2005) fez uma interessante análise desses diferentes métodos e o seu impacto na não-resposta. Outro exemplo é o uso de substituição de não-respondentes em amostras probabilísticas, estratégia muito comum em pesquisas escolares quando uma escola se recusa a participar do estudo. 
Aliás, se alguém na lista estiver fazendo alguma pesquisa nessa linha de trade-offs com métodos de seleção não-probabilísticos para compensar erros não-amostrais e estiver interessado em apresentar sua pesquisa no International Total Survey Error Conference (www.tse15.org), por favor, entre em contato comigo, pois estou tentando organizar uma sessão sobre esse tema.
Um abraço,Raphael   

     Em Segunda-feira, 20 de Outubro de 2014 12:09, Neale El-Dash <neale.eldash em gmail.com> escreveu:

 Obrigado Pedro.
E voce tem razao quanto a amostragem probabilistica nesse ponto. O meu comentario " se elas pudessem ser feitas no mundo real"  alem de nao contar toda a historia, era desnecessario!
Abraco Neale
Em 20 de outubro de 2014 13:38, Pedro Luis do Nascimento Silva <pedronsilva em gmail.com> escreveu:

Neale, excelente o seu post sobre o tema, ao reunir boas referências e apresentar bons argumentos para discussão.
Lamentavelmente, não temos ainda experimentos bem conduzidos comparando abordagens 'não probabilísticas' com as 'probabilísticas' feitos no Brasil, no contexto das pesquisas eleitorais.
Um único comentário crítico a uma afirmação sua:"3- Na APC, existe um controle geográfico excelente, equivalente ao que se poderia obter em qualquer amostra probabilística se elas pudessem ser feitas no mundo real. "

Amostras probabilísticas são feitas no mundo real todos os dias, aqui no Brasil, não só pelo IBGE como também por várias outras instituições. O fato de que sua implementação sofre de problemas tais como não resposta, não torna as amostras probabilísticas similares às amostras por cotas.
Saudações, e parabéns por manter o debate vivo e em excelente nível. 
Pedro.

Em 20 de outubro de 2014 13:19, Neale El-Dash <neale.eldash em gmail.com> escreveu:

Nessesábado foram publicados dois textos na Folha de São Paulo debatendo o mesmotema: “É correta a maneira como são feitas as pesquisas eleitorais no Brasil?”.Um deles defende que NÃO, escrita pelo José Carvalho com o título de “O erro damargem de erro” e o outro defende o SIM, escrito pelo Ney Figueiredo com otítulo “Instrumento a serviço da democracia”. Seguem os links abaixo. Estãomuito bem escritos, e acredito que são relevantes na discussão sobre aimportância e a qualidade das pesquisas eleitorais no Brasil. Vale a pena aleitura. NÃO - http://www1.folha.uol.com.br/fsp/opiniao/191233-o-erro-da-margem-de-erro.shtmlSIM - http://www1.folha.uol.com.br/opiniao/2014/10/1534428-e-correta-a-maneira-como-sao-feitas-as-pesquisas-eleitorais-no-brasil-sim.shtml Euconcordo com muitos dos argumentos utilizados pelos dois. Achei engraçado que aminha maior objenção aos argumentos utilizados é a mesma para os doistextos.  Tanto o SIM quanto o NÃO assumem(implicitamente) que todas as pesquisas realizadas no Brasil utilizam a mesmametodologia. Isso não é verdade. Tanto faz se o objetivo é criticar aspesquisas ou valorizá-las. Na minha opinião, para que o debate sobre aspesquisas eleitorais amadureça, é preciso justamente entender que existem diferenças metodológicas e queelas são relevantes. Essas diferenças não são apenas detalhes. Elas têmconsequências na qualidade da pesquisa. O Carvalho (NÃO) fala sobre isso abertamente, porémassume que todas as pesquisas estão na mesma categoria “Não-probabilística”. Jápara o Figueiredo (SIM) as pesquisas do Ibope e o Datafolha estão na categoria naqual a metodologia está mais do que “provada e aprovada”. Anteriormente já escrevi sobre a diferença entre aspesquisas denominadas “Amostragem por Cotas” (AC) e as denominadas “AmostragemProbabilística por Cotas” (APC). Existe apenas uma semelhança entre as duasmetodologias: ambas têm a palavra “Cotas” no nome, indicando que não sãoprobabilísticas. Isso não quer dizer que sejam iguais. Pelo contrário, existemmuitas diferenças entre elas, vou mencionar algumas abaixo:
 1- Na APCas entrevistas são domiciliares. Na AC as entrevistas são realizadas em pontosde fluxo. Como o Carvalho diz em seu texto: “os pontos de concentração podemser shoppings, esquinas de ruas movimentadas, ou seja, lugares onde é fácilpreencher as cotas”.2- Na APCexiste muito controle sobre o entrevistador e a sua liberdade de escolha dosentrevistados. Ele tem que percorrer um trajeto muito restrito com critériosclaros e objetivos.  Na AC, oentrevistador escolhe quem quiser, contanto que esteja nas cotas.3- NaAPC, existe um controle geográfico excelente, equivalente ao que se poderiaobter em qualquer amostra probabilística se elas pudessem ser feitas no mundoreal. Na AC, as pesquisas acabam tendo uma aglomeração geográfica muito maior.4- Na APCo objetivo das cotas é controlar a probabilidade de resposta das pessoas. NaAC, o objetivo é reproduzir características demográficas da população alvo. Os dois artigos principais, que discutem essasmetodologias e as comparam com amostragem probabilística na prática (aquelacheia de suposições e com não resposta) são: APC - [Ref1]Probability SampIing with Quotas: An Experiment (C.BRUCE STEPHENSON)http://publicdata.norc.org:41000/gss/DOCUMENTS/REPORTS/Methodological_Reports/MR007.pdf   AC -[Ref2]An experimental study of quota sampling (C. A. Moserand A. Stuart)http://www.jstor.org/discover/10.2307/2343021?uid=3737664&uid=2&uid=4&sid=21104724117583 Basta ler ambos os artigos pra ver como as metodologias (e ascriticas) são muito diferentes. Mais importante, existe um efeito negativoimportante na qualidade da AC pelo fato das entrevistas serem realizadas empontos de fluxo. Apenas para exemplificar, no artigo [Ref2] sobre AC, osautores dizem que os maiores vícios encontrados na comparação foram: 1) A distribuição geográfica daamostragem por cotas (AC) era mais aglomerada, 2) na amostragemprobabilística (aquela da prática, com voltas e substituições) havia maisnão-resposta na variável de renda e 3) foram observadas mais pessoas na categoria sem renda/com renda baixa e renda alta doque na AC. Não é difícil encontrar um explicação para todas essasdiferenças que está bastante relacionada ao fato de realizar entrevistas empontos de fluxo (não necessariamente por causa das cotas). Fazendo entrevistasem pontos de fluxo, claramente a distribuição geográfica será mais concentrada.Além disso, usualmente pessoas sem ocupação e/ou aposentadas não precisam ir asesses locais, consequentemente pessoas sem renda/renda baixa também serãosub-representadas. Pessoas com renda alta podem não se sentir à vontade aoresponder uma pergunta sobre a sua renda nesses locais, também sendosub-representadas e aumentando a não resposta.  Meu ponto é: outras características metodológicas, além das cotas,também são claramente responsáveis por vícios observados na AC. Pra mim,pesquisas em ponto de fluxo são um sinal de baixa qualidade da pesquisa (potencialmente).Muito mais do que o fato de usar cotas. Cotas podem ser bem efetivas,principalmente se forem associadas com variáveis claramente relacionadas com aprobabilidades de resposta de uma pessoa. Também é relevante em qual estágio seutilizam cotas. Por isso é importante distinguir entre AC e APC. Só pra enfatizar como as metodologias dos institutos de pesquisasão diferentes, consultei no site do TSE as pesquisas mais recentes dosinstitutos que mais divulgaram pesquisas nacionais (Ibope, Datafolha, Sensus,Vox Populi e MDA). No geral as descrições metodológicas são vagas e um tantoconfusas, porém sabendo  quais palavras procurarè possìvel descobrir qual tipo de pesquisa está sendo feita. Buscando as palavras“Setor Censitário” e “pesquisas domiciliares”, importantes para a APC, épossível identificar o uso da APC.  A metodologia decada instituto está descrita abaixo. É claro que existem outros fatores quetambém são relevantes para a qualidade das pesquisas além de ser APC ou AC,como verificação, cotas utilizadas, amostragem nos primeiros estágios, como osresultados são analisados, ponderações,etc…. mas a lista abaixo pelo menos jáesclarece se é AC ou APC. Também é importante frisar que não existem muitosdetalhes sobre a metodologia do Datafolha. Eu já ouvi falar que eles tambémfazem APC em áreas urbanas, e que tem algum tipo de controle geográficoespecial dentro de cada ponto de fluxo, mas não encontrei a descrição dessametodologia. Achei importante fazer essa ressalva a metodologia do Datafolha pois nao acredito que ela seja exatamente a mesma descrita no artigo acima sobre AC. Pesquisa:  Ibope - BR-01097/2014Link: http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28419Resumo: “No segundo estágio faz-se um sorteio probabilístico dossetores censitários, onde as entrevistas serão realizadas, pelo método PPT(Probabilidade Proporcional ao Tamanho), tomando a população de 16 anos ou maisresidente nos setores como base para tal seleção.”Tipo: Amostragem probabilística com Cotas (APC) Pesquisa:  Datafolha - BR-01098/2014Link: http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28424Resumo: “Num segundo estágio, são sorteados os bairros e pontos deabordagem onde serão aplicadas as entrevistas. Por fim, os entrevistados sãoselecionados aleatoriamente para responder ao questionário, de acordo com cotasde sexo e faixa etária”.Tipo: Amostragem por Cotas (AC) – em pontos de fluxo Pesquisa:  Vox Populi - BR-01079/2014Link: http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28079Resumo: “2º estágio: seleção aleatória dos setores censitários oubairros dentro do município; 3º estágio: seleção dos respondentes dentro dossetores censitários ou bairros através de uma quota proporcional de Gênero,Idade, Escolaridade e Renda Familiar, de acordo com o perfil da população emestudo. As entrevistas foram pessoais e domiciliares”. Tipo: Amostragem probabilística com Cotas (APC) Pesquisa:  Sensus - BR-01076/2014Link: http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28020Resumo: “Probabilística sistemática até o Setor Censitário para Urbanoe Rural, com cotas para Sexo, Idade, Escolaridade e Renda no Setor Censitário”.  Tipo: Amostragem probabilística com Cotas (APC)  Pesquisa:  MDA - BR-01032/2014Link: http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=27250Resumo: “Por fim, já no município, é realizada a seleção aleatória desetores censitários ou bairros onde serão alocadas as entrevistas de formaproporcional ao universo em função do gênero e faixa etária do eleitorado”. Tipo: Amostragem probabilística com Cotas (APC) emáreas urbanas. Não dá pra saber sobre as áreas rurais.  
_______________________________________________
abe mailing list
abe em lists.ime.usp.br
https://lists.ime.usp.br/mailman/listinfo/abe

-- 
Pedro Luis do Nascimento SilvaISI President-Elect 2013-2015
IBGE - Escola Nacional de Ciências Estatísticas
Phone: +55 21 21424957
_______________________________________________
abe mailing list
abe em lists.ime.usp.br
https://lists.ime.usp.br/mailman/listinfo/abe

-- 

There are two routes to success in soccer. One is being good. The other is being lucky. You need both to win a championship. But you only need one to win a game. (The numbers game)

-----------------------------------------------
Neale Ahmed El-Dash
Doutor em Estatística
Celular: +55 19 998893939
Email: neale.eldash em gmail.com
_______________________________________________
abe mailing list
abe em lists.ime.usp.br
https://lists.ime.usp.br/mailman/listinfo/abe

-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20141021/25895f9e/attachment.html>