[ABE-L] Sobre a metodologia dos institutos de pesquisa

[Jose Carvalho]

Caro Pedro e demais colegas,

No que interessa a este problema, sou apenas um estatístico. Diversos
veículos da imprensa tem-me pedido minha opinião e a nenhum me furtei,
seja gravando entrevistas, seja escrevendo mini-artigos. E continuarei
a dar, a quem pedir.

Não quero polemizar. Já disse antes que me falta o ânimo para isso. É
assunto de muitas eleições e tudo fica com cara de dejá vu. Apenas
para que não me tenham a mal, explico o uqe, espero, já deve ser sabido.

Minha crítica é metodológica e dirigida exclusivamente à amostragem
por quotas. Mesmo neste aspecto, tenho apenas uma afirmação:

Não há como justificar o cálculo da margem de erro (aliás, nem os
estimadores em si, mas...

E um repto: que me mostrem, os que praticam amostragem por quotas, as
expressões usadas para o cálculo das margens de erro. Pelo que tenho
verificado, usa-se as expressões que resultariam de seleção aleatória
do último estágio.

Façam as amostragens que quiserem. Apenas não falseiem com declarações
de margens de erro.

Simples assim. Aqui termina tudo que tenho a dizer.

Em tempo. Sei que há organizações que fazem amostragem aleatórias. Com
receio de fazer injustiça a outros não citados, coloco o Instituto
GPP, como exemplo.

Prossigo com um comentário. A turma quer o bônus da amostragem
aleatória (expressões simples e algebricamente justificáveis) de
amostragem aleatória, mas não quer pagar o ônus correspondente!

A amostragem aleatória é, sim, possível. Trabalho em estatística
industrial e gente próxima mim em ensaios clínicos. Em ambas as áreas,
a aleatorização é levada a sério e serve de base aos modelos de
análise. Mesmo sem ter experiência em levantamentos de populações
humanas, vivo minha comunidade e tenho relação, troca de ideias com
estatísticos de todo o mundo. Há muitos livros sobre amostragem,
sérios, em que a amostragem é sempre aleatória. A briga é velha
parece, com o pessoal de humanas. O livro do Kish avalia amostragem
por quotas. Leiam-no.

De resto, para me despedir, ofereço uma lembrança. Meu primeiro
professor de amostragem foi o professor Lourival Câmara, na ENCE.
Matéria de quarto ano (por alguma razão). O prof Lourival era uma
personalidade ímpar na ENCE. Ele pairava acima de tudo e de todos.
Tinha uma apostila e tínhamos de estudá-la. Ele escrevia e falava
elegantemente e não escondia cultura. Problema nosso. Tínhamos de
ultrapassar a ignorância no vernáculo e cultura geral, antes de chegar
ao conteúdo. Uma frase dele, inesquecível, foi baseada na expressão:
"Deixe-se que metecos e curiáceos..." Ecôo tantos anos passados. Isso
mesmo: deixem-nos falar o que eles, metecos e curiáceos, quiserem. Que
peso tem? Nenhum, até que venham com prova provada.

Abraços,

Zé Carvalho



On 10/20/2014 01:38 PM, Pedro Luis do Nascimento Silva wrote:
> Neale, excelente o seu post sobre o tema, ao reunir boas
> referências e apresentar bons argumentos para discussão.
> 
> Lamentavelmente, não temos ainda experimentos bem conduzidos
> comparando abordagens 'não probabilísticas' com as
> 'probabilísticas' feitos no Brasil, no contexto das pesquisas
> eleitorais.
> 
> Um único comentário crítico a uma afirmação sua: "3- Na APC, existe
> um controle geográfico excelente, equivalente ao que se poderia
> obter em qualquer amostra probabilística se elas pudessem ser 
> feitas no mundo real. "
> 
> Amostras probabilísticas são feitas no mundo real todos os dias,
> aqui no Brasil, não só pelo IBGE como também por várias outras
> instituições. O fato de que sua implementação sofre de problemas
> tais como não resposta, não torna as amostras probabilísticas
> similares às amostras por cotas.
> 
> Saudações, e parabéns por manter o debate vivo e em excelente
> nível.
> 
> Pedro.
> 
> 
> 
> Em 20 de outubro de 2014 13:19, Neale El-Dash
> <neale.eldash em gmail.com> escreveu:
> 
>> Nesse sábado foram publicados dois textos na Folha de São Paulo
>> debatendo o mesmo tema: “É correta a maneira como são feitas as
>> pesquisas eleitorais no Brasil?”. Um deles defende que NÃO,
>> escrita pelo José Carvalho com o título de “O erro da margem de
>> erro” e o outro defende o SIM, escrito pelo Ney Figueiredo com o
>> título “Instrumento a serviço da democracia”. Seguem os links
>> abaixo. Estão muito bem escritos, e acredito que são relevantes
>> na discussão sobre a importância e a qualidade das pesquisas
>> eleitorais no Brasil. Vale a pena a leitura.
>> 
>> 
>> 
>> NÃO - 
>> http://www1.folha.uol.com.br/fsp/opiniao/191233-o-erro-da-margem-de-erro.shtml
>>
>>
>> 
SIM -
>> http://www1.folha.uol.com.br/opiniao/2014/10/1534428-e-correta-a-maneira-como-sao-feitas-as-pesquisas-eleitorais-no-brasil-sim.shtml
>>
>>
>>
>>
>> 
Eu concordo com muitos dos argumentos utilizados pelos dois. Achei
>> engraçado que a minha maior objenção aos argumentos utilizados é
>> a mesma para os dois textos.  Tanto o SIM quanto o NÃO assumem
>> (implicitamente) que todas as pesquisas realizadas no Brasil
>> utilizam a mesma metodologia. Isso não é verdade. Tanto faz se o
>> objetivo é criticar as pesquisas ou valorizá-las. Na minha
>> opinião, para que o debate sobre as pesquisas eleitorais
>> amadureça, é preciso justamente entender que existem diferenças
>> metodológicas e que elas são relevantes. Essas diferenças não são
>> apenas detalhes. Elas têm consequências na qualidade da
>> pesquisa.
>> 
>> 
>> 
>> O Carvalho (NÃO) fala sobre isso abertamente, porém assume que
>> todas as pesquisas estão na mesma categoria “Não-probabilística”.
>> Já para o Figueiredo (SIM) as pesquisas do Ibope e o Datafolha
>> estão na categoria na qual a metodologia está mais do que
>> “provada e aprovada”.
>> 
>> 
>> 
>> Anteriormente já escrevi sobre a diferença entre as pesquisas
>> denominadas “Amostragem por Cotas” (AC) e as denominadas
>> “Amostragem Probabilística por Cotas” (APC). Existe apenas uma
>> semelhança entre as duas metodologias: ambas têm a palavra
>> “Cotas” no nome, indicando que não são probabilísticas. Isso não
>> quer dizer que sejam iguais. Pelo contrário, existem muitas 
>> diferenças entre elas, vou mencionar algumas abaixo:
>> 
>> 
>> 1- Na APC as entrevistas são domiciliares. Na AC as entrevistas
>> são realizadas em pontos de fluxo. Como o Carvalho diz em seu
>> texto: “os pontos de concentração podem ser shoppings, esquinas
>> de ruas movimentadas, ou seja, lugares onde é fácil preencher as
>> cotas”.
>> 
>> 2- Na APC existe muito controle sobre o entrevistador e a sua
>> liberdade de escolha dos entrevistados. Ele tem que percorrer um
>> trajeto muito restrito com critérios claros e objetivos.  Na AC,
>> o entrevistador escolhe quem quiser, contanto que esteja nas
>> cotas.
>> 
>> 3- Na APC, existe um controle geográfico excelente, equivalente
>> ao que se poderia obter em qualquer amostra probabilística se
>> elas pudessem ser feitas no mundo real. Na AC, as pesquisas
>> acabam tendo uma aglomeração geográfica muito maior.
>> 
>> 4- Na APC o objetivo das cotas é controlar a probabilidade de
>> resposta das pessoas. Na AC, o objetivo é reproduzir
>> características demográficas da população alvo.
>> 
>> 
>> 
>> Os dois artigos principais, que discutem essas metodologias e as
>> comparam com amostragem probabilística na prática (aquela cheia
>> de suposições e com não resposta) são:
>> 
>> 
>> 
>> APC - [Ref1]Probability SampIing with Quotas: An Experiment (C.
>> BRUCE STEPHENSON)
>> 
>> 
>> http://publicdata.norc.org:41000/gss/DOCUMENTS/REPORTS/Methodological_Reports/MR007.pdf
>>
>>
>>
>> 
AC -[Ref2]An experimental study of quota sampling (C. A. Moser and A.
>> Stuart)
>> 
>> 
>> http://www.jstor.org/discover/10.2307/2343021?uid=3737664&uid=2&uid=4&sid=21104724117583
>>
>>
>>
>>
>> 
Basta ler ambos os artigos pra ver como as metodologias (e as criticas)
>> são muito diferentes. Mais importante, existe um efeito negativo
>> importante na qualidade da AC pelo fato das entrevistas serem
>> realizadas em pontos de fluxo. Apenas para exemplificar, no
>> artigo [Ref2] sobre AC, os autores dizem que os maiores vícios
>> encontrados na comparação foram: 1) A distribuição geográfica da
>> amostragem por cotas (AC) era mais aglomerada, 2) na amostragem
>> probabilística (aquela da prática, com voltas e substituições)
>> havia mais não-resposta na variável de renda e 3) foram 
>> observadas mais pessoas na categoria sem renda/com renda baixa e
>> renda alta do que na AC.
>> 
>> 
>> 
>> Não é difícil encontrar um explicação para todas essas diferenças
>> que está bastante relacionada ao fato de realizar entrevistas em
>> pontos de fluxo (não necessariamente por causa das cotas).
>> Fazendo entrevistas em pontos de fluxo, claramente a distribuição
>> geográfica será mais concentrada. Além disso, usualmente pessoas
>> sem ocupação e/ou aposentadas não precisam ir as esses locais,
>> consequentemente pessoas sem renda/renda baixa também serão 
>> sub-representadas. Pessoas com renda alta podem não se sentir à
>> vontade ao responder uma pergunta sobre a sua renda nesses
>> locais, também sendo sub-representadas e aumentando a não
>> resposta.
>> 
>> 
>> 
>> Meu ponto é: outras características metodológicas, além das
>> cotas, também são claramente responsáveis por vícios observados
>> na AC. Pra mim, pesquisas em ponto de fluxo são um sinal de baixa
>> qualidade da pesquisa (potencialmente). Muito mais do que o fato
>> de usar cotas. Cotas podem ser bem efetivas, principalmente se
>> forem associadas com variáveis claramente relacionadas com a
>> probabilidades de resposta de uma pessoa. Também é relevante em
>> qual estágio se utilizam cotas. Por isso é importante distinguir
>> entre AC e APC.
>> 
>> 
>> 
>> Só pra enfatizar como as metodologias dos institutos de pesquisa
>> são diferentes, consultei no site do TSE as pesquisas mais
>> recentes dos institutos que mais divulgaram pesquisas nacionais
>> (Ibope, Datafolha, Sensus, Vox Populi e MDA). No geral as
>> descrições metodológicas são vagas e um tanto confusas, porém
>> sabendo  quais palavras procurar è possìvel descobrir qual tipo
>> de pesquisa está sendo feita. Buscando as palavras “Setor
>> Censitário” e “pesquisas domiciliares”, importantes para a APC,
>> é possível identificar o uso da APC.
>> 
>> 
>> 
>> A metodologia de cada instituto está descrita abaixo. É claro que
>> existem outros fatores que também são relevantes para a qualidade
>> das pesquisas além de ser APC ou AC, como verificação, cotas
>> utilizadas, amostragem nos primeiros estágios, como os resultados
>> são analisados, ponderações,etc…. mas a lista abaixo pelo menos
>> já esclarece se é AC ou APC. Também é importante frisar que não
>> existem muitos detalhes sobre a metodologia do Datafolha. Eu já
>> ouvi falar que eles também fazem APC em áreas urbanas, e que tem
>> algum tipo de controle geográfico especial dentro de cada ponto
>> de fluxo, mas não encontrei a descrição dessa metodologia. Achei
>> importante fazer essa ressalva a metodologia do Datafolha pois
>> nao acredito que ela seja exatamente a mesma descrita no artigo
>> acima sobre AC.
>> 
>> 
>> 
>> *Pesquisa:*  Ibope - BR-01097/2014
>> 
>> *Link:* 
>> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28419
>>
>>
>> 
*Resumo:* “*No segundo estágio faz-se um sorteio probabilístico dos
>> setores censitários, onde as entrevistas serão realizadas, pelo
>> método PPT (Probabilidade Proporcional ao Tamanho), tomando a
>> população de 16 anos ou mais residente nos setores como base para
>> tal seleção.**”*
>> 
>> *Tipo: *Amostragem probabilística com Cotas (APC)
>> 
>> 
>> 
>> *Pesquisa:*  Datafolha - BR-01098/2014
>> 
>> *Link: * 
>> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28424
>>
>>
>> 
*Resumo:* “*Num segundo estágio, são sorteados os bairros e pontos de
>> abordagem onde serão aplicadas as entrevistas. Por fim, os
>> entrevistados são selecionados aleatoriamente para responder ao
>> questionário, de acordo com cotas de sexo e faixa etária*”.
>> 
>> *Tipo: *Amostragem por Cotas (AC) – em pontos de fluxo
>> 
>> 
>> 
>> *Pesquisa:*  Vox Populi - BR-01079/2014
>> 
>> *Link: * 
>> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28079
>>
>>
>> 
*Resumo:* “*2º estágio: seleção aleatória dos setores censitários ou
>> bairros dentro do município; 3º estágio: seleção dos respondentes
>> dentro dos setores censitários ou bairros através de uma quota
>> proporcional de Gênero, Idade, Escolaridade e Renda Familiar, de
>> acordo com o perfil da população em estudo. As entrevistas foram
>> pessoais e domiciliares**”*.
>> 
>> *Tipo: *Amostragem probabilística com Cotas (APC)
>> 
>> 
>> 
>> *Pesquisa:*  Sensus - BR-01076/2014
>> 
>> *Link: * 
>> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28020
>>
>>
>> 
*Resumo:* “*Probabilística sistemática até o Setor Censitário para Urbano
>> e Rural, com cotas para Sexo, Idade, Escolaridade e Renda no
>> Setor Censitário*”.
>> 
>> *Tipo: *Amostragem probabilística com Cotas (APC)
>> 
>> 
>> 
>> 
>> 
>> *Pesquisa:*  MDA - BR-01032/2014
>> 
>> *Link: * 
>> http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=27250
>>
>>
>> 
*Resumo:* “*Por fim, já no município, é realizada a seleção aleatória de
>> setores censitários ou bairros onde serão alocadas as entrevistas
>> de forma proporcional ao universo em função do gênero e faixa
>> etária do eleitorado* ”.
>> 
>> *Tipo: *Amostragem probabilística com Cotas (APC) em áreas
>> urbanas. Não dá pra saber sobre as áreas rurais.
>> 
>> 
>> 
>> 
>> 
>> _______________________________________________ abe mailing list 
>> abe em lists.ime.usp.br 
>> https://lists.ime.usp.br/mailman/listinfo/abe
>> 
>> 
> 
> 
> 
> 
> _______________________________________________ abe mailing list 
> abe em lists.ime.usp.br https://lists.ime.usp.br/mailman/listinfo/abe
> 

-- 
Jose Carvalho, PhD
Statistika
+55-19-3236-7537 (office)
+55-19-98139-9927 (cel)