[ABE-L] Sobre a metodologia dos institutos de pesquisa

Seg Out 20 13:19:17 -03 2014

Nesse sábado foram publicados dois textos na Folha de São Paulo debatendo o
mesmo tema: “É correta a maneira como são feitas as pesquisas eleitorais no
Brasil?”. Um deles defende que NÃO, escrita pelo José Carvalho com o título
de “O erro da margem de erro” e o outro defende o SIM, escrito pelo Ney
Figueiredo com o título “Instrumento a serviço da democracia”. Seguem os
links abaixo. Estão muito bem escritos, e acredito que são relevantes na
discussão sobre a importância e a qualidade das pesquisas eleitorais no
Brasil. Vale a pena a leitura.

NÃO -
http://www1.folha.uol.com.br/fsp/opiniao/191233-o-erro-da-margem-de-erro.shtml

SIM -
http://www1.folha.uol.com.br/opiniao/2014/10/1534428-e-correta-a-maneira-como-sao-feitas-as-pesquisas-eleitorais-no-brasil-sim.shtml

Eu concordo com muitos dos argumentos utilizados pelos dois. Achei
engraçado que a minha maior objenção aos argumentos utilizados é a mesma
para os dois textos.  Tanto o SIM quanto o NÃO assumem (implicitamente) que
todas as pesquisas realizadas no Brasil utilizam a mesma metodologia. Isso
não é verdade. Tanto faz se o objetivo é criticar as pesquisas ou
valorizá-las. Na minha opinião, para que o debate sobre as pesquisas
eleitorais amadureça, é preciso justamente entender que existem diferenças
metodológicas e que elas são relevantes. Essas diferenças não são apenas
detalhes. Elas têm consequências na qualidade da pesquisa.

O Carvalho (NÃO) fala sobre isso abertamente, porém assume que todas as
pesquisas estão na mesma categoria “Não-probabilística”. Já para o
Figueiredo (SIM) as pesquisas do Ibope e o Datafolha estão na categoria na
qual a metodologia está mais do que “provada e aprovada”.

Anteriormente já escrevi sobre a diferença entre as pesquisas denominadas
“Amostragem por Cotas” (AC) e as denominadas “Amostragem Probabilística por
Cotas” (APC). Existe apenas uma semelhança entre as duas metodologias:
ambas têm a palavra “Cotas” no nome, indicando que não são probabilísticas.
Isso não quer dizer que sejam iguais. Pelo contrário, existem muitas
diferenças entre elas, vou mencionar algumas abaixo:

 1- Na APC as entrevistas são domiciliares. Na AC as entrevistas são
realizadas em pontos de fluxo. Como o Carvalho diz em seu texto: “os pontos
de concentração podem ser shoppings, esquinas de ruas movimentadas, ou
seja, lugares onde é fácil preencher as cotas”.

2- Na APC existe muito controle sobre o entrevistador e a sua liberdade de
escolha dos entrevistados. Ele tem que percorrer um trajeto muito restrito
com critérios claros e objetivos.  Na AC, o entrevistador escolhe quem
quiser, contanto que esteja nas cotas.

3- Na APC, existe um controle geográfico excelente, equivalente ao que se
poderia obter em qualquer amostra probabilística se elas pudessem ser
feitas no mundo real. Na AC, as pesquisas acabam tendo uma aglomeração
geográfica muito maior.

4- Na APC o objetivo das cotas é controlar a probabilidade de resposta das
pessoas. Na AC, o objetivo é reproduzir características demográficas da
população alvo.

Os dois artigos principais, que discutem essas metodologias e as comparam
com amostragem probabilística na prática (aquela cheia de suposições e com
não resposta) são:

APC - [Ref1]Probability SampIing with Quotas: An Experiment (C. BRUCE
STEPHENSON)

http://publicdata.norc.org:41000/gss/DOCUMENTS/REPORTS/Methodological_Reports/MR007.pdf

AC -[Ref2]An experimental study of quota sampling (C. A. Moser and A.
Stuart)

http://www.jstor.org/discover/10.2307/2343021?uid=3737664&uid=2&uid=4&sid=21104724117583

Basta ler ambos os artigos pra ver como as metodologias (e as criticas) são
muito diferentes. Mais importante, existe um efeito negativo importante na
qualidade da AC pelo fato das entrevistas serem realizadas em pontos de
fluxo. Apenas para exemplificar, no artigo [Ref2] sobre AC, os autores
dizem que os maiores vícios encontrados na comparação foram: 1) A
distribuição geográfica da amostragem por cotas (AC) era mais aglomerada, 2)
na amostragem probabilística (aquela da prática, com voltas e
substituições) havia mais não-resposta na variável de renda e 3) foram
observadas mais pessoas na categoria sem renda/com renda baixa e renda alta
do que na AC.

Não é difícil encontrar um explicação para todas essas diferenças que está
bastante relacionada ao fato de realizar entrevistas em pontos de fluxo
(não necessariamente por causa das cotas). Fazendo entrevistas em pontos de
fluxo, claramente a distribuição geográfica será mais concentrada. Além
disso, usualmente pessoas sem ocupação e/ou aposentadas não precisam ir as
esses locais, consequentemente pessoas sem renda/renda baixa também serão
sub-representadas. Pessoas com renda alta podem não se sentir à vontade ao
responder uma pergunta sobre a sua renda nesses locais, também sendo
sub-representadas e aumentando a não resposta.

Meu ponto é: outras características metodológicas, além das cotas, também
são claramente responsáveis por vícios observados na AC. Pra mim, pesquisas
em ponto de fluxo são um sinal de baixa qualidade da pesquisa
(potencialmente). Muito mais do que o fato de usar cotas. Cotas podem ser
bem efetivas, principalmente se forem associadas com variáveis claramente
relacionadas com a probabilidades de resposta de uma pessoa. Também é
relevante em qual estágio se utilizam cotas. Por isso é importante
distinguir entre AC e APC.

Só pra enfatizar como as metodologias dos institutos de pesquisa são
diferentes, consultei no site do TSE as pesquisas mais recentes dos
institutos que mais divulgaram pesquisas nacionais (Ibope, Datafolha,
Sensus, Vox Populi e MDA). No geral as descrições metodológicas são vagas e
um tanto confusas, porém sabendo  quais palavras procurar è possìvel
descobrir qual tipo de pesquisa está sendo feita. Buscando as palavras
“Setor Censitário” e “pesquisas domiciliares”, importantes para a APC, é
possível identificar o uso da APC.

A metodologia de cada instituto está descrita abaixo. É claro que existem
outros fatores que também são relevantes para a qualidade das pesquisas
além de ser APC ou AC, como verificação, cotas utilizadas, amostragem nos
primeiros estágios, como os resultados são analisados, ponderações,etc….
mas a lista abaixo pelo menos já esclarece se é AC ou APC. Também é
importante frisar que não existem muitos detalhes sobre a metodologia do
Datafolha. Eu já ouvi falar que eles também fazem APC em áreas urbanas, e
que tem algum tipo de controle geográfico especial dentro de cada ponto de
fluxo, mas não encontrei a descrição dessa metodologia. Achei importante
fazer essa ressalva a metodologia do Datafolha pois nao acredito que ela
seja exatamente a mesma descrita no artigo acima sobre AC.

*Pesquisa:*  Ibope - BR-01097/2014

*Link:*
http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28419

*Resumo:* “*No segundo estágio faz-se um sorteio probabilístico dos setores
censitários, onde as entrevistas serão realizadas, pelo método PPT
(Probabilidade Proporcional ao Tamanho), tomando a população de 16 anos ou
mais residente nos setores como base para tal seleção.**”*

*Tipo: *Amostragem probabilística com Cotas (APC)

*Pesquisa:*  Datafolha - BR-01098/2014

*Link: *
http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28424

*Resumo:* “*Num segundo estágio, são sorteados os bairros e pontos de
abordagem onde serão aplicadas as entrevistas. Por fim, os entrevistados
são selecionados aleatoriamente para responder ao questionário, de acordo
com cotas de sexo e faixa etária*”.

*Tipo: *Amostragem por Cotas (AC) – em pontos de fluxo

*Pesquisa:*  Vox Populi - BR-01079/2014

*Link: *
http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28079

*Resumo:* “*2º estágio: seleção aleatória dos setores censitários ou
bairros dentro do município; 3º estágio: seleção dos respondentes dentro
dos setores censitários ou bairros através de uma quota proporcional de
Gênero, Idade, Escolaridade e Renda Familiar, de acordo com o perfil da
população em estudo. As entrevistas foram pessoais e domiciliares**”*.

*Tipo: *Amostragem probabilística com Cotas (APC)

*Pesquisa:*  Sensus - BR-01076/2014

*Link: *
http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28020

*Resumo:* “*Probabilística sistemática até o Setor Censitário para Urbano e
Rural, com cotas para Sexo, Idade, Escolaridade e Renda no Setor Censitário*
”.

*Tipo: *Amostragem probabilística com Cotas (APC)

*Pesquisa:*  MDA - BR-01032/2014

*Link: *
http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=27250

*Resumo:* “*Por fim, já no município, é realizada a seleção aleatória de
setores censitários ou bairros onde serão alocadas as entrevistas de forma
proporcional ao universo em função do gênero e faixa etária do eleitorado*”.

*Tipo: *Amostragem probabilística com Cotas (APC) em áreas urbanas. Não dá
pra saber sobre as áreas rurais.
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20141020/a4db0e2e/attachment.html>