[ABE-L] Scientists rise up against statistical significance

Ter Mar 26 08:28:49 -03 2019

 Espero que não seja semelhante às "descobertas" dos benefícios/malefícios do ovo. As primeiras "pesquisas" diziam que fazia mal; depois novas "pesquisas" diziam que faziam bem; agora novas "pesquisas" dizem que não é  bem assim (pode fazer mal).
Clécio

    Em segunda-feira, 25 de março de 2019 11:41:24 BRT, Leo Bastos <lsbastos em gmail.com> escreveu:  

 Olá a todos,

Eu recebi o convite, na época o título do manuscrito era outro (Retire
statistical significance),  e sou um dos 800+ signatários. E não vi,
nesse artigo, nenhuma recomendação de banir o valor-p ou qq outra
medida estatística (não é essa a solução!). Vejam esse trecho do
artigo:

"We are not calling for a ban on P values. Nor are we saying they
cannot be used as a decision criterion in certain specialized
applications (such as determining whether a manufacturing process
meets some quality-control standard). And we are also not advocating
for an anything-goes situation, in which weak evidence suddenly
becomes credible. Rather, and in line with many others over the
decades, we are calling for a stop to the use of P values in the
conventional, dichotomous way — to decide whether a result refutes or
supports a scientific hypothesis."

O que é reforçado mais embaixo:

"Again, we are not advocating a ban on P values, confidence intervals
or other statistical measures — only that we should not treat them
categorically. This includes dichotomization as statistically
significant or not, as well as categorization based on other
statistical measures such as Bayes factors."

O ponto que me fez assinar vai na direção de "aposentar" o uso do
termo "estatisticamente significativo" para concluir possíveis
associações puramente baseado em um critério dicotômico, seja ele o
valor-p, Bayes factor, ou whatever. Essa dicotomização é usada demais
nas pesquisas aplicadas, em particular na saúde que é onde posso falar
um pouquinho, mas imagino que em todas as áreas da ciência. E eu mesmo
dou a mão a palmatória pois usei bastante (ou ajudei a usar) critérios
dicotômicos para responder alguma pergunta de pesquisa que era
traduzida de certa forma por um teste de hipóteses (estou considerando
aqui tb como "teste de hipoteses" a inclusão ou não de um determinado
valor em um intervalo q descreva incerteza). Evitar tomadas de decisão
baseadas em critérios dicotômicos (valor-p < 0.05? sendo o principal
desses critérios) já foi bastante discutida nas ultimas décadas, em
particular na edição especial de 2016 no The American Statistician
(TAS) dizendo o que não devemos fazer, e, agora em março, uma nova
edição especial no TAS com propostas do que fazer então.

Dado o alcance da lista da ABE, concordem ou não com o que saiu no
paper da Nature (que realmente não tem nada de novo para quem pesquisa
na área de estatística) e nos artigos da TAS (aí sim tem muito
material interessante no ponto de vista de pesquisa estatística. Não
nos editoriais, mas nos papers associados, como o paper do Carlinhos e
Adriano por exemplo), eu acho muito importante que essa discussão se
aprofunde e entre nas disciplinas de estatística oferecidas para
graduação e pós para estatísticos* (*pessoas que independente da
formação entendem o que está rolando por trás dos resultados) e,
principalmente, para não estatísticos* já que são exatamente os não
estatísticos que vão usar e abusar dos valores-p em suas pesquisas.

Bom é isso, achei melhor me posicionar pois uma curiosidade natural é
ver quem assinou, e daqui a pouco estão apontando meu nome na Medina.
rs

Abraço,
Leo Bastos.

Pesquisador em Saúde Pública,
Programa de Computação Científica (PROCC)
Fundação Oswaldo Cruz, Fiocruz
Rio de Janeiro, Brasil
Homepage: https://lsbastos.github.io

On Mon, 25 Mar 2019 at 11:30, Ângela Paes <atpaes em gmail.com> wrote:
>
> Perfeito Alexandre!
> Eu até achei legalzinho o texto, mas fiquei pensando porque ele andou tão falado na semana passada, dado que não trazia nada novo.
> Aí vi que a The American Statistician publicou um suplemento com mais de 40 artigos sobre p-valor. Não li ainda, mas tem muitos autores diferentes, alguns bem conhecidos.
> Também acho que esse texto da Nature foi feito por encomenda e quem escreveu está reproduzindo a interpretação do que leu sem muita base teórica, mas o importante é que textos assim ( e são centenas nos últimos anos) movimentam a comunidade científica e assim a missão dos estatísticos fica cada vez maior.
> Abç,
> Ângela
>
> Em seg, 25 de mar de 2019 às 09:50, Alexandre Galvão Patriota <patriota.alexandre em gmail.com> escreveu:
>>
>> Em geral, esses artigos são escritos a convite dos editores e depois os autores saem por aí pedindo assinaturas. Em 2017, eu recebi um convite para co-autorar o artigo "Manipulating the Alpha Level Cannot Cure Significance Testing", mas neguei por discordar de vários pontos. Seria interessante saber quantos autores negaram participar desses artigos (800 e poucos de quantos?). Aliás quantos desses entendem a teoria e fundamentos da estatística?
>>
>> Há muita informação equivocada na literatura sobre o valor-p. Tem gente que tentou mostrar que há um problema lógico nos testes de significância aplicando de forma equivocada o Modus Tollens:
>>
>> NHST is still logically flawed (https://link.springer.com/article/10.1007/s11192-018-2655-4)
>>
>> Segue meu comentário:
>> Is NHST logically flawed? Commentary on: “NHST is still logically flawed” (https://link.springer.com/article/10.1007/s11192-018-2817-4)
>>
>> O Trafimow, editor da BASP, resolveu banir os valores-p em 2015. Ele justificou o banimento baseando-se em um de seus artigos publicados em 2003 em que o valor-p é definido como probabilidade condicional a H0. Ou seja, para ele os eventos {T(X) \in A} e {theta in Theta0} são mensuráveis na mesma sigma-álgebra (ela não deixa isso claro, mas está implícito nas operações que usou). Isso é uma interpretação Bayesiana do valor-p (é como rejeitar o cristianismo usando a linguagem marxista ou vice versa: os argumentos só valem para aqueles que comungam da mesma ideologia). Se quer mostrar que o valor-p é falho, use a linguagem da estatística clássica.
>>
>> Há problemas com o valor-p, mas nenhum deles provê justificativa suficiente para o seu banimento. Na prática o pessoal quer usar as ferramentas estatísticas sem entender o domínio de aplicação e a teoria que tem por trás. Qualquer outra ferramenta matemática/estatística/probabilística que substitua valor-p será mau utilizada ao longo do tempo.
>>
>> Quanto mais "banimentos" e controvérsias, mais em evidência fica a área de fundamentos de estatística e mais trabalho para gente.
>>
>> Abraços
>>
>>
>> On Fri, 22 Mar 2019 at 19:23, Jan Sousa <jan.sousa em gmail.com> wrote:
>>>
>>> Boa leitura...
>>>
>>> https://www.nature.com/articles/d41586-019-00857-9?fbclid=IwAR28bbFeOubkHYJQfSzULo_alxHLB1J4bWdYvaImLKVNGl7yNduhjB0H8uA
>>>
>>>
>>> _______________________________________________
>>> abe mailing list
>>> abe em lists.ime.usp.br
>>> https://lists.ime.usp.br/listinfo/abe
>>
>>
>>
>> --
>> Prof. Dr. Alexandre G. Patriota,
>> Department of Statistics,
>> Institute of Mathematics and Statistics,
>> University of São Paulo, Brazil.
>> https://twitter.com/agpatriota
>> _______________________________________________
>> abe mailing list
>> abe em lists.ime.usp.br
>> https://lists.ime.usp.br/listinfo/abe
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/listinfo/abe
_______________________________________________
abe mailing list
abe em lists.ime.usp.br
https://lists.ime.usp.br/listinfo/abe

-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20190326/6b309d6f/attachment.html>