[ABE-L] Resgatando o p-value

[Carlos Alberto de Bragança Pereira]

Resgatando o p-value
Caros redistas gostaria muito de entrar nesta discussão que faz parte  
de minha vida acadêmica.  Assim vou contar algumas coisas que acho que  
vale a pena.  De forma alguma gostaria que pensassem que este texto é  
autopromoção: Não é!
Anos atrás (muitos) quando estava em meu doutorado, conheci grandes  
professores.  O saudoso Oscar Kempthorne foi um deles e por eu ser  
amigo do Zé ele também me deu muita atenção.  Certo dia estava  
escrevendo meus trabalhos em minha mesa quando chegou por traz e me  
disse o seguinte: Carlos, a inferência Bayesiana só vai vingar e ser  
usada quando tivermos uma alternativa Bayesiana para o p-value! (É  
minha a tradução, como entendi.)  Claro que me deu outros ensinamentos  
importantes mas creio que para mim este foi fundamental.

Voltando ao Brasil aquela afirmação não me deixava em paz e persegui a  
solução por 35 ou mais anos.   Meu primeiro trabalho nessa linha foi  
minha livre docência, na qual usava integrais de superfície para  
distribuir priores para os subconjuntos paramétricos precisos -  
dimensão menor do que o espaço original -. N mesma época orientei a  
dissertação de mestrado da Telba que mais tarde resultou em dois  
trabalhos que publicamos:

1.	TZ Irony; CAB Pereira (1986), Exact tests for equality of two  
proportions: Fisher v. Bayes. J Statistical Computation & Simulation  
25:93-114.

2.	TZ Irony; CAB Pereira (1995), Bayesian hypothesis test: using  
surface inte-grals to distribute prior information among the  
hypotheses, Resenhas 2(1);27-46.

Esse nosso trabalho na verdade foi baseado no teste generalizado de  
Neyman-Pearson descrito pelo teorema 1 da seção de testes de Hipótese  
do livro do DeGroot. Vou tentar descrever abaixo o que fizemos durante  
todos esses anos.

Descobrimos que os frequentistas não conseguiam definir f_H(x) e  
f_A(x), pois não sabiam colocar as funções dependendo apenas das  
hipóteses A e H e não do parâmetro . Claro que poderiam usar o máximo  
em cada uma das hipóteses.  Nós então usamos o fator de Bayes (uma  
função dividida pela outra no mesmo ponto x) para usar o teorema  
generalizado de Neyman-Person, pois minimizávamos a combinação linear  
das probabilidades dos dois tipos de erro.  O lema de NP servia para  
aceitar/rejeitar a hipótese, mas não para calcular o p-value.  Com o  
Sergio escrevemos então o P-value (não p-value) no seguinte trabalho:

3.	CAB Pereira; S Wechsler (1993), On the concept of P-Value,  
Brazilian J Probability & Statistics 7;159-77.

Neste artigo mostramos como calcular o novo p-value que usava as duas  
hipóteses em sua definição.  De fato nossa densidade de cálculo passou  
a ser a f_H(x).  Não ficava claro ali que estávamos ordenando o espaço  
amostral pela razão de Bayes.  Não ficou claro ali também que nosso  
nível de significância era definido pelo alfa obtido pela minimização  
da função linear das probabilidades dos dois erros.  Mesmo em outro  
artigo usando esta técnica não ficava claro qual a definição do nível  
de significância.  Importante notar que o nível assim obtido se  
modifica com a mudança do tamanho da amostra e com as constantes da  
combinação.  Vejam o nosso artigo em genética onde nossos resultado  
foram bem adequados:

4.	LE Montoya-Delgado; TZ Irony; CAB Pereira; MR Whittle (2001), An  
unconditional exact test for the Hardy-Weimberg Equilibrium Law:  
Sample space ordering using the Bayes Factor, Genetics 158:875-83.

Como sabem minha preferência é para a estatística aplicada e usei essa  
técnica muitas vezes em nossos trabalhos sem problemas com os referees.

Mas foi recentemente que acho que conseguimos discutir apropriadamente  
essas coisas que tanto nos deu satisfação. Com meu amigo Luis Pericchi  
escrevemos uma carta para o PNAS onde discutíamos uma carta de outro  
professor.  A discussão foi ótima e vocês podem conferir na seguinte  
lista:

5.	Johnson VE (2013) Revised standards for statistical evidence. PNAS  
110(48):19313–17

6.	A Gelman;  CP Robert (2014), Letter PNAS 2014 111 (19) E1933

7.	J Gaudart; L Huiart; PJ Milligan; R Thiebaut; R Giorgi (2014) PNAS  
2014 111 (19) E1934

8.	LR Pericchi; CAB Pereira; ME Pérez (2014) PNAS 2014 111 (19) E1935

9.	Johnson VE (2014) Reply to Gelman, Gaudart, Pericchi: More reasons  
to revise standards for statistical evidence PNAS 2014 111 (19)  
E1936-E1937

Completando esse nosso trabalho frequentista/Bayesianista, eu e o Luis  
estamos esperando a publicação de nosso artigo em BJPS que acreditamos  
ter acabado com o paradoxo “aumente a amostra para rejeitar”. O artigo  
está disponível na página da revista em

http://imstat.org/bjps/papers/BJPS257.pdf

Gostaria, no entanto, de dizer que temos a versão do p-value puramente  
Bayesiana que denominamos e-value.  O primeiro trabalho foi publicado  
em 1999 e daí para frente a nossa lista de publicações com nosso valor  
de evidência ficou bem grande.  Evidentemente que vou fazer um pouco  
de propaganda de nosso e-value colocando aqui alguns dos artigos mais  
relevantes:

10.	CAB Pereira; JM Stern (1999), Evidence and credibility: Full  
Bayesian significance test of precise hypothesis, Entropy 1:99-110
11.	CAB Pereira; MR Madruga; JM Stern (2002). Bayesian evidence test  
for precise hypotheses. JSPI117:185-98.
12.	MS Lauretto; CAB Pereira; JM Stern; S Zacks S (2003), Full  
Bayesian Significance Test Applied to Multivariate Normal Structure  
Models. BJPS 17:147-68.
13.	CAB Pereira; JM Stern; S Wechsler (2008), Can a significance test  
be genuinely Bayesian? Bayesian Analysis 3(1):79-100
14.	JM Stern; CAB Pereira (2014) Bayesian epistemic values: focus on  
surprise, measure probability! Logic Journal IGPL (2014) 22 (2): 236-254

Este último artigo é fruto dos muitos trabalhos em fundamentos lógicos  
do FBST que meu colega e amigo Julio escreveu desde a criação de nosso  
teste de significância.  Lembro aos colegas que temos uma lista bem  
grande de artigos com o FBST onde nós e outros colegas resolvemos  
problemas muito interessantes.

Quando o assunto é teste de hipótese e de significância eu fico mesmo  
sensibilizado pois lembro dos meus mestres Oscar Kempthorne e Dev Basu.

Para terminar gostaria de dizer que depois de meu primeiro trabalho  
resolvi reler o livro do mestre Kemp e no capítulo de testes de  
significância vejo a recomendação que fez para os Bayesianos e vi que  
era justamente o que tinha realizado.  Meus caros tudo que fizerem de  
interessante voltem aos livros dos grandes mestres que encontrarão  
tudo ali se tiverem fazendo a coisa correta.

Saudações a todas as mulheres da ABE-L
Lembro que nesse dia a minha ex aluna Telba copmpleta mais um ano de  
vida.  Meu amigo e mano Sergio Wechsler se não me engano é amanhã

Saudações
C

-- 
Carlos Alberto de Bragança Pereira
http://www.ime.usp.br/~cpereira
http://scholar.google.com.br/citations?user=PXX2AygAAAAJ&hl=pt-BR
Stat Department - Professor & Head
University of São Paulo