[ABE-L] P-valor é banido em uma revista de psicologia social

[Alexandre Galvão Patriota]

Prezado Victor,


Como sabe, minha visão é que estudos de fundamentos são de extrema
> importância mas tem sido deixados de lado pela grande maioria de nossa
> comunidade. Gostaria de entender o porquê você insiste em perguntar isso:
> acho que a maioria não se interessa por isso e talvez alguns até te
> respondam que não deveria perder tempo estudando fundamentos. Isso não
> deveria desmotivá-lo.
>

Obrigado pela resposta. Eu gostaria de entender a percepção dos
pesquisadores brasileiros sobre o assunto. Não significa que a percepção da
nossa sociedade vai mudar o que eu pesquiso, eu já estou convencido de que
o que eu faço vale alguma coisa. Porém, estamos submetidos a avaliação de
um parecerista para conseguir uma bolsa de estudos sobre fundamentos e
dependendo do viés d'esta percepção temos problemas. Vários colegas me
responderam pessoalmente dizendo que consideram (com um obviamente
explicitado em várias das mensagens) o assunto relevante, porém não se
manifestaram publicamente. Alguns acham que o assunto não é relevante e não
se manifestaram e provavelmente não irão se expor. Seria bom que as pessoas
se manifestassem para discutirmos as posições e se houver algum
desentendimento sobre a área de fundamentos temos a chance de argumentar.

Sobre o s-valor, vc tem razão sobre o princípio da verossimilhança. Sobre o
outro ponto: existe uma verossimilhança sendo usada, mas só é estabelecido
que é *possível* que essa função de verossimilhança modele bem os dados.
Não há certezas probabilísticas sobre a verossimilhança; o que é
considerado é que a verossimilhança usada tem *possibilidade* 1 de modelar
os dados (e não com probabilidade 1, são coisas diferentes, há apenas uma
*possibilidade* e não uma certeza probabilística). Ou seja, outras
verossimilhanças podem ser tão possíveis quanto a que está sendo utilizada.
Aqui podemos discutir sobre esse tipo especifico de incerteza (das medidas
de probabilidades que poderiam descrever os dados observados), e sobre os
impactos em assumir o universo de possibilidades fechado para este tipo de
incerteza, definindo uma medida com probabilidade 1 sobre essa família.
Vale notar que esse procedimento é diferente de modelar probabilidade para
os dados do experimento, pois o universo de "resultados de um experimento"
é mais fácil de fechar do que o universo de "possíveis medidas de
probabilidade que poderiam explicar os dados observados do experimento". Dá
pra mostrar que o modelo estatístico clássico (a estrutura matemática)
consegue tratar destes dois casos.

Claro que não existe um teoria que não imponha restrições, mas existem
teorias que impõem menos restrições do que outras e estas restrições podem
ser justificadas da maneira que for conveniente. Em uma sala com mesas e
cadeiras podemos adotar o seguinte principio: todos os que estão dentro da
sala devem ou ficar sentado em cadeiras, ou ficar em pé ou sentado no chão.
Um outro pode adotar um outro principio: todos os que estão na sala devem
ficar exclusivamente sentados em cadeiras. Cada um justifica o seu
principio como acha conveniente, é fácil: basta inventar um critério em que
a sua atitude se mostre mais "coerente" do que a do outro (segundo o
critério inventado).




2015-03-06 11:36 GMT-03:00 Victor Fossaluza <victor.ime em gmail.com>:

> Caro Alexandre,
>
>
> Só um comentário sobre os email anteriores: o s-valor viola o princípio da
> verossimilhança, em geral, se olhar para a distribuição que supostamente
> gera os dados em seu cálculo. Ele não viola se usar uma distribuição
> assintótica (qui-quadrado) - é o mesmo que ocorre com o teste da razão de
> verossimilhanças.
> Não acho justo dizer que os procedimentos bayesianos tem restrições e
> dizer que seu procedimento "pode não violar o princípio da
> verossimilhanças" e é coerente por considerar uma medida de possibilidade
> antes e depois. Você usa verossimilhança, que advém de uma distribuição de
> probabilidades (para X dado teta - considerando a notação/linguagem que
> você preferir).
> Ainda acho que essa discussão, em particular, é uma questão dos axiomas e
> suposições que cada um acha razoável. Desses, alguns têm princípios, outros
> não... Tudo isso gera restrições, é claro. Mas acredito que ainda não temos
> uma teoria que não imponha alguma restrição.
>
> Abraços,
> Victor
>  Em 06/03/2015 00:10, "Alexandre Galvão Patriota" <
> patriota.alexandre em gmail.com> escreveu:
>
> Caro Julio,
>>
>> Faltou dizer um detalhe:
>>
>> Pode-se também considerar um conjunto de distribuições a priori que foram
>> elicitadas usando informações de especialistas e após observar os dados
>> pode-se usar o s-valor
>> <https://www.researchgate.net/publication/51969229_A_classical_measure_of_evidence_for_general_null_hypotheses>
>> para ranquear estas prioris com respeito as suas possibilidades à
>> posteriori. Bastaria adequar algumas quantidades na definição do s-valor e
>> não ter o comportamento ditado exclusivamente pelo princípio da
>> verossimilhança (que alias pode ser satisfeito usando o s-valor se o
>> usuário assim o quiser).
>>
>> Esse desenvolvimento está aberto para quem tiver interesse, pois eu não
>> estou mexendo nisso.
>>
>> 2015-03-05 23:43 GMT-03:00 Alexandre Galvão Patriota <
>> patriota.alexandre em gmail.com>:
>>
>>> Prezado Julio, apenas para provocar um pouco, sobre a sua afirmação:
>>>
>>> Para mim, "ser Bayesiano" eh uma restricao muito mais fraca. Implica no
>>>> uso da linguagem de probabilidades no espaco parametrico, em olhar para
>>>> parametros como variaves aleatorias  (coisa que um frequentista esta
>>>> categoricamente proibido de fazer), nada mais.
>>>>
>>>
>>> Só lembrando que a classificação Bayesiano/frequentista não é exaustiva,
>>> tem o estatístico que usa o modelo clássico e pode, se quiser, utilizar
>>> métodos para prever ou estimar quantidades relacionadas com variáveis *não
>>> observáveis* no experimento proposto. Este não é Bayesiano, nem
>>> frequentista: é um estatístico que usa um modelo matemático para modelar o
>>> que for pertinente da maneira que for mais interessante. Neste caso, ser
>>> Bayesiano é uma restrição mais forte, pois vc *tem* que modelar tudo o
>>> que desconhece apenas com medidas de probabilidades. O estatístico que usa
>>> o modelo estatístico clássico, se quiser, pode também modelar tudo com
>>> probabilidade, porém, pode também, se lhe apetecer, modelar algumas coisas
>>> com probabilidade e outras não.
>>>
>>> Veja que bonito: o estatístico clássico pode dizer que todas as medidas
>>> de probabilidades tem possibilidade 1 de modelar bem os dados do
>>> experimento. Após obser observar os dados do experimento, pode-se ter outra
>>> medida de possibilidade elencando as menos possíveis das que continuam
>>> possíveis. Isso faz o s-valor
>>> <https://www.researchgate.net/publication/51969229_A_classical_measure_of_evidence_for_general_null_hypotheses>.
>>> Veja a coerência, começa-se com possibilidade e termina-se com
>>> possibilidade! :-)
>>>
>>> Abs,
>>> Alexandre.
>>>
>>>
>>>
>>>
>>> 2015-03-05 23:20 GMT-03:00 Julio Stern <jmstern em hotmail.com>:
>>>
>>>
>>>> Caro Hedibert:
>>>>
>>>> Depende do que voce entende por "ser Bayesiano".
>>>> Creio que sua ideia de ser Bayesiano implica em
>>>> utilizar Fatores de Bayes para decidir sobre a
>>>> credibilidade de pares de hipoteses.
>>>> Neste caso, sua afirmacao eh correta,
>>>> embora seja tambem tautologica.
>>>>
>>>> Para mim, "ser Bayesiano" eh uma restricao muito
>>>> mais fraca. Implica no uso da linguagem de probabilidades
>>>> no espaco parametrico, em olhar para parametros como
>>>> variaves aleatorias  (coisa que um frequentista esta
>>>> categoricamente proibido de fazer), nada mais.
>>>>
>>>> Assim, nosso e-valor eh (na minha concepcao)
>>>> uma medida Bayesiana de credibilidade, embora
>>>> NAO seja uma medida de "probabilidade da hipotese",
>>>> ou uma razao de probabilidades ente hipoteses aternativas.
>>>>
>>>> Desta forma, nosso e-valor pode ser interpretado como
>>>> uma medida de credibilidade (tecnicamente uma medida
>>>> de Possibilidade) de H, sem sequer mencionar uma
>>>> hipotese alternativa.
>>>>
>>>> Voce tambem esta certo ao afirmar que o Fisher procurou
>>>> a vida inteira por uma solucao deste tipo...
>>>>
>>>> Quanto ao Popper, ele desenvolveu a epistemologia do
>>>> teste de hipotese frequentista chamado p-valor.
>>>> O p-valor e o Falsificacionismo Popperiano sao
>>>> almas gemeas, feitos sob-medida um para o outro.
>>>> Da mesma forma, Fatores de Bayes e a epistemologia
>>>> desenvolvida por DeFinetti  (baseada na teoria de
>>>> utilidade de von Neumann-Morgenstern),
>>>> complementam-se mutuamente.
>>>>
>>>> Eh importante salientar que uma medida de significancia
>>>> (ou credibilidade) sempre esta associada a uma teoria
>>>> epistemologica.  Distintas medidas de credibilidade exigem
>>>> interpretacoes igualmente distintas. Nao se pode sair por
>>>> ai misturando alhos com bugalhos.
>>>>
>>>> ---Julio Stern
>>>>
>>>>
>>>> > From: hedibert em im.ufrj.br
>>>> > To: patriota.alexandre em gmail.com; pam em ime.usp.br
>>>> > Date: Thu, 5 Mar 2015 21:01:06 -0300
>>>> > CC: abe em lists.ime.usp.br
>>>> > Subject: Re: [ABE-L] P-valor é banido em uma revista de psicologia
>>>> social
>>>> >
>>>> > Oi Alexandre,
>>>> >
>>>> > Sobre a afirmacao
>>>> >
>>>> > "Portanto, para deixar H0 e sua negação (not-H0) bem definíveis na
>>>> sigma-álgebra o buraco
>>>> > seria muito mais embaixo do que um procedimento Bayesiano pode fazer
>>>> no momento."
>>>> >
>>>> > gostaria de dizer que nao so' nao e' um procedimento alcancavel para
>>>> os Bayesianos no
>>>> > momento e, acredito, nao acho que deveria ser. Considerar uma
>>>> hipotese "nula" sem
>>>> > alternativa e' Fisherismo seja qual for o nome que dermos. A hipotese
>>>> alternativa e' tao ou
>>>> > mais importante que a nula. Mas quero ofender os Popperianos,
>>>> portanto paro por aqui.
>>>> >
>>>> > Abs,
>>>> > Hedibert
>>>> >
>>>> >
>>>> >
>>>> >
>>>> >
>>>> > On Sat, 28 Feb 2015 15:39:43 -0300, Alexandre Galvão Patriota wrote
>>>> > > Veja o artigo do Trafimow citado logo no inicio da nota editorial:
>>>> > >
>>>> http://homepage.psy.utexas.edu/HomePage/class/psy391p/trafimow.nhst.21003.pdf
>>>> > >
>>>> > > A revista não bane apenas o p-valor, como vemos na resposta à
>>>> > > questão 1.
>>>> > >
>>>> > > *Question 1*. Will manuscripts with p-values be desk rejected
>>>> automatically?
>>>> > > > *Answer to Question 1*. No. If manuscripts pass the preliminary
>>>> > > > inspection, they will be sent out for review. But prior to
>>>> publication, *authors
>>>> > > > will have to remove all vestiges of the NHSTP* (p-values,
>>>> t-values,
>>>> > > > F-values, statements about [UTF-8?]‘‘significant’’
>>>> differences or lack
>>>> > thereof, and
>>>> > > > so on).
>>>> > > >
>>>> > >
>>>> > > Trafimow considera que o p-valor é uma probabilidade condicional
>>>> > > (dado H0) e começa a fazer relações com a estatística Bayesiana.
>>>> > > Porém, o p-valor não é uma probabilidade condicional no sentido
>>>> > > usual do termo. A notação "p = P(T> t | H0)" é ambígua e não
>>>> > > tem nada a ver com a definição de probabilidade condicional,
>>>> > > simplesmente porque na estatística clássica os eventos descritos
>>>> > > em H0 não estão na sigma-álgebra do modelo, portanto não são
>>>> > > mensuráveis. A hipótese H0 usualmente estabelece restrições
>>>> > > sobre medidas de probabilidade (bem definidas e não aleatórias)
>>>> > > que poderiam modelar os dados, ou seja a "P" deve satisfazer uma
>>>> > > restrição imposta em H0
>>>> > > (em geral não é só uma "P" que satisfaz a restrição, é um
>>>> > > conjunto de medidas).
>>>> > >
>>>> > > Pode-se até definir um espaço maior para deixar os eventos
>>>> > > descritos em H0 mensuráveis, porém não será mais um p-valor,
>>>> > > será outra coisa. Fisher já discutiu isso de outras formas: a
>>>> > > hipótese alternativa é indefinível, pois o que seria a negação
>>>> > > de "H0: µ igual a 0"? certamente não é "H1: µ diferente de 0",
>>>> > > pois existe uma medida de probabilidade associada com a afirmação
>>>> > > "µ=0", por exemplo se a distribuição adotada for normal, temos
>>>> > > que "µ=0" significa "Normal(0,sigma²)". E a negação de "X
>>>> > > ~Normal(0,sigma²)" não é "X ~ Normal(µ, sigma²) com µ
>>>> > > diferente de 0". A negação está mais para: "todos mecanismos que
>>>> > > poderiam explicar o comportamento dos dados diferentes de Normal(0,
>>>> > > sigma²)". Portanto, para deixar H0 e sua negação (not-H0) bem
>>>> > > definíveis na sigma-álgebra o buraco seria muito mais embaixo do
>>>> > > que um procedimento Bayesiano pode fazer no momento.
>>>> > >
>>>> > > Os tipos de condicionamento P(X=x| Y=y) e P(X=x| [UTF-8?]θ=θ0) só
>>>> são
>>>> > > bem definidos se os conjuntos {X=x}, {Y=y} e [UTF-8?]{θ=θ0} estão
>>>> na
>>>> > > sigma álgebra do mesmo modelo de probabilidade. Em geral X e Y são
>>>> > > v.a.'s definidas no mesmo modelo e portanto funções mensuráveis
>>>> > > por definição, porém na estatística clássica [UTF-8?]{θ =
>>>> [UTF-8?]θ0} não é
>>>> > > um evento mensurável na sigma-álgebra (pode ser se for definido
>>>> > > para isso, neste caso teremos outro indexador de medidas de
>>>> > > probabilidades). Portanto, P(X=x| [UTF-8?]θ=θ0) não pode ser
>>>> entendido
>>>> > > como probabilidade condicional na estatística clássica, só na
>>>> > > Bayesiana. Não é à toa que muitos autores utilizam a notação
>>>> > > [UTF-8?]Pθ(X=x) em vez de [UTF-8?]P(X=x|θ) e para o p-valor: p =
>>>> [UTF-8?]sup_{θ \in
>>>> > [UTF-8?]Θ0 }
>>>> > > [UTF-8?]Pθ(T>t) em que [UTF-8?]Θ0 é o conjunto definido pela H0.
>>>> Não tem nada de
>>>> > > probabilidades condicionais nessas definições. Essa distinção é
>>>> > > importante para interpretar corretamente as quantidades envolvidas.
>>>> > >
>>>> > > Parece que os estatísticos estão com um viés Bayesiano muito
>>>> > > forte hoje em dia, e estão usando a notação Bayesiana para
>>>> > > interpretar e ensinar a estatística clássica. Essa facilidade
>>>> > > aparente só aumenta a confusão, desentendimentos e aumenta o grau
>>>> > > de ambiguidade na linguagem estatística. O que eu não entendo de
>>>> > > verdade é como pessoas bem treinadas em sigmas-álgebras, funções
>>>> > > mensuráveis, probabilidades condicionais, verossimilhança
>>>> > > (derivadas de Radon-Nikodym), etc podem se deixar levar por esse
>>>> > > tipo de confusão?!? Os professores mais experientes poderiam
>>>> > > explicar melhor os motivos para tanta "confusão" dos conceitos
>>>> > > estatísticos, se acharem que não há confusão podemos fazer uma
>>>> > > pesquisa entre alunos de mestrado e doutorado perguntando conceitos
>>>> > > clássicos simples e analisar as respostas que obtemos.
>>>> > >
>>>> > > Agradeço aos que leram até aqui!! :) infelizmente parece que esse
>>>> assunto
>>>> > > não gera interesse na nossa sociedade estatística, pois as modas são
>>>> > > outras... Enquanto utilizarem notações ambíguas, problemas de
>>>> interpretação
>>>> > > serão frequentes e o entendimento será menor.
>>>> > >
>>>> > > Abs,
>>>> > > Alexandre.
>>>> > >
>>>> > > Le 28 févr. 2015 12:51, <pam em ime.usp.br> a écrit :
>>>> > >
>>>> > > > A revista nao fala explicitamente em p-value. Duvido que eles
>>>> saibam o que
>>>> > > > ee isso. Alias, ha gente trabalhando na area de estatistica que
>>>> nao sabe o
>>>> > > > que ee p-valor. Eu assino a lista Teaching Statistics e certa vez
>>>> houve uma
>>>> > > > discussao interminavel sobre o tema. Em geral, confundem p-valor
>>>> com nivel
>>>> > > > de significancia.
>>>> > > >
>>>> > > > Pedro
>>>> > > > Quoting Richard Santos <jamesrichardsantos em gmail.com>:
>>>> > > >
>>>> > > > Olha, de fato, vamos falar de realidades então? Vamos. Vemos que,
>>>> na
>>>> > > >> realidade, muitas análises sociológicas, econômicas, etc, já
>>>> querem um
>>>> > > >> resultado de antemão. E para isso até usam modelos estatísticos
>>>> de forma
>>>> > > >> manipuladora, se preciso, e se der o resultado esperado, a
>>>> estatística
>>>> > > >> serviu e é maravilhosa, e se não, não serve para nada.
>>>> > > >> Em 28/02/2015 20:30, "Jose Carvalho" <carvalho em statistika.com.br
>>>> >
>>>> > > >> escreveu:
>>>> > > >>
>>>> > > >> -----BEGIN PGP SIGNED MESSAGE-----
>>>> > > >>> Hash: SHA1
>>>> > > >>>
>>>> > > >>> Sociologia e emso psicologia, entre outras, não atingiram ainda
>>>> o
>>>> > > >>> estado de Ciência. Não é possível aplicar, nestes campos, a base
>>>> > > >>> científcia, que é o empirismo, a refutação objetiva de teorias e
>>>> > > >>> modelos. Nós todos sabemos como funcionam a sociologia e
>>>> outras. Muito
>>>> > > >>> papo, muito achismo, discussões intermináveis. A refutação que
>>>> se
>>>> > > >>> obtém vem de outros pensadores, nenhuma estribada em fatos.
>>>> > > >>>
>>>> > > >>> A revista deve estar certa. Não há lugar para teste de
>>>> hipóteses na
>>>> > > >>> área. Portanto, deve ser o caso que pesquisadores chutam
>>>> modelos e os
>>>> > > >>> testam com "dados" que nada tem a ver com os modelos, estes
>>>> meramente
>>>> > > >>> idealizados, sem base FÍSICA (isto é, com base no mundo real).
>>>> > > >>>
>>>> > > >>> A atitude, todavia, é fascista. Lembra os tempos não muito
>>>> antigos, em
>>>> > > >>> que o "Santo" Ofício da igreja católica tinha de dar seu
>>>> "imprimatur"
>>>> > > >>> a qualquer publicação.
>>>> > > >>>
>>>> > > >>> Se me permitem um americanismo, a atitude da revista é bullshit.
>>>> > > >>> Irrelevante para o mundo.
>>>> > > >>>
>>>> > > >>> Zé Carvalho
>>>> > > >>>
>>>> > > >>> On 02/25/2015 12:31 PM, Alexandre Galvão Patriota wrote:
>>>> > > >>> > Prezados,
>>>> > > >>> >
>>>> > > >>> > Não sei se a revista é boa, mas já é algum indicativo de como
>>>> > > >>> > alguns dos cientístas sociais entendem os procedimentos para
>>>> testar
>>>> > > >>> > de hipóteses:
>>>> > > >>> >
>>>> > > >>> > "The Basic and Applied Social Psychology (BASP) 2014 Editorial
>>>> > > >>> > emphasized that the null hypothesis significance testing
>>>> procedure
>>>> > > >>> > (NHSTP) is invalid, and thus authors would be not required to
>>>> > > >>> > perform it (Trafimow, 2014). However, to allow authors a grace
>>>> > > >>> > period, the Editorial stopped short of actually banning the
>>>> NHSTP.
>>>> > > >>> > The purpose of the present Editorial is to announce that the
>>>> grace
>>>> > > >>> > period is over. From now on, BASP is banning the NHSTP."
>>>> > > >>> >
>>>> > > >>> >
>>>> > > >>> > Eles consideram os procedimentos Bayesianos mais
>>>> interessantes.
>>>> > > >>> >
>>>> > > >>> >
>>>> > > >>> > "Bayesian procedures are more interesting. (...), with
>>>> respect to
>>>> > > >>> > Bayesian procedures, we reserve the right to make case-by-case
>>>> > > >>> > judgments, and thus Bayesian procedures are neitherrequired
>>>> nor
>>>> > > >>> > banned from BASP"
>>>> > > >>> >
>>>> > > >>> > Dizem que nenhum procedimento inferencial será requerido
>>>> porque "o
>>>> > > >>> > estado da arte ainda é incerto".
>>>> > > >>> >
>>>> > > >>> > Abraços, Alexandre.
>>>> > > >>> >
>>>> > > >>> >
>>>> > > >>> >
>>>> > > >>> > _______________________________________________ abe mailing
>>>> list
>>>> > > >>> > abe em lists.ime.usp.br
>>>> https://lists.ime.usp.br/mailman/listinfo/abe
>>>> > > >>> >
>>>> > > >>>
>>>> > > >>> - --
>>>> > > >>> Jose Carvalho, PhD
>>>> > > >>> Statistika
>>>> > > >>> +55-19-3236-7537 (office)
>>>> > > >>> +55-19-98139-9927 (cel)
>>>> > > >>> -----BEGIN PGP SIGNATURE-----
>>>> > > >>> Version: GnuPG v1
>>>> > > >>>
>>>> > > >>> iQEcBAEBAgAGBQJU8d76AAoJEHvxLnCikUOTBMsH+wcYnDowHsRWeh0psGPmqAgU
>>>> > > >>> saTvKdCkLwMJ/TPCybgBw/Yu/Lc5pU2Sy5qbNW7d+60UWad1fC9W1GHq5Y78/K4g
>>>> > > >>> 2wdv5yDxH9HS0mpXouLUQgVNQgT1sVCzl5GlKtVU72/bv4RFw2K0OtE4Vd/89acs
>>>> > > >>> 8nrKhp2VD3Q9cysfFCPwE6cM3C/YXY3BM07QrByZIlxxAo7OpHxQzeoiMLH7nju8
>>>> > > >>> pkhDRcXeDxjKO4AtMz5btLCtiuCCHepZMv2avroZYNm0mybz7f7OQET5++ov9hUx
>>>> > > >>> hf8I39hD5Aa9hf9XWV+gOtC2Bz3OGQds6HQrGyLMSwGUC0k32WUzlMIajqBVPuI=
>>>> > > >>> =0Z3l
>>>> > > >>> -----END PGP SIGNATURE-----
>>>> > > >>>
>>>> > > >>> _______________________________________________
>>>> > > >>> abe mailing list
>>>> > > >>> abe em lists.ime.usp.br
>>>> > > >>> https://lists.ime.usp.br/mailman/listinfo/abe
>>>> > > >>>
>>>> > > >>>
>>>> > > >
>>>> > > >
>>>> > > > _______________________________________________
>>>> > > > abe mailing list
>>>> > > > abe em lists.ime.usp.br
>>>> > > > https://lists.ime.usp.br/mailman/listinfo/abe
>>>> > > >
>>>> >
>>>> >
>>>> > Hedibert Freitas Lopes, Ph.D.
>>>> > Associate Professor
>>>> > Department of Statistical Methods
>>>> > Institute of Mathematics
>>>> > Federal University of Rio de Janeiro (UFRJ)
>>>> >
>>>> >
>>>> > _______________________________________________
>>>> > abe mailing list
>>>> > abe em lists.ime.usp.br
>>>> > https://lists.ime.usp.br/mailman/listinfo/abe
>>>>
>>>
>>>
>>
>> _______________________________________________
>> abe mailing list
>> abe em lists.ime.usp.br
>> https://lists.ime.usp.br/mailman/listinfo/abe
>>
>>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20150306/b6a19e15/attachment.html>