[ABE-L] Saudosismo e Inversão de Mérito

[Francisco Cribari]

02/07/2018

Caro Carlinhos,

Eu servi recentemente como membro do CA-ME do CNPq. Não posso e não vou
comentar sobre seu caso específico. Sua seriedade como pesquisador é
amplamente conhecida e eu sempre nutri admiração e respeito por você
enquanto profissional. Por outro lado, conheço as complexidades das
avaliações feitas no âmbito do CNPq e a seriedade de todos os membros do
CA-ME. Assim, nada posso comentar sobre o caso em pauta.

Aproveitarei, todavia, sua mensagem para tocar num ponto sensível, crucial:
O QUALIS é --- reconheçamos --- rotineiramente usado em avaliações
individuais, inclusive naquelas feitas no âmbito do CNPq. É até mesmo usado
por avaliadores ad hoc nos pareceres que elaboram para tal órgão de
fomento. O CA-MA tipicamente conta com dois membros de nossa área
(Probabilidade e Estatística) e com quantitativo consideravelmente superior
de membros da Matemática. Quando um processo é analisado no CNPq, o sistema
online disponível aos membros do comitê mostra uma listagem das publicações
mais recentes do pesquisador solicitante juntamente com as classificações
QUALIS de cada revista (e outras informações). Após me debruçar detidamente
e ao longo dos últimos vários anos sobre o QUALIS, meu sentimento é que
muitas revistas da nossa área (Probabilidade e Estatística, Estatística em
especial) se encontram subclassificadas relativamente às da Matemática e da
Matemática Aplicada. Obviamente, trata-se --- e é importante ressaltar ---
de sentimento de cunho pessoal.

Lembremos que há um QUALIS único para as revistas de: (i) Probabilidade e
Estatística, (ii) Matemática Aplicada e (iii) Matemática. Contudo, os
critérios usados por essas três áreas para qualificar as revistas que
consideram ser de seu domínio ou em que pesquisadores de programas de
pós-graduação daquela área publicaram são muito distintos. Suponha que o
pesquisador X publicou na revista Y que ainda não está qualificada no
QUALIS. Se tal pesquisador fizer parte do corpo docente de um programa de
pós-graduação em Matemática Aplicada a revista receberá, de acordo com os
critérios elencados, o conceito Z1; se o autor do artigo integrar um
programa da Probabilidade e Estatística, o conceito será Z2. E nem sempre
Z1 é igual a Z2. Em geral, Z1 é diferente de Z2. Muitas vezes, Z1 é
consideravelmente diferente de Z2. Isso é um problema? Creio que sim, pois
o QUALIS é único para as três áreas e esperar-se-ia que quaisquer desvios
de classificação, mesmo inevitáveis, fossem minimizados.

Para piorar, há divergência entre os critérios divulgados publicamente como
tendo sido usados para se chegar à classificação QUALIS e as classificações
QUALIS efetivamente divulgadas. Aqui está um exercício interessante: Pegue
os critérios divulgados pela CAPES para classificação de revistas em nossa
área, pegue os indicadores bibliométricos das revistas da área e tente
reproduzir a classificação QUALIS divulgada pela CAPES. Fica a sugestão.

Outro problema é a volatilidade nas classificações. Os integrantes da
comissão da CAPES que produzem a classificação de nossa área têm mudado
constantemente (às vezes de ano para ano) e isso termina acarretando
volatilidade apreciável. Recentemente, foram divulgados dois QUALIS de
nossa área num intervalo, creio, de aproximadamente seis meses.
Nominalmente, os critérios que deveriam ser usados para produzir as
classificações não mudaram entre essas duas instâncias, mas houve
considerável mudança nas classificações de nossas revistas. Eu imagino que
seus indicadores não variaram substancialmente em meio ano. Pergunta: Por
que então tantas classificações foram alteradas?

Voltemos agora às classificações feitas segundo os critérios listados para:
(i) Probabilidade e Estatística, (ii) Matemática Aplicada e (iii)
Matemática. Na Matemática, noto, há revista com fator de impacto (FI)
inferior a 0.7 que tem classificação A1 (para citar apenas um exemplo). E
na nossa área? Tomemos alguns poucos casos:

* Computational Statistics & Data Analysis: FI=1.69, classificação: B1
* International Journal of Forecasting: FI=2.34, classificação: B2
* Journal of Statistical Software: FI=9.91, classificação: B1
* Mathematics and Computers in Simulation: FI=1.22, classificação: B2

Alguém poderia desejar recorrer ao uso do indicador conhecido como "Article
Influence" (AI) para justificar algumas aberrações identificadas, mas o AI
do JSS é 4.70 (sim, quase cinco!), o do IFJ é 1.33, o do CSDA é 0.93 e
assim por diante. Ademais, embora esse indicador seja relevante, há que se
ter cuidado com seu uso em classificações de periódicos. Ele é fortemente
bimodal e parece ser mais útil para ordenar e classificar apenas revistas
do estrato mais superior de qualidade (como feito num artigo recentemente
publicado sobre o tema em tela). Ele não deve ser usado cegamente.

Algumas classificações de revistas da nossa área (Probabilidade e
Estatística) têm sido fortemente pautadas no tempo mediano das citações
("Cited Half-Life", CHL). Eu concedo que esse indicador tem alguma
relevância para revistas que publicam primordialmente artigos de
Estatística Matemática, pois espera-se que novos resultados teóricos tenham
perenidade temporal. Mas por que tal indicador é tão importante para
artigos de Estatística Aplicada e para artigos de Estatística
Computacional? É bom lembrar que a Estatística é uma área diversa. Assim,
sustento que nenhum critério adotado deve punir certos aspectos de tal
diversidade. Adicionalmente, a CHL pune severamente novas revistas, que
ainda não conseguiram amealhar tempo mediano de citações elevado.

Chegamos agora a um ponto delicado e relevante: Como tratar uma revista que
se perceba ser de outra área? Pelo que entendo, nas classificações feitas
segundo os critérios da Matemática Aplicada, boas revistas de alguma outra
área não são duramente penalizadas nem há a imposição de que não podem
integrar o estrato A do QUALIS. Na Probabilidade e Estatística, contudo,
parece imperar outra valoração. (Lembremos que estamos classificando
revistas, ou seja, estamos avaliando a qualidade de revistas, e não
avaliando quanto uma publicação em uma dessas revistas deve contar numa
avaliação de carreira de um pesquisador.) Há excelentes revistas em áreas
afins e em outras áreas que devem, entendo, ser avaliadas segundo seu
mérito. Tome, por exemplo, a PLoS ONE. Ela é A1 na Biotecnologia,
Interdisciplinar, Odontologia, Psicologia, Saúde Coletiva, Sociologia e
Zootecnia. É A2 na Física, Química, Economia e outras áreas. Nossa área a
coloca como B1. O fator de impacto da PLoS ONE é 3.54 e seu article
influence é 1.21. Será que uma revista com esses indicadores não deveria
estar no estrato A do QUALIS (e.g., A2)?

Tomo agora a liberdade de citar uma experiência pessoal. Publiquei três
artigos de Estatística Aplicada numa revista de psicometria que é tida como
a melhor do mundo para estudos relacionados a inteligência: a revista
Intelligence da Elsevier. No ultimo artigo que lá publiquei tive que
atravessar cinco rodadas de revisões com cinco pareceristas em cada. O
fator de impacto da revista é 3.83 e seu article influence é 1.11. Embora
comparações de fatores de impacto entre revistas de áreas distintas deva
ser feito com cuidado, deve-se notar que: (i) em qualquer área uma revista
que tem fator de impacto próximo de quatro é, provavelmente, uma revista de
elite e (ii) o article influence permite, em boa medida, comparações entre
revistas de áreas diferentes e aquelas que possuem AI superior a um são
tipicamente revistas de elite. Pois bem, no nosso QUALIS tal revista figura
como B1. Parece-me que tal classificação indica um viés contrário a
revistas de outras áreas, mesmo aquelas de elite. Tanto quanto eu saiba,
tal posicionamento inexiste na Matemática Aplicada. Dado que o QUALIS é
único, essa divergência parece-me problemática.

Para piorar as coisas, as revistas que integram o QUALIS são classificadas
como sendo "core" (da área) e "não core" (de outras áreas) e isso parece
ser feito sem muitos critérios. Por exemplo, se não me falha a memória, na
última classificação QUALIS, o Journal of Forecasting e o International
Journal of Forecasting, que são revistas de séries temporais (portanto, de
Estatística), figuram como "não core".

No final do período passado de classificações e após a divulgação do último
QUALIS, o Programa de Pós-Graduação em Estatística da UFPE enviou um ofício
ao Coordenador da Área de Matemática da CAPES apontando sérios erros e
inconsistências de classificações de revistas (mesmo tomando-se como
balizador os próprios critérios divulgados pela CAPES para tais
classificações). Foi-nos prometida uma resposta, que nunca chegou.
Conjecturo que não houve resposta porque não seria possível conciliar as
classificações divulgadas com os critérios listados.

Em suma:

1) O QUALIS da Matemática é construído a partir de critérios muitos
díspares usados pela Matemática, pela Matemática Aplica e pela
Probabilidade/Estatística.
2) Dados os critérios divulgados pela CAPES, não é possível reproduzir as
classificações de muitas revistas constantes no QUALIS.
3) A classificação de diversas revistas da Probabilidade e Estatística me
parece ser mais estrita, em teor relativo, com todos os mutatis mutandis
pertinentes e com o data venia de praxe, do que classificações
correspondentes de revistas da Matemática e da Matemática Aplicada.
4) Parece haver um viés contra revistas de outras áreas (mesmo aquelas de
elite) nas classificações feitas no âmbito da Probabilidade/Estatística,
mas não na Matemática Aplicada. Tais revistas não recebem, assim,
tratamento uniforme.

Ressalto que sei que a classificação QUALIS é feita por uma comissão única,
mas noto novamente que há três conjuntos de critérios usados, que eles são
díspares e que muitas classificações pontuais parecem a eles não obedecer.


Para que essa longa mensagem não se encerre sem algum tonalidade
propositiva, submeto que em minha opinião o critério que melhor serve de
apoio à classificação das revistas de nossa área (Probabilidade e
Estatística), em sua amplitude e diversidade, ainda é o fator de impacto.
Como lidar com revistas de outras áreas dado que é sabido que pode haver
disparidades nesse indicador entre áreas diferentes? Há formas de se lidar
com isso com certa objetividade e sem penalizações discricionárias e
injustificadas. Por exemplo, o fator de impacto de uma revista de outra
área poderia ser multiplicado pelo article influente da revista (ou seja,
poder-se-ia, para revistas de outras áreas tomar FI*AI ao invés de apenas
FI). Se uma dada revista de outra área não for de elevada qualidade, mas
possuir fator de impacto elevado, seu article influence será
consideravelmente inferior a um e tal multiplicação (FI*AI) ofertaria uma
penalização por qualidade. Revistas de outras áreas com fator de impacto
alto e article influence elevado (i.e., revistas de elite) não seriam
penalizadas.

Por fim, ressalto que não critico o trabalho de qualquer comissão e que
entendo as limitações que tais trabalhos usualmente ensejam. Eu mesmo já as
enfrentei em dose maior do que gostaria. O importante é que, com o passar
do tempo, aprendamos com eventuais erros cometidos e que busquemos
aperfeiçoamento. Acho que tal aperfeiçoamento, em particular, é imperativo
para a área de Probabilidade e Estatística no momento atual.

Um abraço para você e saudações a todos os membros da ABE-L.

Francisco Cribari Neto
Departamento de Estatística
Universidade Federal de Pernambuco

cc: Prof. Luis Renato G. Fontes, membro do CA-MA do CNPq (área:
Probabilidade e Estatística)
    Profa. Nancy Lopes Garcia, membro do CA-MA do CNPq (área: Probabilidade
e Estatística)
    Prof. Gregório Pacelli F. Bessa, coordenador de área de Matemática da
CAPES

On Mon, Jul 2, 2018 at 12:13 PM Carlos Alberto de Bragança Pereira <
cpereira em ime.usp.br> wrote:

>
> Copio aos membros do CA do CNPq, rbras e abe. Cópia em pdf anexada.
>
>
> __________________________________________________________________________________________________
>
> Saudosismo e Inversão de Mérito
>
> Meus caros redistas, amigos e colegas
>
> A mensagem da Professora Lisbeth sobre a ciência e cultura
> digitalizada me fez lembrar com saudade de minha história na academia:
> encontrei meu primeiro artigo “científico”, baseado na minha
> dissertação de mestrado.
>
>
> http://memoria.bn.br/DocReader/docreader.aspx?bib=003069&pasta=ano%20197&pesq=Carlos%20Alberto%20de%20Bragan%C3%A7a%20Pereira
>
> 15 de dezembro de 1970 é a data da publicação, consequentemente muitos
> de vocês ainda não haviam nascido.  Minha primeira colaboração
> apareceu em 1975: Mutation Research v 28, pp 449-454.  Foi submetido
> este artigo em 22/10/54.  Neste artigo eu usei uma verossimilhança
> parcial cuja teoria foi publicada por DR Cox em 1975.  Entendi então
> que ser útil a sociedade científica era gratificante.
>
> Mesmo tendo viajado para meu programa de doutorado TEÓRICO em 1977
> (concluído em 1980), minha visão sempre foi o de um estatístico que
> tenta apresentar boas soluções e analisa dados de forma científica. O
> fato de eu ter descoberto o caminho naquela primeira publicação
> internacional me permitiu ter uma série de artigos na área de
> citogenética.  Continuei dando suporte aos doutorados de muitos alunos
> dos programas de biologia e medicina, claro, colaborando também com
> cientistas dessas áreas.  Até hoje coordeno a coleta e as análises dos
> dados de acadêmicos de várias das áreas médicas e biológicas.
>
> Esse breve histórico do meu caminho como estatístico é para entenderem
> a minha indignação com acontecimentos recentes ligados à minha
> carreira como estatístico.
>
> Como pesquisador (bolsista de produtividade desde 1981) do CNPq fui
> galgando níveis na hierarquia do CNPq até parar no nível 1B.  Fiquei
> ali talvez com a ideia de que algum dia meus pares me considerassem
> para o nível 1A, o que nunca ocorreu. Esse ano, no entanto, me
> enviaram para o nível 1C.  Minha convicção, quando me comparei com
> meus pares, é a de que minha autoavaliação está correta. Eu não devia
> ter sido rebaixado!  Para meu argumento ser entendido por todos tive
> de construir a tabela comparativa que apresento na sequência. O
> argumento do rebaixamento foi o de que eu produzia em estatística
> aplicada ou publicava em revistas de outras áreas.  Publiquei como
> coautor 32 artigos científicos, com 14 deles na área da estatística,
> nesses últimos 4 anos.  Além de um livro em colaboração com meu irmão
> (na Springer) publiquei 3 capítulos de livros todos na área de
> estatística.
>
> Na tabela comparativa coloquei apenas todos os pesquisadores de nível
> 1-A e evidentemente nossa representante da estatística.  Olhando a
> produtividade de nossos dois representantes, constatei que tiveram
> apenas 5 artigos publicados nos últimos 5 anos.  Desses 10, oito foram
> em revistas de outra área e apenas dois em probabilidade.  Recomendo
> então que as pessoas, antes de avaliarem outros pesquisadores, devem
> sempre fazer uma autoavaliação. Tenho certeza que meus representantes
> do nosso CA deveriam ter impedido o meu rebaixamento.
>
> Finalizo então este meu texto com uma tabela comparativa de índices de
> produtividade. Considerei apenas os colegas de nível 1-A juntamente
> com nossa representante da estatística com nível 1B.  Coloquei o
> número da ordem alfabética dos nomes desses colegas.  Usei apenas os
> índices do GOOGLE SCHOLAR (dos que permitiram ao GOOGLE publicar), WEB
> OF SCIENCE (ISI) e SCOPUS.  Usei obviamente tanto o Lattes quanto o
> GOOGLE de cada um.
>
> A tabela está em anexo, logo após o texto
> 1 de julho é a moda, a média e a moda do ano: Sou assim (aos 72) um
> estatístico nato.
>
>
>
>
>
>
>
> --
> Carlos Alberto de Bragança Pereira
> http://www.ime.usp.br/~cpereira
> http://scholar.google.com.br/citations?user=PXX2AygAAAAJ&hl=pt-BR
> Stat Department - Professor & Head
> University of São Paulo
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/listinfo/abe
>


-- 
Francisco Cribari - http://www.cribari.com.br - "All theory, my friend, is
gray, but green is life's glad golden tree." --Goethe (Faust)
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20180702/94c632ea/attachment.html>