<div dir="ltr"><div>02/07/2018</div><div><br></div><div>Caro Carlinhos, </div><div><br></div><div>Eu servi recentemente como membro do CA-ME do CNPq. Não posso e não vou comentar sobre seu caso específico. Sua seriedade como pesquisador é amplamente conhecida e eu sempre nutri admiração e respeito por você enquanto profissional. Por outro lado, conheço as complexidades das avaliações feitas no âmbito do CNPq e a seriedade de todos os membros do CA-ME. Assim, nada posso comentar sobre o caso em pauta. </div><div><br></div><div>Aproveitarei, todavia, sua mensagem para tocar num ponto sensível, crucial: O QUALIS é --- reconheçamos --- rotineiramente usado em avaliações individuais, inclusive naquelas feitas no âmbito do CNPq. É até mesmo usado por avaliadores ad hoc nos pareceres que elaboram para tal órgão de fomento. O CA-MA tipicamente conta com dois membros de nossa área (Probabilidade e Estatística) e com quantitativo consideravelmente superior de membros da Matemática. Quando um processo é analisado no CNPq, o sistema online disponível aos membros do comitê mostra uma listagem das publicações mais recentes do pesquisador solicitante juntamente com as classificações QUALIS de cada revista (e outras informações). Após me debruçar detidamente e ao longo dos últimos vários anos sobre o QUALIS, meu sentimento é que muitas revistas da nossa área (Probabilidade e Estatística, Estatística em especial) se encontram subclassificadas relativamente às da Matemática e da Matemática Aplicada. Obviamente, trata-se --- e é importante ressaltar --- de sentimento de cunho pessoal. </div><div><br></div><div>Lembremos que há um QUALIS único para as revistas de: (i) Probabilidade e Estatística, (ii) Matemática Aplicada e (iii) Matemática. Contudo, os critérios usados por essas três áreas para qualificar as revistas que consideram ser de seu domínio ou em que pesquisadores de programas de pós-graduação daquela área publicaram são muito distintos. Suponha que o pesquisador X publicou na revista Y que ainda não está qualificada no QUALIS. Se tal pesquisador fizer parte do corpo docente de um programa de pós-graduação em Matemática Aplicada a revista receberá, de acordo com os critérios elencados, o conceito Z1; se o autor do artigo integrar um programa da Probabilidade e Estatística, o conceito será Z2. E nem sempre Z1 é igual a Z2. Em geral, Z1 é diferente de Z2. Muitas vezes, Z1 é consideravelmente diferente de Z2. Isso é um problema? Creio que sim, pois o QUALIS é único para as três áreas e esperar-se-ia que quaisquer desvios de classificação, mesmo inevitáveis, fossem minimizados.</div><div><br></div><div>Para piorar, há divergência entre os critérios divulgados publicamente como tendo sido usados para se chegar à classificação QUALIS e as classificações QUALIS efetivamente divulgadas. Aqui está um exercício interessante: Pegue os critérios divulgados pela CAPES para classificação de revistas em nossa área, pegue os indicadores bibliométricos das revistas da área e tente reproduzir a classificação QUALIS divulgada pela CAPES. Fica a sugestão. </div><div><br></div><div>Outro problema é a volatilidade nas classificações. Os integrantes da comissão da CAPES que produzem a classificação de nossa área têm mudado constantemente (às vezes de ano para ano) e isso termina acarretando volatilidade apreciável. Recentemente, foram divulgados dois QUALIS de nossa área num intervalo, creio, de aproximadamente seis meses. Nominalmente, os critérios que deveriam ser usados para produzir as classificações não mudaram entre essas duas instâncias, mas houve considerável mudança nas classificações de nossas revistas. Eu imagino que seus indicadores não variaram substancialmente em meio ano. Pergunta: Por que então tantas classificações foram alteradas? </div><div><br></div><div>Voltemos agora às classificações feitas segundo os critérios listados para: (i) Probabilidade e Estatística, (ii) Matemática Aplicada e (iii) Matemática. Na Matemática, noto, há revista com fator de impacto (FI) inferior a 0.7 que tem classificação A1 (para citar apenas um exemplo). E na nossa área? Tomemos alguns poucos casos: </div><div><br></div><div>* Computational Statistics & Data Analysis: FI=1.69, classificação: B1</div><div>* International Journal of Forecasting: FI=2.34, classificação: B2 </div><div>* Journal of Statistical Software: FI=9.91, classificação: B1</div><div>* Mathematics and Computers in Simulation: FI=1.22, classificação: B2</div><div><br></div><div>Alguém poderia desejar recorrer ao uso do indicador conhecido como "Article Influence" (AI) para justificar algumas aberrações identificadas, mas o AI do JSS é 4.70 (sim, quase cinco!), o do IFJ é 1.33, o do CSDA é 0.93 e assim por diante. Ademais, embora esse indicador seja relevante, há que se ter cuidado com seu uso em classificações de periódicos. Ele é fortemente bimodal e parece ser mais útil para ordenar e classificar apenas revistas do estrato mais superior de qualidade (como feito num artigo recentemente publicado sobre o tema em tela). Ele não deve ser usado cegamente. </div><div><br></div><div>Algumas classificações de revistas da nossa área (Probabilidade e Estatística) têm sido fortemente pautadas no tempo mediano das citações ("Cited Half-Life", CHL). Eu concedo que esse indicador tem alguma relevância para revistas que publicam primordialmente artigos de Estatística Matemática, pois espera-se que novos resultados teóricos tenham perenidade temporal. Mas por que tal indicador é tão importante para artigos de Estatística Aplicada e para artigos de Estatística Computacional? É bom lembrar que a Estatística é uma área diversa. Assim, sustento que nenhum critério adotado deve punir certos aspectos de tal diversidade. Adicionalmente, a CHL pune severamente novas revistas, que ainda não conseguiram amealhar tempo mediano de citações elevado. </div><div><br></div><div>Chegamos agora a um ponto delicado e relevante: Como tratar uma revista que se perceba ser de outra área? Pelo que entendo, nas classificações feitas segundo os critérios da Matemática Aplicada, boas revistas de alguma outra área não são duramente penalizadas nem há a imposição de que não podem integrar o estrato A do QUALIS. Na Probabilidade e Estatística, contudo, parece imperar outra valoração. (Lembremos que estamos classificando revistas, ou seja, estamos avaliando a qualidade de revistas, e não avaliando quanto uma publicação em uma dessas revistas deve contar numa avaliação de carreira de um pesquisador.) Há excelentes revistas em áreas afins e em outras áreas que devem, entendo, ser avaliadas segundo seu mérito. Tome, por exemplo, a PLoS ONE. Ela é A1 na Biotecnologia, Interdisciplinar, Odontologia, Psicologia, Saúde Coletiva, Sociologia e Zootecnia. É A2 na Física, Química, Economia e outras áreas. Nossa área a coloca como B1. O fator de impacto da PLoS ONE é 3.54 e seu article influence é 1.21. Será que uma revista com esses indicadores não deveria estar no estrato A do QUALIS (e.g., A2)? </div><div><br></div><div>Tomo agora a liberdade de citar uma experiência pessoal. Publiquei três artigos de Estatística Aplicada numa revista de psicometria que é tida como a melhor do mundo para estudos relacionados a inteligência: a revista Intelligence da Elsevier. No ultimo artigo que lá publiquei tive que atravessar cinco rodadas de revisões com cinco pareceristas em cada. O fator de impacto da revista é 3.83 e seu article influence é 1.11. Embora comparações de fatores de impacto entre revistas de áreas distintas deva ser feito com cuidado, deve-se notar que: (i) em qualquer área uma revista que tem fator de impacto próximo de quatro é, provavelmente, uma revista de elite e (ii) o article influence permite, em boa medida, comparações entre revistas de áreas diferentes e aquelas que possuem AI superior a um são tipicamente revistas de elite. Pois bem, no nosso QUALIS tal revista figura como B1. Parece-me que tal classificação indica um viés contrário a revistas de outras áreas, mesmo aquelas de elite. Tanto quanto eu saiba, tal posicionamento inexiste na Matemática Aplicada. Dado que o QUALIS é único, essa divergência parece-me problemática. </div><div><br></div><div>Para piorar as coisas, as revistas que integram o QUALIS são classificadas como sendo "core" (da área) e "não core" (de outras áreas) e isso parece ser feito sem muitos critérios. Por exemplo, se não me falha a memória, na última classificação QUALIS, o Journal of Forecasting e o International Journal of Forecasting, que são revistas de séries temporais (portanto, de Estatística), figuram como "não core". </div><div><br></div><div>No final do período passado de classificações e após a divulgação do último QUALIS, o Programa de Pós-Graduação em Estatística da UFPE enviou um ofício ao Coordenador da Área de Matemática da CAPES apontando sérios erros e inconsistências de classificações de revistas (mesmo tomando-se como balizador os próprios critérios divulgados pela CAPES para tais classificações). Foi-nos prometida uma resposta, que nunca chegou. Conjecturo que não houve resposta porque não seria possível conciliar as classificações divulgadas com os critérios listados.  </div><div><br></div><div>Em suma: </div><div><br></div><div>1) O QUALIS da Matemática é construído a partir de critérios muitos díspares usados pela Matemática, pela Matemática Aplica e pela Probabilidade/Estatística.</div><div>2) Dados os critérios divulgados pela CAPES, não é possível reproduzir as classificações de muitas revistas constantes no QUALIS. </div><div>3) A classificação de diversas revistas da Probabilidade e Estatística me parece ser mais estrita, em teor relativo, com todos os mutatis mutandis pertinentes e com o data venia de praxe, do que classificações correspondentes de revistas da Matemática e da Matemática Aplicada. </div><div>4) Parece haver um viés contra revistas de outras áreas (mesmo aquelas de elite) nas classificações feitas no âmbito da Probabilidade/Estatística, mas não na Matemática Aplicada. Tais revistas não recebem, assim, tratamento uniforme. </div><div><br></div><div>Ressalto que sei que a classificação QUALIS é feita por uma comissão única, mas noto novamente que há três conjuntos de critérios usados, que eles são díspares e que muitas classificações pontuais parecem a eles não obedecer.   </div><div><br></div><div>Para que essa longa mensagem não se encerre sem algum tonalidade propositiva, submeto que em minha opinião o critério que melhor serve de apoio à classificação das revistas de nossa área (Probabilidade e Estatística), em sua amplitude e diversidade, ainda é o fator de impacto. Como lidar com revistas de outras áreas dado que é sabido que pode haver disparidades nesse indicador entre áreas diferentes? Há formas de se lidar com isso com certa objetividade e sem penalizações discricionárias e injustificadas. Por exemplo, o fator de impacto de uma revista de outra área poderia ser multiplicado pelo article influente da revista (ou seja, poder-se-ia, para revistas de outras áreas tomar FI*AI ao invés de apenas FI). Se uma dada revista de outra área não for de elevada qualidade, mas possuir fator de impacto elevado, seu article influence será consideravelmente inferior a um e tal multiplicação (FI*AI) ofertaria uma penalização por qualidade. Revistas de outras áreas com fator de impacto alto e article influence elevado (i.e., revistas de elite) não seriam penalizadas. </div><div><br></div><div>Por fim, ressalto que não critico o trabalho de qualquer comissão e que entendo as limitações que tais trabalhos usualmente ensejam. Eu mesmo já as enfrentei em dose maior do que gostaria. O importante é que, com o passar do tempo, aprendamos com eventuais erros cometidos e que busquemos aperfeiçoamento. Acho que tal aperfeiçoamento, em particular, é imperativo para a área de Probabilidade e Estatística no momento atual. </div><div><br></div><div>Um abraço para você e saudações a todos os membros da ABE-L. </div><div><br></div><div>Francisco Cribari Neto </div><div>Departamento de Estatística</div><div>Universidade Federal de Pernambuco </div><div><br></div><div>cc: Prof. Luis Renato G. Fontes, membro do CA-MA do CNPq (área: Probabilidade e Estatística)</div><div>    Profa. Nancy Lopes Garcia, membro do CA-MA do CNPq (área: Probabilidade e Estatística)</div><div>    Prof. Gregório Pacelli F. Bessa, coordenador de área de Matemática da CAPES </div></div><br><div class="gmail_quote"><div dir="ltr">On Mon, Jul 2, 2018 at 12:13 PM Carlos Alberto de Bragança Pereira <<a href="mailto:cpereira@ime.usp.br">cpereira@ime.usp.br</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
Copio aos membros do CA do CNPq, rbras e abe. Cópia em pdf anexada.<br>
<br>
__________________________________________________________________________________________________<br>
<br>
Saudosismo e Inversão de Mérito<br>
<br>
Meus caros redistas, amigos e colegas<br>
<br>
A mensagem da Professora Lisbeth sobre a ciência e cultura  <br>
digitalizada me fez lembrar com saudade de minha história na academia:  <br>
encontrei meu primeiro artigo “científico”, baseado na minha  <br>
dissertação de mestrado.<br>
<br>
<a href="http://memoria.bn.br/DocReader/docreader.aspx?bib=003069&pasta=ano%20197&pesq=Carlos%20Alberto%20de%20Bragan%C3%A7a%20Pereira" rel="noreferrer" target="_blank">http://memoria.bn.br/DocReader/docreader.aspx?bib=003069&pasta=ano%20197&pesq=Carlos%20Alberto%20de%20Bragan%C3%A7a%20Pereira</a><br>
<br>
15 de dezembro de 1970 é a data da publicação, consequentemente muitos  <br>
de vocês ainda não haviam nascido.  Minha primeira colaboração  <br>
apareceu em 1975: Mutation Research v 28, pp 449-454.  Foi submetido  <br>
este artigo em 22/10/54.  Neste artigo eu usei uma verossimilhança  <br>
parcial cuja teoria foi publicada por DR Cox em 1975.  Entendi então  <br>
que ser útil a sociedade científica era gratificante.<br>
<br>
Mesmo tendo viajado para meu programa de doutorado TEÓRICO em 1977  <br>
(concluído em 1980), minha visão sempre foi o de um estatístico que  <br>
tenta apresentar boas soluções e analisa dados de forma científica. O  <br>
fato de eu ter descoberto o caminho naquela primeira publicação  <br>
internacional me permitiu ter uma série de artigos na área de  <br>
citogenética.  Continuei dando suporte aos doutorados de muitos alunos  <br>
dos programas de biologia e medicina, claro, colaborando também com  <br>
cientistas dessas áreas.  Até hoje coordeno a coleta e as análises dos  <br>
dados de acadêmicos de várias das áreas médicas e biológicas.<br>
<br>
Esse breve histórico do meu caminho como estatístico é para entenderem  <br>
a minha indignação com acontecimentos recentes ligados à minha  <br>
carreira como estatístico.<br>
<br>
Como pesquisador (bolsista de produtividade desde 1981) do CNPq fui  <br>
galgando níveis na hierarquia do CNPq até parar no nível 1B.  Fiquei  <br>
ali talvez com a ideia de que algum dia meus pares me considerassem  <br>
para o nível 1A, o que nunca ocorreu. Esse ano, no entanto, me  <br>
enviaram para o nível 1C.  Minha convicção, quando me comparei com  <br>
meus pares, é a de que minha autoavaliação está correta. Eu não devia  <br>
ter sido rebaixado!  Para meu argumento ser entendido por todos tive  <br>
de construir a tabela comparativa que apresento na sequência. O  <br>
argumento do rebaixamento foi o de que eu produzia em estatística  <br>
aplicada ou publicava em revistas de outras áreas.  Publiquei como  <br>
coautor 32 artigos científicos, com 14 deles na área da estatística,  <br>
nesses últimos 4 anos.  Além de um livro em colaboração com meu irmão  <br>
(na Springer) publiquei 3 capítulos de livros todos na área de  <br>
estatística.<br>
<br>
Na tabela comparativa coloquei apenas todos os pesquisadores de nível  <br>
1-A e evidentemente nossa representante da estatística.  Olhando a  <br>
produtividade de nossos dois representantes, constatei que tiveram  <br>
apenas 5 artigos publicados nos últimos 5 anos.  Desses 10, oito foram  <br>
em revistas de outra área e apenas dois em probabilidade.  Recomendo  <br>
então que as pessoas, antes de avaliarem outros pesquisadores, devem  <br>
sempre fazer uma autoavaliação. Tenho certeza que meus representantes  <br>
do nosso CA deveriam ter impedido o meu rebaixamento.<br>
<br>
Finalizo então este meu texto com uma tabela comparativa de índices de  <br>
produtividade. Considerei apenas os colegas de nível 1-A juntamente  <br>
com nossa representante da estatística com nível 1B.  Coloquei o  <br>
número da ordem alfabética dos nomes desses colegas.  Usei apenas os  <br>
índices do GOOGLE SCHOLAR (dos que permitiram ao GOOGLE publicar), WEB  <br>
OF SCIENCE (ISI) e SCOPUS.  Usei obviamente tanto o Lattes quanto o  <br>
GOOGLE de cada um.<br>
<br>
A tabela está em anexo, logo após o texto<br>
1 de julho é a moda, a média e a moda do ano: Sou assim (aos 72) um  <br>
estatístico nato.<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
-- <br>
Carlos Alberto de Bragança Pereira<br>
<a href="http://www.ime.usp.br/~cpereira" rel="noreferrer" target="_blank">http://www.ime.usp.br/~cpereira</a><br>
<a href="http://scholar.google.com.br/citations?user=PXX2AygAAAAJ&hl=pt-BR" rel="noreferrer" target="_blank">http://scholar.google.com.br/citations?user=PXX2AygAAAAJ&hl=pt-BR</a><br>
Stat Department - Professor & Head<br>
University of São Paulo<br>
<br>
_______________________________________________<br>
abe mailing list<br>
<a href="mailto:abe@lists.ime.usp.br" target="_blank">abe@lists.ime.usp.br</a><br>
<a href="https://lists.ime.usp.br/listinfo/abe" rel="noreferrer" target="_blank">https://lists.ime.usp.br/listinfo/abe</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Francisco Cribari - <a href="http://www.cribari.com.br" target="_blank">http://www.cribari.com.br</a> - "All theory, my friend, is gray, but green is life's glad golden tree." --Goethe (Faust) </div></div></div>