[ABE-L] Saudosismo e Inversão de Mérito

Seg Jul 2 19:46:32 -03 2018

Caros,

My two cents neste tema:

Gostaria apenas de recordar que no passado o Qualis de cada área era
composto por 3 níveis A, B e C para classificar os periódicos e os
erros grosseiros
apontados pelo Francisco (e outros que sabemos) eram minimizados.

Depois que adotaram 7 níveis (A1-A2, B1-B5), os erros grosseiros do
Qualis contrários a algumas subáreas da Estatística na CAPES
cresceram muito. Eu participei da última reunião da CAPES de
classificação dos programas da pós-graduação no ano passado e comentei
com alguns colegas presentes sobre inúmeros desses erros.

O que observo ainda no macro é que existem conceitos de alguns
programas de pós-graduação de Estatística que estão subavaliados em
relação
a outros de áreas afins como, por exemplo,  Engenharia de Produção.

Cordiais Saudações.

Gauss

Em 2 de julho de 2018 19:07, Francisco Cribari <cribari em gmail.com> escreveu:
> 02/07/2018
>
> Caro Carlinhos,
>
> Eu servi recentemente como membro do CA-ME do CNPq. Não posso e não vou
> comentar sobre seu caso específico. Sua seriedade como pesquisador é
> amplamente conhecida e eu sempre nutri admiração e respeito por você
> enquanto profissional. Por outro lado, conheço as complexidades das
> avaliações feitas no âmbito do CNPq e a seriedade de todos os membros do
> CA-ME. Assim, nada posso comentar sobre o caso em pauta.
>
> Aproveitarei, todavia, sua mensagem para tocar num ponto sensível, crucial:
> O QUALIS é --- reconheçamos --- rotineiramente usado em avaliações
> individuais, inclusive naquelas feitas no âmbito do CNPq. É até mesmo usado
> por avaliadores ad hoc nos pareceres que elaboram para tal órgão de fomento.
> O CA-MA tipicamente conta com dois membros de nossa área (Probabilidade e
> Estatística) e com quantitativo consideravelmente superior de membros da
> Matemática. Quando um processo é analisado no CNPq, o sistema online
> disponível aos membros do comitê mostra uma listagem das publicações mais
> recentes do pesquisador solicitante juntamente com as classificações QUALIS
> de cada revista (e outras informações). Após me debruçar detidamente e ao
> longo dos últimos vários anos sobre o QUALIS, meu sentimento é que muitas
> revistas da nossa área (Probabilidade e Estatística, Estatística em
> especial) se encontram subclassificadas relativamente às da Matemática e da
> Matemática Aplicada. Obviamente, trata-se --- e é importante ressaltar ---
> de sentimento de cunho pessoal.
>
> Lembremos que há um QUALIS único para as revistas de: (i) Probabilidade e
> Estatística, (ii) Matemática Aplicada e (iii) Matemática. Contudo, os
> critérios usados por essas três áreas para qualificar as revistas que
> consideram ser de seu domínio ou em que pesquisadores de programas de
> pós-graduação daquela área publicaram são muito distintos. Suponha que o
> pesquisador X publicou na revista Y que ainda não está qualificada no
> QUALIS. Se tal pesquisador fizer parte do corpo docente de um programa de
> pós-graduação em Matemática Aplicada a revista receberá, de acordo com os
> critérios elencados, o conceito Z1; se o autor do artigo integrar um
> programa da Probabilidade e Estatística, o conceito será Z2. E nem sempre Z1
> é igual a Z2. Em geral, Z1 é diferente de Z2. Muitas vezes, Z1 é
> consideravelmente diferente de Z2. Isso é um problema? Creio que sim, pois o
> QUALIS é único para as três áreas e esperar-se-ia que quaisquer desvios de
> classificação, mesmo inevitáveis, fossem minimizados.
>
> Para piorar, há divergência entre os critérios divulgados publicamente como
> tendo sido usados para se chegar à classificação QUALIS e as classificações
> QUALIS efetivamente divulgadas. Aqui está um exercício interessante: Pegue
> os critérios divulgados pela CAPES para classificação de revistas em nossa
> área, pegue os indicadores bibliométricos das revistas da área e tente
> reproduzir a classificação QUALIS divulgada pela CAPES. Fica a sugestão.
>
> Outro problema é a volatilidade nas classificações. Os integrantes da
> comissão da CAPES que produzem a classificação de nossa área têm mudado
> constantemente (às vezes de ano para ano) e isso termina acarretando
> volatilidade apreciável. Recentemente, foram divulgados dois QUALIS de nossa
> área num intervalo, creio, de aproximadamente seis meses. Nominalmente, os
> critérios que deveriam ser usados para produzir as classificações não
> mudaram entre essas duas instâncias, mas houve considerável mudança nas
> classificações de nossas revistas. Eu imagino que seus indicadores não
> variaram substancialmente em meio ano. Pergunta: Por que então tantas
> classificações foram alteradas?
>
> Voltemos agora às classificações feitas segundo os critérios listados para:
> (i) Probabilidade e Estatística, (ii) Matemática Aplicada e (iii)
> Matemática. Na Matemática, noto, há revista com fator de impacto (FI)
> inferior a 0.7 que tem classificação A1 (para citar apenas um exemplo). E na
> nossa área? Tomemos alguns poucos casos:
>
> * Computational Statistics & Data Analysis: FI=1.69, classificação: B1
> * International Journal of Forecasting: FI=2.34, classificação: B2
> * Journal of Statistical Software: FI=9.91, classificação: B1
> * Mathematics and Computers in Simulation: FI=1.22, classificação: B2
>
> Alguém poderia desejar recorrer ao uso do indicador conhecido como "Article
> Influence" (AI) para justificar algumas aberrações identificadas, mas o AI
> do JSS é 4.70 (sim, quase cinco!), o do IFJ é 1.33, o do CSDA é 0.93 e assim
> por diante. Ademais, embora esse indicador seja relevante, há que se ter
> cuidado com seu uso em classificações de periódicos. Ele é fortemente
> bimodal e parece ser mais útil para ordenar e classificar apenas revistas do
> estrato mais superior de qualidade (como feito num artigo recentemente
> publicado sobre o tema em tela). Ele não deve ser usado cegamente.
>
> Algumas classificações de revistas da nossa área (Probabilidade e
> Estatística) têm sido fortemente pautadas no tempo mediano das citações
> ("Cited Half-Life", CHL). Eu concedo que esse indicador tem alguma
> relevância para revistas que publicam primordialmente artigos de Estatística
> Matemática, pois espera-se que novos resultados teóricos tenham perenidade
> temporal. Mas por que tal indicador é tão importante para artigos de
> Estatística Aplicada e para artigos de Estatística Computacional? É bom
> lembrar que a Estatística é uma área diversa. Assim, sustento que nenhum
> critério adotado deve punir certos aspectos de tal diversidade.
> Adicionalmente, a CHL pune severamente novas revistas, que ainda não
> conseguiram amealhar tempo mediano de citações elevado.
>
> Chegamos agora a um ponto delicado e relevante: Como tratar uma revista que
> se perceba ser de outra área? Pelo que entendo, nas classificações feitas
> segundo os critérios da Matemática Aplicada, boas revistas de alguma outra
> área não são duramente penalizadas nem há a imposição de que não podem
> integrar o estrato A do QUALIS. Na Probabilidade e Estatística, contudo,
> parece imperar outra valoração. (Lembremos que estamos classificando
> revistas, ou seja, estamos avaliando a qualidade de revistas, e não
> avaliando quanto uma publicação em uma dessas revistas deve contar numa
> avaliação de carreira de um pesquisador.) Há excelentes revistas em áreas
> afins e em outras áreas que devem, entendo, ser avaliadas segundo seu
> mérito. Tome, por exemplo, a PLoS ONE. Ela é A1 na Biotecnologia,
> Interdisciplinar, Odontologia, Psicologia, Saúde Coletiva, Sociologia e
> Zootecnia. É A2 na Física, Química, Economia e outras áreas. Nossa área a
> coloca como B1. O fator de impacto da PLoS ONE é 3.54 e seu article
> influence é 1.21. Será que uma revista com esses indicadores não deveria
> estar no estrato A do QUALIS (e.g., A2)?
>
> Tomo agora a liberdade de citar uma experiência pessoal. Publiquei três
> artigos de Estatística Aplicada numa revista de psicometria que é tida como
> a melhor do mundo para estudos relacionados a inteligência: a revista
> Intelligence da Elsevier. No ultimo artigo que lá publiquei tive que
> atravessar cinco rodadas de revisões com cinco pareceristas em cada. O fator
> de impacto da revista é 3.83 e seu article influence é 1.11. Embora
> comparações de fatores de impacto entre revistas de áreas distintas deva ser
> feito com cuidado, deve-se notar que: (i) em qualquer área uma revista que
> tem fator de impacto próximo de quatro é, provavelmente, uma revista de
> elite e (ii) o article influence permite, em boa medida, comparações entre
> revistas de áreas diferentes e aquelas que possuem AI superior a um são
> tipicamente revistas de elite. Pois bem, no nosso QUALIS tal revista figura
> como B1. Parece-me que tal classificação indica um viés contrário a revistas
> de outras áreas, mesmo aquelas de elite. Tanto quanto eu saiba, tal
> posicionamento inexiste na Matemática Aplicada. Dado que o QUALIS é único,
> essa divergência parece-me problemática.
>
> Para piorar as coisas, as revistas que integram o QUALIS são classificadas
> como sendo "core" (da área) e "não core" (de outras áreas) e isso parece ser
> feito sem muitos critérios. Por exemplo, se não me falha a memória, na
> última classificação QUALIS, o Journal of Forecasting e o International
> Journal of Forecasting, que são revistas de séries temporais (portanto, de
> Estatística), figuram como "não core".
>
> No final do período passado de classificações e após a divulgação do último
> QUALIS, o Programa de Pós-Graduação em Estatística da UFPE enviou um ofício
> ao Coordenador da Área de Matemática da CAPES apontando sérios erros e
> inconsistências de classificações de revistas (mesmo tomando-se como
> balizador os próprios critérios divulgados pela CAPES para tais
> classificações). Foi-nos prometida uma resposta, que nunca chegou.
> Conjecturo que não houve resposta porque não seria possível conciliar as
> classificações divulgadas com os critérios listados.
>
> Em suma:
>
> 1) O QUALIS da Matemática é construído a partir de critérios muitos díspares
> usados pela Matemática, pela Matemática Aplica e pela
> Probabilidade/Estatística.
> 2) Dados os critérios divulgados pela CAPES, não é possível reproduzir as
> classificações de muitas revistas constantes no QUALIS.
> 3) A classificação de diversas revistas da Probabilidade e Estatística me
> parece ser mais estrita, em teor relativo, com todos os mutatis mutandis
> pertinentes e com o data venia de praxe, do que classificações
> correspondentes de revistas da Matemática e da Matemática Aplicada.
> 4) Parece haver um viés contra revistas de outras áreas (mesmo aquelas de
> elite) nas classificações feitas no âmbito da Probabilidade/Estatística, mas
> não na Matemática Aplicada. Tais revistas não recebem, assim, tratamento
> uniforme.
>
> Ressalto que sei que a classificação QUALIS é feita por uma comissão única,
> mas noto novamente que há três conjuntos de critérios usados, que eles são
> díspares e que muitas classificações pontuais parecem a eles não obedecer.
>
> Para que essa longa mensagem não se encerre sem algum tonalidade
> propositiva, submeto que em minha opinião o critério que melhor serve de
> apoio à classificação das revistas de nossa área (Probabilidade e
> Estatística), em sua amplitude e diversidade, ainda é o fator de impacto.
> Como lidar com revistas de outras áreas dado que é sabido que pode haver
> disparidades nesse indicador entre áreas diferentes? Há formas de se lidar
> com isso com certa objetividade e sem penalizações discricionárias e
> injustificadas. Por exemplo, o fator de impacto de uma revista de outra área
> poderia ser multiplicado pelo article influente da revista (ou seja,
> poder-se-ia, para revistas de outras áreas tomar FI*AI ao invés de apenas
> FI). Se uma dada revista de outra área não for de elevada qualidade, mas
> possuir fator de impacto elevado, seu article influence será
> consideravelmente inferior a um e tal multiplicação (FI*AI) ofertaria uma
> penalização por qualidade. Revistas de outras áreas com fator de impacto
> alto e article influence elevado (i.e., revistas de elite) não seriam
> penalizadas.
>
> Por fim, ressalto que não critico o trabalho de qualquer comissão e que
> entendo as limitações que tais trabalhos usualmente ensejam. Eu mesmo já as
> enfrentei em dose maior do que gostaria. O importante é que, com o passar do
> tempo, aprendamos com eventuais erros cometidos e que busquemos
> aperfeiçoamento. Acho que tal aperfeiçoamento, em particular, é imperativo
> para a área de Probabilidade e Estatística no momento atual.
>
> Um abraço para você e saudações a todos os membros da ABE-L.
>
> Francisco Cribari Neto
> Departamento de Estatística
> Universidade Federal de Pernambuco
>
> cc: Prof. Luis Renato G. Fontes, membro do CA-MA do CNPq (área:
> Probabilidade e Estatística)
>     Profa. Nancy Lopes Garcia, membro do CA-MA do CNPq (área: Probabilidade
> e Estatística)
>     Prof. Gregório Pacelli F. Bessa, coordenador de área de Matemática da
> CAPES
>
> On Mon, Jul 2, 2018 at 12:13 PM Carlos Alberto de Bragança Pereira
> <cpereira em ime.usp.br> wrote:
>>
>>
>> Copio aos membros do CA do CNPq, rbras e abe. Cópia em pdf anexada.
>>
>>
>> __________________________________________________________________________________________________
>>
>> Saudosismo e Inversão de Mérito
>>
>> Meus caros redistas, amigos e colegas
>>
>> A mensagem da Professora Lisbeth sobre a ciência e cultura
>> digitalizada me fez lembrar com saudade de minha história na academia:
>> encontrei meu primeiro artigo “científico”, baseado na minha
>> dissertação de mestrado.
>>
>>
>> http://memoria.bn.br/DocReader/docreader.aspx?bib=003069&pasta=ano%20197&pesq=Carlos%20Alberto%20de%20Bragan%C3%A7a%20Pereira
>>
>> 15 de dezembro de 1970 é a data da publicação, consequentemente muitos
>> de vocês ainda não haviam nascido.  Minha primeira colaboração
>> apareceu em 1975: Mutation Research v 28, pp 449-454.  Foi submetido
>> este artigo em 22/10/54.  Neste artigo eu usei uma verossimilhança
>> parcial cuja teoria foi publicada por DR Cox em 1975.  Entendi então
>> que ser útil a sociedade científica era gratificante.
>>
>> Mesmo tendo viajado para meu programa de doutorado TEÓRICO em 1977
>> (concluído em 1980), minha visão sempre foi o de um estatístico que
>> tenta apresentar boas soluções e analisa dados de forma científica. O
>> fato de eu ter descoberto o caminho naquela primeira publicação
>> internacional me permitiu ter uma série de artigos na área de
>> citogenética.  Continuei dando suporte aos doutorados de muitos alunos
>> dos programas de biologia e medicina, claro, colaborando também com
>> cientistas dessas áreas.  Até hoje coordeno a coleta e as análises dos
>> dados de acadêmicos de várias das áreas médicas e biológicas.
>>
>> Esse breve histórico do meu caminho como estatístico é para entenderem
>> a minha indignação com acontecimentos recentes ligados à minha
>> carreira como estatístico.
>>
>> Como pesquisador (bolsista de produtividade desde 1981) do CNPq fui
>> galgando níveis na hierarquia do CNPq até parar no nível 1B.  Fiquei
>> ali talvez com a ideia de que algum dia meus pares me considerassem
>> para o nível 1A, o que nunca ocorreu. Esse ano, no entanto, me
>> enviaram para o nível 1C.  Minha convicção, quando me comparei com
>> meus pares, é a de que minha autoavaliação está correta. Eu não devia
>> ter sido rebaixado!  Para meu argumento ser entendido por todos tive
>> de construir a tabela comparativa que apresento na sequência. O
>> argumento do rebaixamento foi o de que eu produzia em estatística
>> aplicada ou publicava em revistas de outras áreas.  Publiquei como
>> coautor 32 artigos científicos, com 14 deles na área da estatística,
>> nesses últimos 4 anos.  Além de um livro em colaboração com meu irmão
>> (na Springer) publiquei 3 capítulos de livros todos na área de
>> estatística.
>>
>> Na tabela comparativa coloquei apenas todos os pesquisadores de nível
>> 1-A e evidentemente nossa representante da estatística.  Olhando a
>> produtividade de nossos dois representantes, constatei que tiveram
>> apenas 5 artigos publicados nos últimos 5 anos.  Desses 10, oito foram
>> em revistas de outra área e apenas dois em probabilidade.  Recomendo
>> então que as pessoas, antes de avaliarem outros pesquisadores, devem
>> sempre fazer uma autoavaliação. Tenho certeza que meus representantes
>> do nosso CA deveriam ter impedido o meu rebaixamento.
>>
>> Finalizo então este meu texto com uma tabela comparativa de índices de
>> produtividade. Considerei apenas os colegas de nível 1-A juntamente
>> com nossa representante da estatística com nível 1B.  Coloquei o
>> número da ordem alfabética dos nomes desses colegas.  Usei apenas os
>> índices do GOOGLE SCHOLAR (dos que permitiram ao GOOGLE publicar), WEB
>> OF SCIENCE (ISI) e SCOPUS.  Usei obviamente tanto o Lattes quanto o
>> GOOGLE de cada um.
>>
>> A tabela está em anexo, logo após o texto
>> 1 de julho é a moda, a média e a moda do ano: Sou assim (aos 72) um
>> estatístico nato.
>>
>>
>>
>>
>>
>>
>>
>> --
>> Carlos Alberto de Bragança Pereira
>> http://www.ime.usp.br/~cpereira
>> http://scholar.google.com.br/citations?user=PXX2AygAAAAJ&hl=pt-BR
>> Stat Department - Professor & Head
>> University of São Paulo
>>
>> _______________________________________________
>> abe mailing list
>> abe em lists.ime.usp.br
>> https://lists.ime.usp.br/listinfo/abe
>
>
>
> --
> Francisco Cribari - http://www.cribari.com.br - "All theory, my friend, is
> gray, but green is life's glad golden tree." --Goethe (Faust)
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/listinfo/abe
>