[ABE-L] Saudosismo e Inversão de Mérito

Qua Jul 4 14:18:09 -03 2018

Essa discussão me fez lembrar de um artigo que li há muito tempo (em
anexo). É de 2009, mas vale...
Att,

Ângela

Em 2 de julho de 2018 20:29, Francisco Cribari por (abe) <
abe em lists.ime.usp.br> escreveu:

> Apenas corrigindo o fator de impacto da Mathematics and Computers in
> Simulation: *IF=1.38*. A revista tem classificação A2 na Computação e B2
> na nossa área.
>
> [    ]'s FC
>
> 2018-07-02 19:46 GMT-03:00 Gauss Cordeiro por (abe) <abe em lists.ime.usp.br>
> :
>
>> Caros,
>>
>> My two cents neste tema:
>>
>> Gostaria apenas de recordar que no passado o Qualis de cada área era
>> composto por 3 níveis A, B e C para classificar os periódicos e os
>> erros grosseiros
>> apontados pelo Francisco (e outros que sabemos) eram minimizados.
>>
>> Depois que adotaram 7 níveis (A1-A2, B1-B5), os erros grosseiros do
>> Qualis contrários a algumas subáreas da Estatística na CAPES
>> cresceram muito. Eu participei da última reunião da CAPES de
>> classificação dos programas da pós-graduação no ano passado e comentei
>> com alguns colegas presentes sobre inúmeros desses erros.
>>
>> O que observo ainda no macro é que existem conceitos de alguns
>> programas de pós-graduação de Estatística que estão subavaliados em
>> relação
>> a outros de áreas afins como, por exemplo,  Engenharia de Produção.
>>
>> Cordiais Saudações.
>>
>> Gauss
>>
>>
>>
>> Em 2 de julho de 2018 19:07, Francisco Cribari <cribari em gmail.com>
>> escreveu:
>> > 02/07/2018
>> >
>> > Caro Carlinhos,
>> >
>> > Eu servi recentemente como membro do CA-ME do CNPq. Não posso e não vou
>> > comentar sobre seu caso específico. Sua seriedade como pesquisador é
>> > amplamente conhecida e eu sempre nutri admiração e respeito por você
>> > enquanto profissional. Por outro lado, conheço as complexidades das
>> > avaliações feitas no âmbito do CNPq e a seriedade de todos os membros do
>> > CA-ME. Assim, nada posso comentar sobre o caso em pauta.
>> >
>> > Aproveitarei, todavia, sua mensagem para tocar num ponto sensível,
>> crucial:
>> > O QUALIS é --- reconheçamos --- rotineiramente usado em avaliações
>> > individuais, inclusive naquelas feitas no âmbito do CNPq. É até mesmo
>> usado
>> > por avaliadores ad hoc nos pareceres que elaboram para tal órgão de
>> fomento.
>> > O CA-MA tipicamente conta com dois membros de nossa área (Probabilidade
>> e
>> > Estatística) e com quantitativo consideravelmente superior de membros da
>> > Matemática. Quando um processo é analisado no CNPq, o sistema online
>> > disponível aos membros do comitê mostra uma listagem das publicações
>> mais
>> > recentes do pesquisador solicitante juntamente com as classificações
>> QUALIS
>> > de cada revista (e outras informações). Após me debruçar detidamente e
>> ao
>> > longo dos últimos vários anos sobre o QUALIS, meu sentimento é que
>> muitas
>> > revistas da nossa área (Probabilidade e Estatística, Estatística em
>> > especial) se encontram subclassificadas relativamente às da Matemática
>> e da
>> > Matemática Aplicada. Obviamente, trata-se --- e é importante ressaltar
>> ---
>> > de sentimento de cunho pessoal.
>> >
>> > Lembremos que há um QUALIS único para as revistas de: (i) Probabilidade
>> e
>> > Estatística, (ii) Matemática Aplicada e (iii) Matemática. Contudo, os
>> > critérios usados por essas três áreas para qualificar as revistas que
>> > consideram ser de seu domínio ou em que pesquisadores de programas de
>> > pós-graduação daquela área publicaram são muito distintos. Suponha que o
>> > pesquisador X publicou na revista Y que ainda não está qualificada no
>> > QUALIS. Se tal pesquisador fizer parte do corpo docente de um programa
>> de
>> > pós-graduação em Matemática Aplicada a revista receberá, de acordo com
>> os
>> > critérios elencados, o conceito Z1; se o autor do artigo integrar um
>> > programa da Probabilidade e Estatística, o conceito será Z2. E nem
>> sempre Z1
>> > é igual a Z2. Em geral, Z1 é diferente de Z2. Muitas vezes, Z1 é
>> > consideravelmente diferente de Z2. Isso é um problema? Creio que sim,
>> pois o
>> > QUALIS é único para as três áreas e esperar-se-ia que quaisquer desvios
>> de
>> > classificação, mesmo inevitáveis, fossem minimizados.
>> >
>> > Para piorar, há divergência entre os critérios divulgados publicamente
>> como
>> > tendo sido usados para se chegar à classificação QUALIS e as
>> classificações
>> > QUALIS efetivamente divulgadas. Aqui está um exercício interessante:
>> Pegue
>> > os critérios divulgados pela CAPES para classificação de revistas em
>> nossa
>> > área, pegue os indicadores bibliométricos das revistas da área e tente
>> > reproduzir a classificação QUALIS divulgada pela CAPES. Fica a sugestão.
>> >
>> > Outro problema é a volatilidade nas classificações. Os integrantes da
>> > comissão da CAPES que produzem a classificação de nossa área têm mudado
>> > constantemente (às vezes de ano para ano) e isso termina acarretando
>> > volatilidade apreciável. Recentemente, foram divulgados dois QUALIS de
>> nossa
>> > área num intervalo, creio, de aproximadamente seis meses. Nominalmente,
>> os
>> > critérios que deveriam ser usados para produzir as classificações não
>> > mudaram entre essas duas instâncias, mas houve considerável mudança nas
>> > classificações de nossas revistas. Eu imagino que seus indicadores não
>> > variaram substancialmente em meio ano. Pergunta: Por que então tantas
>> > classificações foram alteradas?
>> >
>> > Voltemos agora às classificações feitas segundo os critérios listados
>> para:
>> > (i) Probabilidade e Estatística, (ii) Matemática Aplicada e (iii)
>> > Matemática. Na Matemática, noto, há revista com fator de impacto (FI)
>> > inferior a 0.7 que tem classificação A1 (para citar apenas um exemplo).
>> E na
>> > nossa área? Tomemos alguns poucos casos:
>> >
>> > * Computational Statistics & Data Analysis: FI=1.69, classificação: B1
>> > * International Journal of Forecasting: FI=2.34, classificação: B2
>> > * Journal of Statistical Software: FI=9.91, classificação: B1
>> > * Mathematics and Computers in Simulation: FI=1.22, classificação: B2
>> >
>> > Alguém poderia desejar recorrer ao uso do indicador conhecido como
>> "Article
>> > Influence" (AI) para justificar algumas aberrações identificadas, mas o
>> AI
>> > do JSS é 4.70 (sim, quase cinco!), o do IFJ é 1.33, o do CSDA é 0.93 e
>> assim
>> > por diante. Ademais, embora esse indicador seja relevante, há que se ter
>> > cuidado com seu uso em classificações de periódicos. Ele é fortemente
>> > bimodal e parece ser mais útil para ordenar e classificar apenas
>> revistas do
>> > estrato mais superior de qualidade (como feito num artigo recentemente
>> > publicado sobre o tema em tela). Ele não deve ser usado cegamente.
>> >
>> > Algumas classificações de revistas da nossa área (Probabilidade e
>> > Estatística) têm sido fortemente pautadas no tempo mediano das citações
>> > ("Cited Half-Life", CHL). Eu concedo que esse indicador tem alguma
>> > relevância para revistas que publicam primordialmente artigos de
>> Estatística
>> > Matemática, pois espera-se que novos resultados teóricos tenham
>> perenidade
>> > temporal. Mas por que tal indicador é tão importante para artigos de
>> > Estatística Aplicada e para artigos de Estatística Computacional? É bom
>> > lembrar que a Estatística é uma área diversa. Assim, sustento que nenhum
>> > critério adotado deve punir certos aspectos de tal diversidade.
>> > Adicionalmente, a CHL pune severamente novas revistas, que ainda não
>> > conseguiram amealhar tempo mediano de citações elevado.
>> >
>> > Chegamos agora a um ponto delicado e relevante: Como tratar uma revista
>> que
>> > se perceba ser de outra área? Pelo que entendo, nas classificações
>> feitas
>> > segundo os critérios da Matemática Aplicada, boas revistas de alguma
>> outra
>> > área não são duramente penalizadas nem há a imposição de que não podem
>> > integrar o estrato A do QUALIS. Na Probabilidade e Estatística, contudo,
>> > parece imperar outra valoração. (Lembremos que estamos classificando
>> > revistas, ou seja, estamos avaliando a qualidade de revistas, e não
>> > avaliando quanto uma publicação em uma dessas revistas deve contar numa
>> > avaliação de carreira de um pesquisador.) Há excelentes revistas em
>> áreas
>> > afins e em outras áreas que devem, entendo, ser avaliadas segundo seu
>> > mérito. Tome, por exemplo, a PLoS ONE. Ela é A1 na Biotecnologia,
>> > Interdisciplinar, Odontologia, Psicologia, Saúde Coletiva, Sociologia e
>> > Zootecnia. É A2 na Física, Química, Economia e outras áreas. Nossa área
>> a
>> > coloca como B1. O fator de impacto da PLoS ONE é 3.54 e seu article
>> > influence é 1.21. Será que uma revista com esses indicadores não deveria
>> > estar no estrato A do QUALIS (e.g., A2)?
>> >
>> > Tomo agora a liberdade de citar uma experiência pessoal. Publiquei três
>> > artigos de Estatística Aplicada numa revista de psicometria que é tida
>> como
>> > a melhor do mundo para estudos relacionados a inteligência: a revista
>> > Intelligence da Elsevier. No ultimo artigo que lá publiquei tive que
>> > atravessar cinco rodadas de revisões com cinco pareceristas em cada. O
>> fator
>> > de impacto da revista é 3.83 e seu article influence é 1.11. Embora
>> > comparações de fatores de impacto entre revistas de áreas distintas
>> deva ser
>> > feito com cuidado, deve-se notar que: (i) em qualquer área uma revista
>> que
>> > tem fator de impacto próximo de quatro é, provavelmente, uma revista de
>> > elite e (ii) o article influence permite, em boa medida, comparações
>> entre
>> > revistas de áreas diferentes e aquelas que possuem AI superior a um são
>> > tipicamente revistas de elite. Pois bem, no nosso QUALIS tal revista
>> figura
>> > como B1. Parece-me que tal classificação indica um viés contrário a
>> revistas
>> > de outras áreas, mesmo aquelas de elite. Tanto quanto eu saiba, tal
>> > posicionamento inexiste na Matemática Aplicada. Dado que o QUALIS é
>> único,
>> > essa divergência parece-me problemática.
>> >
>> > Para piorar as coisas, as revistas que integram o QUALIS são
>> classificadas
>> > como sendo "core" (da área) e "não core" (de outras áreas) e isso
>> parece ser
>> > feito sem muitos critérios. Por exemplo, se não me falha a memória, na
>> > última classificação QUALIS, o Journal of Forecasting e o International
>> > Journal of Forecasting, que são revistas de séries temporais (portanto,
>> de
>> > Estatística), figuram como "não core".
>> >
>> > No final do período passado de classificações e após a divulgação do
>> último
>> > QUALIS, o Programa de Pós-Graduação em Estatística da UFPE enviou um
>> ofício
>> > ao Coordenador da Área de Matemática da CAPES apontando sérios erros e
>> > inconsistências de classificações de revistas (mesmo tomando-se como
>> > balizador os próprios critérios divulgados pela CAPES para tais
>> > classificações). Foi-nos prometida uma resposta, que nunca chegou.
>> > Conjecturo que não houve resposta porque não seria possível conciliar as
>> > classificações divulgadas com os critérios listados.
>> >
>> > Em suma:
>> >
>> > 1) O QUALIS da Matemática é construído a partir de critérios muitos
>> díspares
>> > usados pela Matemática, pela Matemática Aplica e pela
>> > Probabilidade/Estatística.
>> > 2) Dados os critérios divulgados pela CAPES, não é possível reproduzir
>> as
>> > classificações de muitas revistas constantes no QUALIS.
>> > 3) A classificação de diversas revistas da Probabilidade e Estatística
>> me
>> > parece ser mais estrita, em teor relativo, com todos os mutatis mutandis
>> > pertinentes e com o data venia de praxe, do que classificações
>> > correspondentes de revistas da Matemática e da Matemática Aplicada.
>> > 4) Parece haver um viés contra revistas de outras áreas (mesmo aquelas
>> de
>> > elite) nas classificações feitas no âmbito da
>> Probabilidade/Estatística, mas
>> > não na Matemática Aplicada. Tais revistas não recebem, assim, tratamento
>> > uniforme.
>> >
>> > Ressalto que sei que a classificação QUALIS é feita por uma comissão
>> única,
>> > mas noto novamente que há três conjuntos de critérios usados, que eles
>> são
>> > díspares e que muitas classificações pontuais parecem a eles não
>> obedecer.
>> >
>> > Para que essa longa mensagem não se encerre sem algum tonalidade
>> > propositiva, submeto que em minha opinião o critério que melhor serve de
>> > apoio à classificação das revistas de nossa área (Probabilidade e
>> > Estatística), em sua amplitude e diversidade, ainda é o fator de
>> impacto.
>> > Como lidar com revistas de outras áreas dado que é sabido que pode haver
>> > disparidades nesse indicador entre áreas diferentes? Há formas de se
>> lidar
>> > com isso com certa objetividade e sem penalizações discricionárias e
>> > injustificadas. Por exemplo, o fator de impacto de uma revista de outra
>> área
>> > poderia ser multiplicado pelo article influente da revista (ou seja,
>> > poder-se-ia, para revistas de outras áreas tomar FI*AI ao invés de
>> apenas
>> > FI). Se uma dada revista de outra área não for de elevada qualidade, mas
>> > possuir fator de impacto elevado, seu article influence será
>> > consideravelmente inferior a um e tal multiplicação (FI*AI) ofertaria
>> uma
>> > penalização por qualidade. Revistas de outras áreas com fator de impacto
>> > alto e article influence elevado (i.e., revistas de elite) não seriam
>> > penalizadas.
>> >
>> > Por fim, ressalto que não critico o trabalho de qualquer comissão e que
>> > entendo as limitações que tais trabalhos usualmente ensejam. Eu mesmo
>> já as
>> > enfrentei em dose maior do que gostaria. O importante é que, com o
>> passar do
>> > tempo, aprendamos com eventuais erros cometidos e que busquemos
>> > aperfeiçoamento. Acho que tal aperfeiçoamento, em particular, é
>> imperativo
>> > para a área de Probabilidade e Estatística no momento atual.
>> >
>> > Um abraço para você e saudações a todos os membros da ABE-L.
>> >
>> > Francisco Cribari Neto
>> > Departamento de Estatística
>> > Universidade Federal de Pernambuco
>> >
>> > cc: Prof. Luis Renato G. Fontes, membro do CA-MA do CNPq (área:
>> > Probabilidade e Estatística)
>> >     Profa. Nancy Lopes Garcia, membro do CA-MA do CNPq (área:
>> Probabilidade
>> > e Estatística)
>> >     Prof. Gregório Pacelli F. Bessa, coordenador de área de Matemática
>> da
>> > CAPES
>> >
>> > On Mon, Jul 2, 2018 at 12:13 PM Carlos Alberto de Bragança Pereira
>> > <cpereira em ime.usp.br> wrote:
>> >>
>> >>
>> >> Copio aos membros do CA do CNPq, rbras e abe. Cópia em pdf anexada.
>> >>
>> >>
>> >> ____________________________________________________________
>> ______________________________________
>> >>
>> >> Saudosismo e Inversão de Mérito
>> >>
>> >> Meus caros redistas, amigos e colegas
>> >>
>> >> A mensagem da Professora Lisbeth sobre a ciência e cultura
>> >> digitalizada me fez lembrar com saudade de minha história na academia:
>> >> encontrei meu primeiro artigo “científico”, baseado na minha
>> >> dissertação de mestrado.
>> >>
>> >>
>> >> http://memoria.bn.br/DocReader/docreader.aspx?bib=003069&
>> pasta=ano%20197&pesq=Carlos%20Alberto%20de%20Bragan%C3%A7a%20Pereira
>> >>
>> >> 15 de dezembro de 1970 é a data da publicação, consequentemente muitos
>> >> de vocês ainda não haviam nascido.  Minha primeira colaboração
>> >> apareceu em 1975: Mutation Research v 28, pp 449-454.  Foi submetido
>> >> este artigo em 22/10/54.  Neste artigo eu usei uma verossimilhança
>> >> parcial cuja teoria foi publicada por DR Cox em 1975.  Entendi então
>> >> que ser útil a sociedade científica era gratificante.
>> >>
>> >> Mesmo tendo viajado para meu programa de doutorado TEÓRICO em 1977
>> >> (concluído em 1980), minha visão sempre foi o de um estatístico que
>> >> tenta apresentar boas soluções e analisa dados de forma científica. O
>> >> fato de eu ter descoberto o caminho naquela primeira publicação
>> >> internacional me permitiu ter uma série de artigos na área de
>> >> citogenética.  Continuei dando suporte aos doutorados de muitos alunos
>> >> dos programas de biologia e medicina, claro, colaborando também com
>> >> cientistas dessas áreas.  Até hoje coordeno a coleta e as análises dos
>> >> dados de acadêmicos de várias das áreas médicas e biológicas.
>> >>
>> >> Esse breve histórico do meu caminho como estatístico é para entenderem
>> >> a minha indignação com acontecimentos recentes ligados à minha
>> >> carreira como estatístico.
>> >>
>> >> Como pesquisador (bolsista de produtividade desde 1981) do CNPq fui
>> >> galgando níveis na hierarquia do CNPq até parar no nível 1B.  Fiquei
>> >> ali talvez com a ideia de que algum dia meus pares me considerassem
>> >> para o nível 1A, o que nunca ocorreu. Esse ano, no entanto, me
>> >> enviaram para o nível 1C.  Minha convicção, quando me comparei com
>> >> meus pares, é a de que minha autoavaliação está correta. Eu não devia
>> >> ter sido rebaixado!  Para meu argumento ser entendido por todos tive
>> >> de construir a tabela comparativa que apresento na sequência. O
>> >> argumento do rebaixamento foi o de que eu produzia em estatística
>> >> aplicada ou publicava em revistas de outras áreas.  Publiquei como
>> >> coautor 32 artigos científicos, com 14 deles na área da estatística,
>> >> nesses últimos 4 anos.  Além de um livro em colaboração com meu irmão
>> >> (na Springer) publiquei 3 capítulos de livros todos na área de
>> >> estatística.
>> >>
>> >> Na tabela comparativa coloquei apenas todos os pesquisadores de nível
>> >> 1-A e evidentemente nossa representante da estatística.  Olhando a
>> >> produtividade de nossos dois representantes, constatei que tiveram
>> >> apenas 5 artigos publicados nos últimos 5 anos.  Desses 10, oito foram
>> >> em revistas de outra área e apenas dois em probabilidade.  Recomendo
>> >> então que as pessoas, antes de avaliarem outros pesquisadores, devem
>> >> sempre fazer uma autoavaliação. Tenho certeza que meus representantes
>> >> do nosso CA deveriam ter impedido o meu rebaixamento.
>> >>
>> >> Finalizo então este meu texto com uma tabela comparativa de índices de
>> >> produtividade. Considerei apenas os colegas de nível 1-A juntamente
>> >> com nossa representante da estatística com nível 1B.  Coloquei o
>> >> número da ordem alfabética dos nomes desses colegas.  Usei apenas os
>> >> índices do GOOGLE SCHOLAR (dos que permitiram ao GOOGLE publicar), WEB
>> >> OF SCIENCE (ISI) e SCOPUS.  Usei obviamente tanto o Lattes quanto o
>> >> GOOGLE de cada um.
>> >>
>> >> A tabela está em anexo, logo após o texto
>> >> 1 de julho é a moda, a média e a moda do ano: Sou assim (aos 72) um
>> >> estatístico nato.
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >> --
>> >> Carlos Alberto de Bragança Pereira
>> >> http://www.ime.usp.br/~cpereira
>> >> http://scholar.google.com.br/citations?user=PXX2AygAAAAJ&hl=pt-BR
>> >> Stat Department - Professor & Head
>> >> University of São Paulo
>> >>
>> >> _______________________________________________
>> >> abe mailing list
>> >> abe em lists.ime.usp.br
>> >> https://lists.ime.usp.br/listinfo/abe
>> >
>> >
>> >
>> > --
>> > Francisco Cribari - http://www.cribari.com.br - "All theory, my
>> friend, is
>> > gray, but green is life's glad golden tree." --Goethe (Faust)
>> >
>> > _______________________________________________
>> > abe mailing list
>> > abe em lists.ime.usp.br
>> > https://lists.ime.usp.br/listinfo/abe
>> >
>> _______________________________________________
>> abe mailing list
>> abe em lists.ime.usp.br
>> https://lists.ime.usp.br/listinfo/abe
>>
>
>
>
> --
> Francisco Cribari-Neto, email: cribari em de.ufpe.br - "All theory, my
> friend, is gray, but green is life's glad golden tree." --Goethe (Faust)
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/listinfo/abe
>
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20180704/6c60c89a/attachment.html>
-------------- Próxima Parte ----------
Um anexo não-texto foi limpo...
Nome: why_impact_journal.pdf
Tipo: application/pdf
Tamanho: 508761 bytes
Descrição: não disponível
URL: <https://lists.ime.usp.br/archives/abe/attachments/20180704/6c60c89a/attachment.pdf>