[ABE-L] QUALIS

Seg Jul 16 14:23:10 -03 2018

FYI: Alguns graficos adicionais
http://hedibert.org/wp-content/uploads/2018/07/if-sjr-qualis-hedibertlopes.pdf

Abs,
Hedibert

On Mon, Jul 16, 2018 at 12:27 PM Adriano Polpo de Campos <apolpo em ime.usp.br>
wrote:

> Caros redistas,
>
> Vejo a discussão tomando diferentes rumos. Acho isso bem interessante,
> pois mostra que o desconforto não é pontual. Em diversos aspectos
> existem críticas (construtivas, ao meu ver) que podem colaborar para
> crescermos como área.
>
> Não sei o quanto concordo com o Cribari em focarmos no QUALIS.
> Explico: o QUALIS deveria ser utilizado para avaliação de grupos
> (pós-graduações). Fixar neste ponto não acho que trará benefícios para
> a transparência nas avaliações (avaliações de pessoas, projetos,
> grupos, ...). Eu vejo a discussão mais como algo para trazermos
> benefícios para área de uma maneira geral. Meu principal ponto da
> discussão é a maior transparência para o sistema. Regras claras e
> coerentes, que estimulem a área e não como está, com um grande
> sentimento de injustiça.
>
> Entretanto, nesta mensagem, vou olhar para o QUALIS e colocar alguma
> ponderações adicionais.
>
> Eu sou um crítico do QUALIS para avaliar pedidos de projetos
> individuais. Entretanto, para avaliação de grupos, entendo que este
> não é o pior dos mundos. Ainda assim, concordo que este deva ser
> aperfeiçoado. Também, acho que a nossa área não sabe utilizá-lo.
> Abaixo explico com mais detalhes.
>
> Com relação as 4 perguntas do Cribari sobre o QUALIS, entendo que uma
> maior transparência e clareza na organização/confecção do QUALIS
> ajudaria muito. Honestamente, entendo que o Cribari colocou apenas
> alguns pontos/exemplos. O próprio Gauss em sua mensagem diz ter outros
> inúmeros exemplos. Já o CORE/NÃO CORE é uma caixa preta que é ainda
> mais complicada de ser justificada.
>
> Minhas ponderações (que apesar de numeradas, não são relacionadas as
> questões do Cribari):
> 1) O QUALIS tem como proposta avaliar revistas! Nunca foi e nunca será
> a avaliação da qualidade dos trabalhos publicados. Sempre teremos
> trabalhos bons em revistas "B", assim como sempre teremos trabalhos
> ruins em revistas "A". Claro, o que se espera é que a maioria dos
> trabalhos em revistas "A" sejam melhores que trabalhos em revistas
> "B". Mas, não sei se isso é muito óbvio, ainda mais para área de
> estatística que é tão diversa. Quase certamente, existem linhas de
> pesquisa que não tem nenhuma de suas principais revistas no extrato
> "A". Isso não faz com que o pesquisador seja ruim, nem os seus
> trabalhos, mas este pesquisador nunca terá um artigo em revista "A".
>
> 2) Outro ponto importante sobre o QUALIS é a sua construção:
> Para uma revista estar no QUALIS, algum pesquisador, vinculado a um
> programa de pós-graduação na área, tem que ter publicado naquela
> revista no período de avaliação do QUALIS. Por exemplo, a JASA não
> está na classificação do quadriênio de 2013-2016 (exceto que eu tenha
> feito a busca erroneamente). O Hedibert enviou aqui na lista alguns
> estudos sobre fator de impacto e QUALIS, em que outras revistas
> importantes estavam sem QUALIS.
>
> Acho que não precisamos discutir a JASA. Se algum brasileiro publicar
> lá, certamente a JASA estará na classificação A1. Até ai, tudo normal,
> exceto por um detalhe: Se a JASA entrar no A1, alguma A1 terá de virar
> A2, alguma A2 terá de virar B1... e assim por diante. Claramente, o
> "A" de hoje, tem grande chance de ser o "B" de amanhã. Deveria então
> um pesquisador "escolher" revistas para publicar baseado no QUALIS?
>
> 3) Outro detalhe, em geral, tem-se o vício de criticar a pessoa que
> publica em revista "C". Claro, não estou aqui defendendo as revistas
> "C's". Mas, o extrato "A1" representa x% do total de revistas a serem
> incluídas no QUALIS da área (não me recordo do valor, mas utilizarei
> x=10% como exemplo). Então, se tivermos pesquisadores que publicaram
> trabalhos, no quadriênio, em 1000 revistas diferentes, 100 delas
> poderiam estar no extrato A1. Vamos supor agora, que nossa área só tem
> pessoas muito boas, que só publicam em lugares maravilhosos ("A1"), o
> que vai acontecer no próximo quadriênio? ao invés de 1000 revistas,
> teremos publicado somente em 100 revistas diferentes. Agora o extrato
> A1 terá somente 10 revistas! Quer dizer que as outras 90 viraram B1,
> B2, ... B5! Tornaram se revistas horríveis?
>
> Isto é, focar no QUALIS para "escolher onde publicar", fará com que
> tenhamos um número reduzido de revistas (concentração de publicação em
> poucas revistas). Consequentemente, diminuindo aquelas que estão no
> extrato A. Por implicação óbvia, prejudicando a área.
>
> Aqueles que publicam nas mais diversas revistas B e C estão
> contribuindo para aumentar a quantidade de revistas no extrato A!
> Favorecendo a comparação da área (matemática, matemática aplicada,
> probabilidade e estatística) em relação as demais áreas da CAPES. Que
> também é importante para o crescimento do grupo. O Gauss disse em
> mensagem aqui do trabalho árduo para conseguir aumentar a quantidade
> de bolsas de produtividade e pesquisa. Não tem jeito, nós temos que
> nos comparar com todos, não apenas dentro de nossos subgrupos.
>
> Deveríamos conseguir incentivar a todos, aumentando a quantidade de
> pessoas na área, mas parece-me que os caminhos escolhidos tendem a
> diminuir a quantidade de pessoas. A consequência para mim é muito
> clara. Estamos rumando para a extinção da área.
>
> 4) Claro, alguém pode dizer que eu estou exagerando, que isso nunca
> irá acontecer (diminuir a quantidade de revistas no QUALIS)! Ok, faço
> então a pergunta: Olhem o extrato B1 e vejam quantas revistas que nós
> gostaríamos de publicar, que são boas e que nunca estarão no extrato
> A! Simplesmente porque não "tem espaço" no extrato A para mais
> revistas. Faz sentido?
>
> 5) Agora, se eu não estiver enganado, nossa área tem 1484 revistas
> listadas no QUALIS (2013-2016), das quais temos 99 delas A1 CORE (com
> 12 delas tendo a revista on-line e a impressa, será que contaram duas
> vezes?) e 21 A1 NÃO_CORE, isto é 120 revistas A1 (8% de revistas A1).
> Agora, vejam que curioso, 10 revistas do extrato A1 são de
> probabilidade e estatística! Como sei disso? Não sei, apenas olhei os
> nomes das revistas e decidi o que era probabilidade e estatística,
> então posso estar errado... mas duvido que estou muito errado (poderia
> chegar a 15 revistas de probabilidade e estatística).
>
> Sei que temos menos programas de pós-graduação em probabilidade e
> estatística (consequentemente, menos pesquisadores e provavelmente
> menos publicações) do que as matemáticas. Mas será que a proporção é
> de 10 revistas A1 de probabilidade e estatística para 110 de
> matemáticas?
>
>
> Considerando as diversas mensagens dos colegas sobre o QUALIS,
> adicionando as minhas ponderações, só posso concluir uma coisa: O
> QUALIS é danoso para área! Seja ele utilizado para avaliação de grupos
> ou, principalmente, para avaliação de pesquisadores!!! Ok, parece-me
> que este já é um ponto claro e óbvio.
>
> Será que tem como melhorá-lo? Será que é este o caminho que devemos seguir?
> Eu vejo que se melhorar o QUALIS teremos uma melhora para área,
> talvez, apenas pontual e passageira. Não sei se seria de fato uma
> mudança significativa para o avanço da área como um todo. Além disso,
> não vejo os matemáticos (aplicados ou puros) como os nossos inimigos.
> Eu acho que a nossa discussão deve ser pautada por racionalismo, que
> seja propositiva e que funcione melhor para a área como um todo. Não
> adianta "melhorar" para um grupo em particular (que seja probabilidade
> e estatística) em detrimento dos outros (matemáticas), pois isso
> manterá as injustiças. Eu penso que devemos construir algo que seja
> claro, transparente e razoável para todos os envolvidos, grupos,
> subgrupos, ...
>
> Termino minha mensagem com a mesma pergunta que fiz anteriormente:
> Como deveríamos seguir com a discussão para tentar de fato melhorar o
> sistema?
> (avaliações transparentes, claras e menos injustas)
>
>
> Saudações,
>
> Adriano.
>
>
> 2018-07-12 12:06 GMT-03:00 Francisco Cribari <cribari em de.ufpe.br>:
> > Caros:
> >
> > Entendo que o ideal seria buscarmos alguns pontos básicos de
> concordância. O
> > documento da CAPES que detalha a classificação QUALIS em nossa área se
> > encontra em
> >
> >
> http://capes.gov.br/images/documentos/Qualis_periodicos_2016/Qualis_Periodicos_Area_01__2016_08_08_MATEM%C3%81TICA.pdf
> >
> > A primeira coisa que chama a atenção é a aguda disparidade de critérios
> > usados (i) pela Matemática, (ii) pela Matemática Aplicada e (iii) pela
> > Probabilidade/Estatística. Dado que o QUALIS final é único para as três
> > áreas, chegamos à primeira pergunta:
> >
> > (PERGUNTA 1) Alguma divergência de critérios é inevitável, mas será que
> > divergência tão acentuada de critérios é desejável?
> >
> > Sobre tal pergunta, notemos que o conceito de uma dada revista pode ser
> > muito diferente dependendo de se sua avaliação é feita no escopo da
> > Matemática Aplicada ou no escopo da Probabilidade e Estatística.
> Suponhamos,
> > por exemplo, que o pesquisador X publique na revista Y, que ainda não
> está
> > classificada. Se o pesquisador X fizer parte de um programa de
> pós-graduação
> > em Matemática ou Matemática Aplicada, a classificação da revista Y pode
> ser
> > uma; se tal pesquisador fizer parte de uma pós-graduação em Estatística,
> por
> > outro lado, a classificação da revista Y pode ser outra.
> >
> > As classificações das revistas em nossa área (Probabilidade e
> Estatística)
> > são muito determinadas por seus tempos medianos de citação ("cited
> > half-life", HL). Eu inclusive mostrei a dominância desse critério ao
> > representante de área anterior da CAPES, prof. Lorenzo Díaz, numa reunião
> > que tive com ele e com mais alguns membros convidados de nossa
> comunidade no
> > IME/USP em maio de 2016. Tal critério, contudo, parece ser mais
> pertinente
> > para contribuições feitas nas áreas de Probabilidade e Estatística
> > Matemática, onde se espera haver perenidade de resultados. Não está claro
> > por que tal critério é relevante para contribuições feitas, por exemplo,
> nos
> > domínios da Estatística Computacional e da Estatística Aplicada.
> Chegamos,
> > assim, à segunda pergunta:
> >
> > (Pergunta 2) Faz sentido as classificações de nossas revistas serem tão
> > influenciada pelo critério HL?  Adicionalmente, não está claro como
> > é feita a separação de revistas "core" e
> > "não-core". Mais uma pergunta:
> >
> > (Pergunta 3) Faz sentido colocar revistas como o International Journal of
> > Forecasting e o Journal of Forecasting, que são revistas de séries
> > temporais, como "não core"?
> >
> > Não está claro também se há alguma regra que determine que boas revistas
> de
> > outras áreas não podem integrar o estrato A do nosso QUALIS. Parece
> > inclusive haver divergência sobre como tratar boas revistas de outras
> áreas
> > entre a Probabilidade/Estatística e a Matemática Aplicada.
> >
> > (Pergunta(s) 4) Revistas de elite de outras áreas podem integrar o
> estrato A
> > do nosso QUALIS de acordo com os critérios da Probabilidade/Estatística?
> Há
> > conformidade com o que é feito na Matemática Aplicada nesse quesito?
> >
> > Retorno agora a um ponto que levantei em minha mensagem inicial: as
> > classificações de muitas revistas da Estatística parecem estar em
> > desvantagem relativa, com todos os ajustes e mutatis mutandis
> pertinentes,
> > relativamente ao que vemos na Matemática, na Matemática Aplicada e até
> mesmo
> > na Probabilidade. Peguemos, a título de exemplificação, duas revistas, a
> > saber: Journal of Statistical Physics (uma revista em probabilistas
> > publicam) e Journal of Econometrics (uma revista de Econometria, portanto
> > ligada à área de Estatística). Vejamos dois indicadores relvantes dessas
> > revistas, fator de impacto (FI) e article influence (AI):  Journal
> > of Statistical Physics: FI=1.78 e AI=0.85
> > Journal of Econometrics: FI=1.80 e AI=2.83
> >
> > Poder-se-ia argumentar que o SJR é um indicador mais relevante, como
> feito
> > por outros membros de nossa lista. Vejamos então:
> >
> > Journal of Statistical Physics: SJR=0.930
> > Journal of Econometrics: SJR=5.191
> >
> > Ou seja, as duas revistas têm FI semelhantes, o AI do JE é mais de três
> > vezes superior ao do JSP e o SJR do JE é mais de cinco vezes e meia
> maior do
> > que o do JSP.
> >
> > Quais são as classificações QUALIS dessas revistas na nossa área? O
> Journal
> > of Statistical Physics tem classificação A2 enquanto o Journal of
> > Econometrics tem classificação B2. (Sim, B2!). Aliás, como notei, o
> Journal
> > of Statistical Physics está classificado em 7 áreas do QUALIS e a única
> que
> > o coloca no estrato A é a nossa. Convém também notar que o JSP tem
> > classificação B2 na Física ao passo que o Journal of Econometrics tem
> > classificação A1 na Economia.
> >
> > Peguemos agora uma revista da Matemática para dar seguimento ao exemplo:
> > Ergodic Theory & Dynamical Systems. Temos os seguintes indicadores:
> FI=0.84,
> > AI=1.03 e SJR=1.193. Sua classificação QUALIS: A1. Os indicadores da
> revista
> > são bem inferiores aos de várias (repito: várias) revistas da Estatística
> > que estão classificadas como B1 e até mesmo B2.
> >
> > O exemplo acima se mantém com outras revistas além do Journal of
> > Econometrics. Ou seja, não se trata de um exemplo baseado num outlier.
> >
> > (Pergunta 5) Disparidades como as apresentadas acima, que com maior
> > frequência ocorrem em desfavor da Estatística, são justificáveis?
> >
> > Concluo reforçando que, em minha opinião, deveríamos nos unir em torno
> de um
> > ponto único: as correções de distorções que existem no seio do QUALIS que
> > agrega revistas da (i) Matemática, (ii) Matemática Aplicada e (iii)
> > Probabilidade/Estatística. Vencida essa etapa, poderíamos discutir
> agendas
> > mais amplas.
> >
> > Saudações a todos.
> >
> > FC
> >
> > cc: Prof. Luis Renato G. Fontes, membro do CA-MA do CNPq (área:
> > Probabilidade e Estatística)
> >     Profa. Nancy Lopes Garcia, membro do CA-MA do CNPq (área:
> Probabilidade
> > e Estatística)
> >
> >
> > --
> > Francisco Cribari-Neto, email: cribari em de.ufpe.br - "All theory, my
> friend,
> > is gray, but green is life's glad golden tree." --Goethe (Faust)
> >
> > _______________________________________________
> > abe mailing list
> > abe em lists.ime.usp.br
> > https://lists.ime.usp.br/listinfo/abe
> >
>
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/listinfo/abe
>

-- 
Hedibert Freitas Lopes, PhD
Professor of Statistics and Econometrics
INSPER - Institute of Education and Research
Rua Quatá, 300 - São Paulo, SP 04546-042 Brazil
Phone: +55 11 4504-2343
www.hedibert.org
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20180716/19fed667/attachment.html>