[ABE-L] QUALIS
Adriano Polpo de Campos
apolpo em ime.usp.br
Seg Jul 16 12:27:06 -03 2018
Caros redistas,
Vejo a discussão tomando diferentes rumos. Acho isso bem interessante,
pois mostra que o desconforto não é pontual. Em diversos aspectos
existem críticas (construtivas, ao meu ver) que podem colaborar para
crescermos como área.
Não sei o quanto concordo com o Cribari em focarmos no QUALIS.
Explico: o QUALIS deveria ser utilizado para avaliação de grupos
(pós-graduações). Fixar neste ponto não acho que trará benefícios para
a transparência nas avaliações (avaliações de pessoas, projetos,
grupos, ...). Eu vejo a discussão mais como algo para trazermos
benefícios para área de uma maneira geral. Meu principal ponto da
discussão é a maior transparência para o sistema. Regras claras e
coerentes, que estimulem a área e não como está, com um grande
sentimento de injustiça.
Entretanto, nesta mensagem, vou olhar para o QUALIS e colocar alguma
ponderações adicionais.
Eu sou um crítico do QUALIS para avaliar pedidos de projetos
individuais. Entretanto, para avaliação de grupos, entendo que este
não é o pior dos mundos. Ainda assim, concordo que este deva ser
aperfeiçoado. Também, acho que a nossa área não sabe utilizá-lo.
Abaixo explico com mais detalhes.
Com relação as 4 perguntas do Cribari sobre o QUALIS, entendo que uma
maior transparência e clareza na organização/confecção do QUALIS
ajudaria muito. Honestamente, entendo que o Cribari colocou apenas
alguns pontos/exemplos. O próprio Gauss em sua mensagem diz ter outros
inúmeros exemplos. Já o CORE/NÃO CORE é uma caixa preta que é ainda
mais complicada de ser justificada.
Minhas ponderações (que apesar de numeradas, não são relacionadas as
questões do Cribari):
1) O QUALIS tem como proposta avaliar revistas! Nunca foi e nunca será
a avaliação da qualidade dos trabalhos publicados. Sempre teremos
trabalhos bons em revistas "B", assim como sempre teremos trabalhos
ruins em revistas "A". Claro, o que se espera é que a maioria dos
trabalhos em revistas "A" sejam melhores que trabalhos em revistas
"B". Mas, não sei se isso é muito óbvio, ainda mais para área de
estatística que é tão diversa. Quase certamente, existem linhas de
pesquisa que não tem nenhuma de suas principais revistas no extrato
"A". Isso não faz com que o pesquisador seja ruim, nem os seus
trabalhos, mas este pesquisador nunca terá um artigo em revista "A".
2) Outro ponto importante sobre o QUALIS é a sua construção:
Para uma revista estar no QUALIS, algum pesquisador, vinculado a um
programa de pós-graduação na área, tem que ter publicado naquela
revista no período de avaliação do QUALIS. Por exemplo, a JASA não
está na classificação do quadriênio de 2013-2016 (exceto que eu tenha
feito a busca erroneamente). O Hedibert enviou aqui na lista alguns
estudos sobre fator de impacto e QUALIS, em que outras revistas
importantes estavam sem QUALIS.
Acho que não precisamos discutir a JASA. Se algum brasileiro publicar
lá, certamente a JASA estará na classificação A1. Até ai, tudo normal,
exceto por um detalhe: Se a JASA entrar no A1, alguma A1 terá de virar
A2, alguma A2 terá de virar B1... e assim por diante. Claramente, o
"A" de hoje, tem grande chance de ser o "B" de amanhã. Deveria então
um pesquisador "escolher" revistas para publicar baseado no QUALIS?
3) Outro detalhe, em geral, tem-se o vício de criticar a pessoa que
publica em revista "C". Claro, não estou aqui defendendo as revistas
"C's". Mas, o extrato "A1" representa x% do total de revistas a serem
incluídas no QUALIS da área (não me recordo do valor, mas utilizarei
x=10% como exemplo). Então, se tivermos pesquisadores que publicaram
trabalhos, no quadriênio, em 1000 revistas diferentes, 100 delas
poderiam estar no extrato A1. Vamos supor agora, que nossa área só tem
pessoas muito boas, que só publicam em lugares maravilhosos ("A1"), o
que vai acontecer no próximo quadriênio? ao invés de 1000 revistas,
teremos publicado somente em 100 revistas diferentes. Agora o extrato
A1 terá somente 10 revistas! Quer dizer que as outras 90 viraram B1,
B2, ... B5! Tornaram se revistas horríveis?
Isto é, focar no QUALIS para "escolher onde publicar", fará com que
tenhamos um número reduzido de revistas (concentração de publicação em
poucas revistas). Consequentemente, diminuindo aquelas que estão no
extrato A. Por implicação óbvia, prejudicando a área.
Aqueles que publicam nas mais diversas revistas B e C estão
contribuindo para aumentar a quantidade de revistas no extrato A!
Favorecendo a comparação da área (matemática, matemática aplicada,
probabilidade e estatística) em relação as demais áreas da CAPES. Que
também é importante para o crescimento do grupo. O Gauss disse em
mensagem aqui do trabalho árduo para conseguir aumentar a quantidade
de bolsas de produtividade e pesquisa. Não tem jeito, nós temos que
nos comparar com todos, não apenas dentro de nossos subgrupos.
Deveríamos conseguir incentivar a todos, aumentando a quantidade de
pessoas na área, mas parece-me que os caminhos escolhidos tendem a
diminuir a quantidade de pessoas. A consequência para mim é muito
clara. Estamos rumando para a extinção da área.
4) Claro, alguém pode dizer que eu estou exagerando, que isso nunca
irá acontecer (diminuir a quantidade de revistas no QUALIS)! Ok, faço
então a pergunta: Olhem o extrato B1 e vejam quantas revistas que nós
gostaríamos de publicar, que são boas e que nunca estarão no extrato
A! Simplesmente porque não "tem espaço" no extrato A para mais
revistas. Faz sentido?
5) Agora, se eu não estiver enganado, nossa área tem 1484 revistas
listadas no QUALIS (2013-2016), das quais temos 99 delas A1 CORE (com
12 delas tendo a revista on-line e a impressa, será que contaram duas
vezes?) e 21 A1 NÃO_CORE, isto é 120 revistas A1 (8% de revistas A1).
Agora, vejam que curioso, 10 revistas do extrato A1 são de
probabilidade e estatística! Como sei disso? Não sei, apenas olhei os
nomes das revistas e decidi o que era probabilidade e estatística,
então posso estar errado... mas duvido que estou muito errado (poderia
chegar a 15 revistas de probabilidade e estatística).
Sei que temos menos programas de pós-graduação em probabilidade e
estatística (consequentemente, menos pesquisadores e provavelmente
menos publicações) do que as matemáticas. Mas será que a proporção é
de 10 revistas A1 de probabilidade e estatística para 110 de
matemáticas?
Considerando as diversas mensagens dos colegas sobre o QUALIS,
adicionando as minhas ponderações, só posso concluir uma coisa: O
QUALIS é danoso para área! Seja ele utilizado para avaliação de grupos
ou, principalmente, para avaliação de pesquisadores!!! Ok, parece-me
que este já é um ponto claro e óbvio.
Será que tem como melhorá-lo? Será que é este o caminho que devemos seguir?
Eu vejo que se melhorar o QUALIS teremos uma melhora para área,
talvez, apenas pontual e passageira. Não sei se seria de fato uma
mudança significativa para o avanço da área como um todo. Além disso,
não vejo os matemáticos (aplicados ou puros) como os nossos inimigos.
Eu acho que a nossa discussão deve ser pautada por racionalismo, que
seja propositiva e que funcione melhor para a área como um todo. Não
adianta "melhorar" para um grupo em particular (que seja probabilidade
e estatística) em detrimento dos outros (matemáticas), pois isso
manterá as injustiças. Eu penso que devemos construir algo que seja
claro, transparente e razoável para todos os envolvidos, grupos,
subgrupos, ...
Termino minha mensagem com a mesma pergunta que fiz anteriormente:
Como deveríamos seguir com a discussão para tentar de fato melhorar o sistema?
(avaliações transparentes, claras e menos injustas)
Saudações,
Adriano.
2018-07-12 12:06 GMT-03:00 Francisco Cribari <cribari em de.ufpe.br>:
> Caros:
>
> Entendo que o ideal seria buscarmos alguns pontos básicos de concordância. O
> documento da CAPES que detalha a classificação QUALIS em nossa área se
> encontra em
>
> http://capes.gov.br/images/documentos/Qualis_periodicos_2016/Qualis_Periodicos_Area_01__2016_08_08_MATEM%C3%81TICA.pdf
>
> A primeira coisa que chama a atenção é a aguda disparidade de critérios
> usados (i) pela Matemática, (ii) pela Matemática Aplicada e (iii) pela
> Probabilidade/Estatística. Dado que o QUALIS final é único para as três
> áreas, chegamos à primeira pergunta:
>
> (PERGUNTA 1) Alguma divergência de critérios é inevitável, mas será que
> divergência tão acentuada de critérios é desejável?
>
> Sobre tal pergunta, notemos que o conceito de uma dada revista pode ser
> muito diferente dependendo de se sua avaliação é feita no escopo da
> Matemática Aplicada ou no escopo da Probabilidade e Estatística. Suponhamos,
> por exemplo, que o pesquisador X publique na revista Y, que ainda não está
> classificada. Se o pesquisador X fizer parte de um programa de pós-graduação
> em Matemática ou Matemática Aplicada, a classificação da revista Y pode ser
> uma; se tal pesquisador fizer parte de uma pós-graduação em Estatística, por
> outro lado, a classificação da revista Y pode ser outra.
>
> As classificações das revistas em nossa área (Probabilidade e Estatística)
> são muito determinadas por seus tempos medianos de citação ("cited
> half-life", HL). Eu inclusive mostrei a dominância desse critério ao
> representante de área anterior da CAPES, prof. Lorenzo Díaz, numa reunião
> que tive com ele e com mais alguns membros convidados de nossa comunidade no
> IME/USP em maio de 2016. Tal critério, contudo, parece ser mais pertinente
> para contribuições feitas nas áreas de Probabilidade e Estatística
> Matemática, onde se espera haver perenidade de resultados. Não está claro
> por que tal critério é relevante para contribuições feitas, por exemplo, nos
> domínios da Estatística Computacional e da Estatística Aplicada. Chegamos,
> assim, à segunda pergunta:
>
> (Pergunta 2) Faz sentido as classificações de nossas revistas serem tão
> influenciada pelo critério HL? Adicionalmente, não está claro como
> é feita a separação de revistas "core" e
> "não-core". Mais uma pergunta:
>
> (Pergunta 3) Faz sentido colocar revistas como o International Journal of
> Forecasting e o Journal of Forecasting, que são revistas de séries
> temporais, como "não core"?
>
> Não está claro também se há alguma regra que determine que boas revistas de
> outras áreas não podem integrar o estrato A do nosso QUALIS. Parece
> inclusive haver divergência sobre como tratar boas revistas de outras áreas
> entre a Probabilidade/Estatística e a Matemática Aplicada.
>
> (Pergunta(s) 4) Revistas de elite de outras áreas podem integrar o estrato A
> do nosso QUALIS de acordo com os critérios da Probabilidade/Estatística? Há
> conformidade com o que é feito na Matemática Aplicada nesse quesito?
>
> Retorno agora a um ponto que levantei em minha mensagem inicial: as
> classificações de muitas revistas da Estatística parecem estar em
> desvantagem relativa, com todos os ajustes e mutatis mutandis pertinentes,
> relativamente ao que vemos na Matemática, na Matemática Aplicada e até mesmo
> na Probabilidade. Peguemos, a título de exemplificação, duas revistas, a
> saber: Journal of Statistical Physics (uma revista em probabilistas
> publicam) e Journal of Econometrics (uma revista de Econometria, portanto
> ligada à área de Estatística). Vejamos dois indicadores relvantes dessas
> revistas, fator de impacto (FI) e article influence (AI): Journal
> of Statistical Physics: FI=1.78 e AI=0.85
> Journal of Econometrics: FI=1.80 e AI=2.83
>
> Poder-se-ia argumentar que o SJR é um indicador mais relevante, como feito
> por outros membros de nossa lista. Vejamos então:
>
> Journal of Statistical Physics: SJR=0.930
> Journal of Econometrics: SJR=5.191
>
> Ou seja, as duas revistas têm FI semelhantes, o AI do JE é mais de três
> vezes superior ao do JSP e o SJR do JE é mais de cinco vezes e meia maior do
> que o do JSP.
>
> Quais são as classificações QUALIS dessas revistas na nossa área? O Journal
> of Statistical Physics tem classificação A2 enquanto o Journal of
> Econometrics tem classificação B2. (Sim, B2!). Aliás, como notei, o Journal
> of Statistical Physics está classificado em 7 áreas do QUALIS e a única que
> o coloca no estrato A é a nossa. Convém também notar que o JSP tem
> classificação B2 na Física ao passo que o Journal of Econometrics tem
> classificação A1 na Economia.
>
> Peguemos agora uma revista da Matemática para dar seguimento ao exemplo:
> Ergodic Theory & Dynamical Systems. Temos os seguintes indicadores: FI=0.84,
> AI=1.03 e SJR=1.193. Sua classificação QUALIS: A1. Os indicadores da revista
> são bem inferiores aos de várias (repito: várias) revistas da Estatística
> que estão classificadas como B1 e até mesmo B2.
>
> O exemplo acima se mantém com outras revistas além do Journal of
> Econometrics. Ou seja, não se trata de um exemplo baseado num outlier.
>
> (Pergunta 5) Disparidades como as apresentadas acima, que com maior
> frequência ocorrem em desfavor da Estatística, são justificáveis?
>
> Concluo reforçando que, em minha opinião, deveríamos nos unir em torno de um
> ponto único: as correções de distorções que existem no seio do QUALIS que
> agrega revistas da (i) Matemática, (ii) Matemática Aplicada e (iii)
> Probabilidade/Estatística. Vencida essa etapa, poderíamos discutir agendas
> mais amplas.
>
> Saudações a todos.
>
> FC
>
> cc: Prof. Luis Renato G. Fontes, membro do CA-MA do CNPq (área:
> Probabilidade e Estatística)
> Profa. Nancy Lopes Garcia, membro do CA-MA do CNPq (área: Probabilidade
> e Estatística)
>
>
> --
> Francisco Cribari-Neto, email: cribari em de.ufpe.br - "All theory, my friend,
> is gray, but green is life's glad golden tree." --Goethe (Faust)
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/listinfo/abe
>
Mais detalhes sobre a lista de discussão abe