[ABE-L] QUALIS

Seg Jul 16 15:23:46 -03 2018

Caros,

Apenas explicando melhor a assertiva do Adriano no seu bom e longo
e-mail sobre o que falei antes:

"O Gauss disse em mensagem aqui do trabalho árduo para conseguir
aumentar a quantidade de bolsas de produtividade e pesquisa."

Demostramos (Hermano Frid e eu) à Diretoria de Exatas e Engenharia que
tínhamos naquela época apenas 1/3 das bolsas de PQ da Física
e 1/2 da Informática, entre outras proporções bem documentadas que não
lembro no momento.

Por conta desses disparates é que foi alocando depois mais bolsas para
as áreas de Matemática e Estatística, embora bem inferior
ao horizonte que projetamos. Assim, parte do nosso objetivo foi
conseguido por conta do grande “gap” do número de bolsas no nosso
comitê em relação a outros.

Finalmente, entendo que seja lamentável tentativas de se inferiorizar
grupos de pesquisadores que publicam intensamente em periódicos
importantes
como JSCS, BJPS, CSDA, TEST, entre outros, apenas porque seus fatores
de impacto são inferiores a 1,0 e um pouco distantes daqueles
do Statistics in Medicine,  Biometrika ou JRSS-B.

Gauss Cordeiro

Em 16 de julho de 2018 12:27, Adriano Polpo de Campos
<apolpo em ime.usp.br> escreveu:
> Caros redistas,
>
> Vejo a discussão tomando diferentes rumos. Acho isso bem interessante, pois
> mostra que o desconforto não é pontual. Em diversos aspectos existem
> críticas (construtivas, ao meu ver) que podem colaborar para crescermos como
> área.
>
> Não sei o quanto concordo com o Cribari em focarmos no QUALIS. Explico: o
> QUALIS deveria ser utilizado para avaliação de grupos (pós-graduações).
> Fixar neste ponto não acho que trará benefícios para a transparência nas
> avaliações (avaliações de pessoas, projetos, grupos, ...). Eu vejo a
> discussão mais como algo para trazermos benefícios para área de uma maneira
> geral. Meu principal ponto da discussão é a maior transparência para o
> sistema. Regras claras e coerentes, que estimulem a área e não como está,
> com um grande sentimento de injustiça.
>
> Entretanto, nesta mensagem, vou olhar para o QUALIS e colocar alguma
> ponderações adicionais.
>
> Eu sou um crítico do QUALIS para avaliar pedidos de projetos individuais.
> Entretanto, para avaliação de grupos, entendo que este não é o pior dos
> mundos. Ainda assim, concordo que este deva ser aperfeiçoado. Também, acho
> que a nossa área não sabe utilizá-lo. Abaixo explico com mais detalhes.
>
> Com relação as 4 perguntas do Cribari sobre o QUALIS, entendo que uma maior
> transparência e clareza na organização/confecção do QUALIS ajudaria muito.
> Honestamente, entendo que o Cribari colocou apenas alguns pontos/exemplos. O
> próprio Gauss em sua mensagem diz ter outros inúmeros exemplos. Já o
> CORE/NÃO CORE é uma caixa preta que é ainda mais complicada de ser
> justificada.
>
> Minhas ponderações (que apesar de numeradas, não são relacionadas as
> questões do Cribari):
> 1) O QUALIS tem como proposta avaliar revistas! Nunca foi e nunca será a
> avaliação da qualidade dos trabalhos publicados. Sempre teremos trabalhos
> bons em revistas "B", assim como sempre teremos trabalhos ruins em revistas
> "A". Claro, o que se espera é que a maioria dos trabalhos em revistas "A"
> sejam melhores que trabalhos em revistas "B". Mas, não sei se isso é muito
> óbvio, ainda mais para área de estatística que é tão diversa. Quase
> certamente, existem linhas de pesquisa que não tem nenhuma de suas
> principais revistas no extrato "A". Isso não faz com que o pesquisador seja
> ruim, nem os seus trabalhos, mas este pesquisador nunca terá um artigo em
> revista "A".
>
> 2) Outro ponto importante sobre o QUALIS é a sua construção:
> Para uma revista estar no QUALIS, algum pesquisador, vinculado a um programa
> de pós-graduação na área, tem que ter publicado naquela revista no período
> de avaliação do QUALIS. Por exemplo, a JASA não está na classificação do
> quadriênio de 2013-2016 (exceto que eu tenha feito a busca erroneamente). O
> Hedibert enviou aqui na lista alguns estudos sobre fator de impacto e
> QUALIS, em que outras revistas importantes estavam sem QUALIS.
>
> Acho que não precisamos discutir a JASA. Se algum brasileiro publicar lá,
> certamente a JASA estará na classificação A1. Até ai, tudo normal, exceto
> por um detalhe: Se a JASA entrar no A1, alguma A1 terá de virar A2, alguma
> A2 terá de virar B1... e assim por diante. Claramente, o "A" de hoje, tem
> grande chance de ser o "B" de amanhã. Deveria então um pesquisador
> "escolher" revistas para publicar baseado no QUALIS?
>
> 3) Outro detalhe, em geral, tem-se o vício de criticar a pessoa que publica
> em revista "C". Claro, não estou aqui defendendo as revistas "C's". Mas, o
> extrato "A1" representa x% do total de revistas a serem incluídas no QUALIS
> da área (não me recordo do valor, mas utilizarei x=10% como exemplo). Então,
> se tivermos pesquisadores que publicaram trabalhos, no quadriênio, em 1000
> revistas diferentes, 100 delas poderiam estar no extrato A1. Vamos supor
> agora, que nossa área só tem pessoas muito boas, que só publicam em lugares
> maravilhosos ("A1"), o que vai acontecer no próximo quadriênio? ao invés de
> 1000 revistas, teremos publicado somente em 100 revistas diferentes. Agora o
> extrato A1 terá somente 10 revistas! Quer dizer que as outras 90 viraram B1,
> B2, ... B5! Tornaram se revistas horríveis?
>
> Isto é, focar no QUALIS para "escolher onde publicar", fará com que tenhamos
> um número reduzido de revistas (concentração de publicação em poucas
> revistas). Consequentemente, diminuindo aquelas que estão no extrato A. Por
> implicação óbvia, prejudicando a área.
>
> Aqueles que publicam nas mais diversas revistas B e C estão contribuindo
> para aumentar a quantidade de revistas no extrato A! Favorecendo a
> comparação da área (matemática, matemática aplicada, probabilidade e
> estatística) em relação as demais áreas da CAPES. Que também é importante
> para o crescimento do grupo. O Gauss disse em mensagem aqui do trabalho
> árduo para conseguir aumentar a quantidade de bolsas de produtividade e
> pesquisa. Não tem jeito, nós temos que nos comparar com todos, não apenas
> dentro de nossos subgrupos.
>
> Deveríamos conseguir incentivar a todos, aumentando a quantidade de pessoas
> na área, mas parece-me que os caminhos escolhidos tendem a diminuir a
> quantidade de pessoas. A consequência para mim é muito clara. Estamos
> rumando para a extinção da área.
>
> 4) Claro, alguém pode dizer que eu estou exagerando, que isso nunca irá
> acontecer (diminuir a quantidade de revistas no QUALIS)! Ok, faço então a
> pergunta: Olhem o extrato B1 e vejam quantas revistas que nós gostaríamos de
> publicar, que são boas e que nunca estarão no extrato A! Simplesmente porque
> não "tem espaço" no extrato A para mais revistas. Faz sentido?
>
> 5) Agora, se eu não estiver enganado, nossa área tem 1484 revistas listadas
> no QUALIS (2013-2016), das quais temos 99 delas A1 CORE (com 12 delas tendo
> a revista on-line e a impressa, será que contaram duas vezes?) e 21 A1
> NÃO_CORE, isto é 120 revistas A1 (8% de revistas A1). Agora, vejam que
> curioso, 10 revistas do extrato A1 são de probabilidade e estatística! Como
> sei disso? Não sei, apenas olhei os nomes das revistas e decidi o que era
> probabilidade e estatística, então posso estar errado... mas duvido que
> estou muito errado (poderia chegar a 15 revistas de probabilidade e
> estatística).
>
> Sei que temos menos programas de pós-graduação em probabilidade e
> estatística (consequentemente, menos pesquisadores e provavelmente menos
> publicações) do que as matemáticas. Mas será que a proporção é de 10
> revistas A1 de probabilidade e estatística para 110 de matemáticas?
>
>
> Considerando as diversas mensagens dos colegas sobre o QUALIS, adicionando
> as minhas ponderações, só posso concluir uma coisa: O QUALIS é danoso para
> área! Seja ele utilizado para avaliação de grupos ou, principalmente, para
> avaliação de pesquisadores!!! Ok, parece-me que este já é um ponto claro e
> óbvio.
>
> Será que tem como melhorá-lo? Será que é este o caminho que devemos seguir?
> Eu vejo que se melhorar o QUALIS teremos uma melhora para área, talvez,
> apenas pontual e passageira. Não sei se seria de fato uma mudança
> significativa para o avanço da área como um todo. Além disso, não vejo os
> matemáticos (aplicados ou puros) como os nossos inimigos. Eu acho que a
> nossa discussão deve ser pautada por racionalismo, que seja propositiva e
> que funcione melhor para a área como um todo. Não adianta "melhorar" para um
> grupo em particular (que seja probabilidade e estatística) em detrimento dos
> outros (matemáticas), pois isso manterá as injustiças. Eu penso que devemos
> construir algo que seja claro, transparente e razoável para todos os
> envolvidos, grupos, subgrupos, ...
>
> Termino minha mensagem com a mesma pergunta que fiz anteriormente:
> Como deveríamos seguir com a discussão para tentar de fato melhorar o
> sistema?
> (avaliações transparentes, claras e menos injustas)
>
>
> Saudações,
>
> Adriano.
>
>
>
> 2018-07-12 12:06 GMT-03:00 Francisco Cribari <cribari em de.ufpe.br>:
>>
>> Caros:
>>
>> Entendo que o ideal seria buscarmos alguns pontos básicos de concordância.
>> O
>> documento da CAPES que detalha a classificação QUALIS em nossa área se
>> encontra em
>>
>>
>> http://capes.gov.br/images/documentos/Qualis_periodicos_2016/Qualis_Periodicos_Area_01__2016_08_08_MATEM%C3%81TICA.pdf
>>
>> A primeira coisa que chama a atenção é a aguda disparidade de critérios
>> usados (i) pela Matemática, (ii) pela Matemática Aplicada e (iii) pela
>> Probabilidade/Estatística. Dado que o QUALIS final é único para as três
>> áreas, chegamos à primeira pergunta:
>>
>> (PERGUNTA 1) Alguma divergência de critérios é inevitável, mas será que
>> divergência tão acentuada de critérios é desejável?
>>
>> Sobre tal pergunta, notemos que o conceito de uma dada revista pode ser
>> muito diferente dependendo de se sua avaliação é feita no escopo da
>> Matemática Aplicada ou no escopo da Probabilidade e Estatística.
>> Suponhamos,
>> por exemplo, que o pesquisador X publique na revista Y, que ainda não está
>> classificada. Se o pesquisador X fizer parte de um programa de
>> pós-graduação
>> em Matemática ou Matemática Aplicada, a classificação da revista Y pode
>> ser
>> uma; se tal pesquisador fizer parte de uma pós-graduação em Estatística,
>> por
>> outro lado, a classificação da revista Y pode ser outra.
>>
>> As classificações das revistas em nossa área (Probabilidade e Estatística)
>> são muito determinadas por seus tempos medianos de citação ("cited
>> half-life", HL). Eu inclusive mostrei a dominância desse critério ao
>> representante de área anterior da CAPES, prof. Lorenzo Díaz, numa reunião
>> que tive com ele e com mais alguns membros convidados de nossa comunidade
>> no
>> IME/USP em maio de 2016. Tal critério, contudo, parece ser mais pertinente
>> para contribuições feitas nas áreas de Probabilidade e Estatística
>> Matemática, onde se espera haver perenidade de resultados. Não está claro
>> por que tal critério é relevante para contribuições feitas, por exemplo,
>> nos
>>
>> domínios da Estatística Computacional e da Estatística Aplicada. Chegamos,
>> assim, à segunda pergunta:
>>
>> (Pergunta 2) Faz sentido as classificações de nossas revistas serem tão
>> influenciada pelo critério HL?  Adicionalmente, não está claro como é
>> feita a separação de revistas "core" e
>> "não-core". Mais uma pergunta:
>>
>> (Pergunta 3) Faz sentido colocar revistas como o International Journal of
>> Forecasting e o Journal of Forecasting, que são revistas de séries
>> temporais, como "não core"?
>>
>> Não está claro também se há alguma regra que determine que boas revistas
>> de
>> outras áreas não podem integrar o estrato A do nosso QUALIS. Parece
>> inclusive haver divergência sobre como tratar boas revistas de outras
>> áreas
>> entre a Probabilidade/Estatística e a Matemática Aplicada.
>>
>> (Pergunta(s) 4) Revistas de elite de outras áreas podem integrar o estrato
>> A
>> do nosso QUALIS de acordo com os critérios da Probabilidade/Estatística?
>> Há
>> conformidade com o que é feito na Matemática Aplicada nesse quesito?
>>
>> Retorno agora a um ponto que levantei em minha mensagem inicial: as
>> classificações de muitas revistas da Estatística parecem estar em
>> desvantagem relativa, com todos os ajustes e mutatis mutandis pertinentes,
>> relativamente ao que vemos na Matemática, na Matemática Aplicada e até
>> mesmo
>> na Probabilidade. Peguemos, a título de exemplificação, duas revistas, a
>> saber: Journal of Statistical Physics (uma revista em probabilistas
>> publicam) e Journal of Econometrics (uma revista de Econometria, portanto
>> ligada à área de Estatística). Vejamos dois indicadores relvantes dessas
>> revistas, fator de impacto (FI) e article influence (AI):  Journal of
>> Statistical Physics: FI=1.78 e AI=0.85
>> Journal of Econometrics: FI=1.80 e AI=2.83
>>
>> Poder-se-ia argumentar que o SJR é um indicador mais relevante, como feito
>> por outros membros de nossa lista. Vejamos então:
>>
>> Journal of Statistical Physics: SJR=0.930
>> Journal of Econometrics: SJR=5.191
>>
>> Ou seja, as duas revistas têm FI semelhantes, o AI do JE é mais de três
>> vezes superior ao do JSP e o SJR do JE é mais de cinco vezes e meia maior
>> do
>> que o do JSP.
>>
>> Quais são as classificações QUALIS dessas revistas na nossa área? O
>> Journal
>> of Statistical Physics tem classificação A2 enquanto o Journal of
>> Econometrics tem classificação B2. (Sim, B2!). Aliás, como notei, o
>> Journal
>> of Statistical Physics está classificado em 7 áreas do QUALIS e a única
>> que
>> o coloca no estrato A é a nossa. Convém também notar que o JSP tem
>> classificação B2 na Física ao passo que o Journal of Econometrics tem
>> classificação A1 na Economia.
>>
>> Peguemos agora uma revista da Matemática para dar seguimento ao exemplo:
>> Ergodic Theory & Dynamical Systems. Temos os seguintes indicadores:
>> FI=0.84,
>> AI=1.03 e SJR=1.193. Sua classificação QUALIS: A1. Os indicadores da
>> revista
>> são bem inferiores aos de várias (repito: várias) revistas da Estatística
>> que estão classificadas como B1 e até mesmo B2.
>>
>> O exemplo acima se mantém com outras revistas além do Journal of
>> Econometrics. Ou seja, não se trata de um exemplo baseado num outlier.
>>
>> (Pergunta 5) Disparidades como as apresentadas acima, que com maior
>> frequência ocorrem em desfavor da Estatística, são justificáveis?
>>
>> Concluo reforçando que, em minha opinião, deveríamos nos unir em torno de
>> um
>> ponto único: as correções de distorções que existem no seio do QUALIS que
>> agrega revistas da (i) Matemática, (ii) Matemática Aplicada e (iii)
>> Probabilidade/Estatística. Vencida essa etapa, poderíamos discutir agendas
>> mais amplas.
>>
>> Saudações a todos.
>>
>> FC
>>
>> cc: Prof. Luis Renato G. Fontes, membro do CA-MA do CNPq (área:
>> Probabilidade e Estatística)
>>     Profa. Nancy Lopes Garcia, membro do CA-MA do CNPq (área:
>> Probabilidade
>> e Estatística)
>>
>>
>> --
>> Francisco Cribari-Neto, email: cribari em de.ufpe.br - "All theory, my
>> friend,
>> is gray, but green is life's glad golden tree." --Goethe (Faust)
>>
>> _______________________________________________
>> abe mailing list
>> abe em lists.ime.usp.br
>> https://lists.ime.usp.br/listinfo/abe
>>
>
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/listinfo/abe