<div dir="ltr">FYI: Alguns graficos adicionais<div><a href="http://hedibert.org/wp-content/uploads/2018/07/if-sjr-qualis-hedibertlopes.pdf">http://hedibert.org/wp-content/uploads/2018/07/if-sjr-qualis-hedibertlopes.pdf</a><div> </div></div><div>Abs,</div><div>Hedibert</div><div> </div></div> <div class="gmail_quote"><div dir="ltr">On Mon, Jul 16, 2018 at 12:27 PM Adriano Polpo de Campos <<a href="mailto:apolpo@ime.usp.br">apolpo@ime.usp.br</a>> wrote: </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Caros redistas, Vejo a discussão tomando diferentes rumos. Acho isso bem interessante, pois mostra que o desconforto não é pontual. Em diversos aspectos existem críticas (construtivas, ao meu ver) que podem colaborar para crescermos como área. Não sei o quanto concordo com o Cribari em focarmos no QUALIS. Explico: o QUALIS deveria ser utilizado para avaliação de grupos (pós-graduações). Fixar neste ponto não acho que trará benefícios para a transparência nas avaliações (avaliações de pessoas, projetos, grupos, ...). Eu vejo a discussão mais como algo para trazermos benefícios para área de uma maneira geral. Meu principal ponto da discussão é a maior transparência para o sistema. Regras claras e coerentes, que estimulem a área e não como está, com um grande sentimento de injustiça. Entretanto, nesta mensagem, vou olhar para o QUALIS e colocar alguma ponderações adicionais. Eu sou um crítico do QUALIS para avaliar pedidos de projetos individuais. Entretanto, para avaliação de grupos, entendo que este não é o pior dos mundos. Ainda assim, concordo que este deva ser aperfeiçoado. Também, acho que a nossa área não sabe utilizá-lo. Abaixo explico com mais detalhes. Com relação as 4 perguntas do Cribari sobre o QUALIS, entendo que uma maior transparência e clareza na organização/confecção do QUALIS ajudaria muito. Honestamente, entendo que o Cribari colocou apenas alguns pontos/exemplos. O próprio Gauss em sua mensagem diz ter outros inúmeros exemplos. Já o CORE/NÃO CORE é uma caixa preta que é ainda mais complicada de ser justificada. Minhas ponderações (que apesar de numeradas, não são relacionadas as questões do Cribari): 1) O QUALIS tem como proposta avaliar revistas! Nunca foi e nunca será a avaliação da qualidade dos trabalhos publicados. Sempre teremos trabalhos bons em revistas "B", assim como sempre teremos trabalhos ruins em revistas "A". Claro, o que se espera é que a maioria dos trabalhos em revistas "A" sejam melhores que trabalhos em revistas "B". Mas, não sei se isso é muito óbvio, ainda mais para área de estatística que é tão diversa. Quase certamente, existem linhas de pesquisa que não tem nenhuma de suas principais revistas no extrato "A". Isso não faz com que o pesquisador seja ruim, nem os seus trabalhos, mas este pesquisador nunca terá um artigo em revista "A". 2) Outro ponto importante sobre o QUALIS é a sua construção: Para uma revista estar no QUALIS, algum pesquisador, vinculado a um programa de pós-graduação na área, tem que ter publicado naquela revista no período de avaliação do QUALIS. Por exemplo, a JASA não está na classificação do quadriênio de 2013-2016 (exceto que eu tenha feito a busca erroneamente). O Hedibert enviou aqui na lista alguns estudos sobre fator de impacto e QUALIS, em que outras revistas importantes estavam sem QUALIS. Acho que não precisamos discutir a JASA. Se algum brasileiro publicar lá, certamente a JASA estará na classificação A1. Até ai, tudo normal, exceto por um detalhe: Se a JASA entrar no A1, alguma A1 terá de virar A2, alguma A2 terá de virar B1... e assim por diante. Claramente, o "A" de hoje, tem grande chance de ser o "B" de amanhã. Deveria então um pesquisador "escolher" revistas para publicar baseado no QUALIS? 3) Outro detalhe, em geral, tem-se o vício de criticar a pessoa que publica em revista "C". Claro, não estou aqui defendendo as revistas "C's". Mas, o extrato "A1" representa x% do total de revistas a serem incluídas no QUALIS da área (não me recordo do valor, mas utilizarei x=10% como exemplo). Então, se tivermos pesquisadores que publicaram trabalhos, no quadriênio, em 1000 revistas diferentes, 100 delas poderiam estar no extrato A1. Vamos supor agora, que nossa área só tem pessoas muito boas, que só publicam em lugares maravilhosos ("A1"), o que vai acontecer no próximo quadriênio? ao invés de 1000 revistas, teremos publicado somente em 100 revistas diferentes. Agora o extrato A1 terá somente 10 revistas! Quer dizer que as outras 90 viraram B1, B2, ... B5! Tornaram se revistas horríveis? Isto é, focar no QUALIS para "escolher onde publicar", fará com que tenhamos um número reduzido de revistas (concentração de publicação em poucas revistas). Consequentemente, diminuindo aquelas que estão no extrato A. Por implicação óbvia, prejudicando a área. Aqueles que publicam nas mais diversas revistas B e C estão contribuindo para aumentar a quantidade de revistas no extrato A! Favorecendo a comparação da área (matemática, matemática aplicada, probabilidade e estatística) em relação as demais áreas da CAPES. Que também é importante para o crescimento do grupo. O Gauss disse em mensagem aqui do trabalho árduo para conseguir aumentar a quantidade de bolsas de produtividade e pesquisa. Não tem jeito, nós temos que nos comparar com todos, não apenas dentro de nossos subgrupos. Deveríamos conseguir incentivar a todos, aumentando a quantidade de pessoas na área, mas parece-me que os caminhos escolhidos tendem a diminuir a quantidade de pessoas. A consequência para mim é muito clara. Estamos rumando para a extinção da área. 4) Claro, alguém pode dizer que eu estou exagerando, que isso nunca irá acontecer (diminuir a quantidade de revistas no QUALIS)! Ok, faço então a pergunta: Olhem o extrato B1 e vejam quantas revistas que nós gostaríamos de publicar, que são boas e que nunca estarão no extrato A! Simplesmente porque não "tem espaço" no extrato A para mais revistas. Faz sentido? 5) Agora, se eu não estiver enganado, nossa área tem 1484 revistas listadas no QUALIS (2013-2016), das quais temos 99 delas A1 CORE (com 12 delas tendo a revista on-line e a impressa, será que contaram duas vezes?) e 21 A1 NÃO_CORE, isto é 120 revistas A1 (8% de revistas A1). Agora, vejam que curioso, 10 revistas do extrato A1 são de probabilidade e estatística! Como sei disso? Não sei, apenas olhei os nomes das revistas e decidi o que era probabilidade e estatística, então posso estar errado... mas duvido que estou muito errado (poderia chegar a 15 revistas de probabilidade e estatística). Sei que temos menos programas de pós-graduação em probabilidade e estatística (consequentemente, menos pesquisadores e provavelmente menos publicações) do que as matemáticas. Mas será que a proporção é de 10 revistas A1 de probabilidade e estatística para 110 de matemáticas? Considerando as diversas mensagens dos colegas sobre o QUALIS, adicionando as minhas ponderações, só posso concluir uma coisa: O QUALIS é danoso para área! Seja ele utilizado para avaliação de grupos ou, principalmente, para avaliação de pesquisadores!!! Ok, parece-me que este já é um ponto claro e óbvio. Será que tem como melhorá-lo? Será que é este o caminho que devemos seguir? Eu vejo que se melhorar o QUALIS teremos uma melhora para área, talvez, apenas pontual e passageira. Não sei se seria de fato uma mudança significativa para o avanço da área como um todo. Além disso, não vejo os matemáticos (aplicados ou puros) como os nossos inimigos. Eu acho que a nossa discussão deve ser pautada por racionalismo, que seja propositiva e que funcione melhor para a área como um todo. Não adianta "melhorar" para um grupo em particular (que seja probabilidade e estatística) em detrimento dos outros (matemáticas), pois isso manterá as injustiças. Eu penso que devemos construir algo que seja claro, transparente e razoável para todos os envolvidos, grupos, subgrupos, ... Termino minha mensagem com a mesma pergunta que fiz anteriormente: Como deveríamos seguir com a discussão para tentar de fato melhorar o sistema? (avaliações transparentes, claras e menos injustas) Saudações, Adriano. 2018-07-12 12:06 GMT-03:00 Francisco Cribari <<a href="mailto:cribari@de.ufpe.br" target="_blank">cribari@de.ufpe.br</a>>: > Caros: > > Entendo que o ideal seria buscarmos alguns pontos básicos de concordância. O > documento da CAPES que detalha a classificação QUALIS em nossa área se > encontra em > > <a href="http://capes.gov.br/images/documentos/Qualis_periodicos_2016/Qualis_Periodicos_Area_01__2016_08_08_MATEM%C3%81TICA.pdf" rel="noreferrer" target="_blank">http://capes.gov.br/images/documentos/Qualis_periodicos_2016/Qualis_Periodicos_Area_01__2016_08_08_MATEM%C3%81TICA.pdf</a> > > A primeira coisa que chama a atenção é a aguda disparidade de critérios > usados (i) pela Matemática, (ii) pela Matemática Aplicada e (iii) pela > Probabilidade/Estatística. Dado que o QUALIS final é único para as três > áreas, chegamos à primeira pergunta: > > (PERGUNTA 1) Alguma divergência de critérios é inevitável, mas será que > divergência tão acentuada de critérios é desejável? > > Sobre tal pergunta, notemos que o conceito de uma dada revista pode ser > muito diferente dependendo de se sua avaliação é feita no escopo da > Matemática Aplicada ou no escopo da Probabilidade e Estatística. Suponhamos, > por exemplo, que o pesquisador X publique na revista Y, que ainda não está > classificada. Se o pesquisador X fizer parte de um programa de pós-graduação > em Matemática ou Matemática Aplicada, a classificação da revista Y pode ser > uma; se tal pesquisador fizer parte de uma pós-graduação em Estatística, por > outro lado, a classificação da revista Y pode ser outra. > > As classificações das revistas em nossa área (Probabilidade e Estatística) > são muito determinadas por seus tempos medianos de citação ("cited > half-life", HL). Eu inclusive mostrei a dominância desse critério ao > representante de área anterior da CAPES, prof. Lorenzo Díaz, numa reunião > que tive com ele e com mais alguns membros convidados de nossa comunidade no > IME/USP em maio de 2016. Tal critério, contudo, parece ser mais pertinente > para contribuições feitas nas áreas de Probabilidade e Estatística > Matemática, onde se espera haver perenidade de resultados. Não está claro > por que tal critério é relevante para contribuições feitas, por exemplo, nos > domínios da Estatística Computacional e da Estatística Aplicada. Chegamos, > assim, à segunda pergunta: > > (Pergunta 2) Faz sentido as classificações de nossas revistas serem tão > influenciada pelo critério HL? Adicionalmente, não está claro como > é feita a separação de revistas "core" e > "não-core". Mais uma pergunta: > > (Pergunta 3) Faz sentido colocar revistas como o International Journal of > Forecasting e o Journal of Forecasting, que são revistas de séries > temporais, como "não core"? > > Não está claro também se há alguma regra que determine que boas revistas de > outras áreas não podem integrar o estrato A do nosso QUALIS. Parece > inclusive haver divergência sobre como tratar boas revistas de outras áreas > entre a Probabilidade/Estatística e a Matemática Aplicada. > > (Pergunta(s) 4) Revistas de elite de outras áreas podem integrar o estrato A > do nosso QUALIS de acordo com os critérios da Probabilidade/Estatística? Há > conformidade com o que é feito na Matemática Aplicada nesse quesito? > > Retorno agora a um ponto que levantei em minha mensagem inicial: as > classificações de muitas revistas da Estatística parecem estar em > desvantagem relativa, com todos os ajustes e mutatis mutandis pertinentes, > relativamente ao que vemos na Matemática, na Matemática Aplicada e até mesmo > na Probabilidade. Peguemos, a título de exemplificação, duas revistas, a > saber: Journal of Statistical Physics (uma revista em probabilistas > publicam) e Journal of Econometrics (uma revista de Econometria, portanto > ligada à área de Estatística). Vejamos dois indicadores relvantes dessas > revistas, fator de impacto (FI) e article influence (AI): Journal > of Statistical Physics: FI=1.78 e AI=0.85 > Journal of Econometrics: FI=1.80 e AI=2.83 > > Poder-se-ia argumentar que o SJR é um indicador mais relevante, como feito > por outros membros de nossa lista. Vejamos então: > > Journal of Statistical Physics: SJR=0.930 > Journal of Econometrics: SJR=5.191 > > Ou seja, as duas revistas têm FI semelhantes, o AI do JE é mais de três > vezes superior ao do JSP e o SJR do JE é mais de cinco vezes e meia maior do > que o do JSP. > > Quais são as classificações QUALIS dessas revistas na nossa área? O Journal > of Statistical Physics tem classificação A2 enquanto o Journal of > Econometrics tem classificação B2. (Sim, B2!). Aliás, como notei, o Journal > of Statistical Physics está classificado em 7 áreas do QUALIS e a única que > o coloca no estrato A é a nossa. Convém também notar que o JSP tem > classificação B2 na Física ao passo que o Journal of Econometrics tem > classificação A1 na Economia. > > Peguemos agora uma revista da Matemática para dar seguimento ao exemplo: > Ergodic Theory & Dynamical Systems. Temos os seguintes indicadores: FI=0.84, > AI=1.03 e SJR=1.193. Sua classificação QUALIS: A1. Os indicadores da revista > são bem inferiores aos de várias (repito: várias) revistas da Estatística > que estão classificadas como B1 e até mesmo B2. > > O exemplo acima se mantém com outras revistas além do Journal of > Econometrics. Ou seja, não se trata de um exemplo baseado num outlier. > > (Pergunta 5) Disparidades como as apresentadas acima, que com maior > frequência ocorrem em desfavor da Estatística, são justificáveis? > > Concluo reforçando que, em minha opinião, deveríamos nos unir em torno de um > ponto único: as correções de distorções que existem no seio do QUALIS que > agrega revistas da (i) Matemática, (ii) Matemática Aplicada e (iii) > Probabilidade/Estatística. Vencida essa etapa, poderíamos discutir agendas > mais amplas. > > Saudações a todos. > > FC > > cc: Prof. Luis Renato G. Fontes, membro do CA-MA do CNPq (área: > Probabilidade e Estatística) > Profa. Nancy Lopes Garcia, membro do CA-MA do CNPq (área: Probabilidade > e Estatística) > > > -- > Francisco Cribari-Neto, email: <a href="mailto:cribari@de.ufpe.br" target="_blank">cribari@de.ufpe.br</a> - "All theory, my friend, > is gray, but green is life's glad golden tree." --Goethe (Faust) > > _______________________________________________ > abe mailing list > <a href="mailto:abe@lists.ime.usp.br" target="_blank">abe@lists.ime.usp.br</a> > <a href="https://lists.ime.usp.br/listinfo/abe" rel="noreferrer" target="_blank">https://lists.ime.usp.br/listinfo/abe</a> > _______________________________________________ abe mailing list <a href="mailto:abe@lists.ime.usp.br" target="_blank">abe@lists.ime.usp.br</a> <a href="https://lists.ime.usp.br/listinfo/abe" rel="noreferrer" target="_blank">https://lists.ime.usp.br/listinfo/abe</a> </blockquote></div> <div> </div>-- <div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Hedibert Freitas Lopes, PhD Professor of Statistics and Econometrics INSPER - Institute of Education and Research Rua Quatá, 300 - São Paulo, SP 04546-042 Brazil Phone: +55 11 4504-2343 <a href="http://www.hedibert.org" target="_blank">www.hedibert.org</a> </div></div>