[ABE-L] Ainda sobre a inversão de mérito
Paulo C Rodrigues
paulocanas em gmail.com
Seg Jul 16 13:12:17 -03 2018
Prezados Colegas,
considero esta discussão sobre o QUALIS e sobre a avaliação do mérito dos
pesquisadores de extrema importância.
Sobre o QUALIS, talvez por ignorância histórica da minha parte, não consigo
entender exatamente qual o objetivo de criar uma lista de revistas
(aparentemente com classificação subjetiva) quando existem listas
internacionais feitas por profissionais (e não por pesquisadores que têm
outras atividades mais relevantes com que se preocupar). Penso que as duas
listas mais relevantes internacionalmente são o índice do Scimago (
https://www.scimagojr.com/journalrank.php?area=2600&category=2613) e o
Fator de Impacto da Thomson Reuters, que são bem objetivos! Apenas uma
pergunta básica:
- Porque não considerar uma combinação destes dois índices para definir
os estratos do QUALIS A1, A2, B1, B2 e B3? Por exemplo:
1. fazer uma média (usando o Scimago e o Impact Factor) de ranks por
área, considerando como revista "Core" toda a revista que aparece em pelo
menos um dos índices. Todas as outras seriam classificadas como
"Não Core";
2. definir (internamente no CNPq?) a percentagem de revistas em cada
um dos estratos do QUALIS A1, A2, B1, B2 e B3 (igual para todas as
áreas e sub-áreas)
3. com o rank obtido em 1, criar a lista das revistas em cada um dos
estratos (e em cada uma das áreas), considerando as percentagens em 2.
4. atualizar todos os anos em julho após a divulgação do Impact Factor
5. fim
Vantagens:
- É objetivo
- As áreas e sub-áreas já estão bem definidas
- Todas as revistas relevantes são consideradas e não apenas aquelas
onde os membros integrados dos programas de pós-graduação publicam
- um exemplo "engraçado" (mas sem graça nenhuma) que me aconteceu no
final do ano passado: um colega do Colegiado em Matemática da UFBA diz-me
que é uma pena que o meu artigo com fator de impacto de mais de 7 não
esteja no QUALIS de Matemática/Probabilidade e Estatística e que o meu
vínculo foi alterado de membro permanente para colaborador. A
contagem dos
meus artigos foi mal contabilizada e, felizmente, na reunião seguinte do
Colegiado, essa decisão foi revogada. Ah, a revista em causa é
apenas a 5ª
(!) no indice Scimago na área de Probabilidade e Estatística
Será que estou a ser simplista demais? Ou talvez naïve...
Sobre a avaliação do mérito, tenho algumas histórias interessantes mas
certamente não tão chocantes como a do Marcelo.
Um abraço a todos
Paulo.
----------------------------------------------------------------------------------------------------
----------
Paulo Canas Rodrigues
Research Director
Center for Applied Statistics and Data Analytics (CAST
<https://research.uta.fi/cast/>)
University of Tampere, Finland
Assistant Professor
Federal University of Bahia, Brazil
CV Lattes: http://lattes.cnpq.br/0029960374321970
Web: http://sites.google.com/site/paulocanas/
----------------------------------------------------------------------------------------------------
----------
2018-07-12 07:40 GMT-03:00 Gauss Cordeiro <gauss em de.ufpe.br>:
> Caríssimos,
>
> Gostaria de salientar apenas três pontos.
>
> Primeiro, a área “Lifetime and Data Analysis” cresceu muito no Brasil
> nos últimos 15 anos graças aos esforços de vários pesquisadores.
> Uma prova viva desse fato é que temos um encontro específico nesta
> área a cada dois anos denominado “Workshop em Análise de
> Sobrevivência
> e Aplicações”. A 5ª edição ocorreu em Salvador em março deste ano.
> Sem medo de errar, essa área vem se configurado com uma
> das mais produtivas da Estatística no País.
>
> Segundo, as pesquisas nesta área envolvem os seguintes tópicos:
> metodologia, análise de dados, computação intensiva por conta da
> complexidade de alguns modelos e estudos amplos de simulação Monte
> Carlo. Nestes termos, as dezenas de pesquisadores brasileiros
> desta área direcionam seus trabalhos para periódicos aplicados ou para
> os seguintes periódicos de Estatística que contemplam os tópicos
> acima: Computational Statistics and Data Analysis, Lifetime and Data
> Analysis, Journal of Statistics Computation and Simulation (JSCS),
> entre alguns poucos outros. Os dois primeiros tinham Qualis nível A no
> passado.
>
> Terceiro, o fator de impacto de um periódico representa uma média
> global da influência do periódico na comunidade científica,
> mas não contempla as variações das influências dos papers publicados
> nele. Apenas um exemplo dentre muitos:
> um paper publicado em 2011 no JSCS foi ranqueado em 2017 entre aqueles
> 1% mais citados na área de Matemática
> (arquivos em anexo). Esse artigo demandou um trabalho árduo de mais de 4
> meses.
>
>
> Cordiais Saudações,
>
> Gauss Cordeiro
>
>
>
> Em 11 de julho de 2018 19:40, Lorena Barberia
> <lorena.barberia em gmail.com> escreveu:
> > Caros,
> >
> > Estou acompanhando esta discussão que pensou muito importante e
> relevante.
> > Recentemente, elaboramos um artigo discutindo a classificação
> Qualis/Capes
> > vs. SJR, etc. para a ciência política que publicamos no Brazilian
> Political
> > Science Review. Segue em anexo. Como pretendemos avançar com um estudo
> > maior para comparar varias áreas, agradeceríamos muito os comentários e
> > criticas.
> >
> > Abraços, Lorena
> >
> > Lorena Barberia
> >
> > Professor
> >
> > Department of Political Science
> > University of São Paulo
> >
> > Avenida Professor Luciano Gualberto, 315
> >
> > Sala 2067
> >
> > Cidade Universitária
> >
> > São Paulo - SP
> >
> > Brazil Cep 05508-900
> >
> >
> > Tel: +55.11.3091-3780 (Department)
> >
> > Tel: +55.11.3091-0324 (Office)
> > E-mail:lorenabarberia em usp.br
> >
> > Department website: http://dcp.fflch.usp.br/dcp/
> >
> > Faculty webpage:
> > http://dcp.fflch.usp.br/dcp/index.php/docentes/lorena-barberia
> >
> >
> >
> > Save the date! "Concepts, Methods and Techniques in Political Science,
> > IPSA-USP Summer School 2019, January 14-February 1,2019. 10th Session.
> > University of São Paulo, Brazil.
> >
> > http://summerschool.fflch.usp.br
> >
> >
> >
> >
> >
> >
> > On Wed, Jul 11, 2018 at 3:28 PM Hedibert Lopes <hedibert em gmail.com>
> wrote:
> >>
> >> Mais dois graficos para enriquecer o importante debate. Dessa vez
> usando
> >> o indice SJR (Scientific Journal Rankings, SCImago).
> >> Parece que o SJR discrimina melhor entre A1/A2 e B1/B2, o que nao
> acontece
> >> com o fator de impacto (FI).
> >>
> >> Saudacoes Croatas a todos,
> >> Hedibert
> >>
> >>
> >>
> >> On Wed, Jul 11, 2018 at 1:41 PM Hedibert Lopes <hedibert em gmail.com>
> wrote:
> >>>
> >>> Boa tarde pessoal,
> >>>
> >>> Tenho acompanhado de perto essa discussao sobre qualis/fator de
> >>> impacto/merito/bolsa CNPq/etc e, assim como varios membros, acho que
> sao
> >>> temas muito relevantes para nossa area de pesquisa. Particularmente
> >>> importante para os jovens pesquisadores (menos que 35 anos, ou por ai)
> que
> >>> comecam a encontrar os caminhos das pedras nesse mundo
> academico-cientifico.
> >>>
> >>> Estou adicionando dois resumos que fiz para melhor entender o cenario
> >>> atual. E' incompleto e representa todos meus vieses, portanto nao
> assumo
> >>> nenhuma responsabilidade pelo uso indevido desse material.
> >>>
> >>> Uma curiosidade: O Brasil esta' entre os paises que mais publicaram,
> nos
> >>> ultimos 3 anos, no Journal of Applied Statistics (JAS) e no Journal of
> >>> Statistical Computation and Simulation (JSCS), com pesadas
> contribuicoes da
> >>> USP e UFPE (UFSCAR tambem, mas no JAS). O JSCS tem FI=0.87 (2017) e o
> JAS
> >>> tem FI=0.67 (2017), ambos proximos ao BJPS (IF=0.82, 2017) onde a
> maioria
> >>> das publicacoes tambem sao de brasileiros. Essas, e varias outras
> revistas,
> >>> estao no canto direito inferior da minha figura, entre as revistas com
> menor
> >>> impacto e classificacao B1/B2 no Qualis.
> >>>
> >>> Perguntas que me vem a cabeca: E' isso que somos? Pesquisadores do
> >>> "canto direito inferior"? Porque publicamos muitos artigos ali? E' o
> porto
> >>> final do processo de submissao ou um dos iniciais? As publicacoes
> saem mais
> >>> rapidamente ali ou nao? Nao tenho solucoes obvias. O que fiz no
> Insper,
> >>> assim que cheguei ao Brasil foi usar os indices Scimago JCR (e nao o
> fator
> >>> de impacto) para listas revistas de estatistica (hoje nem usamos mais
> essa
> >>> listagem, fazemos um estudo caso a caso com pareceristas internos e
> >>> externos).
> >>>
> >>> Queria finalizar dizendo que nao acho um "merito", dentro da nossa area
> >>> (estatistica) ter uma ideia em uma semana, escrever o artigo em 2
> semanas e
> >>> te-lo publicado em 2 meses. No minimo acho suspeitoso.
> >>>
> >>> Abs,
> >>> Hedibert
> >>>
> >>>
> >>>
> >>> On Wed, Jul 11, 2018 at 10:39 AM Florencia Leonardi <
> leonardi em ime.usp.br>
> >>> wrote:
> >>>>
> >>>> Caros colegas,
> >>>>
> >>>> segui com atenção a discussão dos últimos dias sobre as avaliações de
> >>>> produtividade e o que foi exposto sobre as injustiças dessas
> avaliações.
> >>>> Na nossa pós-graduação do IME-USP nós temos discutido este assunto faz
> >>>> algum tempo, em relação com o credenciamento de orientadores e
> possíveis
> >>>> mudanças
> >>>> de regras. Eu gostaria de manifestar meu apoio às ideias que
> Alexsandra
> >>>> e Adriano expuseram nas respectivas mensagens. Eu acho que nós
> devemos sim
> >>>> usar
> >>>> os índices "objetivos" como ferramentas para nos auxiliar nas
> >>>> avaliações, porque seria impossível conhecermos por exemplo a
> qualidade de
> >>>> todas as revistas,
> >>>> mas eles nunca deveriam substituir a análise criteriosa de colegas da
> >>>> área. Eu acho que essa búsqueda pela "objetividade" está perdida, e
> além
> >>>> disso,
> >>>> pode ser muito mais injusta que a suposta "subjetividade" da análise
> por
> >>>> pares.
> >>>> Acho que, como foi dito, nós deveríamos buscar mais transparência nos
> >>>> processos de avaliação por pares, termos pareceres bem justificados,
> e não
> >>>> tentar substituir a
> >>>> avaliação humana por um número ou um ranking de pessoas segundo número
> >>>> de artigos, número de citações, etc. O que é que esses índices
> representam
> >>>> sobre a relevância
> >>>> da pesquisa dessa pessoa? Além disso, como foi exposto aqui, as
> >>>> classificações da Capes no Qualis não seguem rigorosamente os mesmo
> >>>> critérios que a própria Capes propõe.
> >>>> Isso na minha opinião não faz o menor sentido, porque um índice é só
> >>>> isso, um índice, e retocá-lo manualmente não corrige nenhuma
> distorção, só
> >>>> destrói a única propriedade que
> >>>> esse número tem, que é o de ser objetivo. O que não deveríamos é usar
> >>>> esses números como único critério de avaliação, as pessoas são muito
> mais
> >>>> que seu h-index.
> >>>>
> >>>> Outro assunto que foi levantado na discussão é sobre a
> >>>> multidisciplinaridade, acho que o "sistema" ainda não está preparado
> para
> >>>> isso, para poder impulsar a multidisciplinaridade
> >>>> não basta só querer que as pessoas façam isso, o sistema deve
> >>>> proporcionar a elas condições. Como fazer isso não está claro para
> mim, mas
> >>>> como não fazer sim está claro.
> >>>> Os editais de concursos pedem muitas vezes graduação e doutorado na
> >>>> mesma área, mesmo pessoas que tem pesquisa de qualidade na área do
> concurso
> >>>> não podendo se inscrever.
> >>>> Isso faz algum sentido?
> >>>>
> >>>> Abraços,
> >>>> Florencia
> >>>>
> >>>>
> >>>> 2018-07-09 15:55 GMT-03:00 Carlos Alberto de Bragança Pereira
> >>>> <cpereira em ime.usp.br>:
> >>>>>
> >>>>> Caros redistas, colegas e amigos
> >>>>> Quero agradecer a todos que se manifestaram em solidariedade à minha
> >>>>> reclamação, mas principalmente aos colegas que se dispuseram a
> discutir tema
> >>>>> tão importante para todos nós.
> >>>>>
> >>>>> Os e-mails da Alex e do Adriano talvez tenham dado a direção a seguir
> >>>>> em nossas ambições de cpoder construir um sistema justo de avaliação.
> >>>>>
> >>>>> Mas escrevo hje para divulgar uma mensagem de um jovem pesquisador a
> >>>>> qual me tocou profundamente devido à consequência de uma injustiça.
> O
> >>>>> último parágrafo dele me fez pensar que o que aconteceu comigo é
> nada em
> >>>>> comparação com a situação dele. Vou divulgar porque ele me
> autorizou a
> >>>>> fazê-lo.
> >>>>>
> >>>>> Antes de colocar a mensagem do jovem eu gostaria de dizer que
> colaboro
> >>>>> com o melhor grupo de psiquiatria deste pais e a seguinte mensagem
> eu recebi
> >>>>> agora de nossa colega psiquiatra.
> >>>>> ____________________________________________________________
> ___________
> >>>>> obrigada Carlinhos,
> >>>>> assim que o Daniel me mandar eu te encaminho
> >>>>> a revista é o Journal of Anxiety Disorders, fator de impacto 3.481
> >>>>> abraços
> >>>>> Roseli
> >>>>> ____________________________________________________________
> ___________
> >>>>>
> >>>>> Aqui vai o que interessa
> >>>>> Retirei o sobrenome que identificaria completamente o autor
> >>>>>
> >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
> >>>>>
> >>>>> Prezado professor Carlinhos,
> >>>>>
> >>>>> Meu nome é Marcelo Pereira, sou um jovem estatístico (hoje eu tenho
> 32
> >>>>> anos de idade) que inclusive já trocou alguns emails com o senhor.
> Venho
> >>>>> através deste email me solidarizar com o que aconteceu com o senhor,
> pois
> >>>>> aconteceu algo no mesmo contexto comigo.
> >>>>>
> >>>>> Ano passado eu completei 3 anos de doutorado e assim eu tinha direito
> >>>>> de pedir uma bolsa PQ nível 2. Bom, fiz o meu projeto enviei no
> prazo com
> >>>>> tudo nos conformes.
> >>>>>
> >>>>> Quando saiu o resultado, eu só recebi a avaliação de 1 parecer ad hoc
> >>>>> (geralmente são 3-4). O parecer de Pré-seleção foi dado 1 mês após o
> único
> >>>>> parecer ad hoc que eu recebi, e o mesmo falou que eu conclui o
> doutorado em
> >>>>> 2015, e portanto não estava apto a receber bolsa PQ, sendo que eu
> terminei
> >>>>> em 2014. Bom, eu recorri do resultado no dia 18/01/2018 e até 20
> dias atrás
> >>>>> o resultado estava "em Análise pelo CNPq", sendo que já tinha um
> outro
> >>>>> edital aberto. Enviei um email para a ouvidoria, e em menos de duas
> semanas
> >>>>> resolveram soltar o resultado de reconsideração, que continuou como
> >>>>> indeferido. Mas, agora falaram que não tinha mérito para estar entre
> os que
> >>>>> mereciam bolsa e minha resposta foi a seguinte:
> >>>>>
> >>>>>
> >>>>> Ainda, referente ao mérito da proposta, cabe alguns destaques:
> >>>>>
> >>>>> 1) Eu possuo mais de 50 artigos científicos publicados e/ou aceitos
> em
> >>>>> periódicos internacionais (apesar da pouca idade) com sistema de
> arbitragem
> >>>>> em diferentes linhas de pesquisa. Nos últimos 3 anos (número de anos
> após a
> >>>>> minha defesa de doutorado) eu publiquei 24 artigos científicos (6 em
> 2015,
> >>>>> 10 em 2016 e 8 em 2017) em periódicos internacionais. A grande
> maioria de
> >>>>> meus artigos estão publicados em revistas com grandes visibilidade e
> impacto
> >>>>> na área de estatística, mostrando intensidade e regularidade das
> >>>>> publicações. Em termos de Qualis/CAPES, possuo melhores métricas que
> vários
> >>>>> outros bolsistas PQ do mesmo comitê da Matemática e Estatística.
> Acredito,
> >>>>> fortemente, que a minha produção (nos últimos 3 anos) é equivalente à
> >>>>> produção científica de pesquisadores nível 1D da área de
> probabilidade e
> >>>>> estatística.
> >>>>>
> >>>>>
> >>>>>
> >>>>> 2) Tenho trabalhado em colaboração com diferentes pesquisadores, do
> >>>>> Brasil e do exterior e com diferentes graus de senioridade, além de
> >>>>> desenvolver trabalhos solo. No momento, venho trabalhando em cerca
> de 25
> >>>>> artigos científicos que serão submetidos a periódicos internacionais
> da área
> >>>>> de estatística e tenho 16 artigos submetidos. Esses dados mostram
> >>>>> intensidade e autonomia
> >>>>> científica superior a outros bolsistas PQ da mesma área.
> >>>>>
> >>>>>
> >>>>> 3) Apesar de jovem, vale ressaltar que eu sou revisor de cerca de 90
> >>>>> importantes periódicos internacionais, além de ser Editor Associado
> de dois
> >>>>> periódicos internacionais: International Journal of Computer
> Sciences and
> >>>>> its Applications e International Journal of Statistics: Advances in
> Theory
> >>>>> and Applications.
> >>>>>
> >>>>>
> >>>>> 4) Ressalto ainda que, com apenas 30 anos de idade, eu assumi em
> 2016 a
> >>>>> coordenação da Pós-Graduação em Matemática Aplicada
> >>>>> e Estatística da UFRN (ainda continuo como coordenador), sendo
> talvez o
> >>>>> coordenador mais jovem dentre todas as áreas de conhecimento da
> CAPES.
> >>>>>
> >>>>>
> >>>>> 5) Os bons fóruns cientíticos que venho publicando evidenciam a
> >>>>> qualidade de minha pesquisa. Contudo, destaco ainda que recebi o
> prêmio JAN
> >>>>> TINBERGEN AWARDS 2017 pelo International Statistical Institute (ISI)
> em
> >>>>> Marrakech, Marrocos. Esse é um dos prêmios mais importantes para
> jovens
> >>>>> estatísticos do planeta, quiçá não seja o maior. Eu concorri com
> jovens
> >>>>> estatísticos de 138 países em desenvolvimento e fiquei em primeiro
> lugar.
> >>>>> Ressalto que no mesmo evento o Professor Sir David Cox recebeu o
> primeiro
> >>>>> prêmio International Prize
> >>>>> in Statistics. Esse prêmio é considerado o Nobel da Estatística.
> Este é
> >>>>> um indicador claro de qualidade da pesquisa
> >>>>> e de inserção internacional.
> >>>>>
> >>>>> 6) Dentre os critérios do Comitê Assessor da Matemática e
> Estatística,
> >>>>> dentre outros, destaco o seguinte: "especial atenção
> >>>>> aos jovens com claro potencial para se tornarem lideranças.". Pelos
> >>>>> argumentos de mérito listados em (1)-(5) acima entendo que
> >>>>> satisfaço completamente os critérios do comitê, especialmente este
> >>>>> destacado.
> >>>>>
> >>>>>
> >>>>> O mais estranho é que outros pesquisadores com 5-6 artigos publicados
> >>>>> durante toda a sua vida acadêmica ganharam bolsa.
> >>>>> Quando o mérito não é levado em conta, perde o sentido de quase tudo.
> >>>>>
> >>>>>
> >>>>> Qual foi o efeito causado em mim: hoje em dia não tenho nenhum pouco
> de
> >>>>> vontade de fazer mais pesquisa. Desanimei completamente. Encontrei
> outras
> >>>>> atividades que me fazem feliz e estou vivendo. Talvez tenha sido
> excelente
> >>>>> para a minha vida pessoal.
> >>>>>
> >>>>>
> >>>>> Desculpe pelo longo email e espero que o resultado em relação a bolsa
> >>>>> do senhor seja revertido.
> >>>>>
> >>>>> Saudações,
> >>>>>
> >>>>> Marcelo
> >>>>> --
> >>>>> Carlos Alberto de Bragança Pereira
> >>>>> http://www.ime.usp.br/~cpereira
> >>>>> http://scholar.google.com.br/citations?user=PXX2AygAAAAJ&hl=pt-BR
> >>>>> Stat Department - Professor & Head
> >>>>> University of São Paulo
> >>>>>
> >>>>>
> >>>>> _______________________________________________
> >>>>> abe mailing list
> >>>>> abe em lists.ime.usp.br
> >>>>> https://lists.ime.usp.br/listinfo/abe
> >>>>
> >>>>
> >>>> _______________________________________________
> >>>> abe mailing list
> >>>> abe em lists.ime.usp.br
> >>>> https://lists.ime.usp.br/listinfo/abe
> >>>
> >>>
> >>>
> >>> --
> >>> Hedibert Freitas Lopes, PhD
> >>> Professor of Statistics and Econometrics
> >>> INSPER - Institute of Education and Research
> >>> Rua Quatá, 300 - São Paulo, SP 04546-042 Brazil
> >>> Phone: +55 11 4504-2343
> >>> www.hedibert.org
> >>
> >>
> >>
> >> --
> >> Hedibert Freitas Lopes, PhD
> >> Professor of Statistics and Econometrics
> >> INSPER - Institute of Education and Research
> >> Rua Quatá, 300 - São Paulo, SP 04546-042 Brazil
> >> Phone: +55 11 4504-2343
> >> www.hedibert.org
> >> _______________________________________________
> >> abe mailing list
> >> abe em lists.ime.usp.br
> >> https://lists.ime.usp.br/listinfo/abe
> >
> >
> > _______________________________________________
> > abe mailing list
> > abe em lists.ime.usp.br
> > https://lists.ime.usp.br/listinfo/abe
> >
>
> _______________________________________________
> abe mailing list
> abe em lists.ime.usp.br
> https://lists.ime.usp.br/listinfo/abe
>
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20180716/76ec8196/attachment.html>
Mais detalhes sobre a lista de discussão abe