[ABE-L] Minha derradeira reflexão de 2018

[Julio Stern]

Caro Carlinhos:

Voce sempre foi para todos la no IME um exemplo de lideranca cientifica.
Muitos, como eu, participamos de seus projetos de pesquisa, e nos beneficiamos diretamente de suas ideias cientificas.
Outros, discordaram de suas opinioes e, mesmo assim, acabaram publicando muita coisa boa mostrando os motivos pelo quais discordavam de voce.
Boas ideias, originais, genuinas (utilizando a oposicao Genuina X Cretina, de que voce tanto gosta) e de repercussao profunda e ampla (i.e. originais e inovadoras dentro da area especifica e tambem de interesse para areas de aplicacao que se utilizam das tecnicas derivadas) tem este tipo de efeito...

Sua carta me deixa muito triste, pois eu avejo como um Marco importante no ``Processo de Mediocizacao da Ciencia''  promovido pelo CNPq. (?!)  Que processo eh este?  Explico a seguir:

(1A) Em primeiro lugar, qual a origem deste Processo de Mediocrizacao?

(1B) A origem do Processo de Mediocrizacao eh a assim chamada Lei de Goodhart (Goodhart's law), que tem as seguintes formulacoes alternativas:

(1C)   ``When a measure becomes a target, it ceases to be a good measure.''

(1D) ``Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.''

(1E) Mario Biagioli foi um dos primeiros a observar os efeitos da Lei de Goodhart no uso de Metricas de Produtividade Cientifica:

`` All metrics of scientific evaluation are bound to be abused. Goodhart's law (named after the British economist who may have been the first to announce it) states that when a feature of the economy is picked as an indicator of the economy, then it inexorably ceases to function as that indicator because people start to game it.''

(2A) Como ocorre o processo de Manipulacao de Metricas (metrics' gamming) no escopo de CNPq e da CAPES?
Na minha opiniao, ha dois mecanismos principais, que descrevo a seguir, e muitos outros mecanismos secundarios.

(2B) Na CAPES, o principal mecanismo de manipulacao eh a Classificacao Qualis.

(2C)  Algumas areas tem criterios honestos e objetivos.  Por exemplo:
>> Pegar 2 ou 3 listas de coeficientes de impacto para revistas internacionais arbitradas produzidas por agencias internacionais;
>> Segmentar cada lista em Quantis de tamanho pre-determinado; e
>> Associar a posicao (melhor ou majoritaria) de cada revista nestes quantis aas classificacoes da Qualis:
Q1 = A1, Q2 = A2, Q3 = B1, Q4 = B2, ...

(2D) Infelizmente, muitas poucas areas utilizam a metodologia descrita em (2C), justamente pois esta Nao permite manipulacoes (claro que esta Nunca eh a expicacao oficial).
Um indicio forte de Podridao eh o anuncio:
``So classificamos uma revista Apos algum pesquisador brasileiro da area nela publicar''
Pronto --- pode ter certeza que ali tem treta!

(3A) No CNPq, o principal mecanismo de manipulacao eh a criacao de ``Politicas de Chiqueirinho''.
Para quem nao conhece o uso do termo, esclareco que a palavra chiqueirinho, alem de designar um espaco confinado para criacao de porcos, tambem designa uma cerquinha utilizada para confinar bebes e criancas pequenas em um pequeno espaco restrito.

(3B) No contexto do CNPq,  mecanismos para criacao de chiqueirinhos podem funcionar assim:
  >> Cada cientista, para ter o direito de participar do jogo,  tem que obrigatoriamente escolher uma [ 1, nao 2 ou 3 ou 4, 1 e somente 1 ] Micro-Area de conhecimento.
>> O juizes da micro-area, formulam criterios de avaliacao que, invariavelmente, envolvem Criterios de Desqualificacao para fora da micro-area.
Exemplos tipicos destes Criterios de Desqualificacao sao:

(3C) Delimitacao de chiqueirinho por area de revista de publicacaco:
>> Na area de Engenharia-34, cada trabalho publicado em revistas da area de Engenharia-34 vale pontos segundo a  tabela-T-34;
>> Na area de Engenharia-34, cada trabalho publicado em revistas da area de Engenharia-35 vale pontos segundo a  tabela-T-35 =mas= uma (1) posicao abaixo;
>> Na area de Engenharia-34, cada trabalho publicado em revistas de Areas Correlatas vale pontos segundo a  tabela-T-X =mas= duas (2) posicao abaixo, onde X designa a micro-area da revista.
>> Na area de Engenharia-34, trabalhos publicados fora das areas supra-mencionadas, nao valem absolutamente nada.

(3D) Delimitacao de chiqueirinho por area de emprego:
>> Para pleitear recursos na area de Engenharia-34, o candidato dever ser professor de um depto de Engenharia-34, ou ser responsavel por uma disciplina de graduacao para alunos de um curso de Engenharia-34.

Combinados, os mecanismos acima descritos instituiram, de fato, um processo de mediocrizacao da ciencia brasileira.
Nao creio que tenha sido a intencao inicial de ninguem promover este processo de mediocrizacao; Pelo contrario: Quando inicialmente instituidos, ha mais de duas decadas, o Curriculo Lattes (documento publico), a disponibilizacao publica dos resultados de julgamentos competitivos, e a adocao de metricas quantitativas, tiveram um impacto muito benefico!
Mas o processo foi mal gerido, descuidado...
Com o tempo, interesses pessoais e/ou de micro-gupos de poder passaram a dominar o processo.
Deu no que deu...

Carlinhos: Sinto te informar, mas o seu (nosso) tempo passou!
Gente como voce, que publica artigos da mais alta qualidade, mas espalhados por deversas areas, hoje sao incomodas, inconvenientes.
Ademais, ao inves de publicar artigos em assuntos-da-modinha, voce insiste em levar adiante suas proprias (genuinas) ideias. Novamente, hoje em dia, esta atitude eh incomoda, inconveniente.
Assim nao da! :-)

Ja se vao muitos anos... tivemos uma conversa com um pesquisador de um depto aqui na USP que nos contou, muito orgulhoso, que todos os projetos de seu laboratorio faziam trabalho experimental para projetos de pesquisa concebidos e liderados no exterior.
Esta politica, nos demonstrou o tal  pesquisador, assegurava o ``melhor'' uso possivel dos recursos que tinha a sua disposicao, isto eh: (a) maximizava seus pontinhos nas avaliacoes do CNPq e da CAPES, e (b) minimizava o risco operacional de seu laboratorio.
Depois desta conversa, fomos almocar, e lamentamos a atitude de nosso colega.
Hoje, ele deve estar mais convicto que nunca de que escolheu o caminho certo a seguir.

Meu pensamento final, para os gestores (ou semi-deuses) de plantao:
>>> Be careful what you wish for; you just might get it!

---Julio Stern


________________________________
From: abe <abe-bounces em lists.ime.usp.br> on behalf of Carlos Alberto de Bragança Pereira <cpereira em ime.usp.br>
Sent: Sunday, December 30, 2018 1:04 AM
To: abe-l em ime.usp.br; g-mae em ime.usp.br; g-mac em ime.usp.br; g-map em ime.usp.br; g-mat em ime.usp.br
Subject: [ABE-L] Minha derradeira reflexão de 2018


Meus caros colegas e amigos

Para não dar uma ideia negativa de meus sentimentos com respeito à
avaliação (referente à bolsa de produtividade e pesquisa) que tive no
último ano, gostaria de me explicar. O fato de ter sido diminuído na
minha classificação, de 1B para 1C, no CNPq, não prejudicou em nada a
bolsa que recebo. Meus amigos, principalmente meu irmão, me disseram
que eu não deveria escrever “choramingando”. Entendi então que minha
intenção não ficou clara e assim tento aqui me explicar.

O meu (nosso) objetivo principal com minhas choramingadas é pressionar
pessoas responsáveis.  Regras claras, para decisões sobre concessões
de auxilio financeiro para projetos científicos e/ou concessão de
bolsa de pesquisador, precisam ser estabelecidas. Se bolsas são
concedidas ou não por comparação de projetos e currículos, precisamos
saber as razões de deferimento ou indeferimento dos pedidos.  Um
pesquisador, que teve seu projeto indeferido, precisa saber o que
levou outros a serem deferidos.  Critérios objetivos facilitam
bastante o entendimento e certamente diminuem as frequências das
indignações.

Antes de iniciar minha reflexão gostaria de dizer que 1B é o último
patamar antes de ir para 1A. Não fosse pela atual representação,
penso, eu já poderia ser 1A. Minha imaginação ainda produz dúvidas
sobre a forma como são estabelecidos os QUALIS de nossas revistas.
Qual a razão das revistas de probabilidades terem QUALIS superiores
aos da estatística? Desculpem minhas dúvidas, mas sem a clareza das
regras deixa-se muito para imaginação negativa.  Em qualquer sociedade
científica as revistas PlosOne e IEEE teriam QUALIS bem melhores do
que temos hoje. Claro, eu tenho ali alguns artigos com meus ex-alunos.

Desde 1981, como pesquisador do CNPq, me sinto um privilegiado. Nunca
deixei de ser apoiado pelas instituições brasileiras, FAPESP, CNPq e
CAPES e sempre fui galgando as diversas etapas de classificação:
Fechei meus olhos (ou meus sentimentos) para aqueles jovens
pesquisadores que porventura foram “injustiçados” ao não receberem
apoio para seus projetos. Agora, quando fui rebaixado no meu nível,
percebi que uma injustiça pode afetar o nosso EGO, mesmo quando o
nosso bolso não é afetado. Este é o principal ponto de minha mensagem.
Minhas “reclamações” não são para garantir o meu projeto, a minha
bolsa, as minhas conquistas, mas sim me preocupa o que estão fazendo
com a área! Se os jovens não tiverem incentivos, eles desistirão! O
sentimento de injustiça para aqueles que estão em início de carreira
pode levar ao fim de uma história que nem bem começou.

Sabendo que não preciso reclamar da vida, percebi que os jovens
injustiçados não sabem que podem e devem reclamar publicamente: os
recursos de nossas agências são públicos e por isso precisam ser bem
administrados.  Escrevi a minha primeira mensagem (no primeiro
semestre) e como consequência muitos jovens escreveram contando as
injustiças sofridas. Recebi permissão para publicar uma dessas
mensagens, como viram. Só para que percebam as práticas possíveis, vou
contar outro caso recente. Como sabem, estou visitando uma
universidade federal onde um jovem colega escreveu um ótimo projeto de
pesquisa para receber apoio financeiro (chamada universal do CNPq).
Não foi um pedido grande e por sinal achei menor do que o projeto
merecia. O projeto foi elogiado pelos avaliadores e muito bem
recebido. No entanto, um dos avaliadores achou estranho não haver um
pesquisador estrangeiro e por esta “razão” o pedido foi indeferido.
Por tais injustiças é que eu reclamo! Como um velho privilegiado,
estou em final de caminho e as consequências de meus escritos não
poderão realmente me atingir de forma drástica. Prefiro pensar que as
consequências de meus choros na rede sejam positivas, pelo menos para
aqueles merecedores injustiçados.  Com respeito à minha produtividade,
gostaria de enfatizar que minha escolha pela multidisciplinaridade foi
feita desde o meu mestrado em 1971.  Sigo recomendações de cientistas
que sempre admirei: Oswaldo Frota Pessoa, Luiz Edmundo Magalhães e
Ricardo Brentani. Minha admiração por Jay Kadane reforçou ainda mais
minha convicção de que foi BOA minha opção adicional pela
multidisciplinaridade.

Outro exemplo de parecer “estranho” ocorreu com um jovem competente em
projeto relacionado a um de meus trabalhos. No parecer ao projeto,
nosso FBST foi classificado como método ultrapassado e assim foi
indeferido o pedido, apenas por usar o eficiente FBST.  Sem contar os
trabalhos recentes, o primeiro artigo definindo o FBST possuía em
setembro 56 citações no SCOPOS e 208 no Google acadêmico. O artigo de
2008 recebeu 32 no SCOPOS, 26 no Web of Science (dados de 07/2017) e
106 no Google de hoje. (As citações do Web of Science e da ESCOPOS
foram retirados dos Lattes de matemática.) Se forem olhar quais
revistas citaram o FBST, irão encontrar JASA e TAS. Imaginem aqueles
que utilizam o velho teste de Fisher (ou as suas ideias) em seus
projetos, seriam estes da pré-história? Felizmente, o pedido de
revisão foi aceito e o projeto contemplado:  Me pareceu que o
avaliador sofre com o sucesso das INVENÇÕES de Outrem – A new
scientific truth does not triumph by convince the opponents and making
them see the light, but rather because its opponents eventually die,
and a new generation grows up that is familiar with it (Max Planck) -.

Aproveitei minha visita a São Paulo para assistir filmes e entrevistas
como as do David Letterman. Em duas ocasiões pessoas afirmaram, em uma
música e em um argumento, que não se pode avaliar o conteúdo de um
livro por sua capa. Concluí então que não se pode (ou não se deve)
avaliar a qualidade de um artigo pelo QUALIS da revista. Alguns de
nossos avaliadores não falam do conteúdo do artigo, mas sim da revista
em que o artigo foi publicado. Repito mais uma vez: Um equívoco de
Einstein não passa a ser correto pelo fato de ele ter escrito. Um
artigo ruim no JASA não fica bom por ele ter sido ali publicado e um
bom artigo não se torna ruim ao ser publicado em uma revista de QUALIS
menor ou com impacto baixo.

Minhas reflexões, reclamações, discussões, são muito mais pensando na
área, Estatística, do que no fato da minha bolsa de produtividade ser
B, C ou A. Novamente, peço desculpas se em minhas mensagens anteriores
a ideia principal não foi clara. Trabalhei desde 1969 na USP e ainda
tenho mais alguns anos de divertimento científico, mas me preocupa o
caminho que tem sido percorrido pela nossa comunidade. Tenho me
obrigado à reclamar! Uso exemplos, pois, não tendo mais o que perder,
eu penso ter o direito de transmitir o que escuto informalmente.

Meu trabalho acadêmico sempre foi com grupos de pessoas que nos
complementamos nas decisões e nas escritas. Se eu tive algum sucesso
em minha caminhada acadêmica devo isto aos meus alunos, colegas
coautores ou incentivadores. Devo a Estatística muito do que sou hoje
como “membro de bastidores de trabalhos científicos”.  Penso que
preciso retribuir ao ganho acadêmico pelo trabalho estatístico.  Penso
que a palavra chave da ciência é o conflito, no trabalho científico
não deve haver hierarquia de conhecimento.  FORA COM A TEORIA DA
AUTORIDADE!  Certo é certo e errado é errado: não há revista que salve
o errado nem que mate o correto.

Em resumo, melhorar o processo deve ser ato contínuo. As regras devem
ser claras para que todos os envolvidos saibam o que deve ser feito e
poderem projetar sua carreira visando o sucesso científico. Para mim,
as seguintes atitudes são necessárias para o sucesso de uma comunidade
científica: DEBATER, CONFLITAR e, principalmente, CRIAR.

Feliz 2019 para os colegas e que obtenham todo o sucesso científico
que merecerem.

--
Carlos Alberto de Bragança Pereira
http://www.ime.usp.br/~cpereira
http://scholar.google.com.br/citations?user=PXX2AygAAAAJ&hl=pt-BR
Stat Department - Professor & Head
University of São Paulo


_______________________________________________
abe mailing list
abe em lists.ime.usp.br
https://lists.ime.usp.br/listinfo/abe
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <https://lists.ime.usp.br/archives/abe/attachments/20181230/a85e0c08/attachment.html>