[ABE-L] Sugestões para processo de avaliação

[Adriano Polpo de Campos]

Caro(a)s redistas,

Aproveitando a oportunidade sobre a discussão da avaliação, que volta  
a rede mais uma vez, gostaria de acrescentar minhas sugestões para o  
processo de avaliação.

Como melhorar o sistema é o nosso desafio. O sistema irá mudar! Vejam  
no link as propostas da CAPES, indicando mudanças para o futuro  
próximo no sistema de avaliação, afetando seriamente QUALIS, impacto  
da produção, internacionalização e outros aspectos:

https://www.capes.gov.br/sala-de-imprensa/noticias/9125-aprovada-proposta-de-aprimoramento-de-avaliacao-da-pos-graduacao

* Pontos que considero importantes:
1) Pessoas em início de carreira (jovens) não podem ser prejudicados,  
só pelo fato de não terem uma carreira mais longa. Pessoas no final de  
carreira (seniores) não podem ser prejudicadas só pelo fato de terem  
uma carreira mais longa.

2) A comparação deve ser dentro das áreas. É notória a diferença no  
volume individual de publicações nas diferentes áreas, além da  
tipificação dos trabalhos.

3) Precisamos ter em mente a ciência no mundo. Olhar somente para o  
que é produzido pelos brasileiros pode não produzir excelência  
científica.

4) Incentivar e criar mecanismos para todos terem oportunidades  
deveria nortear as regras. Aumentar a massa crítica só nos fará mais  
fortes. Claro, que é sempre difícil dividir o escasso recurso  
disponível, mas as regras não devem ser baseadas no montante disponível.

Exemplos de outros países:

Vejo o sistema Britânico de avaliação de departamentos positivamente.  
A cada 4 anos, todos os docentes devem selecionar 4 artigos publicados  
que farão parte da avaliação daquele departamento. Sim, apenas os  
melhores 4 artigos por docentes!

Com respeito aos EUA, eu soube que uma instituição escolhe o comitê a  
cada julgamento. O comitê é composto por membros internos e externos à  
comunidade dos EUA. No processo de avaliação o comitê é colocado em um  
hotel, para olhar todos os pedidos, compará-los, criar uma ordenação e  
só sair do hotel com uma decisão tomada, tudo com regras  
preestabelecidas.

* Baseado nestes dois exemplos, minha sugestão é:
1) Considerar os últimos 5 anos.

2) Considerar somente 5 artigos, no período e indicados, pelo proponente.

3) Considerar o projeto de pesquisa como relevante ou não. (dizer que  
um projeto é mais importante que o outro é muito complicado. Diversas  
vezes temos projetos de áreas muito distintas, o que torna impossível  
compará-los. Mas, dizer se um projeto é relevante na sua área não é  
tão complicado).

4) Considerar a formação de recursos humanos (aulas e orientações).

5) Considerar trabalhos administrativos: chefias, coordenações, membro  
de diretoria de sociedades científicas, organização de eventos etc.

6) Considerar o impacto da pesquisa (relevância social, o quanto a  
pesquisa pode contribuir com a sociedade etc).

* Como fazer a avaliação:

Compõe-se um comitê a cada ano, não podendo haver repetição de  
membros, contando com pesquisadores internacionais de renome no  
comitê. Colocam-se todos em um hotel, isolados, e estes devem ler os  
projetos e os trabalhos dos proponentes. Não utilizar apenas uma  
classificação como QUALIS (ou fator de impacto, Scopus, citações  
etc.). Olhar os trabalhos dos proponentes elimina o problema da  
revista ser ou não boa. O que importa é a qualidade do trabalho e não  
da revista! Por isso, também apenas 5 trabalhos por pessoa. Ao término  
do processo, os pareceres são divulgados, com a ordenação de todos os  
projetos, contemplados ou não. Tudo público.

Este é um processo oneroso assim como o atual processo de avaliação.  
No processo sugerido, teríamos em duas semanas uma resposta do comitê!  
Colocar 10 pessoas em um hotel por duas semanas ao ano, contando com  
pesquisadores estrangeiros para ter um processo transparente, eu,  
honestamente, não acho que é tão oneroso!

Resumindo, entendo que este é o momento oportuno para ampliar a  
discussão e tentar encontrar uma boa forma de avaliação. Pensar nas  
questões importantes, como estas devem ser consideradas, e ser justos  
com as diferenças que existem dentro da própria área é o objetivo com  
as sugestões acima.

A avaliação não é uma tarefa fácil, mas ingrata e necessária. Como  
participantes da comunidade, devemos nos obrigar a aprimorar e  
discutir o sistema de avaliação continuamente. Reclamar é importante,  
temos que nos fazer ouvidos! Propor algo é fundamental, caso  
contrário, ficaremos apenas nas eternas reclamações e o sistema não é  
aprimorado.


Ótimo 2019, cheio de discussões! Para todos e principalmente para a  
Estatística!

Adriano.