Revisão por Pares – Sobre as Estruturas e os Conteúdos
- Escrito por Portal Ciencia.ao
Ao longo da história da comunicação científica (pelo menos desde o século XVIII, quando a Royal Society nomeou um Committee of Papers), o processo de avaliação por pares foi fundamental na selecção de manuscritos para assegurar que reunissem um conjunto de critérios de qualidade. A prática da avaliação por pares, em que pese as limitações e múltiplas críticas, se manteve estável por longo tempo, até à introdução da Internet.
As possibilidades de comunicação online, junto com o movimento de Acesso Aberto primeiro, e agora da Ciência Aberta, fez surgir inúmeras ideias sobre como desenhar procedimentos de avaliação por pares mais eficientes, rápidos, confiáveis, sem distorção, superando as limitações económicas e de recursos humanos que são as críticas frequentes do sistema. Sobre este tema publicamos em meses recentes dois posts relacionados. Um que analisa ideias sobre como poderia ser a avaliação por pares dentro de 10 ou 15 anos, e outro sobre as mais de vinte visões diferentes que têm os editores e investigadores sobre as avaliações abertas.
Para efeito de ordenar a discussão do tema, é interessante analisar uma taxonomia das variantes da avaliação por pares tomada de um trabalho de Bo-Christer Björk. Observe que nesta taxonomia não são considerados aspectos clássicos da avaliação como o simples-cego ou duplo-cego, porque nenhuma das novas propostas importantes parecem incorporá-los.
O modelo que analisaremos, cujo exemplo são os “open access mega-journals” (OAMJs), realiza uma revisão mínima por parte do corpo editorial, e translada a etapa pós-publicação, o resto da avaliação, a cargo do público (também poderíamos considerá-lo como revisão parcial). É o modelo usado pela PLoS ONE, entre outros.
Nos periódicos convencionais o processo de avaliação ocorre antes da publicação e baseia-se num conjunto de critérios expressos de uma maneira ou outra nas “instruções aos revisores” disponíveis nos sites dos periódicos. No processo clássico de revisão por pares, estes critérios são constituídos por quatro elementos:
- Novidade e originalidade: o trabalho faz um avanço intelectual contribuindo de forma inovadora ao conhecimento, seja por novos métodos, novos resultados empíricos, ou novas interpretações teóricas.
- Significado e importância: o trabalho adiciona algo ao corpus do conhecimento, produzindo um impacto que melhora o entendimento ou a prática.
- Relevância: o tema está dentro do interesse dos leitores do periódico.
- Solidez e rigor (rigor técnico ou científico) que está relacionado com a precisão metodológica, coerência e integridade, qualidade da argumentação, lógica na interpretação dos dados.
As novas formas de publicação incorporam enfoques alternativos de avaliação e, como já mencionamos, uma destas formas são aquelas usadas pelas OAMJs, entre as que se destacam a PLoS ONE (a primeira do género) desde 2006, e Scientific Reports, lançado pela Nature em 2011. A estas duas iniciativas somam-se uma dezena de outras instituições, entre elas a American Institute of Physics (AIP Advances), BMJ Open, F1000 e PeerJ, cobrindo as ciências biológicas. Os dados que são aportados neste post foram retirados da literatura, em particular “Let the community decide? The vision and reality of soundness-only peer review in open-access mega-journals (2018)”, que é o estudo mais exaustivo até ao momento sobre os mega-journals, no qual foram entrevistados 31 editores seniores que representam 16 organizações editoriais que publicam OAMJs.
As OAMJs têm cinco características principais: grandes volumes de publicação, amplo alcance temático, modelo de publicação em acesso aberto, financiamento mediante Article Processing Charge (APC), e um enfoque inovador da avaliação por pares. O enfoque inovador requer que os editores e revisores somente avaliem a solidez e rigor técnico (a estrutura formal) e não levem em conta nem a originalidade nem a significância ou a relevância (ou seja, o conteúdo). Quer dizer, dos pontos anteriores, somente consideram o item 4, não levando em conta os primeiros três tópicos. A avaliação destes outros critérios translada “corrente abaixo” para que sejam julgados pela comunidade académica tão logo o artigo seja publicado. Os indicadores a nível de artigo (citações, downloads e altmetrias) serão as ferramentas usadas para a avaliação pós-publicação.
A separação dos três critérios de conteúdo da etapa de revisão tem sido altamente discutida na publicação científica com opiniões a favor e contra. Entre os argumentos a favor, está a ideia de que ao revisar somente a estrutura do artigo, estão alterando o papel tradicional de gatekeepers dos editores de periódicos. Os corpos editoriais e revisores já não são mais os únicos árbitros que decidem os limites dos paradigmas da disciplina. Além disso, este novo tipo de avaliação dá maior eficiência ao processo de publicação reduzindo o tempo da espiral de apresentação-rejeição que têm muitos artigos antes de conseguir ser publicados em algum periódico. Finalmente, também, poderia ser considerado uma “democratização” da ciência. Como disse Gary Ward, CEO da PLoS, “… se o artigo está bem escrito e as conclusões são coerentes, que seja a comunidade a decidir sobre o impacto”.
Os resultados do estudo que citamos sugerem que os critérios baseados somente na solidez formal e rigor do documento podem influir nas decisões editoriais e, de facto, o fazem. Porém, os editores também consideram que as avaliações pós-publicação sobre novidade, significância e relevância, todavia, contêm aspectos de interpretação problemática. Embora as medidas altmétricas para a avaliação pós-publicação de um artigo sejam partes integrantes do modelo OAMJ, os editores não estão seguros do quão efectivas são na prática. Em particular, os editores tiveram opiniões mistas sobre quais altmetrias poderiam servir para medir a importância ou significância de um artigo.
Há que reconhecer, pesando as diferentes críticas às limitações do processo actual de revisão por pares, as atitudes e comportamentos sobre este tema estão profundamente enraizados no DNA da comunidade científica e são difíceis de mudar.
Não obstante, o slogan “que a comunidade decida” é fortemente atractivo (inclusive politicamente correcto), e a intenção de implementar este paradigma, até ao momento, tem sido altamente controversa e permanece problemática.
Por: Ernesto Spinak - Colaborador SciELO, Engenheiro de Sistemas e Licenciado en Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela Universidade Oberta de Catalunya, Barcelona – Espanha