Blog

Um novo estudo revelou uma verdade inquietante sobre as métricas de citação, comumente utilizadas para medir o impacto e a influência dos cientistas nas suas respectivas áreas de investigação.
A avaliação da produção científica, importante para o reconhecimento de investigadores e de instituições académicas junto da comunidade científica, é feita com recurso a uma variedade de indicadores bibliométricos que têm por base a qualidade científica do artigo, a relevância e o impacto científico do artigo, medido pelo número de citações. O Scopus, a Web of Science são algumas das principais ferramentas bibliométricas.

A bibliometria é conhecida como a técnica de medir índices de produção e disseminação do conhecimento, bem como acompanhar o desenvolvimento de diversas áreas científicas e os padrões de autoria, publicação e uso dos resultados de investigação. No caso das métricas de citação, utilizadas para avaliar quantas vezes um artigo foi citado, apesar do seu uso generalizado, estas não deixam de estar isentas de problemas, como revela o estudo recentemente publicado na Revista PLOS Biology.

No estudo, coordenado por John Ioannidis, médico da Universidade de Stanford, na Califórnia, especializado em metaciência, fez-se uma análise abrangente das métricas de citação, tendo sido observado um padrão oculto de comportamento que compromete a confiabilidade desse indicador e do efectivo impacto de um artigo científico.

O conjunto de dados analisados, que reúne cerca de 100 mil investigadores mais citados no período de 1996 a 2017, mostra que, pelo menos, 250 investigadores mais citados acumularam mais de 50% de auto-citações ou dos seus co-autores, enquanto a taxa média de autocitação é de 12,7%.No entanto, um estudo anterior, publicado em 2016, sugeriu que os investigadores do sexo masculino são os que mais recorrem a auto-citação, em média, 56% mais do que as mulheres.

De acordo com John Ioannidis, citado pela revista Nature, o estudo pode ajudar a sinalizar potenciais auto promotores extremos e, possivelmente, situações em que grupos de investigadores se citam massivamente. “Acho que as redes de auto-citação são muito mais comuns do que pensamos”, diz John Ioannidis. “Investigadores com uma taxa de auto-citação superior a 25% não estão necessariamente envolvidos em comportamento anti-ético, mas pode ser necessário um exame mais minucioso”, afirma o investigador.

Embora a auto-citação seja a parte mais atraente do conjunto de dados do estudo, Ioannidis e co-autores não publicaram os dados para focar na auto-citação. Essa é apenas uma parte do estudo, que inclui diversas métricas padronizadas baseadas em citações para os mais de 100 mil investigadores mais citados nas últimas duas décadas, em 176 sub-campos científicos.
É consensual entre investigadores que a auto-citação excessiva seja um problema. Mas há pouco consenso sobre o quanto é excessivo ou o que fazer sobre o assunto. Em parte, isso ocorre porque os investigadores têm razões legítimas para citar o seu próprio trabalho ou o de colegas.

Em 2017, um estudo mostrou que investigadores na Itália começaram a auto-citar-se mais fortemente após a introdução, em 2010, de um polémico procedimento que exigia que os académicos atingissem certos limites de produtividade para serem elegíveis para promoção. E no ano passado, o Ministério de Pesquisa da Indonésia, que usa uma fórmula baseada em citações para alocar financiamento à investigação científica e para atribuição de bolsas de estudo, disse que alguns investigadores avaliaram as suas pontuações utilizando práticas anti-éticas, incluindo auto-citações excessivas e grupos de académicos que se citam. O ministério disse que havia parado de financiar 15 investigadores e planeava excluir as autocitações da sua fórmula, embora os investigadores digam à Nature que isso ainda não aconteceu.

Ioannidis adverte que o seu estudo não deve levar à difamação de investigadores, em particular, pelas suas taxas de auto-citação, principalmente porque elas podem variar entre disciplinas e estágios de carreira. “O estudo oferece apenas informações completas e transparentes. Não deve ser usado para veredictos como decidir que a auto-citação muito alta equivale a um cientista ruim ”, diz ele.
Mas os investigadores por trás do estudo sugerem, no entanto, que a prevalência de casos extremos revelados nas suas análises prejudica o valor das métricas de citação como um todo – que são frequentemente utilizadas para avaliar a visibilidade científica de investigadores, um indicador para o reconhecimento académico destes.

Alguns dos desafios da avaliação da produção científica estão relacionados com que as citações e as métricas efectivamente significam e como elas, enquanto medidas de impacto ou excelência da produção científica, podem ser interpretadas.
Com este estudo, já é possível ver quantas vezes um autor citou o seu próprio trabalho, pesquisando o seu registo de citação em bases de dados de assinaturas como Scopus e Web of Science. Mas sem uma visão dos campos de pesquisa e das etapas da carreira, é difícil colocar esses números em contexto e comparar.

Ioannidis e a sua equipa esperam que seus novos dados “ajudem a obter um uso mais matizado das métricas” que permitem à comunidade como um todo identificar e reduzir com mais facilidade o impacto inadequado das auto-citações e dos grupos de citações.

Autores: Autores: Richard Van Noorden: Editor de Recursos da Nature Research (Publishing) Especialidades: Edição, redação, jornalismo científico, MSc em ciências naturais, jornalista científico, & Dalmeet Singh Chawla: Jornalista Científico, Mestre em Comunicação Científica

Texto original em inglês aqui.