Menu

Revisão por Pares – Sobre as Estruturas e os Conteúdos

Ao longo da história da comunicação científica (pelo menos desde o século XVIII, quando a Royal Society nomeou um Committee of Papers), o processo de avaliação por pares foi fundamental na selecção de manuscritos para assegurar que reunissem um conjunto de critérios de qualidade. A prática da avaliação por pares, em que pese as limitações e múltiplas críticas, se manteve estável por longo tempo, até à introdução da Internet.

As possibilidades de comunicação online, junto com o movimento de Acesso Aberto primeiro, e agora da Ciência Aberta, fez surgir inúmeras ideias sobre como desenhar procedimentos de avaliação por pares mais eficientes, rápidos, confiáveis, sem distorção, superando as limitações económicas e de recursos humanos que são as críticas frequentes do sistema. Sobre este tema publicamos em meses recentes dois posts relacionados. Um que analisa ideias sobre como poderia ser a avaliação por pares dentro de 10 ou 15 anos, e outro sobre as mais de vinte visões diferentes que têm os editores e investigadores sobre as avaliações abertas.

Para efeito de ordenar a discussão do tema, é interessante analisar uma taxonomia das variantes da avaliação por pares tomada de um trabalho de Bo-Christer Björk. Observe que nesta taxonomia não são considerados aspectos clássicos da avaliação como o simples-cego ou duplo-cego, porque nenhuma das novas propostas importantes parecem incorporá-los.

O modelo que analisaremos, cujo exemplo são os “open access mega-journals” (OAMJs), realiza uma revisão mínima por parte do corpo editorial, e translada a etapa pós-publicação, o resto da avaliação, a cargo do público (também poderíamos considerá-lo como revisão parcial). É o modelo usado pela PLoS ONE, entre outros.

Nos periódicos convencionais o processo de avaliação ocorre antes da publicação e baseia-se num conjunto de critérios expressos de uma maneira ou outra nas “instruções aos revisores” disponíveis nos sites dos periódicos. No processo clássico de revisão por pares, estes critérios são constituídos por quatro elementos:

  1. Novidade e originalidade: o trabalho faz um avanço intelectual contribuindo de forma inovadora ao conhecimento, seja por novos métodos, novos resultados empíricos, ou novas interpretações teóricas.
  2. Significado e importância: o trabalho adiciona algo ao corpus do conhecimento, produzindo um impacto que melhora o entendimento ou a prática.
  3. Relevância: o tema está dentro do interesse dos leitores do periódico.
  4. Solidez e rigor (rigor técnico ou científico) que está relacionado com a precisão metodológica, coerência e integridade, qualidade da argumentação, lógica na interpretação dos dados.

As novas formas de publicação incorporam enfoques alternativos de avaliação e, como já mencionamos, uma destas formas são aquelas usadas pelas OAMJs, entre as que se destacam a PLoS ONE (a primeira do género) desde 2006, e Scientific Reports, lançado pela Nature em 2011. A estas duas iniciativas somam-se uma dezena de outras instituições, entre elas a American Institute of Physics (AIP Advances), BMJ Open, F1000 e PeerJ, cobrindo as ciências biológicas. Os dados que são aportados neste post foram retirados da literatura, em particular “Let the community decide? The vision and reality of soundness-only peer review in open-access mega-journals (2018)”, que é o estudo mais exaustivo até ao momento sobre os mega-journals, no qual foram entrevistados 31 editores seniores que representam 16 organizações editoriais que publicam OAMJs.

As OAMJs têm cinco características principais: grandes volumes de publicação, amplo alcance temático, modelo de publicação em acesso aberto, financiamento mediante Article Processing Charge (APC), e um enfoque inovador da avaliação por pares. O enfoque inovador requer que os editores e revisores somente avaliem a solidez e rigor técnico (a estrutura formal) e não levem em conta nem a originalidade nem a significância ou a relevância (ou seja, o conteúdo). Quer dizer, dos pontos anteriores, somente consideram o item 4, não levando em conta os primeiros três tópicos. A avaliação destes outros critérios translada “corrente abaixo” para que sejam julgados pela comunidade académica tão logo o artigo seja publicado. Os indicadores a nível de artigo (citações, downloads e altmetrias) serão as ferramentas usadas para a avaliação pós-publicação.

A separação dos três critérios de conteúdo da etapa de revisão tem sido altamente discutida na publicação científica com opiniões a favor e contra. Entre os argumentos a favor, está a ideia de que ao revisar somente a estrutura do artigo, estão alterando o papel tradicional de gatekeepers dos editores de periódicos. Os corpos editoriais e revisores já não são mais os únicos árbitros que decidem os limites dos paradigmas da disciplina. Além disso, este novo tipo de avaliação dá maior eficiência ao processo de publicação reduzindo o tempo da espiral de apresentação-rejeição que têm muitos artigos antes de conseguir ser publicados em algum periódico. Finalmente, também, poderia ser considerado uma “democratização” da ciência. Como disse Gary Ward, CEO da PLoS, “… se o artigo está bem escrito e as conclusões são coerentes, que seja a comunidade a decidir sobre o impacto”.

Os resultados do estudo que citamos sugerem que os critérios baseados somente na solidez formal e rigor do documento podem influir nas decisões editoriais e, de facto, o fazem. Porém, os editores também consideram que as avaliações pós-publicação sobre novidade, significância e relevância, todavia, contêm aspectos de interpretação problemática. Embora as medidas altmétricas para a avaliação pós-publicação de um artigo sejam partes integrantes do modelo OAMJ, os editores não estão seguros do quão efectivas são na prática. Em particular, os editores tiveram opiniões mistas sobre quais altmetrias poderiam servir para medir a importância ou significância de um artigo.

Há que reconhecer, pesando as diferentes críticas às limitações do processo actual de revisão por pares, as atitudes e comportamentos sobre este tema estão profundamente enraizados no DNA da comunidade científica e são difíceis de mudar.

Não obstante, o slogan “que a comunidade decida” é fortemente atractivo (inclusive politicamente correcto), e a intenção de implementar este paradigma, até ao momento, tem sido altamente controversa e permanece problemática.

 

Por: Ernesto Spinak - Colaborador SciELO, Engenheiro de Sistemas e Licenciado en Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela  Universidade Oberta de Catalunya, Barcelona – Espanha

 

Fonte: https://blog.scielo.org/blog/2018/05/30/revisao-por-pares-sobre-as-estruturas-e-os-conteudos/#.XLHL_y1OrYI

Ler mais ...

7 Passos Essenciais que Aprendi para você Adoptar Inteligência Artificial no seu Negócio

Depois de participar de algumas bem-sucedidas implantações de projectos de automação inteligente em empresas Blue Chips, sinto-me na obrigação de tentar desmistificar o grande hype em torno dos avanços da Inteligência Artificial (IA). Este buzz vem criando um entendimento distorcido de que tecnologias como Deep Learning e Machine Learning já operam milagres.

Não é bem assim. Robôs e sistemas que rodam algoritmos ainda têm muito a aprender para transformar a ficção científica em realidade. Antes de chegarmos a soluções de alta performance, as empresas terão de fazer uma árdua lição de casa e avaliar em quais áreas valerá a pena investir em programas de automação.

Neste meu primeiro artigo sobre o tema, desejo acender um sinal de alerta: se você está disposto a implementar IA para melhorar a produtividade, reduzir custos e acelerar processos no seu negócio, tenha muita calma nesta hora.

Gostaria primeiro de contextualizar os leitores sobre o actual panorama do mercado. É facto que o ecossistema vem crescendo a taxas exponenciais e os analistas já falam em uma nova bolha ponto.com como a que vivemos na Internet nos anos 90. O mercado global de IA foi estimado em cerca de US$ 7.35 biliões no ano passado, segundo o "Statista", incluindo principalmente aplicações como reconhecimento de imagem e escrita, processamento de fala, detecção, classificação e identificação de objectos.

Não faltam previsões sobre o futuro da IA e não é arriscado apostar que entre os próximos unicórnios globais estarão startups com modelos de negócios baseados em redes neurais e que vêm atraindo uma avalanche de investimentos de risco nos últimos anos, especialmente da China, que contabilizou 48% do total de aportes realizados em startups no mundo em 2017; e Estados Unidos, que respondeu por 38%, colocando mais combustível na guerra pelo domínio das novas tecnologias travada entre os dois países.

Não é à toa que muitas das gigantes de tecnologia (Facebook, Apple, Amazon, Google, IBM e Microsoft, somente pra citar algumas) estão a comprar startups e a desenvolver produtos e soluções de IA. De acordo com o AI Index 2018 Annual Report, no mercado americano o número de fundos de venture capital focados em IA cresceu 4.5 vezes entre 2013 e 2017 enquanto todos os fundos de VC cresceram 2.08 vezes. De Janeiro de 2015 a Janeiro de 2018, as startups em actividade de IA nos Estados Unidos aumentaram 2.1 vezes; o total de startups 1,3 vez.

Estando inserido no epicentro do mercado de automação com uso de Inteligência Artificial, procuro estudar o tema a fundo, tendo encontrado alguns bons autores e artigos que endereçam o que estou vendo nas implantações e lançamento de modelos de inteligência artificial em grandes corporações.

No artigo “Things that Aren’t Working in Deep Learning” (Coisas que não Estão a Funcionar no Deep Learning), o cientista de dados William Vorhie destaca o nascimento e avanço do CNN (Convolutional Neural Network) como a tecnologia que irá substituir a RNN (Recurrent Neural Network) em programas de tradução e com alto potencial para outras novas aplicações.

Ao mesmo tempo, o autor salienta inúmeros obstáculos que ainda precisarão ser superados para que a IA seja realmente eficiente e justifique a alocação de recursos para a sua adopção, como a dificuldade que a CNN ainda apresenta de diferenciar objectos que são iguais ou semelhantes; a visão computacional míope e com resultados ainda sofríveis em integrar a detecção de objectos com sua classificação e localização; e as respostas também ainda pouco satisfatórias com o uso do Deep Reinforcement Learning, tecnologia que está entre as mais pesquisadas em IA e aplicável em áreas como robótica, carros autónomos e, especialmente, em machine learning.

Em outro texto intitulado “5 Reasons why Businesses Struggle to Adopt DeepLearning” (5 Razões porque os Negócios Lutam para Adotar DeepLearning), Ganes Kesari, também cientista de dados, dá o recado: “Sim, a IA está a tornar-se uma realidade rapidamente, com carros autónomos, drones entregando pizzas e máquinas lendo sinais cerebrais. Mas muitas destas tecnologias ainda estão em laboratórios de pesquisa e funcionam apenas dentro de um ambiente cuidadosamente controlado”.

Esta é uma consideração de grande valia para reflexão que proponho neste artigo – o Ambiente Cuidadosamente Controlado. Os modelos de rede neural e inteligência artificial conseguem realizar bem as tarefas em ambientes nos quais todas as variáveis são controladas; e isso está a causar uma percepção errada por todo o mercado.

As empresas que querem implantar modelos de rede neural entendem equivocadamente que conseguirão lançar magicamente modelos de automação em suas operações. E volto a salientar que não é bem assim. Liderei as automações de alguns dos maiores back-offices do Brasil, com destaque para dois em específico. O primeiro é um back-office que analisa contratos de financiamento de veículos. Este processo possui mais de 30 modelos de contratos diferentes, com regras de análise diferentes para cada Estado (totalizando 27 regras de negócios distintas), e a adição dos dados é feita por centenas de seres humanos.

Pergunto: existe um ambiente mais ‘não estruturado’ que este? Tivemos que usar mais de 50 tipos diferentes de algoritmos para tentar padronizar uma infinidade de distintas variáveis e colocar todos em sequência para automatizar o workflow. Uma tarefa das mais complexas que desempenhei na vida.

Em outro caso, a minha equipa teve o desafio de criar uma série de algoritmos para interpretar mais de 100 mil contratos de locação de torres e terrenos e extrair informações desestruturadas de mais de 100 páginas. Novamente, tivemos de tentar padronizar uma quantidade massiva de variáveis que não se conectam.

Aproveito a rápida explicação sobre estes dois casos para conectar com a continuação do que o autor pontua como outro problema: a falta de dados estruturados, um ponto que vejo na prática há 3 anos.

Kesari cita também a falta de dados estruturados e “treinados” para alimentar o apetite insaciável do Deep Learning, o que acaba por enterrar soluções de ponta que se tornam apenas protótipos de pesquisa, e a preocupação na outra ponta com a privacidade de dados em sistemas que têm acesso a um alto volume de dados e chegam a cruzar o que o autor chama de zona assustadora.

Novamente ele destaca uma variável importantíssima para as redes neurais: os dados. O seu modelo de inteligência artificial é tão bom quanto a qualidade de dados que você alimenta para treinamento. Uma analogia interessante é a de um trainee. Após a contratação de um trainee, você deve treinar este novo profissional. Se o treinar de forma errada, ele irá apresentar uma péssima performance e terá as respostas erradas para a tarefa que foi designado. Aqui vale a mesma lógica.

O analista e visionário em tecnologias emergentes Phil Fersht também destrói alguns mitos da IA, especialmente no que diz respeito a automação de processos robóticos (RPA). O primeiro deles é de que os robôs substituem pessoas directamente. “Trata-se de aprimorar processos e melhorar a qualidade da força de trabalho e não eliminar empregados com robôs”, escreve o autor.

“A maior parte destas iniciativas é ainda direccionada para projectos pontuais e não para projectos escaláveis. A RPA é uma porta de entrada para digitalizar processos e dar tempo ao recurso humano para que se possa focar em actividades de maior valor. RPA é um catalisador para trazer mais inteligência operacional, mas não é inteligente por si mesma”, acrescenta, derrubando outra falsa expectativa de que a automação pode escalar rapidamente e ter impacto dramático nas organizações em poucos meses e de que entrega inteligência sozinha.

Então devo deixar de lado a crescente tendência e evolução da IA? Ainda não é o momento de investir? No meu entendimento, não! As tecnologias disruptivas beneficiam os que têm coragem de ser pioneiros, testar, arriscar e buscar soluções que venham diferenciar os seus serviços da concorrência, que, pode ter certeza, logo logo poderá ter um robô a atender os clientes e irá roubar os seus consumidores por ter mantido os olhos e as portas abertas para inovação.

Enumerei 7 passos que devem ser seguidos para adopção da IA. Respeitá-los poderá ser definitivo para o sucesso ou fracasso da implementação e para alcançar os resultados que você espera com a automação. Vamos a eles:

  1. Identifique com clareza qual a dor que o modelo de rede neural irá curar;
  2. Mapeie todos os processos e busque entender como replicar a regra de negócios nos algoritmos;
  3. Prepare os dados para treinamento dos modelos de redes neurais;
  4. Aplique o treinamento e interacção do modelo (pode variar uma semana, semanas ou meses, dependendo do projecto);
  5. Esteja preparado para soluções dos problemas. Nos sistemas de IA, são processados milhares de algoritmos que geram o mesmo resultado. É possível utilizar “N” formas com “X” algoritmos e o resultado poderá ser o mesmo. O que impacta nos resultados é a produtividade do modelo, a acuracidade e o tempo de desenvolvimento. Fique atento para esta variável e não meça esforços para chegar na meta esperada;
  6. Prepare a infraestrutura da empresa. Este é um importantíssimo ponto de atenção, já que o impacto da implantação da IA é grande, tanto técnica quanto em recursos humanos. É preciso implementar uma gestão de mudança com base nos resultados conquistados. Imagine, por exemplo, uma empresa de financiamento de veículos que reduz de 32 minutos para segundos a análise de contratos; as equipas e os sistemas precisam estar prontos para nova realidade;
  7. Evolua e não esqueça de fazer a manutenção do sistema. Tenha a clareza de que diferente de um software convencional que uma empresa instala e esquece da sua existência, em um modelo de IA ocorre uma evolução natural que levam a novos resultados, entendimentos e acurácias. Por isso, é fundamental uma manutenção permanente e durante todo o ciclo de vida do sistema, já que as regras de negócios sempre mudam e estão em constante evolução.

Não espere para iniciar a sua caminhada para fazer da IA uma estratégia importante do seu negócio, seja qual for a área ou a finalidade. Mas não se esqueça. Siga estes passos e controle as suas expectativas. Entenda que as máquinas ainda estão na auto-escola e só estarão habilitadas para realizar os seus sonhos futurísticos em alguns anos. Mas esperar pode comprometer um tempo valioso e você corre o risco de perder market share para concorrência. E você não vai querer isso, vai?

 

Por: José Flávio Pereira, fundador e CEO da Nuveo, desenvolvedora de sistemas de Inteligência Artificial que resolvem problemas reais de negócios.

Fonte: https://www.proxxima.com.br/home/proxxima/how-to/2019/03/19/7-passos-essenciais-que-aprendi-para-adotar-inteligencia-artificial-no-seu-negocio.html

 

Ler mais ...
Assinar este feed RSS

Links Úteis

Links Externos

Contactos

Redes Sociais