Chatbots na Escrita Científica: Uma Experiência com ChatGPT (JNM)

Em uma publicação recente no Journal of Nuclear Medicine (link) de outubro de 2024, os pesquisadores decidiram testar a habilidade dos chatbots: será que os chatbots, como o ChatGPT, conseguem escrever e revisar artigos científicos? A ideia era ver até onde a IA poderia ir na produção de textos acadêmicos:

Metodologia

O experimento foi dividido em três partes:

1. ChatGPT como autor: O ChatGPT-3.5 recebeu a tarefa de escrever um artigo sobre o uso da IA como autor e revisor em publicações científicas.

2. GPT-4o como revisor: Em seguida, o GPT-4o revisou o texto, apontando forças e fraquezas.

3. GPT-4o como editor: Por fim, GPT-4o foi solicitado a revisar o artigo com base nas críticas do "revisor", simulando um processo completo de edição.

   
   

Principais Resultados

• O ChatGPT produziu um artigo coeso e completo em poucos segundos. Embora o texto fosse claro, ele não incluiu referências ou exemplos concretos, o que deixou algumas lacunas importantes.

• Quando o GPT-4o fez a revisão, ele destacou pontos válidos, muito parecidos com os que um revisor humano faria, mas sem se aprofundar em detalhes ou citar a literatura.

• Na última etapa, o GPT-4o revisou o artigo conforme os comentários, mas cometeu alguns erros, como a inclusão de referências fictícias, mostrando que ainda não está 100% pronto para substituir o processo editorial humano.

  
  

Conclusão

Os resultados mostraram que os chatbots podem ser ferramentas úteis para ajudar na escrita científica, acelerando o processo e sugerindo melhorias. No entanto, é evidente que a supervisão humana é indispensável para garantir que o conteúdo tenha qualidade, precisão e credibilidade.

O Artigo finaliza fazendo algumas sugestões de política editorial para o Journal of Nuclear Medicine:

(1) Chatbots podem ser usados para melhorar a legibilidade de manuscritos originais. Em outras palavras, eles podem ser usados para melhorar a redação e o estilo da escrita. Tal uso de chatbot requer divulgação completa pelos autores.

(2) Os revisores não devem usar chatbots para criticar manuscritos, exceto para fins de edição estilística. Tal uso de chatbots deve ser divulgado pelos revisores.

(3) Os autores não devem usar chatbots para gerar respostas aos comentários dos revisores, exceto para fins de melhorias estilísticas.

(4) Os chatbots podem ser usados para escrever artigos de revisão se o coautor humano assumir total responsabilidade pela precisão do conteúdo e das referências. A autoria ou coautoria do chatbot precisa ser totalmente divulgada.

Em outro artigo da Scientific American (link) já descrevia a percepção da inserção da IA na produção de textos e as palavras chaves que "denunciam" esta prática.

Como será a escrita daqui para frente dos artigos científicos e como declarar a participação da AI dentro do seu trabalho? Comprometimento ético e de publicação editorial deverão ser revistos com o avanço desta tecnologia.

Referências:

1- Is ChatGPT a Reliable Ghostwriter?

Irène Buvat and Wolfgang A. Weber, Journal of Nuclear Medicine October 2024, 65 (10) 1499-1502; DOI: https://doi.org/10.2967/jnumed.124.268341

2- AI Chatbots Have Thoroughly Infiltrated Scientific Publishing

One percent of scientific articles published in 2023 showed signs of generative AI’s potential involvement, according to a recent analysis. By Chris Stolker-Walker