Author(s): Pacheco, Ana Filipa ; Guimarães, Nuno ; Torres, Ana ; Silvano, Purificação ; Almeida, Isabel
Date: 2025
Origin: Revista da Associação Portuguesa de Linguística
Subject(s): textos de divulgação científica; características linguísticas; grandes modelos de linguagem; ChatGPT; popular Science texts; linguistic features; LLMs; ChatGPT
The science popularisation texts are fundamental for disseminating scientific knowledge in an accessible and understandable way to a non-specialised audience and have a different structure and characteristics from scientific articles (e.g. Garces-Conejos & Sanchez-Macarro, 1998; Zamboni, 1998). Studies on the linguistic properties of science popularisation texts in European Portuguese are not abundant, the exception being the Promoção da Literacia Científica project (Gonçalves & Jorge, 2018). On the other hand, within the realm of producing content, the large language models (LLMs), namely OpenAI's GPT models, have gained widespread public attention in a short period of time. Since they are recent, there is still very little assessment of the linguistic quality of the texts produced. Bearing these premises in mind, the aim of this study is to assess the linguistic quality of the responses generated by ChatGPT (GPT-3.5) in the field of cosmetology, with regard to cosmetic products, ingredients, safety and efficacy and regulation categories, with the objective of identifying patterns that allow an understanding of the differences and/or similarities between the content generated by LLM and that produced by human experts on the Portal infoCosméticos. For this, twenty questions previously answered and published on the portal were selected and subsequently four different prompts with different degrees of complexity were created, which resulted in eighty answers generated by ChatGPT. The answers were then analysed according to the results of a linguistic evaluation grid consisting of 11 questions. The analysis produced different types of results: overall, the answers written by the experts produced slightly better results than those from ChatGPT; in terms of interphrasal cohesion, it was found that the texts produced by the experts use a reduced number of connectors, in contrast to the recurrent use of discourse markers in the ChatGPT texts; there is the use of non-explained scientific jargon and a macrostructure with the absence of a conclusion paragraph in the texts published on the portal; the texts generated by ChatGPT have a high frequency of repetitions and/or tautologies.
O género textual de divulgação científica é fundamental para a disseminação do conhecimento científico de forma acessível e compreensível junto do público não especializado, apresentando estrutura e características diferentes das dos artigos científicos (e.g., Garces-Conejos & Sanchez-Macarro, 1998; Zamboni, 1998). Os estudos sobre as propriedades linguísticas do texto de divulgação científica em português europeu não abundam, sendo a exceção o projeto Promoção da Literacia Científica (Gonçalves & Jorge, 2018). Por outro lado, no âmbito da produção de conteúdo, os grandes modelos de linguagem (LLM), nomeadamente os modelos GPT da OpenAI, ganharam, em pouco tempo, atenção generalizada do público. Sendo recentes, a avaliação da qualidade linguística dos textos produzidos é ainda muito reduzida. Tendo estas premissas em consideração, o presente estudo tem como objetivo avaliar a qualidade linguística das respostas geradas pelo ChatGPT (GPT-3.5) no domínio da cosmetologia, no que respeita às categorias de produtos cosméticos, ingredientes, segurança e eficácia e regulamentação, visando identificar padrões que permitam compreender as diferenças e/ou semelhanças entre o conteúdo gerado pelo LLM e aquele produzido por especialistas humanos no Portal infoCosméticos. Para isso, foram selecionadas vinte questões previamente respondidas e publicadas no portal e, posteriormente, criados quatro prompts distintos com diferentes graus de complexidade, que deram origem a oitenta respostas geradas pelo ChatGPT. As respostas foram, de seguida, analisadas, de acordo com os resultados conduzidos por uma grelha de avaliação linguística composta por 11 perguntas. A análise produziu resultados de diferentes tipos: em termos globais, as respostas escritas pelos especialistas produzem resultados ligeiramente superiores às do ChatGPT; quanto à coesão interfrásica, constatou-se que os textos produzidos por especialistas usam um número reduzido de conectores, contrastando com o uso recorrentemente de marcadores discursivos nos textos do ChatGPT; verifica-se o uso de jargão científico não explicado e uma macroestrutura com ausência do parágrafo da conclusão, nos textos publicados no portal; os textos gerados pelo ChatGPT apresentam uma frequência elevada de repetições e/ou tautologias.
