Detalhes do Documento

Semantic fluency tasks, like those traditionally employed in lexical availability research, provide a well-established method for analysing how lexical knowledge is retrieved and organised in humans. This study applies these tasks to Large Language Models (LLMs), comparing their lexical productions with those of human participants in Spanish for the category animals. One hundred university students and five LLMs (ChatGPT, Gemini, Claude, Grok, LLaMA) were tested, and their responses were analysed using both quantitative and qualitative data and network-based metrics. Results reveal a clear asymmetry between humans and LLMs. Human participants generated more diverse and heterogeneous lexical sets, producing networks characterised by lower connectivity but higher modularity. LLMs, by contrast, displayed convergent and cohesive outputs, forming denser networks with higher average degrees and clustering but reduced modularity and novelty. Disaggregated analysis showed systematic differences across the LLMs themselves. These findings confirm that LLMs approximate the underlying structure of semantic fluency but do not fully replicate the variability and contextual sensitivity characteristic of human lexical production. The study highlights both the strengths and limitations of artificial systems as models of lexical organization and points to new directions for cross-linguistic comparisons.

Tarefas de fluência semântica, como as tradicionalmente empregadas em pesquisas de disponibilidade léxica, fornecem um método bem estabelecido para analisar como o conhecimento lexical é recuperado e organizado em humanos. Este estudo aplica essa metodologia a modelos de linguagem de grande porte (LLMs), comparando suas produções lexicais com as de participantes humanos em espanhol para a categoria animais. Cem estudantes universitários e cinco LLMs (ChatGPT, Gemini, Claude, Grok, LLaMA) foram testados, e suas respostas foram analisadas utilizando dados quantitativos e qualitativos, bem como métricas baseadas em redes. Os resultados revelam uma clara assimetria entre humanos e LLMs. Os participantes humanos geraram conjuntos lexicais mais diversos e heterogêneos, produzindo redes caracterizadas por menor conectividade, mas maior modularidade. Os LLMs, por sua vez, apresentaram respostas convergentes e coesas, formando redes mais densas, com maiores graus médios e coeficientes de agrupamento, mas modularidade e novidade reduzidas. A análise desagregada mostrou diferenças sistemáticas entre os próprios LLMs. Esses achados confirmam que os LLMs se aproximam da estrutura subjacente da fluência semântica, mas não replicam completamente a variabilidade e a sensibilidade contextual características da produção lexical humana. O estudo destaca tanto os pontos fortes quanto as limitações dos sistemas artificiais como modelos de organização lexical e aponta novas direções para comparações cross-linguísticas.