Document details

This study analyzes the impact of integrating artificial intelligence (AI) on students’ academic performance and motivational perceptions. A total of 114 first-year Tourism degree students from Complutense University of Madrid (Spain) participated. The assessed skill was oral production in English for specific purposes (ESP) in the tourism field, through two promotional videos: one created conventionally and another supported by AI. Performance was evaluated using a six-dimension rubric (pronunciation and intonation, grammatical and lexical accuracy, fluency, coherence and cohesion, communicative appropriateness and content, and overall presentation), and a 20-item questionnaire based on the expectancy-value theory (Wigfield & Eccles, 2000) was administered. Results show a slight improvement in the score of the AI-assisted video, but without statistically significant differences and with a small effect size, indicating no robust impact of AI on oral performance. However, students reported moderate-to-high levels of perceived usefulness, attainment value, and success expectancy, along with moderate interest and perceived cost. The study concludes that the pedagogical value of AI depends on its instructional integration and that, although it does not immediately enhance oral skills, it can serve as a motivational resource and support tool for planning and completing authentic ESP tasks.

Este estudo analisa o impacto da integração da inteligência artificial (IA) no desempenho acadêmico dos estudantes e em suas percepções motivacionais. Participaram 114 alunos do primeiro ano do curso de Turismo da Universidade Complutense de Madrid (Espanha). A habilidade avaliada foi a produção oral em inglês para fins específicos (English for Specific Purposes, ESP) no contexto do turismo, por meio de dois vídeos promocionais: um convencional e outro com apoio de IA. O desempenho foi medido com uma rubrica de seis dimensões (pronúncia e entoação, correção gramatical e lexical, fluência, coerência e coesão, adequação comunicativa e conteúdo, e apresentação geral) e aplicou-se um questionário de 20 itens baseado na teoria expectativa-valor (Wigfield & Eccles, 2000). Os resultados indicam leve melhora na nota do vídeo com IA, sem diferenças estatisticamente significativas e com efeito pequeno, não confirmando impacto robusto na oralidade. Contudo, os estudantes relatam níveis moderados-altos de utilidade, valor de realização e expectativa de sucesso, com interesse e custo percebidos moderados. Conclui-se que o valor pedagógico da IA depende de sua integração instrucional e que, embora não melhore imediatamente a oralidade, pode atuar como recurso motivacional e de apoio na execução de tarefas autênticas de ESP.

El presente estudio analiza el impacto que tiene la integración de la inteligencia artificial (IA) sobre el rendimiento académico del alumnado y sus percepciones motivacionales. Participaron 114 estudiantes de primer curso del Grado en Turismo de la Universidad Complutense de Madrid (España). Se evaluó la producción oral en inglés con fines específicos (English for Specific Purposes, ESP) en el ámbito del turismo a través de dos vídeos promocionales (uno convencional y otro con apoyo de IA). El rendimiento se midió con una rúbrica de seis dimensiones (pronunciación y entonación, corrección gramatical y léxica, fluidez, coherencia y cohesión, adecuación comunicativa y contenido, y presentación global) y se aplicó un cuestionario de 20 ítems basado en la teoría expectativa-valor (Wigfield & Eccles, 2000). Los resultados muestran una ligera mejora en la calificación del vídeo con IA, sin diferencias estadísticamente significativas y con tamaño del efecto pequeño; por ello, no se confirma un impacto robusto de la IA en la oralidad. Sin embargo, el alumnado reporta niveles moderados-altos de utilidad, valor de logro y expectativa de éxito, con interés y coste percibidos moderados. Se concluye que el valor pedagógico de la IA depende de su integración instruccional y que, aunque no mejore de inmediato la oralidad, puede actuar como recurso motivacional y de apoyo en tareas auténticas de ESP.