Publicação
Unveiling automatic item generation: efficiency, formation, proficiency and differential item functioning in medical education assessment
| Resumo: | A avaliação de conhecimentos está a mudar rapidamente, sobretudo na educação médica, onde testes realizados em computador com perguntas de escolha múltipla são cada vez mais frequentes. Embora esta transição ofereça benefícios em termos de eficiência e acessibilidade, também levanta preocupações quanto à segurança dos testes devido ao risco de exposição das perguntas. Consequentemente, as perguntas dos testes devem ser elaboradas mais rapidamente e em maiores quantidades. Neste contexto, a Geração Automática de Itens (AIG) surge como uma solução promissora. Esta envolve o uso de algoritmos de computador e modelos cognitivos para gerar automaticamente perguntas de teste. Para além de oferecer uma abordagem sistemática e económica para o desenvolvimento de itens, a AIG permite a criação rápida de bancos substanciais de itens. Apesar do seu potencial, a AIG continua a ser subutilizada em muitas escolas médicas, o que realça a necessidade de mais investigação. A presente Tese procura esclarecer as complexidades do processo da AIG no contexto da avaliação da educação médica, com foco em vários aspetos-chave. Estes incluem a qualidade dos itens gerados e as suas propriedades psicométricas, a facilidade de integração nas práticas de avaliação, a validade da AIG e a sua compatibilidade com diferentes modalidades de avaliação. Ao longo desta Tese, apresentamos evidência empírica que destaca a rapidez, qualidade, validade e facilidade de uso deste procedimento. Ao oferecer exemplos e perspetivas específicas, esperamos demonstrar como a AIG pode melhorar significativamente as práticas de avaliação na educação médica, ao mesmo tempo que proporciona economias substanciais de recursos às instituições. |
|---|---|
| Autores principais: | Falcão, Filipe Manuel Vidal |
| Assunto: | Avaliação Escrita de itens Geração automática de itens Qualidade dos itens Validade Automatic item generation Assessment Item writing Item quality Validity |
| Ano: | 2024 |
| País: | Portugal |
| Tipo de documento: | tese de doutoramento |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Universidade do Minho |
| Idioma: | inglês |
| Origem: | RepositóriUM - Universidade do Minho |
Registos relacionados
school Digitalization in procurement for implementing procurer-determined bundles in price negotiation considering item synergies
por: Silva, Jorge Miguel Gonçalves da
Publicado em: (2021)
por: Silva, Jorge Miguel Gonçalves da
Publicado em: (2021)
article As potencialidades da Teoria de Resposta ao Item na validade dos testes: Aplicação a uma prova de dependência-independência de campo
por: Vieira, Maria João
Publicado em: (2009)
por: Vieira, Maria João
Publicado em: (2009)
article As potencialidades da Teoria de Resposta ao Item na validade dos testes: aplicação a uma prova de dependência-independência de campo
por: Vieira, Maria João
Publicado em: (2009)
por: Vieira, Maria João
Publicado em: (2009)
school Behavioral budgets and effects of environmental enrichment on the activities of sea otters (Enhydra Lutris) at Oceanário de Lisboa
por: Neto, Rui Francisco
Publicado em: (2023)
por: Neto, Rui Francisco
Publicado em: (2023)
school Modelo de apoio à tomada de decisão quanto ao retrabalho de produtos defeituosos
por: Soares, João Cláudio Ferreira
Publicado em: (2019)
por: Soares, João Cláudio Ferreira
Publicado em: (2019)
school Práticas de avaliação em história e geografia de Portugal no 2.º CEB: a construção de itens
por: Rocha, Cláudia Sofia Gonçalves
Publicado em: (2021)
por: Rocha, Cláudia Sofia Gonçalves
Publicado em: (2021)
school Using BIM to reflect critical project management items
por: Pineda Alvear, Gabriela Estefania
Publicado em: (2022)
por: Pineda Alvear, Gabriela Estefania
Publicado em: (2022)
article Memory and conceptual learning of relevant and non-relevant items in item-method directed forgetting
por: Orghian, Diana
Publicado em: (2018)
por: Orghian, Diana
Publicado em: (2018)
school Repositório de questões de química do 9º ano: planeamento de uma plataforma online
por: Lopes, Maria Leonor Rodrigues
Publicado em: (2012)
por: Lopes, Maria Leonor Rodrigues
Publicado em: (2012)
article Comparação de modelos da teoria de resposta ao item (TRI) na validação de uma prova de dependência-independência de campo
por: Vieira, Maria João
Publicado em: (2011)
por: Vieira, Maria João
Publicado em: (2011)
article As trials go by: Effects of 2-AFC item repetition on statistical learning performance
por: Soares, Ana Paula
Publicado em: (2023)
por: Soares, Ana Paula
Publicado em: (2023)
book Repairable items inventory optimization based on maintenance data and risk criteria
por: Sobral, José
Publicado em: (2017)
por: Sobral, José
Publicado em: (2017)
article Invariance on a reading comprehension test in European Portuguese: a differential item functioning analysis between students from rural and urban areas
por: Cadime, Irene Maria Dias
Publicado em: (2014)
por: Cadime, Irene Maria Dias
Publicado em: (2014)
groups Investment focused strategies in electricity markets using the ITEM-game simulator
por: Ramalho, António
Publicado em: (2014)
por: Ramalho, António
Publicado em: (2014)
article Adaptation and validation into portuguese language of the six-item cognitive impairment test (6CIT)
por: Apóstolo, João Luís Alves
Publicado em: (2018)
por: Apóstolo, João Luís Alves
Publicado em: (2018)
article Factor analysis of ordinal items: Old questions, modern solutions?
por: Marôco, João
Publicado em: (2024)
por: Marôco, João
Publicado em: (2024)
article Setbacks of the development of a concept inventory for Scrum: contributions from item response theory
por: Nagai, Walter Aoiama
Publicado em: (2021)
por: Nagai, Walter Aoiama
Publicado em: (2021)
groups Setbacks of the development of a concept inventory for Scrum: contributions from item response theory
por: Nagai, Walter Aoiama
Publicado em: (2021)
por: Nagai, Walter Aoiama
Publicado em: (2021)
article Investigating method effects associated with the wording direction of items of the Social Physique Anxiety Scale
por: Silva, Wanderson Roberto da
Publicado em: (2022)
por: Silva, Wanderson Roberto da
Publicado em: (2022)
article Evaluation of the psychometric properties of the 18-Items dysfunctional attitudes scale (Form B) in a portuguese sample of people aged 60 and over
por: Morgado, Bruno
Publicado em: (2024)
por: Morgado, Bruno
Publicado em: (2024)
school Development of quality assessment tools for question construction: utilizing AI models in detecting flaws in item writing
por: Almeida, António Manuel Melo Soares de
Publicado em: (2025)
por: Almeida, António Manuel Melo Soares de
Publicado em: (2025)
article An item-level analysis of the Posttraumatic Stress Disorder Checklist and the Posttraumatic Growth Inventory and Its associations with challenge to core beliefs and rumination
por: Ramos, Catarina
Publicado em: (2018)
por: Ramos, Catarina
Publicado em: (2018)
school Questionário de comportamentos típicos da perturbação do espectro do autismo : estudo da validade de conteúdo e concordância interobservadores
por: Filipe, Raquel Alexandra Nunes
Publicado em: (2022)
por: Filipe, Raquel Alexandra Nunes
Publicado em: (2022)
article Perceiving learning regulation with Moodle: Implications for guidance
por: De Oliveira, Paula Fernanda Diogo
Publicado em: (2022)
por: De Oliveira, Paula Fernanda Diogo
Publicado em: (2022)
school Propriedades psicométricas do Emotional and Psychological Outcome (EPO-1): validação portuguesa numa amostra clínica
por: Cunha, Marlene Sofia Ferreira da
Publicado em: (2024)
por: Cunha, Marlene Sofia Ferreira da
Publicado em: (2024)
school Escala de Avaliação de Sutura do Minho - Desenvolvimento e validação
por: Gonçalves, Nuno Gabriel Silva
Publicado em: (2024)
por: Gonçalves, Nuno Gabriel Silva
Publicado em: (2024)
article Comparação das versões completa e reduzida da Escala de Competência de Estudo utilizando Rasch com universitários brasileiros
por: Almeida, Leandro S.
Publicado em: (2014)
por: Almeida, Leandro S.
Publicado em: (2014)
article Construção e validação de uma prova de matemática para alunos do 1º ao 4º ano de escolaridade
por: Lopes, João
Publicado em: (2014)
por: Lopes, João
Publicado em: (2014)
school Hábitos de jogar videojogos e validação do Ten-Item Internet Gaming Disorder Test
por: Resende, Miguel Ângelo Lassal de
Publicado em: (2020)
por: Resende, Miguel Ângelo Lassal de
Publicado em: (2020)
article Avaliação da simulação ou esforço insuficiente com o Rey 15-item memory test (15-IMT): Estudos de validação em grupos de adultos idosos
por: Simões, Mário R.
Publicado em: (2010)
por: Simões, Mário R.
Publicado em: (2010)
school Testes intermédios de matemática do 2º ano de escolaridade do 1º ciclo do Ensino Básico: Uma análise dos itens de avaliação de acordo com a tipologia do item, a competência e o tema matemático
por: Geitoso, Tânia Isabel Dias
Publicado em: (2015)
por: Geitoso, Tânia Isabel Dias
Publicado em: (2015)
school Atitudes dos psicólogos portugueses face à Prática Baseada em Evidência (PBE) no contexto das perturbações alimentares e emocionais
por: Antunes, Inês Carolina Ferreira Fernandes
Publicado em: (2022)
por: Antunes, Inês Carolina Ferreira Fernandes
Publicado em: (2022)
article Functional health literacy : psychometric properties of the newest vital sign for Portuguese adolescents (NVS-PTeen)
por: Santos, Osvaldo
Publicado em: (2021)
por: Santos, Osvaldo
Publicado em: (2021)
article Reading strategy use scale: an analysis using the rasch rating scale model
por: Cadime, Irene Maria Dias
Publicado em: (2022)
por: Cadime, Irene Maria Dias
Publicado em: (2022)
article Battery of reading assessment: description and validity studies
por: Ribeiro, Iolanda da Silva
Publicado em: (2014)
por: Ribeiro, Iolanda da Silva
Publicado em: (2014)
article Study of the proximate and mineral composition of different Nigerian yam chips, flakes and flours
por: Omohimi, C. I.
Publicado em: (2018)
por: Omohimi, C. I.
Publicado em: (2018)
article Loneliness in adolescence: Confirmatory factor analysis of the relational provisions loneliness questionnaire (RPLQ) in a Portuguese sample
por: Ribeiro, Olívia
Publicado em: (2019)
por: Ribeiro, Olívia
Publicado em: (2019)
science Cross-cultural validation of the malevolent creativity behavior scale in 7 countries
por: Ramos-Vera, Cristian
Publicado em: (2026)
por: Ramos-Vera, Cristian
Publicado em: (2026)
article A decision-making model for the rework of defective products
por: Soares, Joao Claudio
Publicado em: (2020)
por: Soares, Joao Claudio
Publicado em: (2020)
article To-be-forgotten statements become less true: Memory processes involved in selection and forgetting lead to truthfulness changes of ambiguous sentences
por: Correia Dos Santos, Ana Sofia
Publicado em: (2017)
por: Correia Dos Santos, Ana Sofia
Publicado em: (2017)
Registos relacionados
-
school Digitalization in procurement for implementing procurer-determined bundles in price negotiation considering item synergies
por: Silva, Jorge Miguel Gonçalves da
Publicado em: (2021) -
article As potencialidades da Teoria de Resposta ao Item na validade dos testes: Aplicação a uma prova de dependência-independência de campo
por: Vieira, Maria João
Publicado em: (2009) -
article As potencialidades da Teoria de Resposta ao Item na validade dos testes: aplicação a uma prova de dependência-independência de campo
por: Vieira, Maria João
Publicado em: (2009) -
school Behavioral budgets and effects of environmental enrichment on the activities of sea otters (Enhydra Lutris) at Oceanário de Lisboa
por: Neto, Rui Francisco
Publicado em: (2023) -
school Modelo de apoio à tomada de decisão quanto ao retrabalho de produtos defeituosos
por: Soares, João Cláudio Ferreira
Publicado em: (2019)