Publicação
Unveiling automatic item generation: efficiency, formation, proficiency and differential item functioning in medical education assessment
| Resumo: | A avaliação de conhecimentos está a mudar rapidamente, sobretudo na educação médica, onde testes realizados em computador com perguntas de escolha múltipla são cada vez mais frequentes. Embora esta transição ofereça benefícios em termos de eficiência e acessibilidade, também levanta preocupações quanto à segurança dos testes devido ao risco de exposição das perguntas. Consequentemente, as perguntas dos testes devem ser elaboradas mais rapidamente e em maiores quantidades. Neste contexto, a Geração Automática de Itens (AIG) surge como uma solução promissora. Esta envolve o uso de algoritmos de computador e modelos cognitivos para gerar automaticamente perguntas de teste. Para além de oferecer uma abordagem sistemática e económica para o desenvolvimento de itens, a AIG permite a criação rápida de bancos substanciais de itens. Apesar do seu potencial, a AIG continua a ser subutilizada em muitas escolas médicas, o que realça a necessidade de mais investigação. A presente Tese procura esclarecer as complexidades do processo da AIG no contexto da avaliação da educação médica, com foco em vários aspetos-chave. Estes incluem a qualidade dos itens gerados e as suas propriedades psicométricas, a facilidade de integração nas práticas de avaliação, a validade da AIG e a sua compatibilidade com diferentes modalidades de avaliação. Ao longo desta Tese, apresentamos evidência empírica que destaca a rapidez, qualidade, validade e facilidade de uso deste procedimento. Ao oferecer exemplos e perspetivas específicas, esperamos demonstrar como a AIG pode melhorar significativamente as práticas de avaliação na educação médica, ao mesmo tempo que proporciona economias substanciais de recursos às instituições. |
|---|---|
| Autores principais: | Falcão, Filipe Manuel Vidal |
| Assunto: | Avaliação Escrita de itens Geração automática de itens Qualidade dos itens Validade Automatic item generation Assessment Item writing Item quality Validity |
| Ano: | 2024 |
| País: | Portugal |
| Tipo de documento: | tese de doutoramento |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Universidade do Minho |
| Idioma: | inglês |
| Origem: | RepositóriUM - Universidade do Minho |
| Resumo: | A avaliação de conhecimentos está a mudar rapidamente, sobretudo na educação médica, onde testes realizados em computador com perguntas de escolha múltipla são cada vez mais frequentes. Embora esta transição ofereça benefícios em termos de eficiência e acessibilidade, também levanta preocupações quanto à segurança dos testes devido ao risco de exposição das perguntas. Consequentemente, as perguntas dos testes devem ser elaboradas mais rapidamente e em maiores quantidades. Neste contexto, a Geração Automática de Itens (AIG) surge como uma solução promissora. Esta envolve o uso de algoritmos de computador e modelos cognitivos para gerar automaticamente perguntas de teste. Para além de oferecer uma abordagem sistemática e económica para o desenvolvimento de itens, a AIG permite a criação rápida de bancos substanciais de itens. Apesar do seu potencial, a AIG continua a ser subutilizada em muitas escolas médicas, o que realça a necessidade de mais investigação. A presente Tese procura esclarecer as complexidades do processo da AIG no contexto da avaliação da educação médica, com foco em vários aspetos-chave. Estes incluem a qualidade dos itens gerados e as suas propriedades psicométricas, a facilidade de integração nas práticas de avaliação, a validade da AIG e a sua compatibilidade com diferentes modalidades de avaliação. Ao longo desta Tese, apresentamos evidência empírica que destaca a rapidez, qualidade, validade e facilidade de uso deste procedimento. Ao oferecer exemplos e perspetivas específicas, esperamos demonstrar como a AIG pode melhorar significativamente as práticas de avaliação na educação médica, ao mesmo tempo que proporciona economias substanciais de recursos às instituições. |
|---|