Publicação
The role of conversational agents in medical education: tools for academic performance improvement
| Resumo: | O avanço célere da tecnologia transformou a educação médica, oferecendo soluções inovadoras com o intuito de facilitar o desenvolvimento de aptidões clínicas dos estudantes de medicina. Esta tese explora o papel dos agentes de conversação na educação médica e no desenvolvimento e integração de um chatbot para a preparação de OSCEs. Para garantir uma base sólida para o desenvolvimento do OSCEBot ®, foi realizada uma revisão da literatura que analisa as aplicações de agentes conversacionais no ensino superior. Foram identificadas características críticas e o potencial das tecnologias orientadas para a conversação em contextos de ensino superior foi realçado. Os resultados da revisão permitiram a identificação de pontos-chave para o desenvolvimento do OSCEBot ®, um chatbot desenvolvido para treinar entrevistas clínicas, e os casos clínicos que o compõem. O desempenho do OSCEBot ® foi avaliado por medidas de desempenho, em relação a múltiplos casos clínicos e categorias. Após análise da interação com os alunos, investigou-se o impacto desta ferramenta na ansiedade pré-teste utilizando a Reactions to Test Scale. Embora o estudo não tenha estabelecido uma associação entre o OSCEBot ® e a diminuição da ansiedade em momentos de avaliação, os resultados confirmam a validade e fiabilidade da escala entre estudantes de medicina portugueses. O ChatGPT foi usado para aperfeiçoar os guiões desenvolvidos para o OSCEBot ® e para investigar o potencial do ChatGPT como avaliador independente. Embora não tenham sido encontradas diferenças significativas quando novas questões foram adicionadas aos guiões, o uso do ChatGPT para avaliação automatizada de resumos clínicos produziu resultados notáveis. A secção final desta tese investiga o papel do ChatGPT como ferramenta de previsão dos parâmetros psicométricos de itens de exame importantes. Os resultados demonstram consistência geral entre os valores reais e previstos pelo ChatGPT, indicando sua utilidade na avaliação das propriedades psicométricas dos itens. A criação e avaliação do OSCEBot ® , bem como o uso do ChatGPT para calibração de itens psicométricos, enriquecimento de guiões e avaliação automatizada, produziram resultados significativos que melhoram a compreensão dos potenciais benefícios do uso de pacientes virtuais e mecanismos de feedback alimentados por Inteligência Artificial na educação médica. |
|---|---|
| Autores principais: | Pereira, Daniela Sofia Marques |
| Assunto: | Educação médica Agentes conversacionais ChatGPT OSCEBOT Medical education Conversational agents Ciências Médicas::Ciências da Saúde |
| Ano: | 2024 |
| País: | Portugal |
| Tipo de documento: | tese de doutoramento |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Universidade do Minho |
| Idioma: | inglês |
| Origem: | RepositóriUM - Universidade do Minho |
| Resumo: | O avanço célere da tecnologia transformou a educação médica, oferecendo soluções inovadoras com o intuito de facilitar o desenvolvimento de aptidões clínicas dos estudantes de medicina. Esta tese explora o papel dos agentes de conversação na educação médica e no desenvolvimento e integração de um chatbot para a preparação de OSCEs. Para garantir uma base sólida para o desenvolvimento do OSCEBot ®, foi realizada uma revisão da literatura que analisa as aplicações de agentes conversacionais no ensino superior. Foram identificadas características críticas e o potencial das tecnologias orientadas para a conversação em contextos de ensino superior foi realçado. Os resultados da revisão permitiram a identificação de pontos-chave para o desenvolvimento do OSCEBot ®, um chatbot desenvolvido para treinar entrevistas clínicas, e os casos clínicos que o compõem. O desempenho do OSCEBot ® foi avaliado por medidas de desempenho, em relação a múltiplos casos clínicos e categorias. Após análise da interação com os alunos, investigou-se o impacto desta ferramenta na ansiedade pré-teste utilizando a Reactions to Test Scale. Embora o estudo não tenha estabelecido uma associação entre o OSCEBot ® e a diminuição da ansiedade em momentos de avaliação, os resultados confirmam a validade e fiabilidade da escala entre estudantes de medicina portugueses. O ChatGPT foi usado para aperfeiçoar os guiões desenvolvidos para o OSCEBot ® e para investigar o potencial do ChatGPT como avaliador independente. Embora não tenham sido encontradas diferenças significativas quando novas questões foram adicionadas aos guiões, o uso do ChatGPT para avaliação automatizada de resumos clínicos produziu resultados notáveis. A secção final desta tese investiga o papel do ChatGPT como ferramenta de previsão dos parâmetros psicométricos de itens de exame importantes. Os resultados demonstram consistência geral entre os valores reais e previstos pelo ChatGPT, indicando sua utilidade na avaliação das propriedades psicométricas dos itens. A criação e avaliação do OSCEBot ® , bem como o uso do ChatGPT para calibração de itens psicométricos, enriquecimento de guiões e avaliação automatizada, produziram resultados significativos que melhoram a compreensão dos potenciais benefícios do uso de pacientes virtuais e mecanismos de feedback alimentados por Inteligência Artificial na educação médica. |
|---|