Publicação
Deteção de pose 3D de utilizadores humanos e posterior interação
| Resumo: | A deteção de pose 3D de utilizadores humanos e a posterior interação em ambientes robóticos desempenham um papel crucial na melhoria da interação homem-máquina e na prestação de serviços personalizados. Compreender e interpretar as poses do utilizador humano é essencial para que os robôs de serviços possam adaptar-se às necessidades individuais, proporcionando uma interação mais eficiente e eficaz. A deteção e distinção da pose de utilizadores humanos aliada a um robô colaborativo, pode ser uma ferramenta valiosa em ambientes de cuidados de saúde e hospitalares, uma vez que pode ajudar e assistir pacientes em posições críticas. Esta dissertação está englobada no projecto CHARMIE (Collaborative Home/Healthcare Assistant Robot by Minho Industrial Electronics). CHARMIE é um robô antropomórfico colaborativo de cuidados de saúde e assistente doméstico capaz de executar tarefas de serviço genéricas em ambientes não padronizados de cuidados de saúde e ambiente doméstico. Portanto, esta dissertação propõe o desenvolvimento de um sistema de deteção de pose do utilizador humano e posterior interação utilizando a câmara Intel® RealSense™ D455. O objetivo principal é permitir que um robô de serviços seja capaz de perceber e responder adequadamente ao estado dos utilizadores com os quais interage. Além disso, esta solução destina-se a ser utilizada como um sistema de emergência em ambientes relacionados com a saúde, tais como lares e hospitais, para ajudar eventuais pacientes que se encontrem numa posição crítica. O método escolhido para a deteção de pose é baseado no Mediapipe Pose, que utiliza visão por computador para identificar as coordenadas dos pontos de referência do corpo humano. Essas informações são extraídas e utilizadas como entrada para um modelo de classificação de diferentes poses. O algoritmo Random Forest é utilizado para treinar o modelo de classificação, permitindo identificar poses como estar de pé, sentado, deitado, a acenar e com o braço levantado. Além da deteção de pose, é essencial que o robô compreenda o contexto em que a pose ocorre, ou seja, conseguir identificar se está perante uma situação de emergência ou não. Para isso, é utilizada a deteção de objetos com o algoritmo YOLO, com o objetivo de identificar a presença de uma cama. A interpretação da pose deitada em cima da cama é considerada uma situação normal, enquanto a pose deitada no chão é classificada como uma situação de emergência. Com a implementação deste sistema de deteção e classificação de pose e a interpretação de contexto, espera-se melhorar a interação entre o robô de serviços e utilizadores humanos em diferentes contextos, como assistência domiciliar, cuidados de saúde e serviços gerais. Esta dissertação engloba as áreas de Visão por Computador, Machine Learning e Robótica. |
|---|---|
| Autores principais: | Lages, Ana Carolina Lima |
| Assunto: | Visão por computador Machine learning Robô colaborativo Deteção de pose humana Classificação de pose humana Deteção de objectos Computer vision Collaborative robot Human pose detection Human pose classification Object detection |
| Ano: | 2023 |
| País: | Portugal |
| Tipo de documento: | dissertação de mestrado |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Universidade do Minho |
| Idioma: | português |
| Origem: | RepositóriUM - Universidade do Minho |
| Resumo: | A deteção de pose 3D de utilizadores humanos e a posterior interação em ambientes robóticos desempenham um papel crucial na melhoria da interação homem-máquina e na prestação de serviços personalizados. Compreender e interpretar as poses do utilizador humano é essencial para que os robôs de serviços possam adaptar-se às necessidades individuais, proporcionando uma interação mais eficiente e eficaz. A deteção e distinção da pose de utilizadores humanos aliada a um robô colaborativo, pode ser uma ferramenta valiosa em ambientes de cuidados de saúde e hospitalares, uma vez que pode ajudar e assistir pacientes em posições críticas. Esta dissertação está englobada no projecto CHARMIE (Collaborative Home/Healthcare Assistant Robot by Minho Industrial Electronics). CHARMIE é um robô antropomórfico colaborativo de cuidados de saúde e assistente doméstico capaz de executar tarefas de serviço genéricas em ambientes não padronizados de cuidados de saúde e ambiente doméstico. Portanto, esta dissertação propõe o desenvolvimento de um sistema de deteção de pose do utilizador humano e posterior interação utilizando a câmara Intel® RealSense™ D455. O objetivo principal é permitir que um robô de serviços seja capaz de perceber e responder adequadamente ao estado dos utilizadores com os quais interage. Além disso, esta solução destina-se a ser utilizada como um sistema de emergência em ambientes relacionados com a saúde, tais como lares e hospitais, para ajudar eventuais pacientes que se encontrem numa posição crítica. O método escolhido para a deteção de pose é baseado no Mediapipe Pose, que utiliza visão por computador para identificar as coordenadas dos pontos de referência do corpo humano. Essas informações são extraídas e utilizadas como entrada para um modelo de classificação de diferentes poses. O algoritmo Random Forest é utilizado para treinar o modelo de classificação, permitindo identificar poses como estar de pé, sentado, deitado, a acenar e com o braço levantado. Além da deteção de pose, é essencial que o robô compreenda o contexto em que a pose ocorre, ou seja, conseguir identificar se está perante uma situação de emergência ou não. Para isso, é utilizada a deteção de objetos com o algoritmo YOLO, com o objetivo de identificar a presença de uma cama. A interpretação da pose deitada em cima da cama é considerada uma situação normal, enquanto a pose deitada no chão é classificada como uma situação de emergência. Com a implementação deste sistema de deteção e classificação de pose e a interpretação de contexto, espera-se melhorar a interação entre o robô de serviços e utilizadores humanos em diferentes contextos, como assistência domiciliar, cuidados de saúde e serviços gerais. Esta dissertação engloba as áreas de Visão por Computador, Machine Learning e Robótica. |
|---|