Publicação

Detecção e Seguimento de Objectos em Grelhas de Ocupação para Aplicações em Realidade Aumentada

Detalhes bibliográficos
Resumo:	Ao longo dos últimos anos, os sistemas de Realidade Virtual e Realidade Aumentada têm vindo a ser desenvolvidos com o intuito de fornecer ao utilizador uma experiência totalmente imersiva através de uma estimulação sensorial artificial, trazendo inúmeros benefícios em várias áreas desde a saúde à educação. Contudo, estes sistemas encontram-se ainda limitados por diversos fatores: uma representação não realista da cena, falta de personalização e flexibilidade, viabilidade financeira, desconforto físico e psicológico dos utilizadores causando experiências nauseantes, entre outros. Estes também exigem que o utilizador se desloque num espaço vazio ou muito limitado pois não recriam o ambiente físico em que o utilizador se move num ambiente virtual com uma relação um-para-um (tanto nos movimentos efetuados como na interação com objetos presentes).No entanto, o desenvolvimento de tecnologias no domínio dos microprocessadores e do processamento gráfico, bem como o aparecimento de sensores de captura de informação tridimensional de baixo custo, mais eficientes para o mapeamento de cenários reais, tais como as Microsoft Kinect v2, têm vindo a tornar estes sistemas mais viáveis financeiramente. Nestes sistemas, uma boa representação tridimensional do ambiente é uma tarefa essencial, pois o seguimento de objetos e dos utilizadores é uma das componentes chave deste processo. Um pré-processamento da informação sensorial extraída dos sensores facilita este processo. Aplicando técnicas de seguimento a um objeto, é possível estimar a sua localização e a sua velocidade bem como prever futuros estados do mesmo.Nesta tese é proposto um sistema modular para a representação de um cenário tridimensional através de grelhas de ocupação recorrendo à informação sensorial de quatro Microsoft Kinects v2. Este processo pode ser dividido essencialmente em três módulos: primeiro, é feita a captura dos dados sensoriais das câmaras sendo posteriormente aplicadas técnicas para filtrar o ruído existente e para remover a informação relativa ao plano de fundo do cenário; depois, são aplicadas técnicas para a segmentação da nuvem de pontos construída; e finalmente, são aplicados filtros Bayesianos (tanto filtros de partículas, como filtros de Kalman) para o seguimento de todos os objetos e da cabeça de todos os utilizadores presentes no cenários. Deste modo, é obtida uma estimativa para a localização e para a velocidade instantânea dos objetos, bem como uma estimativa da sua próxima localização.O processo supramencionado foi sujeito a uma série de testes realizados em situações particularmente exigentes, sendo os resultados qualitativos obtidos apresentados neste documento. Os resultados demonstram que o sistema proposto é capaz de realizar o seguimento de qualquer objeto presente na cena, estando este limitado porém no caso de ocorrer uma interação com um objeto dinâmico. Relativamente ao módulo de seguimento de cabeça, este demonstrou ser robusto e aplicável em tempo real.
Autores principais:	Bicho, Dylan Jordão
Assunto:	Sensores RGB-D Grelhas de Ocupação 3D Segmentação Filtro de Kalman Filtro de Partículas RGB-D Sensors 3D Occupancy Grids Segmentation Particle Filters Kalman Filters
Ano:	2018
País:	Portugal
Tipo de documento:	dissertação de mestrado
Tipo de acesso:	acesso aberto
Instituição associada:	Universidade de Coimbra
Idioma:	português
Origem:	Estudo Geral - Universidade de Coimbra

Descrição
Resumo:	Ao longo dos últimos anos, os sistemas de Realidade Virtual e Realidade Aumentada têm vindo a ser desenvolvidos com o intuito de fornecer ao utilizador uma experiência totalmente imersiva através de uma estimulação sensorial artificial, trazendo inúmeros benefícios em várias áreas desde a saúde à educação. Contudo, estes sistemas encontram-se ainda limitados por diversos fatores: uma representação não realista da cena, falta de personalização e flexibilidade, viabilidade financeira, desconforto físico e psicológico dos utilizadores causando experiências nauseantes, entre outros. Estes também exigem que o utilizador se desloque num espaço vazio ou muito limitado pois não recriam o ambiente físico em que o utilizador se move num ambiente virtual com uma relação um-para-um (tanto nos movimentos efetuados como na interação com objetos presentes).No entanto, o desenvolvimento de tecnologias no domínio dos microprocessadores e do processamento gráfico, bem como o aparecimento de sensores de captura de informação tridimensional de baixo custo, mais eficientes para o mapeamento de cenários reais, tais como as Microsoft Kinect v2, têm vindo a tornar estes sistemas mais viáveis financeiramente. Nestes sistemas, uma boa representação tridimensional do ambiente é uma tarefa essencial, pois o seguimento de objetos e dos utilizadores é uma das componentes chave deste processo. Um pré-processamento da informação sensorial extraída dos sensores facilita este processo. Aplicando técnicas de seguimento a um objeto, é possível estimar a sua localização e a sua velocidade bem como prever futuros estados do mesmo.Nesta tese é proposto um sistema modular para a representação de um cenário tridimensional através de grelhas de ocupação recorrendo à informação sensorial de quatro Microsoft Kinects v2. Este processo pode ser dividido essencialmente em três módulos: primeiro, é feita a captura dos dados sensoriais das câmaras sendo posteriormente aplicadas técnicas para filtrar o ruído existente e para remover a informação relativa ao plano de fundo do cenário; depois, são aplicadas técnicas para a segmentação da nuvem de pontos construída; e finalmente, são aplicados filtros Bayesianos (tanto filtros de partículas, como filtros de Kalman) para o seguimento de todos os objetos e da cabeça de todos os utilizadores presentes no cenários. Deste modo, é obtida uma estimativa para a localização e para a velocidade instantânea dos objetos, bem como uma estimativa da sua próxima localização.O processo supramencionado foi sujeito a uma série de testes realizados em situações particularmente exigentes, sendo os resultados qualitativos obtidos apresentados neste documento. Os resultados demonstram que o sistema proposto é capaz de realizar o seguimento de qualquer objeto presente na cena, estando este limitado porém no caso de ocorrer uma interação com um objeto dinâmico. Relativamente ao módulo de seguimento de cabeça, este demonstrou ser robusto e aplicável em tempo real.