Publicação
Interpretação da língua gestual portuguesa
| Resumo: | Há em Portugal cerca de 30 mil pessoas que têm como primeira língua, a Língua Gestual Portuguesa (LGP). O Kinect é uma ferramenta de custo acessível que pode ser usado para o reconhecimento e tradução de gestos desta língua para a Língua Portuguesa, usando uma aplicação adequada. Para o reconhecimento de gestos de LGP, efetuados por pessoas distintas, selecionámos um conjunto de features, que considerámos importantes, através de um pré-processamento e extração das características do sinal devolvido pelo Kinect. Suportada por estas características, construímos uma base de dados inicial, apenas com gestos estáticos do alfabeto em LGP, que foi submetida, como um conjunto de treinamento, à plataforma Weka, para construir e testar uma grande variedade de classificadores. Obtivemos um óptimo desempenho, a nível de taxa de sucesso, por dois dos algoritmos. Numa segunda fase, construiu-se um protótipo, utilizando os dois melhores classificadores, capazes de reconhecer, em tempo real, palavras em datilologia (soletragem de palavras). Para isso, usaram-se duas técnicas de coarticulação dos gestos, que consistiram na verificação da estabilização da letra prevista pelo algoritmo, e no uso de regras de construção de palavras da língua portuguesa. Para melhor testar o protótipo utilizaram-se três modos diferentes de interação com o utilizador, o modo “easy” e o “ hard”, vocacionados para o reconhecimento de gestos, e o modo “direct” mais destinado à inserção rápida de gestos em datilologia na base de dados. Por último, o protótipo foi submetido a testes efetuados por pessoas da comunidade surda, e avaliado o seu desempenho em datilologia. Os dois classificadores que obtiveram maior sucesso no reconhecimento de poses estáticas, não se revelaram tão eficazes quanto à datilologia, devido às elevadas exigências da coarticulação. De qualquer forma, estes resultados são uma contribuição significativa lançando nova luz sobre melhorar o reconhecimento de gestos em tempo real e coarticulação. |
|---|---|
| Autores principais: | Sousa, Ana Paula de Almeida e |
| Assunto: | Língua Gestual Portuguesa LGP Kinect Reconhecimento de gestos Interpretação Surdo Teses de mestrado - 2012 |
| Ano: | 2012 |
| País: | Portugal |
| Tipo de documento: | dissertação de mestrado |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Universidade de Lisboa |
| Idioma: | português |
| Origem: | Repositório da Universidade de Lisboa |
| Resumo: | Há em Portugal cerca de 30 mil pessoas que têm como primeira língua, a Língua Gestual Portuguesa (LGP). O Kinect é uma ferramenta de custo acessível que pode ser usado para o reconhecimento e tradução de gestos desta língua para a Língua Portuguesa, usando uma aplicação adequada. Para o reconhecimento de gestos de LGP, efetuados por pessoas distintas, selecionámos um conjunto de features, que considerámos importantes, através de um pré-processamento e extração das características do sinal devolvido pelo Kinect. Suportada por estas características, construímos uma base de dados inicial, apenas com gestos estáticos do alfabeto em LGP, que foi submetida, como um conjunto de treinamento, à plataforma Weka, para construir e testar uma grande variedade de classificadores. Obtivemos um óptimo desempenho, a nível de taxa de sucesso, por dois dos algoritmos. Numa segunda fase, construiu-se um protótipo, utilizando os dois melhores classificadores, capazes de reconhecer, em tempo real, palavras em datilologia (soletragem de palavras). Para isso, usaram-se duas técnicas de coarticulação dos gestos, que consistiram na verificação da estabilização da letra prevista pelo algoritmo, e no uso de regras de construção de palavras da língua portuguesa. Para melhor testar o protótipo utilizaram-se três modos diferentes de interação com o utilizador, o modo “easy” e o “ hard”, vocacionados para o reconhecimento de gestos, e o modo “direct” mais destinado à inserção rápida de gestos em datilologia na base de dados. Por último, o protótipo foi submetido a testes efetuados por pessoas da comunidade surda, e avaliado o seu desempenho em datilologia. Os dois classificadores que obtiveram maior sucesso no reconhecimento de poses estáticas, não se revelaram tão eficazes quanto à datilologia, devido às elevadas exigências da coarticulação. De qualquer forma, estes resultados são uma contribuição significativa lançando nova luz sobre melhorar o reconhecimento de gestos em tempo real e coarticulação. |
|---|