Publicação
Aplicação de tradução de Língua Gestual Portuguesa (LGP) para português com recurso a inteligência artificial
| Resumo: | Neste trabalho, propõe-se o desenvolvimento de um sistema para a tradução em tempo real de gestos da Língua Gestual Portuguesa (LGP) para texto, com o objetivo de facilitar a comunicação entre pessoas surdas e ouvintes. O reconhecimento automático de gestos é uma área fundamental para promover a inclusão social, especialmente pela disponibilidade crescente de ferramentas tecnológicas que melhorem a acessibilidade comunicacional. A solução apresentada envolve a criação de uma aplicação móvel que reconhece em tempo real os gestos das letras da Língua Gestual Portuguesa (LGP), exibindo a tradução quase instantaneamente após o gesto ser realizado. Esta aplicação integra dois métodos principais: o primeiro utiliza o MediaPipe, onde a imagem capturada pela câmara do dispositivo é enviada para um servidor remoto. O servidor processa a imagem, deteta os pontoschave (landmarks) das mãos e utiliza um Multilayer Perceptron (MLP) para classificar as letras. O segundo método é um modelo de Rede Neuronal Convolucional (CNN) que analisa diretamente as imagens capturadas pela câmara, sendo otimizado para funcionar em dispositivos móveis através do TensorFlow Lite. A aplicação foi desenvolvida em Flutter, oferecendo uma interface intuitiva e acessível. Os testes realizados demonstraram que, com a utilização combinada dos dois modelos, ou seja, o modelo baseado no MediaPipe integrado com Multilayer Perceptron (MLP) e o modelo Rede Neuronal Convolucional (CNN), a aplicação é capaz de reconhecer gestos com boa precisão e rapidez, traduzindo gestos em tempo real de forma eficiente. A abordagem adotada permite flexibilidade na adaptação a diferentes cenários e condições de uso, sendo uma solução escalável que pode ser expandida para reconhecer outros gestos ou línguas gestuais. As implicações deste trabalho são significativas para a inclusão social, promovendo a comunicação entre diferentes grupos linguísticos e facilitando a integração das comunidades surdas na sociedade. |
|---|---|
| Autores principais: | Fonseca, Gonçalo Caré |
| Assunto: | Língua gestual portuguesa Reconhecimento de gestos Tradução de gestos Aplicação móvel Redes neuronais TensorFlow Lite MediaPipe Inclusão social Portuguese Sign Language Gesture recognition Gesture translation Mobile application Neural networks TensorFlow lite Social inclusion |
| Ano: | 2024 |
| País: | Portugal |
| Tipo de documento: | dissertação de mestrado |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Instituto Politécnico de Lisboa |
| Idioma: | português |
| Origem: | Repositório Científico do Instituto Politécnico de Lisboa |
| Resumo: | Neste trabalho, propõe-se o desenvolvimento de um sistema para a tradução em tempo real de gestos da Língua Gestual Portuguesa (LGP) para texto, com o objetivo de facilitar a comunicação entre pessoas surdas e ouvintes. O reconhecimento automático de gestos é uma área fundamental para promover a inclusão social, especialmente pela disponibilidade crescente de ferramentas tecnológicas que melhorem a acessibilidade comunicacional. A solução apresentada envolve a criação de uma aplicação móvel que reconhece em tempo real os gestos das letras da Língua Gestual Portuguesa (LGP), exibindo a tradução quase instantaneamente após o gesto ser realizado. Esta aplicação integra dois métodos principais: o primeiro utiliza o MediaPipe, onde a imagem capturada pela câmara do dispositivo é enviada para um servidor remoto. O servidor processa a imagem, deteta os pontoschave (landmarks) das mãos e utiliza um Multilayer Perceptron (MLP) para classificar as letras. O segundo método é um modelo de Rede Neuronal Convolucional (CNN) que analisa diretamente as imagens capturadas pela câmara, sendo otimizado para funcionar em dispositivos móveis através do TensorFlow Lite. A aplicação foi desenvolvida em Flutter, oferecendo uma interface intuitiva e acessível. Os testes realizados demonstraram que, com a utilização combinada dos dois modelos, ou seja, o modelo baseado no MediaPipe integrado com Multilayer Perceptron (MLP) e o modelo Rede Neuronal Convolucional (CNN), a aplicação é capaz de reconhecer gestos com boa precisão e rapidez, traduzindo gestos em tempo real de forma eficiente. A abordagem adotada permite flexibilidade na adaptação a diferentes cenários e condições de uso, sendo uma solução escalável que pode ser expandida para reconhecer outros gestos ou línguas gestuais. As implicações deste trabalho são significativas para a inclusão social, promovendo a comunicação entre diferentes grupos linguísticos e facilitando a integração das comunidades surdas na sociedade. |
|---|