Tradutor da língua gestual portuguesa modelo de tradução bidireccional

• Author(s): Oliveira, Odair Roberto Santiago Amarante
• Date: 2013
• Persistent ID: http://hdl.handle.net/10400.22/6246
• Origin: Repositório Científico do Instituto Politécnico do Porto
• Subject(s): LGP; LP; LG; Kinect; Data Glove; KDD; SVM
• Document Type: Master thesis
• Language: Portuguese
• Advisor(s): Escudeiro, Paula; Escudeiro, Nuno
• Contributor(s): Repositório Científico do Instituto Politécnico do Porto

Description

O projeto tem como objetivo desenvolver e avaliar um modelo que facilita o acesso para pessoas surdas ou com deficiência auditiva, o acesso ao conteúdo digital - em particular o conteúdo educacional e objetos de aprendizagem – a criação de condições para uma maior inclusão social de surdos e deficientes auditivos. Pretende-se criar um modelo bidirecional, em que permite a pessoas com deficiências auditivas, possam se comunicar com outras pessoas, com a tradução da Língua Gestual Portuguesa (LGP) para a Língua Portuguesa (LP) e que outras pessoas não portadoras de qualquer deficiência auditiva possam por sua vez comunicar com os surdos ou deficientes auditivos através da tradução da LP para a LGP. Há um conjunto de técnicas que poderíamos nos apoiar para desenvolver o modelo e implementar a API de tradução da LGP em LP. Muitos estudos são feitos com base nos modelos escondidos de Markov (HMM) para efetuar o reconhecimento. Recentemente os estudos estão a caminhar para o uso de técnicas como o “Dynamic Time Warping” (DTW), que tem tido mais sucesso do que outras técnicas em termos de performance e de precisão. Neste projeto optamos por desenvolver a API e o Modelo, com base na técnica de aprendizagem Support Vector Machines (SVM) por ser uma técnica simples de implementar e com bons resultados demonstrados em reconhecimento de padrões. Os resultados obtidos utilizando esta técnica de aprendizagem foram bastante ótimos, como iremos descrever no decorrer do capítulo 4, mesmo sabendo que utilizamos dois dispositivos para capturar dados de descrição de cada gesto. Toda esta tese integra-se no âmbito do projeto científico/ investigação a decorrer no grupo de investigação GILT, sob a coordenação da professora Paula Escudeiro e suportado pela Fundação para Ciência e Tecnologia (FCT).

The project aims to develop and evaluate a model that facilitates access for people who are deaf or hearing impaired access to digital content - in particular the educational content and learning objects - creating conditions for greater social inclusion of deaf and hearing. It is intended to create a bi-directional model , which allows people with hearing disabilities to communicate with others , with the translation of Portuguese Sign Language ( LGP ) for the Portuguese Language ( LP ) and other people not suffering from any disability hearing may in turn communicate with the deaf or hearing impaired by translating the LP for the LGP . There is a set of techniques that could support us to develop the model and implement the API translation of LGP to LP. Many studies are done based on hidden Markov models (HMM ) to perform recognition. Recently studies are moving towards the use of techniques such as “Dynamic Time Warping “(DTW), which has been more successful than other techniques in terms of performance and precision. In this project we chose to develop the API and model, based on the technique of learning Support Vector Machines (SVM) to be a simple technique to implement and demonstrated good results on pattern recognition. The results obtained using this technique were very great learning, as we describe in Chapter 4 of the course, even though we use two devices for capturing data description of each gesture. All of this thesis integrates within the scientific project / research course in GILT research group under the coordination of Professor Paula Squire and supported by the Foundation for Science and Technology (FCT).