Publicação

Self-adaptation of multimodal systems

Detalhes bibliográficos
Resumo:	Este documento centra-se nos Sistemas Multimodais Adaptativos e suas aplicações no melhoramento da acessibilidade das interfaces. Pessoas idosas ou com algum tipo de deficiência, seja associado ou não à idade, são um grupo de alto risco sujeito à exclusão social. Muitas vezes o acesso a oportunidades ou serviços oferecidos pela sociedade é limitado ou mesmo inacessível para indivíduos com estas características. No caso específico da comunicação pessoa-máquina, um exemplo de falta de acessibilidade resulta das modalidades utilizadas para interagir ou apresentar informação. Se for usada apenas informação visual, alguém com dificuldades visuais não conseguirá interagir ou perceber a informação apresentada, logo é excluída. Como solução para estes problemas, neste documento apresenta-se GUIDE, um projecto europeu que pretende desenvolver uma framework que permite integrar eficientemente características de acessibilidade nas aplicações. Este projecto foca-se nas plataformas e serviços emergentes para TV e pretende transformar as Set-Top Box’s em sistemas multimodais adaptativos. São apresentados os objectivos do GUIDE, o papel da Faculdade de Ciências neste projecto e as contribuições desta tese. No segundo capítulo deste documento é apresentada a noção de Sistemas Multimodais Adaptativos, as vantagens associadas a este tipo de sistemas, arquitectura e descrição dos vários componentes. Um sistema multimodal ´e um sistema que disponibiliza várias modalidades para interagir (voz, gestos, etc), sendo possível a utilização de apenas uma ou várias modalidades em simultâneo. Estes sistemas não só oferecem ao utilizador uma comunicação mais natural como permitem alternativas tanto na maneira de interagir como de apresentar a informação a pessoas que, devido `as suas características, de outra maneira não conseguiriam. A outra característica destes sistemas é a adaptação, que pode ser descrita como um método para aumentar a usabilidade de uma aplicação em termos de eficiência, eficácia e facilidade de uso. Este método traz benefícios para a interação¸ ao do utilizador em diversas situações e pode ser aplicado em diferentes níveis de automação apresentados neste documento, sendo o mais interessante a auto-adaptação. Geralmente, a arquitectura de um sistema deste tipo ´e composta por reconhecedores para as modalidades de input, sintetizadores para as modalidades de output e entre eles, um conjunto de componentes responsável pela integração multimodal do sistema. Esses componentes são: um módulo de fusão (para os inputs) e outro de cisão (para outputs), um gestor de diálogo (Dialogue Manager) e um gestor de contexto. A descrição e função de cada componente são detalhadas também no capítulo 2. Esta tese dá especial destaque ao Dialogue Manager, cuja responsabilidade é coordenar a actividade dos vários componentes do sistema, manter a representação do estado actual do diálogo, actualizar o contexto do diálogo com base na informação interpretada na comunicação e decidir que conteúdo deve ser apresentado e quando, deixando a forma como é apresentado para o módulo de cisão. Das várias abordagens existentes para a implementação do Dialogue Manager, a que vem de encontro aos requisitos do projecto e está descrita neste documento chama-se “Frame-based approach”. Esta implementação aplica a analogia do preenchimento de um formulário, ou seja, interpreta o diálogo de um certo estado da aplicação como a necessidade de se verem realizadas certas condições para efectuar uma acção. Cada estado da aplicação pode conter vários formulários e o preenchimento de cada um deles resulta numa accão, que normalmente leva a estados diferentes da aplicação. Contudo,também é possível haver accões que são independentes da aplicação, como por exemplo pedir ao GUIDE para aumentar o volume. Estes formulários são instanciados automaticamente pelo Dialogue Manager. Pelo contrário, os formulários relativos à aplicação têm de ser inferidos a partir de uma representação da interface da aplicação Para realizar um projecto deste tipo é preciso conhecer melhor os futuros utilizadores. Por isso, foram realizados dois estudos feitos com utilizadores-alvo que pretendiam entender como os idosos reagiriam a novas maneiras de interagir com a sua televisão bem como as suas preferências em relação à apresentação da informação e dos elementos interactivos. As descobertas feitas são relatadas nesta tese e serviram não só para ajudar no desenvolvimento do Dialogue Manager mas também todos os outros componentes envolvidos. Outro dos principais objectivos destes estudos foi perceber que diferentes agrupamentos se pode criar para caracterizar e agrupar futuros utilizadores. Para esse fim foi implementado um protótipo que integra diferentes dispositivos para interação (ex: WiiMote, Kinect) e que permite a criação de interfaces multimodais recorrendo à descrição dos elementos que desejamos ver no ecrã num ficheiro XML. Os sistemas adaptativos dependem de informação guardada em modelos como base para aplicar a adaptação. Existem diferentes modelos tendo em conta os diferentes tipos de informação que se quer manter: modelo de utilizador, modelo da tarefa, modelo de domínio, modelo de diálogo, modelo de ambiente, etc. Desses modelos destaca-se o modelo de utilizador pois é o mais importante no campo dos sistemas adaptativos. O modelo de utilizador é a representação do conhecimento e preferências que o sistema “acredita” ser o que o utilizador possui. Toda esta informação é importante para melhorar a interação e portanto deve ser mantida e actualizada. Neste documento são também descritas as técnicas para a aquisição¸ ao desse conhecimento, existindo dois processos diferentes para o fazer: explicitamente e implicitamente. Observando o utilizador e o seu compor tamento é possível obter as informações implicitamente. Perguntando directamente ou permitindo ao utilizador alterar o modelo de utilizador a aquisição de informação está a ser feita explicitamente. Neste documento é apresentado um protótipo que pretende servir como um tutorial de modo a ensinar ao utilizador como interagir com o sistema mas também obter informações sobre ele de maneira a poder atribuí-lo a um dos agrupamentos encontrados nos estudos feitos anteriormente. Este protótipo obtém essas informações pedindo ao utilizador para efectuar certas tarefas e respondendo a algumas perguntas. Como foi referido anteriormente, o Dialogue Manager bem como outros componentes lidam com as aplicações através de uma representação da interface de utilizador. Neste documento é feito uma comparação entre algumas linguagens que têm este objectivo e é escolhido então o formato que vai ser usado neste projecto. Para extrair automaticamente essa representação, no capítulo 6 é apresentado uma ferramenta que o faz a partir de aplicações Web, ou seja implementadas em HTML e Javascript. Esta ferramenta analisa a estrutura dos elementos apresentados através da análise do código HTML bem como de algumas propriedades WAI-ARIA, desenhadas com o propósito da acessibilidade. De seguida, percorre e analisa não só o código HTML com também o CSS, de modo a descrever as propriedades visuais dos elementos que vão ser apresentados no ecrã. Finalmente, todo o trabalho resultante desta tese continuará a ser melhorado e avaliado até ao final da duração deste projecto que contará ainda com 1 ano e 3 meses. Durante esse período será realizada a integração dos vários componentes e será feita a migração das versões em PC para Set-top-box. No fim ´e esperado que todos os objectivos a que este projecto se propôs sejam cumpridos e que pelo menos facilite a vida daqueles que são afectados pela falta de acessibilidade nas tecnologias existentes.
Autores principais:	Costa, Daniel Filipe Ribeiro da
Assunto:	Adaptação Acessibilidade Sistemas multimodais adaptativos GUIDE Teses de mestrado - 2011
Ano:	2011
País:	Portugal
Tipo de documento:	dissertação de mestrado
Tipo de acesso:	acesso aberto
Instituição associada:	Universidade de Lisboa
Idioma:	inglês
Origem:	Repositório da Universidade de Lisboa

Descrição
Resumo:	Este documento centra-se nos Sistemas Multimodais Adaptativos e suas aplicações no melhoramento da acessibilidade das interfaces. Pessoas idosas ou com algum tipo de deficiência, seja associado ou não à idade, são um grupo de alto risco sujeito à exclusão social. Muitas vezes o acesso a oportunidades ou serviços oferecidos pela sociedade é limitado ou mesmo inacessível para indivíduos com estas características. No caso específico da comunicação pessoa-máquina, um exemplo de falta de acessibilidade resulta das modalidades utilizadas para interagir ou apresentar informação. Se for usada apenas informação visual, alguém com dificuldades visuais não conseguirá interagir ou perceber a informação apresentada, logo é excluída. Como solução para estes problemas, neste documento apresenta-se GUIDE, um projecto europeu que pretende desenvolver uma framework que permite integrar eficientemente características de acessibilidade nas aplicações. Este projecto foca-se nas plataformas e serviços emergentes para TV e pretende transformar as Set-Top Box’s em sistemas multimodais adaptativos. São apresentados os objectivos do GUIDE, o papel da Faculdade de Ciências neste projecto e as contribuições desta tese. No segundo capítulo deste documento é apresentada a noção de Sistemas Multimodais Adaptativos, as vantagens associadas a este tipo de sistemas, arquitectura e descrição dos vários componentes. Um sistema multimodal ´e um sistema que disponibiliza várias modalidades para interagir (voz, gestos, etc), sendo possível a utilização de apenas uma ou várias modalidades em simultâneo. Estes sistemas não só oferecem ao utilizador uma comunicação mais natural como permitem alternativas tanto na maneira de interagir como de apresentar a informação a pessoas que, devido `as suas características, de outra maneira não conseguiriam. A outra característica destes sistemas é a adaptação, que pode ser descrita como um método para aumentar a usabilidade de uma aplicação em termos de eficiência, eficácia e facilidade de uso. Este método traz benefícios para a interação¸ ao do utilizador em diversas situações e pode ser aplicado em diferentes níveis de automação apresentados neste documento, sendo o mais interessante a auto-adaptação. Geralmente, a arquitectura de um sistema deste tipo ´e composta por reconhecedores para as modalidades de input, sintetizadores para as modalidades de output e entre eles, um conjunto de componentes responsável pela integração multimodal do sistema. Esses componentes são: um módulo de fusão (para os inputs) e outro de cisão (para outputs), um gestor de diálogo (Dialogue Manager) e um gestor de contexto. A descrição e função de cada componente são detalhadas também no capítulo 2. Esta tese dá especial destaque ao Dialogue Manager, cuja responsabilidade é coordenar a actividade dos vários componentes do sistema, manter a representação do estado actual do diálogo, actualizar o contexto do diálogo com base na informação interpretada na comunicação e decidir que conteúdo deve ser apresentado e quando, deixando a forma como é apresentado para o módulo de cisão. Das várias abordagens existentes para a implementação do Dialogue Manager, a que vem de encontro aos requisitos do projecto e está descrita neste documento chama-se “Frame-based approach”. Esta implementação aplica a analogia do preenchimento de um formulário, ou seja, interpreta o diálogo de um certo estado da aplicação como a necessidade de se verem realizadas certas condições para efectuar uma acção. Cada estado da aplicação pode conter vários formulários e o preenchimento de cada um deles resulta numa accão, que normalmente leva a estados diferentes da aplicação. Contudo,também é possível haver accões que são independentes da aplicação, como por exemplo pedir ao GUIDE para aumentar o volume. Estes formulários são instanciados automaticamente pelo Dialogue Manager. Pelo contrário, os formulários relativos à aplicação têm de ser inferidos a partir de uma representação da interface da aplicação Para realizar um projecto deste tipo é preciso conhecer melhor os futuros utilizadores. Por isso, foram realizados dois estudos feitos com utilizadores-alvo que pretendiam entender como os idosos reagiriam a novas maneiras de interagir com a sua televisão bem como as suas preferências em relação à apresentação da informação e dos elementos interactivos. As descobertas feitas são relatadas nesta tese e serviram não só para ajudar no desenvolvimento do Dialogue Manager mas também todos os outros componentes envolvidos. Outro dos principais objectivos destes estudos foi perceber que diferentes agrupamentos se pode criar para caracterizar e agrupar futuros utilizadores. Para esse fim foi implementado um protótipo que integra diferentes dispositivos para interação (ex: WiiMote, Kinect) e que permite a criação de interfaces multimodais recorrendo à descrição dos elementos que desejamos ver no ecrã num ficheiro XML. Os sistemas adaptativos dependem de informação guardada em modelos como base para aplicar a adaptação. Existem diferentes modelos tendo em conta os diferentes tipos de informação que se quer manter: modelo de utilizador, modelo da tarefa, modelo de domínio, modelo de diálogo, modelo de ambiente, etc. Desses modelos destaca-se o modelo de utilizador pois é o mais importante no campo dos sistemas adaptativos. O modelo de utilizador é a representação do conhecimento e preferências que o sistema “acredita” ser o que o utilizador possui. Toda esta informação é importante para melhorar a interação e portanto deve ser mantida e actualizada. Neste documento são também descritas as técnicas para a aquisição¸ ao desse conhecimento, existindo dois processos diferentes para o fazer: explicitamente e implicitamente. Observando o utilizador e o seu compor tamento é possível obter as informações implicitamente. Perguntando directamente ou permitindo ao utilizador alterar o modelo de utilizador a aquisição de informação está a ser feita explicitamente. Neste documento é apresentado um protótipo que pretende servir como um tutorial de modo a ensinar ao utilizador como interagir com o sistema mas também obter informações sobre ele de maneira a poder atribuí-lo a um dos agrupamentos encontrados nos estudos feitos anteriormente. Este protótipo obtém essas informações pedindo ao utilizador para efectuar certas tarefas e respondendo a algumas perguntas. Como foi referido anteriormente, o Dialogue Manager bem como outros componentes lidam com as aplicações através de uma representação da interface de utilizador. Neste documento é feito uma comparação entre algumas linguagens que têm este objectivo e é escolhido então o formato que vai ser usado neste projecto. Para extrair automaticamente essa representação, no capítulo 6 é apresentado uma ferramenta que o faz a partir de aplicações Web, ou seja implementadas em HTML e Javascript. Esta ferramenta analisa a estrutura dos elementos apresentados através da análise do código HTML bem como de algumas propriedades WAI-ARIA, desenhadas com o propósito da acessibilidade. De seguida, percorre e analisa não só o código HTML com também o CSS, de modo a descrever as propriedades visuais dos elementos que vão ser apresentados no ecrã. Finalmente, todo o trabalho resultante desta tese continuará a ser melhorado e avaliado até ao final da duração deste projecto que contará ainda com 1 ano e 3 meses. Durante esse período será realizada a integração dos vários componentes e será feita a migração das versões em PC para Set-top-box. No fim ´e esperado que todos os objectivos a que este projecto se propôs sejam cumpridos e que pelo menos facilite a vida daqueles que são afectados pela falta de acessibilidade nas tecnologias existentes.