TANTO - tangible and touch interaction combined on a surface and above

• Author(s): Nunes, Rafael Lourenço Lameiras
• Date: 2014
• Persistent ID: http://hdl.handle.net/10451/15852
• Origin: Repositório da Universidade de Lisboa
• Subject(s): Tangível; Multi-toque; Dispositivos móveis; Gestos; Teses de mestrado - 2014
• Document Type: Master thesis
• Language: English
• Advisor(s): Duarte, Carlos Alberto Pacheco dos Anjos, 1972-
• Contributor(s): Repositório da Universidade de Lisboa

Description

Tese de mestrado, Engenharia Informática (Engenharia de Software), Universidade de Lisboa, Faculdade de Ciências, 2014

As interações multi-toque estão tipicamente limitadas a uma superfície mesmo quando combinadas com tangíveis. Os cenários tradicionais, onde os utilizadores interagem com objectos físicos numa mesa e por cima dela, não foram ainda replicados com sucesso utilizando tecnologias existentes como, por exemplo, mesas multi-toque. Estas não suportam as interações naturais do utilizador ao combinar a superfície da mesa com a área acima dela num espaço contínuo de interação, limitando assim a sua aplicabilidade. Este trabalho aponta para a construção e exploração de uma mesa que permita aos utilizadores beneficiar de um espaço contínuo de interação na mesa e acima dela com interações multi-toque e tangíveis. Para atingir este objectivo, melhorámos uma mesa multi-toque existente, de forma a suportar interações com tangíveis na superfície e por cima. Para alcançar este resultado é necessário recorrer a várias tecnologias. Para enquadrar esse desenvolvimento, apresentamos uma revisão do estado da arte das tecnologias de interação atuais que incluem interações com toque, tangíveis e gestos. Estas tecnologias são implementadas na nossa mesa para oferecer estas formas diferentes de interação. Suportar todas estas tecnologias de interação traz o problema acrescido de combinar diferentes fontes de informação. Como tal, sentimos a necessidade de desenvolver uma ferramenta que nos permitisse não só juntar todas as componentes, mas também distribuir a sua informação para aplicações clientes de uma forma fácil de compreender e utilizar. Apresentamos a TACTIC, uma API que é capaz de combinar superfícies de toque, tangíveis e interações por cima da mesa de uma forma que permite aos programadores utilizar as suas funcionalidades e distribuir interfaces através de múltiplos aparelhos,se necessário. A TACTIC é desenvolvida em JavaScript, sendo responsável por conectar aplicações executadas em navegadores Web a várias fontes de dados, enviando-lhes informação de toque, tangíveis e gestos de uma forma fácil e rápida. A TACTIC foi desenvolvida para funcionar com mesas multi-toque existentes, permitindo-lhes tirar proveito do espaço por cima da mesa através de deteção de gestos. Graças ao facto de correr nativamente em navegadoresWeb, a TACTIC tem o benefício acrescido de ser facilmente disponibilizada numa mesa de toque ou smartphone, suportando abstrações de eventos de toque, permitindo assim que o mesmo código seja reutilizado quer em mesas físicas ou dispositivos móveis. Adicionalmente, permite a disponibilização fácil de objetos digitais com comportamentos interativos e torna informação de gestos disponível de forma a que um evento de toque ou tangível traga consigo a informação da mão e dedos utilizados por associação. A TACTIC tem uma arquitetura altamente modular graças ao RabbitMQ, um middleware de mensagens que liga as diferentes componentes e linguagens permitindo comunicação simples e direta entre elas. Desta forma, é possível adicionar novas componentes com facilidade sem se fazer alteracões a configurações anteriores. Esta arquitetura inclui um módulo Node.js para comunicação entre aplicações Web em cenários com vários dispositivos, permitindo assim o fácil desenvolvimento de interfaces distribuídas. Para investigar a facilidade de aprendizagem e uso da nossa API foi conduzido um estudo com programadores. Os participantes deste estudo foram incumbidos com a tarefa de desenvolver aplicações que requerem conhecimentos de diferentes aspectos da TACTIC, assim como também algumas bases de JavaScript e CSS. O objectivo foi compreender o nível de facilidade e rapidez com que os programadores são capazes de desenvolver aplicações complexas utilizando a TACTIC. Para atingir este objectivo, foi pedido aos participantes o desenvolvimento de uma aplicação de pintura, cuja complexidade iria aumentando gradualmente tarefa a tarefa, juntamente com as funcionalidades da API a utilizar. Ao chegar ao fim das tarefas, os participantes conseguiram construir aplicações que usavam toque, tangíveis e interações acima da mesa em cenários com mais que um dispositivo em pouco tempo. Este estudo comprovou a facilidade de compreensão e uso da TACTIC, graças à sua promoção de reutilização de código e abstrações que permitiram uma rápida implementação das suas várias funcionalidades em aplicações Web. Apresentamos, adicionalmente, um conjunto de aplicações que demonstram as funcionalidades chave da TACTIC. Estas aplicações distribuem-se em múltiplas formas de interação e interfaces. Este trabalho descreve como estas aplicações utilizam os vários eventos e propriedades da nossa API, variando entre interações de toque e tangíveis na mesa a interações acima da mesa e cenários com vários dispositivos. Para este trabalho, comprometemo-nos a resolver problemas existentes com mesas semelhantes à nossa. Em cenários de colaboração, por exemplo, as interações à volta da mesa podem causar interferência entre utilizadores. Queremos explorar novas soluções para estes problemas e integrá-las na nossa mesa, explorando diferentes cenários, tanto individuais como colaborativos, para atingir uma interação natural em toda a área do espaço de interação. Desta forma, decidimos expandir as capacidades da nossa mesa para permitir interações em cenários de colaboração. Como tal, apresentamos o processo necessário para tornar esta funcionalidade uma realidade seguido de uma aplicação que demonstra o seu uso. Sentimos que existe uma falta de estudos sobre a forma como o espaço contínuo de interação causa impacto nas interações de utilizadores. Adicionalmente, não existem comparações de desempenho em gestos semelhantes na mesa e por cima dela. Como tal, tiramos vantagem da nossa API para contribuir com um estudo sobre o desempenho dos utilizadores quando executam ações na mesa e por cima dela, apontando para resultados que serão úteis para informar o desenho futuro de aplicações que explorem este espaço contínuo de interação. De acordo com o que conseguimos apurar, este é o primeiro estudo que compara ações tanto na mesa como por cima dela. Para tal, escolhemos ações de “Zoom” e Rotação, dado que os gestos de “Pinch” e Rotac¸ ao são bastante comuns em interações com smartphones e tablets. Na superfície estes gestos são realizados colocando dois dedos na mesa e fazendo um gesto de “pinch” ou rotação, como é normal. Dado que por cima da mesa não há uma superfície sobre a qual se possa repousar os dedos, os gestos utilizados foram ligeiramente alterados. Para se fazer “zoom”, os utilizadores devem fechar os dedos num gesto de pinch para selecionar e de seguida controlar o nível de “zoom” ao mover a mão mais perto (zoom in) ou mais longe (zoom out) da mesa. Para fazer uma rotação os utilizadores colocam a sua mão aberta por cima do elemento e rodam-na num plano paralelo ao da superfície da mesa. Este estudo confirmou que o desempenho na superfície ´e melhor que por cima dela, enquanto que outros resultados permitiram investigar o impacto que a área onde o gesto é feito tem no seu resultado desejado; a relação entre as mecânicas das tarefas e a ergonomia humana; e os benefícios que podem vir de permitir a superfícies de toque o reconhecimento de gestos por cima delas. Contribuímos, também, para um estudo com utilizadores cegos, que nos forneceu a oportunidade de testar as aplicações da TACTIC e a nossa mesa no campo da acessibilidade. Este estudo captura dados de desempenho de utilizadores ao explorar elementos numa superfície com uma ou duas mãos, revelando que a exploração da superfície com duas mãos consegue melhorar as suas habilidades para este efeito. A TACTIC foi responsável por detectar as mãos e dedos utilizados a todo o momento. Tirámos proveito da modularidade da sua arquitetura para incorporar com facilidade uma componente áudio e de auditoria existentes com a aplicação desenvolvida. Esta forma de interação com duas mãos, demonstrou ser benéfica para algumas tarefas, particularmente a relação entre alvos e promover uma melhor estruturação na tarefa de exploração.

Multitouch interaction is usually limited to one surface, even when combined with tangibles. Traditional scenarios where people interact with physical objects on and above the table or other surfaces have failed to be fully translated into existing technologies, such as multitouch setups, which don’t support natural user interactions by combining the surface and the area above it into one continuous interaction space. We built on top of an existing multitouch setup to support tangible interactions on and above the surface. Various technologies are necessary to achieve this result, which brings the added problem of combining the different sources of information. We present TACTIC, an API that is capable of combining touch surfaces, tangibles, and the interaction space above the surface, in a way that allows developers to easily combine all these features, and distribute interfaces across multiple devices if required. Additionally, we present the results of a developer study showing how TACTIC is easy to learn and use. We take advantage of TACTIC’s capabilities to conduct a study on user performance when performing actions on and above the table, aiming for results that will be useful towards informing the design of applications that explore a continuous interaction space. We showcase TACTIC’s capabilites through a set of applications that draw from its many features, demonstrating its flexibility and ease of use.