Publicação

Reconhecimento e uso de emoções em jogos

Detalhes bibliográficos
Resumo:	O reconhecimento automático de expressões faciais tem sido um tópico bastante ativo desde o início dos anos noventa. Nos últimos anos, têm ocorrido bastantes avanços nas temáticas do tracking e da deteção de faces, nos mecanismos de extração de características faciais e nas técnicas de classificação das emoções. Neste último campo, existem algumas propostas de jogos em que, através da deteção de faces, é possível detetar quem está a jogar e desse modo carregar automaticamente o perfil do jogador. Igualmente, o reconhecimento das expressões faciais dos jogadores tem sido usado para alterar a expressão dos seus avatars. Com a realização desta dissertação, pretenderam-se estudar várias formas de usar o reconhecimento da expressão facial de um jogador para alterar alguns parâmetros de um jogo, como a diminuição da sua dificuldade, por exemplo, quando se detetar que o jogador está stressado ou, em casos extremos, até sugerir a suspensão do jogo. O maior desafio que se encontra, neste caso, é o da deteção e classificação da expressão facial do jogador em tempo real, assim como a inclusão desta funcionalidade dentro do jogo. Durante o período de desenvolvimento, foram estudados diversos métodos de deteção e classificação das emoções de um indivíduo e procurou-se a melhor forma de as conciliar com a construção do jogo, que foi desenvolvido para uma plataforma desktop. A abordagem tomada para a classificação das expressões faciais de um jogador passou pelo treino de modelos de aprendizagem, com pontos que representam as características da face. Isso ocorreu com a ajuda de uma base de dados de fotografias tiradas a determinados sujeitos de teste, tendo sido determinados os pontos faciais para cada imagem e, de seguida, alimentados aos modelos de aprendizagem. Após este processo, passa a ser possível a classificação em tempo real de uma expressão facial, bastando para tal fornecer-se ao modelo pré-treinado o conjunto dos pontos faciais do jogador, obtidos a cada frame. O passo seguinte consistiu na construção de um jogo que implementasse estas funcionalidades. Com o modelo de classificação de expressões faciais a correr em paralelo ao módulo do jogo, foi possível determinar qual o estado emocional sentido pelo jogador durante certos intervalos de tempo. Com esta informação, foram alterados determinados parâmetros do jogo, nomeadamente a dificuldade do mesmo. No que toca à classificação de expressões faciais, verificou-se uma eficácia elevada dos modelos de aprendizagem, através da utilização deste método. Contudo, é preciso ter em conta que mesmo que seja possível definir um determinado conjunto de emoções, o que é certo é que a grande variedade de estados emocionais e a sua instabilidade ao longo do tempo acarretam um grande número de dificuldades. Os parâmetros do jogo foram alterados de forma bastante satisfatória, embora ainda se possa proceder a uma exploração mais profunda sobre este aspeto, na medida em que as emoções expressas por um jogador dependem sempre de um grande número de fatores, nomeadamente do género do jogo.
Autores principais:	Carvalhais, Tiago João Lopes
Assunto:	Classificação de expressões faciais Deteção facial Machine learning Visão por computador Parametrização facial Expressões faciais em jogos Facial expression Classification Facial detection Machine learning Computer vision Facial parameterization Facial expressions in games
Ano:	2018
País:	Portugal
Tipo de documento:	dissertação de mestrado
Tipo de acesso:	acesso restrito
Instituição associada:	Universidade do Minho
Idioma:	português
Origem:	RepositóriUM - Universidade do Minho

Descrição
Resumo:	O reconhecimento automático de expressões faciais tem sido um tópico bastante ativo desde o início dos anos noventa. Nos últimos anos, têm ocorrido bastantes avanços nas temáticas do tracking e da deteção de faces, nos mecanismos de extração de características faciais e nas técnicas de classificação das emoções. Neste último campo, existem algumas propostas de jogos em que, através da deteção de faces, é possível detetar quem está a jogar e desse modo carregar automaticamente o perfil do jogador. Igualmente, o reconhecimento das expressões faciais dos jogadores tem sido usado para alterar a expressão dos seus avatars. Com a realização desta dissertação, pretenderam-se estudar várias formas de usar o reconhecimento da expressão facial de um jogador para alterar alguns parâmetros de um jogo, como a diminuição da sua dificuldade, por exemplo, quando se detetar que o jogador está stressado ou, em casos extremos, até sugerir a suspensão do jogo. O maior desafio que se encontra, neste caso, é o da deteção e classificação da expressão facial do jogador em tempo real, assim como a inclusão desta funcionalidade dentro do jogo. Durante o período de desenvolvimento, foram estudados diversos métodos de deteção e classificação das emoções de um indivíduo e procurou-se a melhor forma de as conciliar com a construção do jogo, que foi desenvolvido para uma plataforma desktop. A abordagem tomada para a classificação das expressões faciais de um jogador passou pelo treino de modelos de aprendizagem, com pontos que representam as características da face. Isso ocorreu com a ajuda de uma base de dados de fotografias tiradas a determinados sujeitos de teste, tendo sido determinados os pontos faciais para cada imagem e, de seguida, alimentados aos modelos de aprendizagem. Após este processo, passa a ser possível a classificação em tempo real de uma expressão facial, bastando para tal fornecer-se ao modelo pré-treinado o conjunto dos pontos faciais do jogador, obtidos a cada frame. O passo seguinte consistiu na construção de um jogo que implementasse estas funcionalidades. Com o modelo de classificação de expressões faciais a correr em paralelo ao módulo do jogo, foi possível determinar qual o estado emocional sentido pelo jogador durante certos intervalos de tempo. Com esta informação, foram alterados determinados parâmetros do jogo, nomeadamente a dificuldade do mesmo. No que toca à classificação de expressões faciais, verificou-se uma eficácia elevada dos modelos de aprendizagem, através da utilização deste método. Contudo, é preciso ter em conta que mesmo que seja possível definir um determinado conjunto de emoções, o que é certo é que a grande variedade de estados emocionais e a sua instabilidade ao longo do tempo acarretam um grande número de dificuldades. Os parâmetros do jogo foram alterados de forma bastante satisfatória, embora ainda se possa proceder a uma exploração mais profunda sobre este aspeto, na medida em que as emoções expressas por um jogador dependem sempre de um grande número de fatores, nomeadamente do género do jogo.