Author(s): Zanellato, André Lucas ; Ferreira, Cristian Bortolini
Date: 2020
Origin: Oasisbr
Subject(s): CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO; Percepção facial; Linguagem corporal; Redes neurais (Computação); Computação; Aprendizado do computador; Face perception; Body language; Neural networks (Computer science); Computer science; Machine learning
As expressões faciais fornecem muitas informações sobre as emoções e a interação social de indivíduos. Sistemas capazes de realizar a detecção automática das expressões faciais de pessoas podem ser usados para diversas aplicações, como: detecção de fatiga, identificação de pessoas suspeitas causadoras de riscos, interfaceamento com telefones celulares, ambientes de aprendizado, ambientes de entretenimento e atendimento ao cliente. Este projeto consiste em um sistema capaz de classificar a expressão facial presente em uma imagem frontal da face humana, resultando em uma das 7 expressões faciais: felicidade, tristeza, medo, raiva, surpresa, aversão e neutro. Para a realização dessa tarefa foi escolhido o treinamento de Aprendizado Profundo de duas camadas: a Rede Neural Convolucional, capaz de extrair características de imagens, e a Rede Interconectada para a classificação. Ambas redes foram implementadas com auxílio da biblioteca Caffe desenvolvida pela Universidade de Berkeley, disponível em Python e C++, e treinada com a base de dados Cohn-Kanade estendida. Para tal, foi necessário fazer um aumento artificial dos dados, já que uma Rede Neural Profunda precisa de uma quantidade significativa de dados. Além disso, antes do treinamento com as sete expressões faciais foi realizado um teste com somente três delas, para testar a arquitetura da Rede escolhida, a AlexNet, sofrendo algumas alterações para melhor se encaixar nas imagens disponíveis no banco escolhido. Após resultados que apoiaram a hipótese de bom resultado, realizamos o treinamento com as sete expressões. Os resultados obtidos em relação a classificação são avaliados de acordo com uma matriz de confusão, a qual permite analisar o comportamento dessas classificações para casos em que elas foram bem ou mal sucedidas. Por fim, foi implementado um sistema de reconhecimento em tempo real, utilizando o resultado do treinamento.
Facial Expressions give out a lot of information on emotions and social interactions of individuals. Systems capable of detecting facial expressions could be used for an wide range of applications, such as: fatigue detection, suspicious activity detection, cellphone integration, learning environments, entertainment and client intearction. This project consists of developmenting a system capable to recogninize and classify facial expression presented in an frontal image of an human face, resulting in one of the 7 facial expressions: happiness, sadness, fear, anger, surprise, disgust and neutral. In order to do this task, the method choosen was the training of a Deep Neural Network made of two layers: a Convolutional Neural Network, capable of extraction features from an image, and a Fully-Connected Neural Network in charge of the classification. Both networks were implemented with the help of the Caffe framework, developed by Berkeley University, avaliable in Python and C++ and trained with the extended Cohn-Kanade database. For said database, it was necessary to perform database augmentation, since Deep Neural Networks require a lot of data. Before training with the 7 facial expressions, there was a preliminary training with only three, to test the architetcure. The choosen architecture was the winner of the 2012 ImageNet Challange, called Alexnet, modified slightly to better fit our data. After results that supported the hipothesis of a good result, we did the training with the 7 expressions. The obtained results are displayed in confusion matrixes, which allows the analysis of the classifications in cases where they were right or wrong. In the end, we implemented a system which uses the neural network that we trained to recognize expressions in real time.
