Autor(es): Pinto, Gisela Antunes
Data: 2020
Identificador Persistente: http://hdl.handle.net/10773/29566
Origem: RIA - Repositório Institucional da Universidade de Aveiro
Assunto(s): Affective computing; Multimodal; Feature extraction; Feature selection; Random Forest; Neural network; Machine learning; Data mining; Psychophysiology; ECG; EDA; EMG; Emotional classification
The identification of emotions can improve people’s emotional regulation strategies and interaction with their multiple contexts of life. There are several studies on emotional classification systems. However, the vast majority investigate only the use of one or more isolated signals. The fact that several studies explain how informative individual signals are and how their combination works would allow developing more economical, informative, and objective systems to detect, process, and interpret emotions. In this work, Electrocardiogram (ECG), Electromyogram (EMG), and Electrodermal Activity (EDA) were processed in order to find a physiological model of emotions. Both, the unimodal and multimodal approaches, were used to analyze which signal or combination of signals can best describe an emotional response, using a sample of 55 healthy individuals. The method was divided into: (1) pre-processing; (2) extraction and selection of features; (3) classification using Random Forest and Neural Network. The results suggest that the ECG signal is the most effective for the classification of emotions. However, the combination of all signals provides the best emotion identification performance, with all signals providing crucial information for the system. This physiological model of emotions has important clinical and research implications. It provides relevant information on the value and weight of physiological signals for emotional classification, which can lead to critical assessment, monitoring and processing, and emotional regulation.
A identificação de emoções pode melhorar as estratégias de regulação emocional das pessoas e a interação com os seus múltiplos contextos de vida. Existem vários estudos sobre sistemas de classificação emocional, no entanto, a grande maioria investigam apenas o uso de um ou vários sinais isolados. O facto de haver vários estudos que explicam o quão informativos são os sinais individuais e como a combinação deles funciona, permitiria desenvolver sistemas mais económicos, informativos e objetivos para detetar, processar e interpretar emoções. Neste trabalho, foram processados Eletrocardiograma (ECG), Eletromiograma (EMG) e Atividade Eletrodérmica (EDA), a fim de encontrar um modelo fisiológico de emoções. Tanto a abordagem unimodal quanto a multimodal foram usadas para analisar qual o sinal ou combinação de sinais que pode descrever melhor uma resposta emocional, usando uma amostra de 55 indivíduos saudáveis. O método foi dividido em: (1) pré-processamento; (2) extração e seleção de features; (3) classificação fazendo uso de Random Forest e Redes Neuronais. Os resultados sugerem que o sinal de ECG é o mais eficaz para a classificação das emoções. No entanto, a combinação de todos os sinais fornece o melhor desempenho de identificação de emoções, com todos os sinais fornecendo informações cruciais para o sistema. Este modelo fisiológico de emoções tem importantes implicações clínicas e de investigação. Este fornece informações valiosas sobre o valor e o peso dos sinais fisiológicos para a classificação emocional, o que pode conduzir a uma avaliação critica, da monitorização, processamento e regulação emocional.
