Detalhes do Documento

Deteção de Fadiga em Condutores através de Visão por Computador e Aprendizagem Profunda

Autor(es): Ruivo, Rui Pedro Dias

Data: 2026

Identificador Persistente: http://hdl.handle.net/10174/42662

Origem: Repositório Científico da Universidade de Évora

Assunto(s): Deteção de fadiga; Visão por computador; Aprendizagem profunda; EAR; AR; Sistemas embebidos; Fatigue detection; Computer vision; Deep learning; EAR; MAR; Embedded systems


Descrição

e reduzindo o estado de alerta, o tempo de reação e a capacidade de decisão. Esta dissertação apresenta um sistema não intrusivo de deteção de fadiga baseado em visão por computador, aprendizagem profunda e execução em dispositivos edge. São extraídas métricas faciais relacionadas com os olhos e a boca, incluindo Eye Aspect Ratio (EAR), Mouth Aspect Ratio (MAR), Percentage of Eye Closure (PERCLOS), bem como eventos de pestanejo, bocejo e microssono. As métricas faciais são organizadas em janelas temporais de 30 segundos, com deslocamento de 15 segundos, combinando informação sequencial e descritores agregados. A classificação é realizada por um modelo híbrido com camadas convolucionais, BiLSTM e atenção temporal, permitindo capturar padrões associados à progressão da fadiga. A avaliação experimental utilizou o conjunto de dados UTA-RLDD, com separação por sujeito e classificação binária entre estados de alerta e fadiga. A classe intermédia foi reservada para análise complementar. Em 100 execuções independentes, o modelo obteve uma accuracy média de 0,855, uma AUC média de 0,906 e um F1-score médio de 0,838. Foi também desenvolvido um protótipo funcional num Raspberry Pi 5, integrando aquisição de vídeo com infravermelhos, extração de características faciais em tempo real, inferência periódica, visualização em LCD e alertas sonoros. Nos testes realizados, o sistema manteve aproximadamente 30 FPS na aquisição e extração de características, demonstrando a viabilidade prática da abordagem proposta em dispositivos embebidos de baixo custo; Driver fatigue detection using computer vision and deep learning - Abstract: Driver fatigue is a relevant factor in road accidents, developing progressively and reducing alertness, reaction time, and decision-making ability. This dissertation presents a non-intrusive driver fatigue detection system based on computer vision, deep learning, and execution on edge devices. Facial metrics related to the eyes and mouth are extracted, including Eye Aspect Ratio (EAR), Mouth Aspect Ratio (MAR), Percentage of Eye Closure (PERCLOS), as well as blink, yawn, and microsleep events. The facial metrics are organized into 30-second temporal windows, with a 15-second stride, combining sequential information and aggregate descriptors. Classification is performed by a hybrid model featuring convolutional layers, BiLSTM, and temporal attention, allowing patterns associated with fatigue progression to be captured. The experimental evaluation used the UTA-RLDD dataset, with subject-wise splitting and binary classification between alert and fatigued states. The intermediate class was reserved for complementary analysis. Across 100 independent runs, the model achieved a mean accuracy of 0.855, a mean AUC of 0.906, and a mean F1-score of 0.838. A functional prototype was also developed on a Raspberry Pi 5, integrating infrared video acquisition, real-time facial feature extraction, periodic inference, LCD visualization, and audio alerts. In the conducted tests, the system maintained approximately 30 Frames Per Second (FPS) during acquisition and feature extraction, demonstrating the practical feasibility of the proposed approach on low-cost embedded devices.

Tipo de Documento Dissertação de mestrado
Idioma Português
facebook logo  linkedin logo  twitter logo 
mendeley logo

Documentos Relacionados

Não existem documentos relacionados.