Escalonamento inteligente com recurso a aprendizagem por Reforço

• Author(s): Cunha, Bruno Miguel Almeida
• Date: 2021
• Persistent ID: http://hdl.handle.net/10348/10718
• Origin: Repositório da UTAD
• Subject(s): Aprendizagem automática; Aprendizagem por Reforço
• Document Type: Doctoral thesis
• Language: Portuguese

Description

O crescimento industrial das ultimas décadas estimulou a necessidade de sistemas inteligentes capazes de suportar eficientemente os ambientes industriais, dado que precisam de se ajustar rapidamente a acontecimentos imprevistos. O processo de escalonamento de ambientes de manufatura modernos ainda apresentam bastantes dificuldades em lidar com imprevistos, e as decisões humanas tomadas nessas situações não conduzem a planos otimizados. Assim, sistemas autónomos inteligentes são necessários de forma a que sejam geradas soluções automáticas para problemas de escalonamento, da forma mais rápida e otimizada possível. A ultima década foi também palco de uma enorme expansão na área da aprendizagem automática. O poder computacional, que antes era considerado um grande entrave para os investigadores desta área, e agora muito acessível e incrivelmente poderoso, fazendo com que grandes descobertas sejam feitas constantemente. Este trabalho apresenta uma arquitetura inovadora que incorpora a aprendizagem por reforço em sistemas de escalonamento, de forma a melhorar o desempenho global dos planos de escalonamento e a ultrapassar as limitações que as abordagens atuais apresentam. Pretende-se também investigar o desenvolvimento de ambientes para treino de agentes de aprendizagem por reforço para que estes sejam capazes de resolver o problema de escalonamento Job Shop. Pretende-se, simultaneamente, a integração de várias áreas de investigação como as técnicas de treino para aprendizagem por reforço, os métodos de otimização inspirados na natureza e, também, a adaptação de sistemas de escalonamento inteligentes aos utilizadores especialistas. De modo a avaliar a contribuição deste trabalho foi conduzido um estudo computacional sobre o desempenho do agente inteligente relativamente a sua eficiência e à qualidade das soluções apresentadas. Foi possível concluir (com prova estatística) acerca dos benefícios do agente inteligente criado com técnicas de aprendizagem por reforço, num ambiente próprio de treino proposto, e incorporado num sistema de escalonamento completo.

The industrial growth of the last decades stimulated the necessity for intelligent systems to efficiently support manufacturing environments, since they must have the ability to rapidly adjust to unforeseen events. The scheduling procedure of modern, real-world manufacturing environments still has many difficulties in dealing with unforeseen events, and the human decisions that are made do not convey into optimized plans. Hence, intelligent and autonomous systems are required so that automatic solutions to scheduling problems can be found quickly and as optimized as possible. The last decade has also seen a huge expansion of the machine learning field. The computational power, which was previously a bottleneck for machine learning researchers, is now so widely accessible and incredible powerful that breakthroughs are being made constantly. This work presents an innovative architecture that incorporates reinforcement learning in scheduling systems in order to improve the overall performance of scheduling plans and to overcome the limitations that current approaches present. It also aims to investigate the development of environments to train reinforcement learning agents so that they are able to solve the Job Shop scheduling problem. At the same time, the aim is to integrate several research areas such as training techniques for reinforcement learning, optimization methods inspired by nature, and also the adaptation of intelligent escalation systems to expert users in the field. In order to evaluate the contribution of this work a computational study was conducted on the performance of the intelligent agent in relation to its efficiency and the quality of the solutions presented. It was possible to conclude about the benefits of using an intelligent agent created with reinforcement learning methods, in a proprietary training environment that is proposed, and incorporated in a complete scheduling system.