Publicação
Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations
| Resumo: | High-dimensional problems, such as large-scale Systems of Nonlinear Equations, are challenging due to their complexity and nonlinear solution spaces. Population-based optimization metaheuristics, such as Particle Swarm Optimization and Gray Wolf Optimizer, can offer effective approaches. However, their computational demands often exceed the capacity of traditional methods, particularly when addressing these problems at large scales. To address these challenges, parallelization constitutes a promising strategy. Due to the massive parallel processing capabilities, a Graphics Processing Unit (GPU) is well-adapted to the acceleration of population-based metaheuristic optimization algorithms. Thus, employing GPU parallelism can substantially reduce computational time and enable the solution of larger and more complex problems that would be impractical on conventional Central Processing Units (CPUs). GPU-based parallelization of metaheuristic optimization algorithms faces several challenges due to algorithmic diversity and heterogeneous hardware architectures. Different metaheuristics exhibit distinct computational patterns, memory access requirements, and degrees of inherent parallelism, which complicates efficient mapping to GPU architectures. Moreover, variations in GPU hardware can substantially affect performance, often requiring algorithm-specific adaptations and hardware-aware optimizations to fully exploit GPU resources. This research proposes GPU-based parallelization strategies for population-based metaheuristic algorithms to enhance performance on large-scale, high-dimensional optimization problems. It uses GPU parallelism to manage increasing problem sizes while preserving convergence behavior and solution quality. A central goal is a hardware-agnostic model that enables scalable acceleration across diverse computa tional environments, providing a general framework for GPU-based metaheuristic acceleration applicable to various algorithmic paradigms and problem domains. Experimental results indicate that GPU-accelerated metaheuristics using the proposed framework substantially outperform their sequential counterparts, achieving significant speedups. The framework scaled effectively across ten population-based algorithms and ten benchmark problems of increasing dimensionality, utilizing five GPU models, including both consumer-grade and professional-grade hardware. In multi-GPU tests, the framework exhibited superlinear speedup in certain cases. This study highlights the value of modular, reproducible frameworks for GPU based metaheuristics and provides a base for future research in high-dimensional, computationally intensive optimization. |
|---|---|
| Autores principais: | Silva, Bruno Miguel Pereira da |
| Assunto: | Computational intelligence Metaheuristic optimization Parallel GPU algorithms GPU computing Nonlinear equation systems Inteligência computacional Otimização meta-heurística Algoritmos paralelos em GPU Computação em GPU Sistemas de equações não lineares Informatics Engineering specialization: Artificial Intelligence . Faculdade de Ciências Exatas e da Engenharia |
| Ano: | 2025 |
| País: | Portugal |
| Tipo de documento: | tese de doutoramento |
| Tipo de acesso: | acesso embargado |
| Instituição associada: | Universidade da Madeira |
| Idioma: | inglês |
| Origem: | DigitUMa - Repositório da Universidade da Madeira |
| _version_ | 1865920052899872768 |
|---|---|
| author | Silva, Bruno Miguel Pereira da |
| author_facet | Silva, Bruno Miguel Pereira da Silva, Bruno Miguel Pereira da |
| author_role | author |
| contributor_name_str_mv | Lopes, Luiz Carlos Guerreiro Mendonça, Fábio Rúben Silva DigitUMa |
| country_str | PT |
| creators_json_str | [{\"Person.name\":\"Silva, Bruno Miguel Pereira da\"}] |
| datacite.contributors.contributor.contributorName.fl_str_mv | Lopes, Luiz Carlos Guerreiro Mendonça, Fábio Rúben Silva DigitUMa |
| datacite.creators.creator.creatorName.fl_str_mv | Silva, Bruno Miguel Pereira da |
| datacite.date.Accepted.fl_str_mv | 2025-12-11T00:00:00Z |
| datacite.date.available.fl_str_mv | 2026-01-09T15:09:52Z |
| datacite.date.embargoed.fl_str_mv | 2026-01-09T15:09:52Z |
| datacite.rights.fl_str_mv | http://purl.org/coar/access_right/c_f1cf |
| datacite.subjects.subject.fl_str_mv | Computational intelligence Metaheuristic optimization Parallel GPU algorithms GPU computing Nonlinear equation systems Inteligência computacional Otimização meta-heurística Algoritmos paralelos em GPU Computação em GPU Sistemas de equações não lineares Informatics Engineering specialization: Artificial Intelligence . Faculdade de Ciências Exatas e da Engenharia |
| datacite.titles.title.fl_str_mv | Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations |
| dc.contributor.none.fl_str_mv | Lopes, Luiz Carlos Guerreiro Mendonça, Fábio Rúben Silva DigitUMa |
| dc.creator.none.fl_str_mv | Silva, Bruno Miguel Pereira da |
| dc.date.Accepted.fl_str_mv | 2025-12-11T00:00:00Z |
| dc.date.available.fl_str_mv | 2026-01-09T15:09:52Z |
| dc.date.embargoed.fl_str_mv | 2026-01-09T15:09:52Z |
| dc.description.none.fl_str_mv | Os problemas de elevada dimensionalidade, como os Sistemas de Equações Não Lineares de larga escala, apresentam desafios significativos devido à sua complexidade e aos espaços de solução não lineares. Metaheurísticas populacionais de optimização, como Particle Swarm Optimization e Gray Wolf Optimizer, proporcionam abordagens eficazes, mas exigem mais capacidade computacional do que os métodos tradicionais, sobretudo quando aplicados a problemas de larga escala. Para enfrentar esses desafios, a paralelização é uma estratégia promissora. As Unidades de Processamento Gráfico (Graphics Processing Units (GPUs)), com elevado poder de processamento paralelo, são adequadas para acelerar metaheurísticas populacionais. O paralelismo em GPU pode reduzir significativamente o tempo computacional e permitir resolver problemas maiores e mais complexos, inviáveis em Unidades Centrais de Processamento (CPUs) convencionais. No entanto, a paralelização em GPU de algoritmos metaheurísticos enfrenta desafios devido à diversidade algorítmica e às arquitecturas de hardware heterogéneas. Diferentes metaheurísticas têm padrões computacionais, acesso à memória e níveis de paralelismo distintos, dificultando o mapeamento eficiente para GPUs. Além disso, variações no hardware podem afectar o desempenho, exigindo adaptações e optimizações específicas para explorar plenamente os recursos disponíveis. Esta investigação propõe estratégias de paralelização em GPU para algoritmos metaheurísticos populacionais, visando melhorar o desempenho em problemas de elevada dimensionalidade e grande escala. A abordagem aproveita o paralelismo da GPU para gerir o aumento do tamanho dos problemas, preservando simultaneamente o comportamento de convergência e a qualidade das soluções. Um dos objectivos centrais consiste na criação de um modelo independente do hardware, que permita aceleração escalável em diferentes ambientes computacionais, fornecendo um modelo geral para a aceleração de metaheurísticas baseadas em GPU aplicável a diferentes paradigmas algorítmicos e domínios de problemas. Os resultados experimentais demonstram que as metaheurísticas aceleradas por GPU, utilizando o modelo proposto, superam substancialmente as suas versões sequenciais, alcançando melhorias significativas na velocidade de processamento. O modelo mostrou escalabilidade eficaz em dez algoritmos baseados em populações e dez problemas de referência de dimensionalidade crescente, utilizando cinco modelos de GPU, abrangendo tanto hardware de consumo como profissional. Em testes realizados com múltiplas GPUs, o modelo exibiu aceleração superlinear em determinados casos. Este estudo evidencia a relevância de modelos modulares e reprodutíveis para metaheurísticas baseadas em GPU, estabelecendo uma base sólida para investigações futuras em optimização de elevada dimensionalidade e alto custo computacional. |
| dc.format.none.fl_str_mv | application/pdf |
| dc.identifier.none.fl_str_mv | http://hdl.handle.net/10400.13/7539 |
| dc.language.none.fl_str_mv | eng |
| dc.rights.cclincense.fl_str_mv | http://creativecommons.org/licenses/by/4.0/ |
| dc.rights.none.fl_str_mv | http://purl.org/coar/access_right/c_f1cf |
| dc.subject.none.fl_str_mv | Computational intelligence Metaheuristic optimization Parallel GPU algorithms GPU computing Nonlinear equation systems Inteligência computacional Otimização meta-heurística Algoritmos paralelos em GPU Computação em GPU Sistemas de equações não lineares Informatics Engineering specialization: Artificial Intelligence . Faculdade de Ciências Exatas e da Engenharia |
| dc.title.fl_str_mv | Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations |
| dc.type.none.fl_str_mv | http://purl.org/coar/resource_type/c_db06 |
| description | High-dimensional problems, such as large-scale Systems of Nonlinear Equations, are challenging due to their complexity and nonlinear solution spaces. Population-based optimization metaheuristics, such as Particle Swarm Optimization and Gray Wolf Optimizer, can offer effective approaches. However, their computational demands often exceed the capacity of traditional methods, particularly when addressing these problems at large scales. To address these challenges, parallelization constitutes a promising strategy. Due to the massive parallel processing capabilities, a Graphics Processing Unit (GPU) is well-adapted to the acceleration of population-based metaheuristic optimization algorithms. Thus, employing GPU parallelism can substantially reduce computational time and enable the solution of larger and more complex problems that would be impractical on conventional Central Processing Units (CPUs). GPU-based parallelization of metaheuristic optimization algorithms faces several challenges due to algorithmic diversity and heterogeneous hardware architectures. Different metaheuristics exhibit distinct computational patterns, memory access requirements, and degrees of inherent parallelism, which complicates efficient mapping to GPU architectures. Moreover, variations in GPU hardware can substantially affect performance, often requiring algorithm-specific adaptations and hardware-aware optimizations to fully exploit GPU resources. This research proposes GPU-based parallelization strategies for population-based metaheuristic algorithms to enhance performance on large-scale, high-dimensional optimization problems. It uses GPU parallelism to manage increasing problem sizes while preserving convergence behavior and solution quality. A central goal is a hardware-agnostic model that enables scalable acceleration across diverse computa tional environments, providing a general framework for GPU-based metaheuristic acceleration applicable to various algorithmic paradigms and problem domains. Experimental results indicate that GPU-accelerated metaheuristics using the proposed framework substantially outperform their sequential counterparts, achieving significant speedups. The framework scaled effectively across ten population-based algorithms and ten benchmark problems of increasing dimensionality, utilizing five GPU models, including both consumer-grade and professional-grade hardware. In multi-GPU tests, the framework exhibited superlinear speedup in certain cases. This study highlights the value of modular, reproducible frameworks for GPU based metaheuristics and provides a base for future research in high-dimensional, computationally intensive optimization. |
| dirty | 0 |
| eu_rights_str_mv | embargoedAccess |
| format | doctoralThesis |
| fulltext.url.fl_str_mv | https://digituma.uma.pt/bitstreams/8afedf06-37e7-47ab-a150-962eeb3201ef/download |
| id | digituma_46616dca8bcd45d6000d48a5ff8061cd |
| identifier.url.fl_str_mv | http://hdl.handle.net/10400.13/7539 |
| instacron_str | digituma |
| institution | Universidade da Madeira |
| instname_str | Universidade da Madeira |
| language | eng |
| network_acronym_str | digituma |
| network_name_str | DigitUMa - Repositório da Universidade da Madeira |
| oai_identifier_str | oai:digituma.uma.pt:10400.13/7539 |
| organization_str_mv | urn:organizationAcronym:digituma |
| person_str_mv | Silva, Bruno Miguel Pereira da |
| publishDate | 2025 |
| reponame_str | DigitUMa - Repositório da Universidade da Madeira |
| repository_id_str | urn:repositoryAcronym:digituma |
| service_str_mv | urn:repositoryAcronym:digituma |
| spelling | engengHigh-dimensional problems, such as large-scale Systems of Nonlinear Equations, are challenging due to their complexity and nonlinear solution spaces. Population-based optimization metaheuristics, such as Particle Swarm Optimization and Gray Wolf Optimizer, can offer effective approaches. However, their computational demands often exceed the capacity of traditional methods, particularly when addressing these problems at large scales. To address these challenges, parallelization constitutes a promising strategy. Due to the massive parallel processing capabilities, a Graphics Processing Unit (GPU) is well-adapted to the acceleration of population-based metaheuristic optimization algorithms. Thus, employing GPU parallelism can substantially reduce computational time and enable the solution of larger and more complex problems that would be impractical on conventional Central Processing Units (CPUs). GPU-based parallelization of metaheuristic optimization algorithms faces several challenges due to algorithmic diversity and heterogeneous hardware architectures. Different metaheuristics exhibit distinct computational patterns, memory access requirements, and degrees of inherent parallelism, which complicates efficient mapping to GPU architectures. Moreover, variations in GPU hardware can substantially affect performance, often requiring algorithm-specific adaptations and hardware-aware optimizations to fully exploit GPU resources. This research proposes GPU-based parallelization strategies for population-based metaheuristic algorithms to enhance performance on large-scale, high-dimensional optimization problems. It uses GPU parallelism to manage increasing problem sizes while preserving convergence behavior and solution quality. A central goal is a hardware-agnostic model that enables scalable acceleration across diverse computa tional environments, providing a general framework for GPU-based metaheuristic acceleration applicable to various algorithmic paradigms and problem domains. Experimental results indicate that GPU-accelerated metaheuristics using the proposed framework substantially outperform their sequential counterparts, achieving significant speedups. The framework scaled effectively across ten population-based algorithms and ten benchmark problems of increasing dimensionality, utilizing five GPU models, including both consumer-grade and professional-grade hardware. In multi-GPU tests, the framework exhibited superlinear speedup in certain cases. This study highlights the value of modular, reproducible frameworks for GPU based metaheuristics and provides a base for future research in high-dimensional, computationally intensive optimization.porOs problemas de elevada dimensionalidade, como os Sistemas de Equações Não Lineares de larga escala, apresentam desafios significativos devido à sua complexidade e aos espaços de solução não lineares. Metaheurísticas populacionais de optimização, como Particle Swarm Optimization e Gray Wolf Optimizer, proporcionam abordagens eficazes, mas exigem mais capacidade computacional do que os métodos tradicionais, sobretudo quando aplicados a problemas de larga escala. Para enfrentar esses desafios, a paralelização é uma estratégia promissora. As Unidades de Processamento Gráfico (Graphics Processing Units (GPUs)), com elevado poder de processamento paralelo, são adequadas para acelerar metaheurísticas populacionais. O paralelismo em GPU pode reduzir significativamente o tempo computacional e permitir resolver problemas maiores e mais complexos, inviáveis em Unidades Centrais de Processamento (CPUs) convencionais. No entanto, a paralelização em GPU de algoritmos metaheurísticos enfrenta desafios devido à diversidade algorítmica e às arquitecturas de hardware heterogéneas. Diferentes metaheurísticas têm padrões computacionais, acesso à memória e níveis de paralelismo distintos, dificultando o mapeamento eficiente para GPUs. Além disso, variações no hardware podem afectar o desempenho, exigindo adaptações e optimizações específicas para explorar plenamente os recursos disponíveis. Esta investigação propõe estratégias de paralelização em GPU para algoritmos metaheurísticos populacionais, visando melhorar o desempenho em problemas de elevada dimensionalidade e grande escala. A abordagem aproveita o paralelismo da GPU para gerir o aumento do tamanho dos problemas, preservando simultaneamente o comportamento de convergência e a qualidade das soluções. Um dos objectivos centrais consiste na criação de um modelo independente do hardware, que permita aceleração escalável em diferentes ambientes computacionais, fornecendo um modelo geral para a aceleração de metaheurísticas baseadas em GPU aplicável a diferentes paradigmas algorítmicos e domínios de problemas. Os resultados experimentais demonstram que as metaheurísticas aceleradas por GPU, utilizando o modelo proposto, superam substancialmente as suas versões sequenciais, alcançando melhorias significativas na velocidade de processamento. O modelo mostrou escalabilidade eficaz em dez algoritmos baseados em populações e dez problemas de referência de dimensionalidade crescente, utilizando cinco modelos de GPU, abrangendo tanto hardware de consumo como profissional. Em testes realizados com múltiplas GPUs, o modelo exibiu aceleração superlinear em determinados casos. Este estudo evidencia a relevância de modelos modulares e reprodutíveis para metaheurísticas baseadas em GPU, estabelecendo uma base sólida para investigações futuras em optimização de elevada dimensionalidade e alto custo computacional.application/pdfengMassively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equationsSilva, Bruno Miguel Pereira daLopes, Luiz Carlos GuerreiroMendonça, Fábio Rúben SilvaHostingInstitutionOrganizationalDigitUMae-mailmailto:digituma@uma.ptdigituma@uma.ptURNurn:tid:1017319732026-01-09T15:09:52Z2025-12-112025-12-11T00:00:00ZHandlehttp://hdl.handle.net/10400.13/7539http://purl.org/coar/access_right/c_f1cfembargoed accessComputational intelligenceMetaheuristic optimizationParallel GPU algorithmsGPU computingNonlinear equation systemsInteligência computacionalOtimização meta-heurísticaAlgoritmos paralelos em GPUComputação em GPUSistemas de equações não linearesInformatics Engineeringspecialization: Artificial Intelligence.Faculdade de Ciências Exatas e da Engenharia28288208 bytesliteraturehttp://purl.org/coar/resource_type/c_db06doctoral thesis2025-12-11http://creativecommons.org/licenses/by/4.0/http://purl.org/coar/access_right/c_f1cfapplication/pdffulltexthttps://digituma.uma.pt/bitstreams/8afedf06-37e7-47ab-a150-962eeb3201ef/download |
| spellingShingle | Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations Silva, Bruno Miguel Pereira da Computational intelligence Metaheuristic optimization Parallel GPU algorithms GPU computing Nonlinear equation systems Inteligência computacional Otimização meta-heurística Algoritmos paralelos em GPU Computação em GPU Sistemas de equações não lineares Informatics Engineering specialization: Artificial Intelligence . Faculdade de Ciências Exatas e da Engenharia Silva, Bruno Miguel Pereira da Computational intelligence Metaheuristic optimization Parallel GPU algorithms GPU computing Nonlinear equation systems Inteligência computacional Otimização meta-heurística Algoritmos paralelos em GPU Computação em GPU Sistemas de equações não lineares Informatics Engineering specialization: Artificial Intelligence . Faculdade de Ciências Exatas e da Engenharia |
| status | NEW |
| subject.fl_str_mv | Computational intelligence Metaheuristic optimization Parallel GPU algorithms GPU computing Nonlinear equation systems Inteligência computacional Otimização meta-heurística Algoritmos paralelos em GPU Computação em GPU Sistemas de equações não lineares Informatics Engineering specialization: Artificial Intelligence . Faculdade de Ciências Exatas e da Engenharia |
| title | Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations |
| title_full | Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations |
| title_fullStr | Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations |
| title_full_unstemmed | Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations |
| title_short | Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations |
| title_sort | Massively parallel GPU acceleration of population-based optimization metaheuristics: application to the solution large-scale systems of nonlinear equations |
| topic | Computational intelligence Metaheuristic optimization Parallel GPU algorithms GPU computing Nonlinear equation systems Inteligência computacional Otimização meta-heurística Algoritmos paralelos em GPU Computação em GPU Sistemas de equações não lineares Informatics Engineering specialization: Artificial Intelligence . Faculdade de Ciências Exatas e da Engenharia |
| topic_facet | Computational intelligence Metaheuristic optimization Parallel GPU algorithms GPU computing Nonlinear equation systems Inteligência computacional Otimização meta-heurística Algoritmos paralelos em GPU Computação em GPU Sistemas de equações não lineares Informatics Engineering specialization: Artificial Intelligence . Faculdade de Ciências Exatas e da Engenharia |
| url | http://hdl.handle.net/10400.13/7539 |
| visible | 1 |