Obiettivo della ricerca Questo progetto di dottorato esplora metodologie per la co-progettazione e lo sviluppo di simulazioni numeriche per applicazioni fisiche, con l'obiettivo di sfruttare in modo efficiente sistemi di calcolo eterogenei basati su acceleratori GPU. Sono state selezionate due classi di applicazioni: una simulazione di fluidodinamica computazionale di tipo Lattice Boltzmann (LBM) denominata D2Q37, impiegata per studiare l'instabilità di Rayleigh-Taylor in fluidi multifase, e una simulazione di tipo LQCD (Lattice QCD) basata sulla quantizzazione degli integrali di cammino di Feynman. D2Q37 si articola in due passi di esecuzione indipendenti, adatti alla parallelizzazione su GPU, mentre LQCD è dominata dalla soluzione del sistema lineare che coinvolge la matrice di Fermioni e l'operatore di Dirac, responsabile del 40-80% del tempo di esecuzione per iterazione e particolarmente adatta alle capacità di vettorizzazione della GPU. Metodologia La ricerca si è articolata in quattro fasi: (1) identificazione delle applicazioni con potenziale di accelerazione su architetture HPC; (2) analisi dei requisiti computazionali, incluse la quantità, il tipo, la complessità delle operazioni e le dipendenze tra di esse; (3) offloading su GPU tramite paradigmi di programmazione pragma-based — OpenMP per la portabilità su GPU singola e MPI per sistemi multi-GPU, con particolare attenzione alla minimizzazione dei trasferimenti dati tra host e acceleratore; (4) verifica della correttezza, analisi delle prestazioni in termini di scalabilità ed efficienza, e stima del Probabilistic Worst Case Execution Time (pWCET). Il pWCET è stato calcolato tramite il metodo dei massimi a blocchi derivato dalla Teoria dei Valori Estremi (EVT): la distribuzione dei tempi di esecuzione viene suddivisa in blocchi di dimensione uguale, si estrae il massimo di ciascun blocco e la serie risultante viene adattata a una distribuzione GEV (Generalised Extreme Value) per stimare il limite superiore del tempo di esecuzione a diversi livelli di confidenza. Risultati Entrambe le applicazioni sono state testate su più cluster e diverse generazioni di GPU, raggiungendo fino al 50% delle prestazioni di picco teoriche in doppia precisione su acceleratori NVIDIA A100 e H100 installati nel cluster Leonardo di Cineca e nel cluster COKA dell'Università di Ferrara. La correttezza fisica delle simulazioni è stata validata confrontando i risultati con implementazioni di riferimento dello stato dell'arte presenti in letteratura. La metodologia pWCET ha dimostrato affidabilità su tutti i livelli di accuratezza testati: lo scarto tra i massimi di esecuzione predetti e quelli osservati empiricamente non ha mai superato l'8%, anche imponendo il requisito di accuratezza numerica più stringente pari a 10⁻¹². Impatto Il lavoro contribuisce al miglioramento dell'efficienza e della scalabilità delle simulazioni scientifiche su architetture eterogenee. L'uso di modelli pragma-based come OpenMP riduce il refactoring del codice preservandone la portabilità su piattaforme hardware diverse. Le stime pWCET supportano una schedulazione più intelligente dei job HPC: quando sono disponibili limiti probabilistici sul tempo di esecuzione, lo scheduler può prendere decisioni informate su allocazione, ordinamento e backfilling dei job, riducendo i periodi di inattività e migliorando la produttività del cluster. Dal punto di vista della fisica computazionale, questi miglioramenti si traducono in una maggiore efficienza nella raccolta dei dati, una migliore gestione dei tempi di progetto e un uso più ottimale dei budget di calcolo assegnati.
Research Objective This PhD project investigates methodologies for co-designing and developing numerical simulations for physics applications, targeting heterogeneous computing systems based on GPU accelerators. Two application classes were selected: a Lattice Boltzmann Method (LBM) fluid dynamics simulation called D2Q37, used to study Rayleigh-Taylor instability in multiphase fluids, and a Lattice QCD (LQCD) simulation based on Feynman path integral quantisation. The D2Q37 simulation splits its execution into two independent steps that map naturally onto GPU parallelism, while LQCD presents a dominant bottleneck in solving the linear system involving the Fermion matrix and the Dirac operator, which accounts for 40–80% of total iteration time and greatly benefits from GPU vectorisation. Methodology The research followed four phases: (1) identification of applications amenable to HPC acceleration; (2) analysis of computational requirements, including operation count, type, complexity, and inter-operation dependencies; (3) GPU offloading using pragma-based programming models — OpenMP for single-GPU portability and MPI for multi-GPU communication, with emphasis on minimising host-accelerator data transfers; (4) correctness verification, performance analysis in terms of scalability and efficiency, and estimation of Probabilistic Worst Case Execution Time (pWCET). The pWCET was computed via the block-maxima method derived from Extreme Value Theory (EVT): execution-time distributions are partitioned into equal-sized blocks, the per-block maximum is extracted, and the resulting series is fitted to a Generalised Extreme Value (GEV) distribution to bound execution time at arbitrary confidence levels. Results Both applications were benchmarked across multiple clusters and GPU generations, reaching up to 50% of the theoretical double-precision peak performance on NVIDIA A100 and H100 accelerators deployed in Cineca's Leonardo cluster and UniFE's COKA cluster. Physical accuracy was validated against state-of-the-art reference implementations from the literature. The pWCET methodology proved reliable across all accuracy targets tested: the discrepancy between predicted and empirically observed maximum execution times never exceeded 8%, even at the most stringent confidence threshold of 10⁻¹². Impact The work advances the efficiency and scalability of scientific simulations on heterogeneous architectures. Pragma-based offloading with OpenMP reduces code refactoring while preserving portability across diverse hardware platforms. pWCET estimates support smarter HPC job scheduling: when probabilistic execution-time bounds are available, schedulers can make informed decisions on job placement, ordering, and backfilling, reducing idle periods and improving cluster throughput. In computational physics, these gains translate into higher data-collection efficiency, better project time management, and more effective use of allocated computing budgets.
GPU Acceleration of Physics Simulations using OpenMP Offloading for HPC Environments
GOTTI, LUCA
2026
Abstract
Obiettivo della ricerca Questo progetto di dottorato esplora metodologie per la co-progettazione e lo sviluppo di simulazioni numeriche per applicazioni fisiche, con l'obiettivo di sfruttare in modo efficiente sistemi di calcolo eterogenei basati su acceleratori GPU. Sono state selezionate due classi di applicazioni: una simulazione di fluidodinamica computazionale di tipo Lattice Boltzmann (LBM) denominata D2Q37, impiegata per studiare l'instabilità di Rayleigh-Taylor in fluidi multifase, e una simulazione di tipo LQCD (Lattice QCD) basata sulla quantizzazione degli integrali di cammino di Feynman. D2Q37 si articola in due passi di esecuzione indipendenti, adatti alla parallelizzazione su GPU, mentre LQCD è dominata dalla soluzione del sistema lineare che coinvolge la matrice di Fermioni e l'operatore di Dirac, responsabile del 40-80% del tempo di esecuzione per iterazione e particolarmente adatta alle capacità di vettorizzazione della GPU. Metodologia La ricerca si è articolata in quattro fasi: (1) identificazione delle applicazioni con potenziale di accelerazione su architetture HPC; (2) analisi dei requisiti computazionali, incluse la quantità, il tipo, la complessità delle operazioni e le dipendenze tra di esse; (3) offloading su GPU tramite paradigmi di programmazione pragma-based — OpenMP per la portabilità su GPU singola e MPI per sistemi multi-GPU, con particolare attenzione alla minimizzazione dei trasferimenti dati tra host e acceleratore; (4) verifica della correttezza, analisi delle prestazioni in termini di scalabilità ed efficienza, e stima del Probabilistic Worst Case Execution Time (pWCET). Il pWCET è stato calcolato tramite il metodo dei massimi a blocchi derivato dalla Teoria dei Valori Estremi (EVT): la distribuzione dei tempi di esecuzione viene suddivisa in blocchi di dimensione uguale, si estrae il massimo di ciascun blocco e la serie risultante viene adattata a una distribuzione GEV (Generalised Extreme Value) per stimare il limite superiore del tempo di esecuzione a diversi livelli di confidenza. Risultati Entrambe le applicazioni sono state testate su più cluster e diverse generazioni di GPU, raggiungendo fino al 50% delle prestazioni di picco teoriche in doppia precisione su acceleratori NVIDIA A100 e H100 installati nel cluster Leonardo di Cineca e nel cluster COKA dell'Università di Ferrara. La correttezza fisica delle simulazioni è stata validata confrontando i risultati con implementazioni di riferimento dello stato dell'arte presenti in letteratura. La metodologia pWCET ha dimostrato affidabilità su tutti i livelli di accuratezza testati: lo scarto tra i massimi di esecuzione predetti e quelli osservati empiricamente non ha mai superato l'8%, anche imponendo il requisito di accuratezza numerica più stringente pari a 10⁻¹². Impatto Il lavoro contribuisce al miglioramento dell'efficienza e della scalabilità delle simulazioni scientifiche su architetture eterogenee. L'uso di modelli pragma-based come OpenMP riduce il refactoring del codice preservandone la portabilità su piattaforme hardware diverse. Le stime pWCET supportano una schedulazione più intelligente dei job HPC: quando sono disponibili limiti probabilistici sul tempo di esecuzione, lo scheduler può prendere decisioni informate su allocazione, ordinamento e backfilling dei job, riducendo i periodi di inattività e migliorando la produttività del cluster. Dal punto di vista della fisica computazionale, questi miglioramenti si traducono in una maggiore efficienza nella raccolta dei dati, una migliore gestione dei tempi di progetto e un uso più ottimale dei budget di calcolo assegnati.I documenti in SFERA sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
