Development of an Event Builder software based on InfiniBand network for the LHCb experiment

The LHCb experiment is one of the four main experiments operating at the Large Hadron Collider at CERN. Its main goals are to make precise measurements of CP violation and to study rare decays of b and c-quark hadrons. The LHCb experiment will undergo a major upgrade during the second long shutdown (2018 - 2019), aiming at collecting an order of magnitude more data the possible with the present detector. The upgraded detector foresees a full software trigger, running at the LHC bunch crossing frequency of 40 MHz. A new high-throughput PCIe Generation 3 based read-out board has been designed on this purpose. The read-out board will allow an efficient and cost-effective implementation of the Data Acquisition System by means of high-speed PC networks. The aim this thesis is to study, design and implement an efficient Event Builder software for the LHCb upgrade. The Event Builder will consist of about 500 nodes. Each server of the EB relies on two distinct logical components: the Readout Unit (RU) and the Builder Unit (BU). The RU packs the event fragments from the detector, and ship it to a receiving BU in a many-to-one pattern. Each BU gathers the event fragments to assemble them in the full events, which is sent out afterwards for filtering to a specific trigger farm unit. For these reasons I choose InfiniBand as network technology to build up the Event Builder implementation. I developed the EB Communication Layer software, to be used for data transfer among different nodes of the EB exploiting InfiniBand verbs, which is a library that offers an user space API to access the RDMA capabilities of the network device. The InfiniBand network standard is currently the most commonly used interconnection technology in supercomputers. It provides the best performances among the open-standard I/O technologies. On top of the Communication Layer I created the Logic Layer of the Event Builder, a software that performs the event-building in a realistic way. This software implements a push approach with custom dispatching policies, minimizing the risk of traffic congestion. I also avoided the adoption of a central scheduler, preferring a predefined scheduling strategy. The Event Builder software was tested on different clusters in order to prove its performance and scalability. Finally, I performed preliminary studies on the possibility to use low power architectures for high-throughput data acquisition purposes, using the Event Builder software as use case.

LHCb è uno dei quattro esperimenti principali, attualmente in funzione, presso il Large Hadron Collider (LHC) del CERN. I suoi obiettivi sono quelli di eseguire misure precise dei parametri della violazione di CP e di studiare decadimenti rari degli adroni contenenti i quark b e c.  L’esperimento LHCb subirà un importante aggiornamento durante il secondo spegnimento di LHC (2018-2019), da realizzare con l'obiettivo di acquisire una quantità di dati un'ordine di grandezza superiore rispetto alle possibilità del presente rivelatore. L'aggiornamento del detector prevede la realizzazione di un trigger completamente software, che permette di acquisire dati alla frequenza di bunch crossing di 40 MHz senza limitazioni. A tale scopo è stata progettata una nuova scheda di acquisizione, ad alte prestazioni, basata sullo standard PCIe-3. Questa scheda permetterà la costruzione di un sistema di acquisizione efficiente, ed economicamente vantaggioso, utilizzando tecnologie di rete ad alte prestazioni. Lo scopo di questa tesi è lo studio, la progettazione e l'implementazione del software impiegato per 'Event Builder del futuro rivelatore di  LHCb. L'Event Builder sarà costituito da circa 500 nodi di calcolo, ciascuno dei quali eseguirà due funzioni logiche distinte: la Readout Unit (RU) e la Builder Unit (BU). Ciascuna RU, a partire dai dati provenienti dal detector, creerà un frammento di evento e lo spedirà ad una specifica BU in un modello "molti a uno”.  Ciascuna BU ha la funzione di riaggregare i frammenti per creare gli eventi completi. Gli eventi completi sono spediti al sistema di trigger software per successive elaborazioni. Attualmente la rete InfiniBand è la tecnologia di connessione più utilizzata nei supercalcolatori e fornisce le prestazioni migliori tra le tecnologie basate su standard aperti. Per queste ragioni ho scelto InfiniBand come tecnologia di rete per l'implementazione di questo Event Builder. Per prima cosa ho sviluppato il Communication Layer, un software per il trasferimento dati tra differenti nodi utilizzando i "verbi" di InfiniBand (una libreria che offre delle API che permettono di sfruttare le capacità RDMA della scheda). Sopra al Communication Layer ho creato il Logic Layer dell'Event Builder, un software che simula la logica dell'event-building in maniera realistica. Questo software implementa un approccio "push" con regole di spedizione dedicate, in modo tale da minimizzare il rischio di congestione del traffico. Ho inoltre evitato l'utilizzo di un supervisore centrale, preferendo una strategia predefinita di scheduling. L'Event Builder è stato testato in differenti centri di calcolo in modo tale da provare le prestazioni e la scalabilità del software. Infine, ho effettuato studi preliminari sulla possibilità di utilizzare architetture a basso consumo per sistemi di acquisizione ad alte prestazioni, utilizzando l'Event Builder come caso d'uso.