Risorse

L'attuale configurazione dell'infrastruttura si compone di 9 compute nodes, ingegnerizzati per la gestione di carichi di lavoro paralleli sia su architettura CPU sia su acceleratori hardware GPU. Un nodo di login gestisce l'infrastruttura e fornisce un punto di accesso unificato per gli utenti.

Lo stato dei sistemi e il carico dell'infrastruttura di calcolo viene costantemente monitorato ed è consultabile pubblicamente al seguente link: 

Prestazioni

• CPU (832 core): 35 TFlops di capacità teorica complessiva.

• GPU NVIDIA H100 (3 unità): 80 TFlops di prestazione teorica in calcolo a doppia precisione (FP64).

• GPU NVIDIA L40S (6 unità): Circa 550 TFlops di prestazione teorica in calcolo a singola precisione (FP32). Nota: le schede L40S non dispongono di core dedicati per il calcolo in doppia precisione (FP64).

Architettura dei Nodi

L'infrastruttura è suddivisa in partizioni logiche distinte, ottimizzate in base ai requisiti di calcolo:

Nodo di Accesso (Login)

• Host: hnode01

  • Gateway di accesso e login per gli utenti.

  • Specifiche Hardware:

    • CPU: 1x AMD EPYC 9124 (16 Core totali)

    • RAM: 124 GB DDR5

Nodi di Calcolo CPU

• Nodi Alta Densità (cpu_amd_zen4_2x96) — cnode01, cnode02

  • Elaborazioni CPU massive ad alta densità di core; ottimizzati per calcoli paralleli con minori requisiti di memoria per singolo core.

  • Specifiche Hardware:

    • CPU: 2x AMD EPYC 9654 (per un totale di 192 Core fisici a nodo)

    • RAM: 768 GB DDR5

• Nodi Standard (cpu_amd_zen4_2x948) — cnode03, cnode04, cnode05, cnode06

  • Elaborazioni CPU standard; configurati per task con elevati requisiti di memoria allocata per singolo core.

  • Specifiche Hardware:

    • CPU: 2x AMD EPYC 9454 (per un totale di 96 Core fisici a nodo)

    • RAM: 512 GB DDR5

Nodi di Calcolo GPU

• Nodo GPU Avanzato (gpu_H100) — gnode01

  • Elaborazioni grafiche e di calcolo avanzate che richiedono GPU multiple con scambio dati tra le schede.

  • Specifiche Hardware:

    • CPU: 2x AMD EPYC 9124 (32 Core totali)

    • GPU: 2x NVIDIA H100 (96GB HBM2e ciascuna) collegate su bus NV-LINK

    • RAM: 512 GB DDR5

• Nodo GPU Standard (gpu_H100_partitioned) — gnode02

  • Specifiche Hardware:

    • CPU: 2x AMD EPYC 9124 (32 Core totali)

    • GPU: 1x NVIDIA H100 (96GB HBM2e)

    • RAM: 256 GB DDR5

• Nodo L40S (gpu_L40S) — gnode03

  • Specifiche Hardware:

    • CPU: 2x AMD EPYC 9224 (48 Core totali)

    • GPU: 6x NVIDIA L40S (48GB GDDR6 ciascuna)

    • RAM: 1 TB DDR5

Storage e File System

La topologia di memorizzazione dati è strutturata su due livelli logici gerarchici:

• Storage Esterno (Persistente): Un'unità di storage centralizzata esterna fornisce lo spazio disco per gli applicativi globali di sistema e per i dati utente persistenti. Lo storage è da considerarsi di tipo "freddo" con prestazioni non adatte a carichi di lavoro HPC.

• Storage Locale (Scratch Area): Ciascun nodo d'infrastruttura è equipaggiato con storage locale NVMe a bassissima latenza. Tale area è destinata tassativamente alla memorizzazione temporanea dei dati di calcolo e delle simulazioni in esecuzione (e montato su ogni singolo nodo nel percorso /scratch). E' vivamente consigliato utilizzarlo, copiando prima dell'esecuzione il necessario sui nodi utilizzati, cosi da ridurre drasticamente le attese dei processi sulle operazioni di I/O, riducendo il tempo di esecuzione delle simulazioni ed evitando congestioni di rete.

Meccanismo di Automount delle Aree di Scratch

E' stato inoltre implementato un servizio di automount dinamico per le aree di scratch locali dei singoli nodi sul nodo di login nel percorso /scratchnet/[nome_nodo]. Tale configurazione permette agli utenti di accedere alle aree di scratch di tutti i nodi per recuperare i dati o i log di eventuali job terminati prematuramente.

Il meccanismo è necessario per superare le impostazioni di sicurezza del sistema che impediscono ad un utente di collegarsi ai singoli nodi di calcolo a meno che non abbia su quei nodi almeno un job attivo in esecuzione.

Infrastruttura di Rete e Interconnessione

La topologia di rete è progettata per assicurare la massima ridondanza dei collegamenti e la minima latenza nel passaggio dei dati:

• Rete Ethernet di Servizio: Interconnessione tramite switch Top-of-Rack (TOR). Ogni server è configurato con una doppia interfaccia di rete di rete ridondata, in grado di garantire una larghezza di banda pari a 25 Gb/s per singolo link.

• Rete di Calcolo Infiniband: Sottorete di interconnessione ad altissime prestazioni basata su tecnologia Infiniband a bassa latenza 200Gb/s, servita da switch TOR dedicato. Tale architettura è specificamente configurata e ottimizzata per scalare la comunicazione internodo durante l'esecuzione di job paralleli basati sulla libreria MPI.

• Rete Ethernet di Management: Interconnessione tramite switch Top-of-Rack (TOR). Ogni server è configurato con una interfaccia di rete di rete a 1 Gb/s per la gestione dei server.