PREMIER SUPERCALCULATEUR EN FRANCE
Le supercalculateur Adastra hébergé au CINES donne aux chercheurs les moyens de préparer l’ensemble des codes scientifiques à l’exascale. Ses deux partitions de calcul, scalaire et accélérée, ainsi que le support au sein du CINES permettent d’accompagner les chercheurs dans le portage de leurs applications sur les toutes dernières technologies accélérées.
3ème au GREEN 500
Son architecture Cray EX hyper-efficiente a permis à Adastra de se hisser au 3e rang mondial des supercalculateurs les plus efficients énergétiquement avec une puissance en mode optimisée de 791,98 kW pour un run HPL ayant développé 46,1 Pflops.
EHPE-Cray EX4000 une architecture composée de deux partitions de calcul pour un total
de 74 Pflops.
11ème au TOP 500 (Nov 2022)
Le réseau d’interconnexions Slingshot en topologie DragonFly atteint des débits élevés allant jusqu’à 800 Gb/s en nœuds à nœuds pour la partition accélérée.
- ESPACE DE STOCKAGE :
– Home : 1 ClusterStor E1000 SSD d’une capacité de 125 Tio d’une bande passante de 77 Gio/s en lecture et 34 Gio/s en écriture.
– Scratch : 1 ClusterStor E1000 SSD d’une capacité de 1.89 Pio avec une bande passante de 1086 Gio/s en lecture et 786 Gio/s en écriture.
- PARTITION GPU :
338 nœuds accélérés (1 AMD Trento EPYC 7A53 64- Cœurs avec processeurs de 3.5 GHz avec 256 Gio de DDR4-3200 CPU en mémoire par nœud, 4 ports Slingshot, 4 AMD MI250X with 512 Gio de HBM2 par nœud)
- PARTITION CPU
M536 nœuds scalaires (2 AMD Genoa EPYC 9654 96 cœurs avec processeurs de 2.4 GHz, 768 Gio de DDR5- 5200 en mémoire par nœud, 1 port Slingshot)
- NOEUDS DE SERVICES :
12 nœuds de visualisation et de pré/post traitement (2 Genoa 64 cœurs et 2 cartes graphiques NVIDIA L40) 10 nœuds frontaux et de transfert (2 Genoa 64 cœurs avec processeurs de 2.4 GHz, 512 Gio de DDR5-4800 mémoire par nœud, 2 ports Slingshot and 4 x 1.6 Tio SAS MU SSDs configurés en RAID10)
“La communauté scientifique, en route vers l’exascale”
Adastra comprend 7 racks CRAY EX :
- 5 racks de calcul (cf. description architecture) plus 2 racks de refroidissement.
- 4 racks additionnels standards assurent la connexion, les machines de service et de gestion des disques.
Le cluster comprend deux “tranches” :
- la tranche 1 compte 190361160 cœurs GPU répartis sur 338 nœuds
- la tranche 2 compte 102912 coeurs CPU répartis sur 536 noeuds
| Tranche 1 | Tranche 2 | Visualisation | Login | |
| Ref. constructeur | HPE-Cray | HPE-Cray | HPE-Cray | HPE-Cray |
| Nom processeur | Trento | Genoa | Genoa | Genoa |
| Ref. processeur | AMD EPYC 7713 | |||
| Nb de noeuds | 338 | 536 | 12 | 10 |
| Processeurs par noeud | 1 | 2 | 2 | 2 |
| Fréq. des processeurs | 2.6 GHz | 2.6 GHz | 2.6 GHz | 2.0 GHz |
| Coeurs par processeur | 64 | 96 | 64 | 64 |
| Taille cache L1 | 64 X 32 Ko instr. 64 X 32 Ko data | |||
| Taille cache L2 | 64 X 512 Ko | |||
| Taille cache LLC | 256 Mo | |||
| Nb de canaux mémoire | 4 | 4 | 4 | 6 |
| Mémoire par nœud | 256 Go | 768 Go | 2 To | 512 Go |
| Type de mémoire | DDR4 | DDR4 | DDR4 | DDR4 |
| Attachement réseau | 4 X Slingshot 200 Gbit/s | Slingshot 200 Gbit/s | 2 X Slingshot 200 Gbit/s | 2 X Slingshot 200 Gbit/s |
| Type de GPU | MI-250X | Nvidia A40 40 Go | ||
| Nb GPU par noeud | 4 | |||
| Nb coeurs total | 59200 |
La machine HPE-Cray “Adastra” au CINES
Les racks de calcul sont connectés à 5 racks montés sur un système de fichiers partagés Lustre avec une capacité de 1.8 Po utile au total. Le refroidissement est intégralement assuré par un système haut rendement à eau tiède directement dans les nœuds (mode DLC Direct Liquid Cooling). La demande d’allocation d’heures de calcul sur ce cluster fait l’objet de deux campagnes par an (automne et printemps) par l’intermédiaire de la procédure DARI.
Architecture d'Adastra
Description de l’architecture
- Un bloc pour les alimentations
- Un bloc contenant les services redondants de distribution du circuit interne de l’eau tiède.
- 8 châssis. Chaque châssis est composé de 8 modules de calcul. Ces modules contiennent 2 nœuds de calcul GPU, ou 4 noeuds de calcul CPU.
- Les nœuds de connexion sont des processeurs bi-socket AMD Genoa 64 coeurs par socket (128 coeurs au total).
Au total, le cluster Adastra est composé de 874 nœuds de calcul et possède donc 102912 cœurs CPU et 20009600 coeurs GPU.
Le réseau utilisé pour connecter les nœuds entre eux, est un réseau Slingshot 200 Gbit/s. La topologie du réseau est en forme dragonfly. Le réseau dispose d’un routage adaptatif en fonction de la charge. Chaque groupe de 16 nœuds qui partagent le même switch dans un châssis sont joignables sans restriction.
Les systèmes de fichiers sont de trois types :
- Le /scratch (utilisé pour le stockage des résultats des calculs est de type Lustre. Il dispose de plus de 1.8 Po de surface utile et d’une bande passante maximum qui dépasse le Térabit par seconde. Le scratch va appliquer une politique d’effacement des fichiers de plus de 30 jours (pensez à recopier vos données dans le /work ou le /store).
- Le /work utilisé pour conserver les résultats des calculs.
- Le /home est de type Lustre, il est utilisé pour stocker les codes à exécuter, il profite d’une surface de 160 To.
Pour stocker les résultats de façon plus sure, les nœuds de service de la machine accèdent au système de fichiers /store. Celui-ci est aussi un système Lustre, mais avec des mécanismes de sécurisation avancés (stockage dupliqué et conservation sur bandes). Il doit être utilisé pour assurer la bonne conservation des résultats.
