CINES - Centre Informatique National de l’Enseignement Supérieur

Rechercher
Fermer ce champ de recherche.

C.I.N.E.S. Centre Informatique National de l’Enseignement Supérieur

Adastra

PREMIER SUPERCALCULATEUR EN FRANCE

Le supercalculateur Adastra hébergé au CINES donne aux chercheurs les moyens de préparer l’ensemble des codes scientifiques à l’exascale. Ses deux partitions de calcul, scalaire et accélérée, ainsi que le support au sein du CINES permettent d’accompagner les chercheurs dans le portage de leurs applications sur les toutes dernières technologies accélérées.

3ème au GREEN 500

Son architecture Cray EX hyper-efficiente a permis à Adastra de se hisser au 3e rang mondial des supercalculateurs les plus efficients énergétiquement avec une puissance en mode optimisée de 791,98 kW pour un run HPL ayant développé 46,1 Pflops.

EHPE-Cray EX4000 une architecture composée de deux partitions de calcul pour un total

de 74 Pflops.

11ème au TOP 500 (Nov 2022)

3ème au niveau Européen.

Le réseau d’interconnexions Slingshot en topologie DragonFly atteint des débits élevés allant jusqu’à 800 Gb/s en nœuds à nœuds pour la partition accélérée.

 

  • ESPACE DE STOCKAGE :

Home : 1 ClusterStor E1000 SSD d’une capacité de 125 Tio d’une bande passante de 77 Gio/s en lecture et 34 Gio/s en écriture.

Scratch : 1 ClusterStor E1000 SSD d’une capacité de 1.89 Pio avec une bande passante de 1086 Gio/s en lecture et 786 Gio/s en écriture.

  • PARTITION GPU :

338 nœuds accélérés (1 AMD Trento EPYC 7A53 64- Cœurs avec processeurs de 3.5 GHz avec 256 Gio de DDR4-3200 CPU en mémoire par nœud, 4 ports Slingshot, 4 AMD MI250X with 512 Gio de HBM2 par nœud)

  • PARTITION CPU

M536 nœuds scalaires (2 AMD Genoa EPYC 9654 96 cœurs avec processeurs de 2.4 GHz, 768 Gio de DDR5- 5200 en mémoire par nœud, 1 port Slingshot)

  • NOEUDS DE SERVICES :

 12 nœuds de visualisation et de pré/post traitement (2 Genoa 64 cœurs et 2 cartes graphiques NVIDIA L40) 10 nœuds frontaux et de transfert (2 Genoa 64 cœurs avec processeurs de 2.4 GHz, 512 Gio de DDR5-4800 mémoire par nœud, 2 ports Slingshot and 4 x 1.6 Tio SAS MU SSDs configurés en RAID10)

« La communauté scientifique, en route vers l’exascale »

Adastra comprend 7 racks CRAY EX :

  • 5 racks de calcul (cf. description architecture) plus 2 racks de refroidissement.
  • 4 racks additionnels standards assurent la connexion, les machines de service et de gestion des disques.

Le cluster comprend deux « tranches » :

  • la tranche 1 compte 190361160 cœurs GPU répartis sur 338 nœuds
  • la tranche 2 compte 102912 coeurs CPU répartis sur 536 noeuds
 Tranche 1Tranche 2VisualisationLogin
Ref. constructeurHPE-CrayHPE-CrayHPE-CrayHPE-Cray
Nom processeurTrentoGenoaGenoaGenoa
Ref. processeur   AMD EPYC 7713
Nb de noeuds3385361210
Processeurs par noeud1222
Fréq. des processeurs2.6 GHz2.6 GHz2.6 GHz2.0 GHz
Coeurs par processeur64966464
Taille cache L1   

64 X 32 Ko instr.

64 X 32 Ko data

Taille cache L2   64 X 512 Ko
Taille cache LLC   256 Mo
Nb de canaux mémoire4446
Mémoire par nœud256 Go768 Go2 To512 Go
Type de mémoireDDR4DDR4DDR4DDR4
Attachement réseau4 X Slingshot 200 Gbit/sSlingshot 200 Gbit/s2 X Slingshot 200 Gbit/s2 X Slingshot 200 Gbit/s
Type de GPUMI-250X Nvidia A40 40 Go 
Nb GPU par noeud4   
Nb coeurs total59200   

 

La machine HPE-Cray « Adastra » au CINES

 

Les racks de calcul sont connectés à 5 racks montés sur un système de fichiers partagés Lustre avec une capacité de 1.8 Po utile au total. Le refroidissement est intégralement assuré par un système haut rendement à eau tiède directement dans les nœuds (mode DLC Direct Liquid Cooling). La demande d’allocation d’heures de calcul sur ce cluster fait l’objet de deux campagnes par an (automne et printemps) par l’intermédiaire de la procédure DARI.

Architecture d'Adastra

Description de l’architecture

 La machine est découpée en rack. Un rack comprend :
  • Un bloc pour les alimentations
  • Un bloc contenant les services redondants de distribution du circuit interne de l’eau tiède.
  • 8 châssis. Chaque châssis est composé de 8 modules de calcul. Ces modules contiennent 2 nœuds de calcul GPU, ou 4 noeuds de calcul CPU.
  • Les nœuds de connexion sont des processeurs bi-socket AMD Genoa 64 coeurs par socket (128 coeurs au total).
 

Au total, le cluster Adastra est composé de 874 nœuds de calcul et possède donc  102912 cœurs CPU et 20009600 coeurs GPU.

Le réseau utilisé pour connecter les nœuds entre eux, est un réseau Slingshot 200 Gbit/s. La topologie du réseau est en forme dragonfly. Le réseau dispose d’un routage adaptatif en fonction de la charge. Chaque groupe de 16 nœuds qui partagent le même switch dans un châssis sont joignables sans restriction.

 

Les systèmes de fichiers sont de trois types :

  • Le /scratch (utilisé pour le stockage des résultats des calculs est de type Lustre. Il dispose de plus de 1.8 Po de surface utile et d’une bande passante maximum qui dépasse le Térabit par seconde. Le scratch va appliquer une politique d’effacement des fichiers de plus de 30 jours (pensez à recopier vos données dans le /work ou le /store).
  • Le /work utilisé pour conserver les résultats des calculs.
  • Le /home est de type Lustre, il est utilisé pour stocker les codes à exécuter, il profite d’une surface de 160 To.
 

Pour stocker les résultats de façon plus sure, les nœuds de service de la machine accèdent au système de fichiers /store. Celui-ci est aussi un système Lustre, mais avec des mécanismes de sécurisation avancés (stockage dupliqué et conservation sur bandes). Il doit être utilisé pour assurer la bonne conservation des résultats.

Partager l'article :

Facebook
Twitter
LinkedIn