L’infrastructure de stockage datacentrique

Le CINES met à la disposition des laboratoires, centres, offices et agences, un puissant service de stockage de données.
L’architecture datacentrique mise en place au CINES a pour vocation de répondre au besoin de partage des données des utilisateurs du CINES. Ce service est rendu par un ensemble de moyens techniques qui est présenté aux utilisateurs comme un espace disque de très grande taille et disposant de bonnes performances.

De plus des moyens techniques logiciels et matériels permettent la sécurisation des données déposées sur cette architecture. Ainsi la mutualisation de ces équipements permet d’offrir un  niveau de sécurisation à tous les projets ayant accès à cette infrastructure.

 

Cette architecture offre d’une part, un espace Lustre sécurisé de 2 Po avec une bande passante cumulée de 50 Go/s et d’autre part, des espaces CXFS exportés par NFS.

Les accès vers Occigen se font via 12 passerelles Lustre connectées à une fabrique Infiniband FDR. L’export NFS s’appuyant sur un réseau 10 Gb/s Ethernet.

Un système de gestion hiérarchique des données permet d’optimiser l’utilisation de cet espace. Les fichiers sont transférés sur cartouches magnétiques au sein de deux librairies automatisées, après un certain temps de non utilisation. Cette gestion hiérarchisée offre deux bénéfices majeurs :

  • l’espace disque occupé par des fichiers peu accédés peut être libéré car les données se trouvent sur bandes magnétiques : la volumétrie offerte aux utilisateurs peut donc croître dynamiquement par l’ajout de cartouches dans les librairies,
  • les données fréquemment utilisées se trouvant sur un espace Lustre, elle bénéficient des performances élevées offertes par ce système de fichiers.

Cette gestion hiérarchisée est transparente pour l’utilisateur : l’ensemble des fichiers est visible, qu’ils soient sur bande ou sur disque. Cependant, il faut s’attendre à un certain délai pour accéder aux fichiers les plus anciens qui auront fait l’objet d’une migration sur bandes.

La sécurité des données est assurée par une copie quotidienne sur support magnétique. Toutes ces copies sont conservées une semaine après la suppression d’un fichier. Dès lors que le processus de copie est passé, il nous est possible, en cas de suppression accidentelle d’un fichier, de procéder à sa restauration pendant cette période de rétention.

Notre infrastructure de données repose sur plusieurs éléments :

  • un cluster Lustre (en rouge sur le schéma ci-après) : c’est l’espace disque hautes performances auquel les utilisateurs ont accès (également appelé « store »).
  • un cluster pDMF, et les robotiques (en orange sur le schéma ci-après). L’applicatif pDMF a pour rôle de déplacer les données entres les différents espaces et d’exporter les filesystems par NFS.
  • un serveur RobinHood rattaché au cluster Lustre : ce serveur surveille l’activité sur le Lustre (création et suppression de fichier) et applique les politiques de migration.

schema_fonctionnel_archi_datacentrique
Les politiques de gestions des espaces de données du CINES, dont le « store » fait partie, sont détaillées sur la page « Espaces de données ».

Lien vers : Espaces de données

 

Les Machines

lustre_pdmf

Les machines constituant le cluster Lustre (à droite) et pDMF (à gauche)

Le cluster Lustre HSM

Ce cluster est constitué des éléments suivants :

  • 2 contrôleurs DDN SFA12k
  • 420 disques SAS de 3TB
  • 2x MDS
  • 12x OSS, 84 OST
  • 12x passerelles LNET
  • Une fabrique InfiniBand FDR (56Gb)
  • Une version de Lustre HSM

Le cluster pDMF et CXFS

Ce cluster est constitué des éléments suivants :

  • 2 serveurs CXFS et DMF en HA (haute disponibilité)
  • 3 datamovers DMF
  • 2 serveurs NFS doté de connexion 10 GbE
  • 2 baies de disque SGI IS5500 (NetApp E5400)
  • 120 disques SAS de 2TB
  • Une fabrique Fibre Channel reposant sur 2 switchs 8Gb

Le serveur Robinhood

Le serveur faisant tourner le logiciel RobinHood dispose de :

  • Processeurs Intel Xeon E5-2620v2 (6 cœurs 2.1Ghz)
  • 128GB de mémoire DDR3
  • Disques SSD 460GB pour la base de données
  • Disques SAS 1TB en RAID1 pour le système
  • RobinHood policy engine développé par le CEA

Robothèques IBM 3584

1 robot primaire  :  10 frames, 2 bras accesseurs (à gauche sur la photo ci-contre).

8 lecteurs Jaguar 4 (IBM 3592, 4TB par cartouche), 300 cartouches

9 lecteurs Jaguar 3 (IBM 3592, 1,6TB par cartouche), 3150 cartouches

1 robot secondaire : 6 frames, 1 bras accesseur (à droite sur la photo ci-contre) avec réseau SAN dédié aux sauvegardes et à la migration des données.

6 lecteurs LTO6 (2.5 TB par cartouche), 1500 cartouches

10 lecteurs LTO4 (800 Go par cartouche),  2900 cartouches

 

 

Lien vers : cea-hpc/robinhood

 

 

robbie_et_daneel_480_2

Dernière modification le : 22 juin 2017