T&T #4 Contourner les perturbations liées à la migration de Lustre

Dans le cadre du projet d’extension de la machine Occigen (au total 3,5 Pflops, 85 824 cœurs de calcul et 282 To de mémoire) qui sera effective en Janvier 2017, l’espace de fichier /scratch va faire l’objet d’une migration de sa version de LUSTRE :

  1. Il sera réduit de 5 Po à 3 Po sur la production (sans arrêter celle-ci) jusqu’à début octobre ;
  2. Les 2 Po libérés seront attachés à la nouvelle configuration, et un nouveau système de fichier /scratch créé avec une nouvelle version de LUSTRE en octobre ;
  3. L’ancien système de fichier /scratch sera détaché début janvier et les fichiers transférés sur le nouvel espace de 2 Po. Les 3 Po seront ajoutés au nouveau /scratch pour recréer un espace unifié commun à la machine Occigen étendue.

Cette opération entraînera des perturbations – notamment sur la gestion des quotas Lustre – dont vous trouverez les détails et les contournements ci dessous :

  • La commande lfs quota ne devra plus être utilisée ;
  • Les statistiques d’occupation des espaces de stockage seront disponibles avec la commande etat_projet.

Afin d’alléger les opérations sur les données qui sont associées à ces trois phases, nous allons devoir réduire l’espace et le nombre de fichiers sur le /scratch avec pour objectif de ne conserver que les fichiers accédés depuis moins de 90 jours.

Pour rappel : l’espace /scratch est dédié à une résidence temporaire et il ne fait pas l’objet de sauvegardes. Il vous appartient de faire les arbitrages nécessaires, c’est à dire :

  • supprimer les fichiers qui ne sont plus utiles (fichiers de reprise, ou temporaires)
  • transférer les fichiers utiles (résultats à conserver) sur l’espace /store

Vous trouverez plus d’informations sur le fonctionnement des espaces de stockage ici

Dernière modification le : 12 août 2016
CINES