Espaces de données

Afin de répondre aux besoin émis par les utilisateurs, le CINES a entrepris de refondre une partie de son architecture de données.

Cette opération d’envergure a permis de proposer un nouvel espace /store . Celui-ci est visible depuis les nœuds de service et de calcul. Les données qui y sont déposées bénéficient d’une sécurisation implicite : en cas d’incident, ou de suppression accidentelle, les données peuvent donc être restaurées sur simple demande.

simplified_schema

 

Sur ce graphique, apparaissent, la machine de calcul Occigen, les espaces de travail (/home ($HOME), /scratch ($SCRATCHDIR), et /store ($STOREDIR)).

Les espaces utilisateur au CINES

nom de l’espace quota cible du quota accessible depuis utilisation performance sauvegardé ?
/home 40 Go utilisateur nœuds de login + nœuds de calcul compilation, stockage exécutable + librairies nécessaires à l’exécution de vos jobs moyenne oui
/scratch 4 To groupe unix nœuds de login + nœuds de calcul espace de travail : lancement des jobs à partir de cet espace, écriture des fichiers temporaires de sortie pendant l’exécution etc… élevée non
/store 1 To (évolutif)
10 000 fichiers
groupe nœuds de login + nœuds de calcul espace de stockage sécurisé et partagé par les calculateurs moyenne oui

Espaces de données sauvegardés : /home et /store

/home sur Occigen (Bull) :

Chaque calculateur dispose de son propre /home. La sauvegarde sur cet espace s’effectue une fois par jour.

Occigen (BULL) : /store

/store est un espace sécurisé qui offre de bonnes performances d’accès de l’ordre de 50 Go/s à destination d’Occigen.  Cet espace étant soumis à une gestion hiérarchisée (HSM / tiering), il est possible que l’accès à certains fichiers « anciens » nécessitent un temps de latence induit par leur rapatriement depuis les bandes magnétiques.

Espaces de données non sauvegardés : /scratch

Occigen (BULL) : /scratch

  • /scratch est l’espace dédié au calcul. ATTENTION, cet espace n’est pas sauvegardé.

Bonnes pratiques

Afin de gérer au mieux l’espace disque qui vous est attribué, nous vous recommandons d’effectuer certaines actions simples :

  • faire du nettoyage avec la commande rm ;
  • compacter certaines arborescences de votre compte avec la commande tar, ces fichiers pouvant être placées sur le /store;
  • déplacer vos fichiers vers un site distant (e.g. votre laboratoire) avec les commandes scp ou sftp;

ATTENTION ! L’accès (tar, scp, sftp, cat, edit, . . .) à des fichiers anciens sur le /store peut-être lent car il peut nécessiter la lecture de bandes magnétiques au moyen d’un bras robotisé.

Les quotas disque

Les quotas disque permettent au CINES de garantir une équité entre les utilisateurs. En contrepartie, les créations de fichiers sont contraintes dans certains espaces disque.

Les quotas disques s’appliquent par projet ou par login. Ces quotas concernent le volume total des fichiers ou le nombre total de fichiers situés dans différents espaces (cf. article espaces de données).

Les limites par défaut conviennent à la majeure partie des projets. Cependant, certains projets ont des besoins spécifiques. Le CINES est à l’écoute des besoins de ses utilisateurs et se met à leur disposition pour étudier avec eux la mise en place de ressources en adéquation avec leurs besoins.

Espace commun /store

Le quota pour /store s’applique surtout sur le nombre de fichiers (avec une valeur par défaut fixée à 10 000). En effet, afin de garantir une sécurisation efficace de cet espace, il est impératif de maintenir un nombre raisonnable de fichiers en utilisant, lorsque cela est nécessaire, des commandes telles que « tar ».

Un quota initial de 1 To, évolutif sur demande, est également posé sur le volume de données. Ces valeurs de quota sont affectées au projet (groupe). Si un utilisateur dépasse une de ces valeurs, tous les utilisateurs du même groupe ne pourront plus créer de fichiers dans cet espace.

Chaque utilisateur peut consulter l’usage de l’espace de son groupe en affichant le contenu du fichier : « /store/[CT]/[groupe]/.occupation_store »

Occigen (BULL) : espaces /home et /scratch

Deux limites, soft et hard, sont mises en place pour assurer différents niveaux d’alerte aux utilisateurs. Lors du franchissement d’une soft limit, un mail d’alerte est envoyé, signalant que le projet s’approche de la valeur fixée pour la hard limit.

Lors du franchissement d’une hard limit, un mail est envoyé signalant l’impossibilité pour le projet de créer de nouveaux fichiers et le blocage des jobs que pourrait soumettre un login appartenant à ce projet. Les jobs soumis après le dépassement de la hard limit sont identifiés par leur appartenance à la queue BLOCKED_scratch ou BLOCKED_home (squeue $USER). Les limites portent sur le volume de données contenues par ces espaces. Pour l’espace /home la hard limit est fixée à 40 Go par utilisateur. Pour l’espace /scratch la hard limit est fixée à 4 To par projet (donc par groupe).

Concernant ces espaces, des outils sont à votre disposition pour connaître la situation de votre projet ou plus précisément d’un login relativement aux quotas :

Espace /home, les quotas sont appliqués par utilisateurs (volume). Vous pouvez consulter le fichier suivant :

cat $HOMEDIR/.home_quota

Espace /scratch, les quotas s’appliquent aux groupes unix (volume).
Pour obtenir votre groupe unix, tapez la commande id pour récupérez votre gid, puis :

lfs quota -g <votre_gid> /scratch

Espace /store, les quotas s’appliquent aux groupes unix (volume et nombre de fichiers) :

  lfs quota -g <votre_gid> /store

La restauration de fichiers

sur /store

Les fichiers placés sur cet espace sont automatiquement dupliqués sur les bandothèques une fois par jour. Dès lors, en cas de perte ou de suppression accidentelle de ces fichiers, ceux-ci peuvent être récupérés si la demande de récupération est faite dans les 10 jours qui suivent l’incident.

Pour cela, contactez le service SVP : svp@cines.fr

sur /home

Les fichiers placés sur ces espaces sont automatiquement dupliqués une fois par jour. Dès lors, en cas de perte ou de suppression accidentelle de ces fichiers, ceux-ci peuvent être récupérés si la demande de récupération est faite dans les 10 jours qui suivent l’incident.

Pour cela, contactez le service SVP : svp@cines.fr

Dernière modification le : 21 juin 2017