Espaces de données

Les espaces utilisateur au CINES

Espace Capacité Débits Usages ciblés Sauvegarde ?
HOME ~100 To 5 Go/s Répertoires d’accueil, scripts, sources exécutables et petits fichiers. OUI
SCRATCH ~5 Po 105 Go/s Ecritures / lectures intensives, fichiers temporaires, conservation le temps des flots de travaux. NON
WORK ~12 Po 100 go/s (Mutualisé avec STORE) Espace de travail pour l’environnement global de la conduite opérationnelle du projet. NON
STORE

Gestion HSM

12 Po extensible

100 Go/s (Mutualisé avec WORK) Nombre de fichiers limité. Espace de stockage important. Sécurisation des données du projet, stockage à long terme (perspective DMP). OUI

 

 

Les quotas disque

 

Le CINES reste à l’écoute des besoins spécifiques de ses utilisateurs pour étudier avec eux la mise en place de limites appropriées.

 

Espace Quota par défaut (1) Cible du quota
HOME 100 Go utilisateur
20 000 fichiers
SCRATCH 20 To groupe
200 000 fichiers
WORK 5 To groupe
500 000 fichiers
STORE (2) 1 To groupe
10 000 fichiers

 

(¹) Limite « hard ». Pour garantir stabilité et performances des systèmes de fichiers, limites évolutives si justification
(²) Espace étant soumis à une gestion hiérarchisée automatique (HSM, sur disques et bandes magnétiques), l’accès à certains fichiers « anciens » nécessite un temps de latence induit par leur rapatriement depuis les bandes magnétiques.

 

Quotas sur HOME, SCRATCH et WORK (mécanisme de quota propre au CINES)

Vous serez avertis par mail à l’approche et au dépassements des quotas définis ci-dessus. De plus, l’ensemble des travaux en attente sur Occigen seront bloqués le temps que vos quotas repassent sous le seuil autorisé.

Il est possible d’identifier les jobs bloqués par ce dépassement quand le champ (REASON) indique la valeur « JobHeldAdmin » dans le retour de la commande : squeue –u $USER

Exemple :

superman@login0:~$ squeue –u $USER

JOBID  PARTITION    NAME   USER      ST TIME    NODES NODELIST (REASON)

351007 hsw24    job3   superman  PD 0:00    1       (JobHeldAdmin)

 

Espace /store (mécanisme standard de quota)

Le quota pour /store s’applique surtout sur le nombre de fichiers (avec une valeur par défaut fixée à 10 000). En effet, afin de garantir une sécurisation efficace de cet espace, il est impératif de maintenir un nombre raisonnable de fichiers en utilisant, lorsque cela est nécessaire, des commandes telles que « tar ».

Un quota initial de 1 To, évolutif sur demande, est également posé sur le volume de données. Ces valeurs de quota sont affectées au projet (groupe). Si un utilisateur dépasse une de ces valeurs, tous les utilisateurs du même groupe ne pourront plus créer de fichiers dans cet espace.

Espaces /home et /scratch (mécanisme de quota propre au CINES)

Deux limites, « soft » et « hard », sont mises en place sur les volume de données et nombre de fichiers (voir tableau ci dessus)

  • Lors du franchissement d’une limite « soft« :
    • un mail d’alerte est envoyé, signalant que le projet s’approche de la valeur fixée pour la limite « hard« .
  • Lors du franchissement d’une limite « hard« : voir tableau ci dessus pour déterminer si l’utilisateur seul ou tous ceux de son groupe sont concernés par les points suivants
    • les travaux en cours d’exécution ne sont pas interrompus.
    • La soumission de nouveaux travaux est interdite.
    • Les jobs en file d’attente sont alors bloqués.
    • Un mail d’information est envoyé informant du dépassement, des conséquences ainsi que des actions possibles pour revenir sous la limite.

Il est possible d’identifier les jobs bloqués par ce dépassement par leur appartenance à une partition BLOCKED_xxx  (commande :squeue $USER).

superman@login0:~$ squeue $USER

JOBID  PARTITION    NAME   USER      ST TIME    NODES NODELIST (REASON)
 351007 BLOCKED_H    job3   superman  PD 0:00     1             (PartitionDown)
 351009 BLOCKED_H    job4   superman  PD 0:00     1             (PartitionDown)

354005 all          job2   superman  R  8:29:17  1    n2957
 354006 all          job1   superman  R  8:29:17  1    n3004

Consulter l’état de ses occupations

Pour connaître à tout moment l’état d’utilisation et les limites pour chacun de vos espaces de fichiers, vous pouvez utiliser la commande etat_projet .

Exemple de sortie de la commande :

Etat des consommations du projet abc1234 sur le cluster OCCIGEN (au 06/10/2017 00:00:00)
 -----------------------------------------------------------------
 Allocation :   530000 heures
 Consommation : 195772 heures soit 36% de votre allocation (sur une base de 12 mois)
 -----------------------------------------------------------------
 Allocation bonus : 106000 heures
 Consommation bonus:     0 heures soit 0% de votre allocation (sur une base de 12 mois)
 -----------------------------------------------------------------

 Etat des systemes de fichiers de l'utilisateur superman (abc1234) (au 06/10/2017 10:11:53)
 --------------------------------------------------------------------------
 | Filesystem | Mode   |  Type  |   ID      |   Usage  |   Limite | Unite |
 --------------------------------------------------------------------------
 | /home      | Space  | User   | superman  |    40.61 |    40.00 |    GB | depassement
 |            |------------------------------------------------------------
 |            | Files  | User   | superman  |     5211 |    20000 | Files |
 --------------------------------------------------------------------------
 | /scratch   | Space  | Group  | abc1234   |      760 |     4000 |    GB |
 |            |------------------------------------------------------------
 |            | Files  | Group  | abc1234   |    26221 |   200000 | Files |
 --------------------------------------------------------------------------
 | /store     | Space  | Group  | abc1234   |D     308 |     1907 |    GB |
 |            |------------------------------------------------------------
 |            | Space  | Group  | abc1234   |D+T  2232 |        * |    GB | Fri Oct 6 02:00:13 CEST 2017
 |            |------------------------------------------------------------
 |            | Files  | Group  | abc1234   |    29712 |    30000 | Files |
 --------------------------------------------------------------------------
Vous pouvez aussi aussi consulter le site https://reser.cines.fr pour avoir le détail de la consommation du projet
 
D   = disques uniquement
D+T = disques + bandes
Pour /store, chaque utilisateur peut aussi consulter l’usage de l’espace de son groupe en affichant le contenu du fichier : « /store/[CT]/[groupe]/.occupation_store »

La gestion des espaces dans Lustre :

Occigen utilise un système de fichier de type Lustre pour son $SCRATCH. Afin d’améliorer les performances d’accès aux fichiers, il est possible d’utiliser le « striping ». Cette technique de découpage en « bande » des fichiers permet d’améliorer les performances des codes d’E/S série à partir d’un nœud unique ou d’E/S parallèles à partir de plusieurs nœuds écrivant dans un seul fichier partagé comme avec MPI-IO, HDF5 parallèle ou NetCDF parallèle.

Le système de fichiers Lustre est constitué d’un ensemble de serveurs OSS (Object Storage Servers) et de disques d’E/S appelés OST (Object Storage Targets).

Un fichier est « strippé » lorsque les opérations de lecture et d’écriture accèdent simultanément à plusieurs OST. Le striping de fichiers est un moyen d’augmenter les performances d’E/S puisque l’accès en écriture ou en lecture de plusieurs OST augmente la bande passante d’E/S disponible.

Il existe quelques commandes pour profiter de cette façon efficace d’accéder aux données :

lfs getstripe <nom de fichier/répertoire>

 

lfs setstripe -c <nombre de "stripes"> <nom de fichier/répertoire>

Les bonnes pratiques

Afin de gérer au mieux l’espace disque qui vous est attribué, nous vous recommandons d’effectuer certaines actions simples :

      • supprimer les fichiers inutiles (/home, /scratch, /store);
      • l’espace de travail /scratch étant temporaire, déplacer les fichiers à conserver et/ou plus nécessaires aux calculs dans un des autres espaces (/home ou /store);
      • compacter les arborescences de votre compte (tar,…), ces fichiers pouvant être placés sur le /store (requis par les mécanismes de HSM sous-jacents);
      • rapatrier vos fichiers vers un site distant (e.g. votre laboratoire) (scp,…);
      • L’espace /store n’est pas destiné aux phases de calcul (travaux batch), il ne doit pas être utilisé pour cela. Pour plus d’information consulter la page suivante ou contactez le service SVP :

       

      ATTENTION ! L’accès (tar, scp, sftp, cat, edit, , . . .) à des fichiers anciens sur le /store peut-être lent car il peut nécessiter la « ré-hydratation » de données depuis les bandes magnétiques

      La restauration de fichiers

      sur /store

      Les fichiers placés sur cet espace sont automatiquement dupliqués sur les « bandothèques » une fois par jour. Dès lors, en cas de perte ou de suppression accidentelle de ces fichiers, ceux-ci peuvent être récupérés si la demande de récupération est faite dans les 10 jours qui suivent l’incident.

      Pour cela, contactez le service SVP :

      sur /home

      Les fichiers placés sur ces espaces sont automatiquement dupliqués une fois par jour. Dès lors, en cas de perte ou de suppression accidentelle de ces fichiers, ceux-ci peuvent être récupérés si la demande de récupération est faite dans les 10 jours qui suivent l’incident.

      Pour cela, contactez le service SVP :

 

 

Dernière modification le : 23 juin 2021
CINES