Espaces de données

 

 

Les espaces utilisateur au CINES

Nom de l’espace Quota par défaut ¹ Cible du quota Accessible depuis Utilisation Performance agrégée
Sauvegardé
/home 40 Go utilisateur nœuds de login + nœuds de calcul stockage des sources, des exécutables et bibliothèques nécessaires à l’exécution des travaux  ~10 Go/s oui (chaque nuit)
20 000
fichiers ²
/scratch 4 To groupe nœuds de login + nœuds de calcul espace de travail temporaire : lecture/écriture de fichiers temporaires et/ou volumineux  pendant l’exécution de travaux ~100 Go/s non
200 000 fichiers ²
/store ³ 1 To groupe nœuds de login + nœuds de calcul espace de stockage sécurisé pour les gros volumes de données ~50 Go/s oui
10 000 fichiers

(¹) Limite « hard ». Pour garantir stabilité et performances des systèmes de fichiers, limites évolutives si justifié
(²) Quotas activés le 16/11/2017
(³) Espace étant soumis à une gestion hiérarchisée automatique (HSM, sur disques et bandes magnétiques), l’accès à certains fichiers « anciens » nécessite un temps de latence induit par leur rapatriement depuis les bandes magnétiques.

Les quotas disque

Les limites par défaut conviennent à la majeure partie des projets.

Le CINES reste à l’écoute des besoins spécifiques de ses utilisateurs pour étudier avec eux la mise en place de limites appropriées.

Espace /store (mécanisme standard de quota)

Le quota pour /store s’applique surtout sur le nombre de fichiers (avec une valeur par défaut fixée à 10 000). En effet, afin de garantir une sécurisation efficace de cet espace, il est impératif de maintenir un nombre raisonnable de fichiers en utilisant, lorsque cela est nécessaire, des commandes telles que « tar ».

Un quota initial de 1 To, évolutif sur demande, est également posé sur le volume de données. Ces valeurs de quota sont affectées au projet (groupe). Si un utilisateur dépasse une de ces valeurs, tous les utilisateurs du même groupe ne pourront plus créer de fichiers dans cet espace.

Espaces /home et /scratch (mécanisme de quota propre au CINES)

Deux limites, « soft » et « hard », sont mises en place sur les volume de données et nombre de fichiers (voir tableau ci dessus)

  • Lors du franchissement d’une limite « soft« :
    • un mail d’alerte est envoyé, signalant que le projet s’approche de la valeur fixée pour la limite « hard« .
  • Lors du franchissement d’une limite « hard« : voir tableau ci dessus pour déterminer si l’utilisateur seul ou tous ceux de son groupe sont concernés par les points suivants
    • les travaux en cours d’exécution ne sont pas interrompus.
    • La soumission de nouveaux travaux est interdite.
    • Les jobs en file d’attente sont alors bloqués.
    • Un mail d’information est envoyé informant du dépassement, des conséquences ainsi que des actions possibles pour revenir sous la limite.

Il est possible d’identifier les jobs bloqués par ce dépassement par leur appartenance à une partition BLOCKED_xxx  (commande :squeue $USER).

superman@login0:~$ squeue $USER

JOBID  PARTITION    NAME   USER      ST TIME    NODES NODELIST (REASON)
 351007 BLOCKED_H    job3   superman  PD 0:00     1             (PartitionDown)
 351009 BLOCKED_H    job4   superman  PD 0:00     1             (PartitionDown)

354005 all          job2   superman  R  8:29:17  1    n2957
 354006 all          job1   superman  R  8:29:17  1    n3004

Consulter l’état de ses occupations

Pour connaître à tout moment l’état d’utilisation et les limites pour chacun de vos espaces de fichiers, vous pouvez utiliser la commande etat_projet .

Exemple de sortie de la commande :

Etat des consommations du projet abc1234 sur le cluster OCCIGEN (au 06/10/2017 00:00:00)
 -----------------------------------------------------------------
 Allocation :   530000 heures
 Consommation : 195772 heures soit 36% de votre allocation (sur une base de 12 mois)
 -----------------------------------------------------------------
 Allocation bonus : 106000 heures
 Consommation bonus:     0 heures soit 0% de votre allocation (sur une base de 12 mois)
 -----------------------------------------------------------------

 Etat des systemes de fichiers de l'utilisateur superman (abc1234) (au 06/10/2017 10:11:53)
 --------------------------------------------------------------------------
 | Filesystem | Mode   |  Type  |   ID      |   Usage  |   Limite | Unite |
 --------------------------------------------------------------------------
 | /home      | Space  | User   | superman  |    40.61 |    40.00 |    GB | depassement
 |            |------------------------------------------------------------
 |            | Files  | User   | superman  |     5211 |    20000 | Files |
 --------------------------------------------------------------------------
 | /scratch   | Space  | Group  | abc1234   |      760 |     4000 |    GB |
 |            |------------------------------------------------------------
 |            | Files  | Group  | abc1234   |    26221 |   200000 | Files |
 --------------------------------------------------------------------------
 | /store     | Space  | Group  | abc1234   |D     308 |     1907 |    GB |
 |            |------------------------------------------------------------
 |            | Space  | Group  | abc1234   |D+T  2232 |        * |    GB | Fri Oct 6 02:00:13 CEST 2017
 |            |------------------------------------------------------------
 |            | Files  | Group  | abc1234   |    29712 |    30000 | Files |
 --------------------------------------------------------------------------
Vous pouvez aussi aussi consulter le site https://reser.cines.fr pour avoir le détail de la consommation du projet
 
D   = disques uniquement
D+T = disques + bandes
Pour /store, chaque utilisateur peut aussi consulter l’usage de l’espace de son groupe en affichant le contenu du fichier : « /store/[CT]/[groupe]/.occupation_store »

Les bonnes pratiques

Afin de gérer au mieux l’espace disque qui vous est attribué, nous vous recommandons d’effectuer certaines actions simples :

  • supprimer les fichiers inutiles (/home, /scratch, /store);
  • l’espace de travail /scratch étant temporaire, déplacer les fichiers à conserver et/ou plus nécessaires aux calculs dans un des autres espaces (/home ou /store);
  • compacter les arborescences de votre compte (tar,…), ces fichiers pouvant être placés sur le /store (requis par les mécanismes de HSM sous-jacents);
  • rapatrier vos fichiers vers un site distant (e.g. votre laboratoire) (scp,…);
  • L’espace /store n’est pas destiné aux phases de calcul (travaux batch), il ne doit pas être utilisé pour cela. Pour plus d’information consulter la page suivante ou contacter svp@cines.fr.

ATTENTION ! L’accès (tar, scp, sftp, cat, edit, , . . .) à des fichiers anciens sur le /store peut-être lent car il peut nécessiter la « ré-hydratation » de données depuis les bandes magnétiques

La restauration de fichiers

sur /store

Les fichiers placés sur cet espace sont automatiquement dupliqués sur les « bandothèques » une fois par jour. Dès lors, en cas de perte ou de suppression accidentelle de ces fichiers, ceux-ci peuvent être récupérés si la demande de récupération est faite dans les 10 jours qui suivent l’incident.

Pour cela, contactez le service SVP : svp@cines.fr

sur /home

Les fichiers placés sur ces espaces sont automatiquement dupliqués une fois par jour. Dès lors, en cas de perte ou de suppression accidentelle de ces fichiers, ceux-ci peuvent être récupérés si la demande de récupération est faite dans les 10 jours qui suivent l’incident.

Pour cela, contactez le service SVP : svp@cines.fr

 

 

Dernière modification le : 30 octobre 2017