Les espaces utilisateur au CINES
| Espace | Capacité | Débits | Usages ciblés | Sauvegarde ? |
| HOME | ~150 To | 30 Go/s | Répertoires d’accueil, scripts, sources exécutables et petits fichiers. | OUI |
| SCRATCH | ~2 Po | > 1To/s | Ecritures / lectures intensives, fichiers temporaires, conservation le temps des flots de travaux. | NON |
| WORK | ~12 Po | 100 go/s (Mutualisé avec STORE) | Espace de travail pour l’environnement global de la conduite opérationnelle du projet. | NON |
| STORE | Gestion HSM
12 Po extensible |
100 Go/s (Mutualisé avec WORK) | Nombre de fichiers limité. Espace de stockage important. Sécurisation des données du projet, stockage à long terme (perspective DMP). | OUI |
Les quotas disque
Le CINES reste à l’écoute des besoins spécifiques de ses utilisateurs pour étudier avec eux la mise en place de limites appropriées.
| Espace | Quota par défaut (1) | Cible du quota |
| HOME | 100 Go | utilisateur |
| 20 000 fichiers | ||
| SCRATCH | 20 To | groupe |
| 200 000 fichiers | ||
| WORK | 5 To | groupe |
| 500 000 fichiers | ||
| STORE (2) | 1 To | groupe |
| 10 000 fichiers |
(¹) Limite « hard ». Pour garantir stabilité et performances des systèmes de fichiers, limites évolutives si justification
(²) Espace étant soumis à une gestion hiérarchisée automatique (HSM, sur disques et bandes magnétiques), l’accès à certains fichiers « anciens » nécessite un temps de latence induit par leur rapatriement depuis les bandes magnétiques.
Espace /store (mécanisme standard de quota)
Le quota pour /store s’applique surtout sur le nombre de fichiers (avec une valeur par défaut fixée à 10 000). En effet, afin de garantir une sécurisation efficace de cet espace, il est impératif de maintenir un nombre raisonnable de fichiers en utilisant, lorsque cela est nécessaire, des commandes telles que « tar ».
Un quota initial de 1 To, évolutif sur demande, est également posé sur le volume de données. Ces valeurs de quota sont affectées au projet (groupe). Si un utilisateur dépasse une de ces valeurs, tous les utilisateurs du même groupe ne pourront plus créer de fichiers dans cet espace.
Espaces /home et /scratch (mécanisme de quota propre au CINES)
Deux limites, « soft » et « hard », sont mises en place sur les volume de données et nombre de fichiers (voir tableau ci dessus)
- Lors du franchissement d’une limite « soft« :
- un mail d’alerte est envoyé, signalant que le projet s’approche de la valeur fixée pour la limite « hard« .
- Lors du franchissement d’une limite « hard« : voir tableau ci dessus pour déterminer si l’utilisateur seul ou tous ceux de son groupe sont concernés par les points suivants
- les travaux en cours d’exécution ne sont pas interrompus.
- La soumission de nouveaux travaux est interdite.
- Les jobs en file d’attente sont alors bloqués.
- Un mail d’information est envoyé informant du dépassement, des conséquences ainsi que des actions possibles pour revenir sous la limite.
Il est possible d’identifier les jobs bloqués par ce dépassement par leur appartenance à une partition BLOCKED_xxx (commande :squeue $USER).
superman@login0:~$ squeue $USER JOBID PARTITION NAME USER ST TIME NODES NODELIST (REASON) 351007 BLOCKED_H job3 superman PD 0:00 1 (PartitionDown) 351009 BLOCKED_H job4 superman PD 0:00 1 (PartitionDown) 354005 all job2 superman R 8:29:17 1 n2957 354006 all job1 superman R 8:29:17 1 n3004
Consulter l’état de ses occupations
Pour connaître à tout moment l’état d’utilisation et les limites pour chacun de vos espaces de fichiers, vous pouvez utiliser la commande etat_projet .
Exemple de sortie de la commande :
Etat des consommations du projet abc1234 sur le cluster OCCIGEN (au 06/10/2017 00:00:00)
-----------------------------------------------------------------
Allocation : 530000 heures
Consommation : 195772 heures soit 36% de votre allocation (sur une base de 12 mois)
-----------------------------------------------------------------
Allocation bonus : 106000 heures
Consommation bonus: 0 heures soit 0% de votre allocation (sur une base de 12 mois)
-----------------------------------------------------------------
Etat des systemes de fichiers de l'utilisateur superman (abc1234) (au 06/10/2017 10:11:53)
--------------------------------------------------------------------------
| Filesystem | Mode | Type | ID | Usage | Limite | Unite |
--------------------------------------------------------------------------
| /home | Space | User | superman | 40.61 | 40.00 | GB | depassement
| |------------------------------------------------------------
| | Files | User | superman | 5211 | 20000 | Files |
--------------------------------------------------------------------------
| /scratch | Space | Group | abc1234 | 760 | 4000 | GB |
| |------------------------------------------------------------
| | Files | Group | abc1234 | 26221 | 200000 | Files |
--------------------------------------------------------------------------
| /store | Space | Group | abc1234 |D 308 | 1907 | GB |
| |------------------------------------------------------------
| | Space | Group | abc1234 |D+T 2232 | * | GB | Fri Oct 6 02:00:13 CEST 2017
| |------------------------------------------------------------
| | Files | Group | abc1234 | 29712 | 30000 | Files |
--------------------------------------------------------------------------
La gestion des espaces dans Lustre :
Occigen utilise un système de fichier de type Lustre pour son $SCRATCH. Afin d’améliorer les performances d’accès aux fichiers, il est possible d’utiliser le « striping ». Cette technique de découpage en « bande » des fichiers permet d’améliorer les performances des codes d’E/S série à partir d’un nœud unique ou d’E/S parallèles à partir de plusieurs nœuds écrivant dans un seul fichier partagé comme avec MPI-IO, HDF5 parallèle ou NetCDF parallèle.
Le système de fichiers Lustre est constitué d’un ensemble de serveurs OSS (Object Storage Servers) et de disques d’E/S appelés OST (Object Storage Targets).
Un fichier est « strippé » lorsque les opérations de lecture et d’écriture accèdent simultanément à plusieurs OST. Le striping de fichiers est un moyen d’augmenter les performances d’E/S puisque l’accès en écriture ou en lecture de plusieurs OST augmente la bande passante d’E/S disponible.
Il existe quelques commandes pour profiter de cette façon efficace d’accéder aux données :
lfs getstripe <nom de fichier/répertoire>
lfs setstripe -c <nombre de "stripes"> <nom de fichier/répertoire>
Les bonnes pratiques
Afin de gérer au mieux l’espace disque qui vous est attribué, nous vous recommandons d’effectuer certaines actions simples :
-
-
- supprimer les fichiers inutiles (/home, /scratch, /store);
- l’espace de travail /scratch étant temporaire, déplacer les fichiers à conserver et/ou plus nécessaires aux calculs dans un des autres espaces (/home ou /store);
- compacter les arborescences de votre compte (tar,…), ces fichiers pouvant être placés sur le /store (requis par les mécanismes de HSM sous-jacents);
- rapatrier vos fichiers vers un site distant (e.g. votre laboratoire) (scp,…);
- L’espace /store n’est pas destiné aux phases de calcul (travaux batch), il ne doit pas être utilisé pour cela. Pour plus d’information consulter la page suivante ou contactez le service SVP :
ATTENTION ! L’accès (tar, scp, sftp, cat, edit, , . . .) à des fichiers anciens sur le /store peut-être lent car il peut nécessiter la « ré-hydratation » de données depuis les bandes magnétiques
La restauration de fichiers
sur /store
Les fichiers placés sur cet espace sont automatiquement dupliqués sur les « bandothèques » une fois par jour. Dès lors, en cas de perte ou de suppression accidentelle de ces fichiers, ceux-ci peuvent être récupérés si la demande de récupération est faite dans les 10 jours qui suivent l’incident.
Pour cela, contactez le service SVP :
sur /home
Les fichiers placés sur ces espaces sont automatiquement dupliqués une fois par jour. Dès lors, en cas de perte ou de suppression accidentelle de ces fichiers, ceux-ci peuvent être récupérés si la demande de récupération est faite dans les 10 jours qui suivent l’incident.
Pour cela, contactez le service SVP :
-
