Gestion de vos données
/home
Vous disposez d'un espace de 1Go sur le volume /home/$USER.
Cet espace est exporté depuis le noeud maître vers l'ensemble des noeuds de calcul.\\
Destiné à la sauvegarde de vos codes et documents, ses performances sont plutôt faibles (en écriture surtout).
Le répertoire /home est régulièrement sauvegardé sur le serveur de fichier du laboratoire, mis à la disposition du groupe.
/data
Vous disposez d'un grand espace de stockage de vos données sur le volume /data/$USER (en moyenne 600Go par utilisateur). Cet espace est constitué de l'aggrégation de disque des 10 noeuds de calcul. Destiné à la sauvegarde de vos données massives, ses performances sont plutôt bonnes en lecture et en écriture.
Le répertoire /data est monté en RAID0, ce qui signifie qu'en cas de panne d'un des disques, les données qui y sont stockées sont définitivement perdues.
/scratch
Un répertoire /scratch/$USER est disponible localement sur tous les noeuds de calcul. Il permet de stocker vos fichiers temporaires de calcul, avec d'excellentes performances.
Lorqu'un job est soumis au BQS, un répertoire lui est dédié dans le répertoire /scratch du noeud local. Son emplacement correspond à la valeur de /scratch/$USER.$PBS_JOBID
Il est détruit à la fin de l'exécution du job.
Lorsque les ressources du scratch sont utilisée par un autre biais, il appartient à l'utilisateur de libérer les ressources lorsqu'elles ne sont plus utilisées.
Récapitulatif
Les répertoires accessibles à l'utilisateur sont les suivants :
Path | type | Vitesse | Taille | Utilisation |
---|---|---|---|---|
/home/$USER | Global (glusterfs) | faible (surtout en écriture) | 50Go au total | Utilisation traditionnelle d'un home |
/data/$USER | Global (glusterfs unify) | bonne | 12To | Données |
/scratch/$USER | local | rapide | 80Go par noeud | Produits temporaires des calculs |