Synthèse : documentation simplifiée du calculateur Antares
Document Actions
Les commandes et informations pour une connexion rapide au cluster Antares à destination des utilisateurs familiers aux environnement de calcul.
Pour une description détaillée, merci de se référer à la documentation complète.
Description de la configuration
Matériel (17 TFlops en CPU et de 3,1 TFlops en GPU) :
- 158 nœuds de calcul dx360-M2 (1264 coeurs) dont 33 nœuds appartenant à l'Ecole Centrale de Nantes
- 21 nœuds de calcul dx360-M3 (252 cœurs)
- 4,8 To de mémoire DDR3
- Réseau d'interconnexion QLogic InfiniBand QDR à faible latence et haut débit (40 Gbit/s)
- 280 To d'espace disque rapide (brut)
- Nœud de calcul dx360-M2 :
- bi - processeurs quadri-cœurs Intel Nehalem EP @ 2,8 GHz
- 24 Go de mémoire DDR3
- Nœud de calcul dx360-M3 :
- bi - processeurs hexa-cœurs Intel Westmere EP @ 2,8 GHz
- 48 ou 96 Go de mémoire DDR3
- 6 nœuds dx360-M3 sont dotés d'un espace disque interne d'une capacité utile de 10 To.
- 3 nœuds dx360-M3 sont dotés de 96 Go de mémoire DDR3
- 3 nœuds dx360-M3 contiennent chacun deux modules GPU NVIDIA Tesla M2050.
Logiciel :
- Environnement Linux 64 bits (RHEL5)
- Gestionnaire de travaux IBM LoadLeveler
- Système de fichiers rapide IBM GPFS
- Environnement de développement :
- Compilateurs Intel 11.1 Fortran 77/90/95, C, C++ (support OpenMP)
- Librairies Intel MPI 4.0 et Open MPI 1.4.2
- Librairies mathématiques Intel MKL (dont BLAS, LAPACK et FFT), FFTW 3.2.2
- API CUDA C/C++ 3.2 et 4.0, librairies CUBLAS et CUFFT pour accélération sur GPU
- Exemples de Makefiles : /soft/makefiles
Connexion et environnement
La connexion s'effectue en SSH vers les deux frontales : antares.crihan.fr et altair.crihan.fr.
L'utilisateur a un unique répertoire de travail, dans /home.
Par défaut un quota est positionné à 50 Go.
Environnement de soumission (LoadLeveler)
Les exemples de scripts de soumission sont dans le répertoire /soft/loadl/crihan_modeles_scripts.
| Action | Commande |
|---|---|
| Charge du calculateur | llstatus -R |
| Caractéristiques des classes | llclass |
| Soumettre un calcul | llsubmit script_soumission.ll |
| Consulter tous les travaux | llq |
| Consulter ses propres travaux | llq -u login |
| Affichage des caractéristiques d'un calcul | llq -l job_id |
| Prévision d'horaire de passage d'un calcul | llq -s job_id |
| Annuler un calcul | llcancel job_id |
Les classes CRIHAN
Les classes "Crihan" utilisent les 125 nœuds de calcul Nehalem et les 21 nœuds de calcul Westmere du CRIHAN.
| Classe | Durée max. | Nb. nœuds disponibles | Limites par calcul |
|---|---|---|---|
| tcourt | 24 h | 125 nœuds Nehalem | 64 nœuds Nehalem (512 cœurs et 1536 Go de mémoire) |
| court | 48 h | 61 nœuds Nehalem | 16 nœuds Nehalem (128 cœurs et 384 Go de mémoire) |
| long | 100 h | 11 nœuds Westmere à 48 Go de RAM | 4 nœuds Westmere à 48 Go de RAM (48 cœurs et 192 Go de mémoire) |
| tlong | 300 h | 7 nœuds Westmere à 48 Go de RAM | 2 nœuds Westmere à 48 Go de RAM (24 cœurs et 96 Go de mémoire) |
| tcourt_intra | 24 h |
125 nœuds Nehalem, 12 nœuds Westmere à 48 Go de RAM et 3 nœuds Westmere à 96 Go de RAM |
12 cœurs et 96 Go de mémoire |
| court_intra | 48 h |
61 nœuds Nehalem, 12 nœuds Westmere à 48 Go de RAM et 3 nœuds Westmere à 96 Go de RAM |
12 cœurs et 96 Go de mémoire |
| disque | 300 h | 6 nœuds Westmere |
12 cœurs et 48 Go de mémoire (mais 4 cœurs et au maximum 16 Go de mémoire sont conseillés) |
| memoire | 300 h |
9 nœuds Westmere à 48 Go de RAM et 3 nœuds Westmere à 96 Go de RAM |
Travail intranœud : 12 cœurs avec 96 Go de mémoire Travail multi-nœuds : 48 cœurs avec 192 Go de mémoire, 36 cœurs avec 288 Go de mémoire |
| gpu | 24 h | 3 nœuds Westmere à 48 Go de RAM (hybrides CPU-GPU) | 3 nœuds Westmere à 48 Go de RAM (36 cœurs et 144 Go de mémoire) |
Les classes ECN
Les classes "ECN" utilisent les 33 nœuds de calcul Nehalem de l'ECN.
| Classe | Durée max. | Nb. nœuds disponibles | Limites par calcul |
|---|---|---|---|
| ecn_debug | 2 h | 2 nœuds Nehalem | 2 nœuds Nehalem (16 cœurs et 48 Go de mémoire) |
| ecn_prod | 1000 h | 31 nœuds Nehalem | 31 nœuds Nehalem (248 cœurs et 744 Go de mémoire) |
Support
La méthode à privilégier pour contacter l'équipe technique du CRIHAN est l'utilisation de l'email support@crihan.fr . Vous pouvez toutefois nous contacter par téléphone au 02 32 91 42 91.