Infrastructure¶
Description¶
Pour la mise en ouvre de ces services l’IR* Huma-Num dispose de ces propres équipements (serveurs, système de stockage, réseau) qui pour la plupart sont localisés au Centre de Calcul de l’IN2P3, 21 avenue Pierre de Coubertin à Villeurbanne dans 4 racks de serveurs. La ferme de calcul et la plateforme de Jupyter notebook sont des services en commun avec le CC-IN2P3. Le service Huma-Num box est réparti sur 7 sites en France.
Capacités global¶
Serveurs - 3 châssis à réduction d’empreinte pour 12 noeuds de serveurs - 4 serveurs généralistes HPE Gen 11 (2024) - 17 serveurs à GPU (DELL, HPE, Gigabyte) - 4 serveurs DELL, 15eme génération - 5 serveurs DELL, 14eme génération - 17 serveurs DELL, 13eme génération - 5 serveurs DELL, 12eme génération - 3 serveurs DELL, 11eme génération - 3 micro-serveurs
Système de stockage fichiers internes
3 baies de stockage fichiers autonomes reliées au réseau (NAS, accessible en NFS) d’une capacité total de 1180 To répartis de la façon suivante : - NAS ID103 : 600 To de disques mécaniques avec cache de disques électroniques - NAS ID104 : 120 To de disques mécaniques - NAS ID105 : 460 To de disques électroniques (NVMe - 4 couches)
Système de stockage fichiers distribués - 1 cluster de stockage répliqué d’une capacité de 1.2Po accessible en SFTP (capacité utile de 600To) - 1 robotique de bande magnétique (198 bandes LT07, capacité maximal de 1 Po)
GPU - 4 Nvidia T4 - 16G (génération Turing, retirées fin 2025) - 2 Nvidia A100 - 40G (génération Ampére) - 6 Nvidia L4 - 24G (génération ADA) - 34 Nvidia L4OS - 48G (génération ADA) - 18 Nvidia H100 - 96G (génération Grace)
Réseau - 3 switch 25G - 1 switch 10G - 5 switch 1G - 1 FireWall Palo-Alto - 10G - 3 classe C d’adresses IPv4 (768 adresses IPv4 maximum)
Virtualisation - 320 serveurs virtuels maximum pour les projets donc 4 à GPU. - 140 serveurs virtuels maximum pour les services maintenus par l’unité.
Inventaire par services¶
ISIDORE/NAKALA¶
- 2 serveurs physiques principaux
- 1 serveur physique de secours
- 100To de ressources affectées sur le système de stockage ID105
- 16 serveurs virtuels
Service Huma-Num (gitlab, mattomo, mattermost, humanid)¶
- 2 serveurs physiques principaux
- 1 serveur physique de secours
- 80To de ressources affectées sur le système de stockage ID105
- 11 serveurs virtuels
Service de partage de fichiers (Sharedocs)¶
- 5 serveurs physiques
- 3 serveurs virtuels
- 1 système de stockage dédié d’une capacité de 600To
- 6 GPU Nvidia L4 pour le traitement (transcription)
Hébergement web (Cluster)¶
- 6 serveurs physiques
- 100To de ressources affectées sur le système de stockage ID105
- 2 serveurs virtuels de répartition de charge
- 6 serveurs virtuels d’exécution PHP
- 3 serveurs virtuels d’exécution JAVA
- 3 serveurs virtuels d’exécution MySQL
- 1 serveur virtuel d’exécution PostGresql
- 1 serveur virtuel d’exécution moteur d’indexation (Solr, …)
Hébergement de base de données¶
- 3 micro serveurs physiques
- 1 serveur physique
- 20 To de stockage interne
Hébergement de machine virtuelle (VM)¶
- 9 serveurs physiques
- 300To de ressource affectable maximal sur le système de stockage ID104 et ID105
- capacité maximal de 320 serveurs virtuelles
Plateforme de calcul¶
Serveur interactif¶
- 1 serveur physique
- 30 To de stockage interne
- 2 GPU A100 40G
Jupyter Notebook et ferme de calcul¶
- 12 serveurs physiques
- 30 GPU L40S (Notebook)
- 16 GPU H100 NVL (ferme)
- 200 To de stockage réseau
Service de conservation de fichiers (Huma-Num box)¶
- 11 serveurs physiques
- 16 tiroirs de disques
- 1.2 Po de stockage
HN-Lab¶
- 1 serveur physique
- 30 To de stockage interne
- 2 GPU H100 NVL
Tableau synthétique¶
Répartition des GPU par service¶
Nombre de GPU par type et par service
| type/affectation | A100 40G | L4 | L40S | H100 NVL |
|---|---|---|---|---|
| Serveur interactif | 2 | |||
| Human-num Lab | 2 | |||
| Sharedocs/transcription | 6 | |||
| Machine virtuelle | 4 | |||
| NoteBook Jupiter | 30 | |||
| Ferme de calcul | 16 | |||
| Total | 2 | 6 | 34 | 18 |
Répartition des ressources de stockage par service¶
Volume de stockage affecté sur chaque système en fonction du service.
| système de stockage/affectation | NAS ID103 | NAS ID104 | NAS ID105 | Cluster |
|---|---|---|---|---|
| Nakala | 100 To | |||
| Sharedocs | 600To | |||
| Service Huma-Num (gitlab, mattomo, mattermost, humanid) |
80 To | |||
| Hébergement web | 100 To | |||
| Hébergement machine VM | 120To | 180 To | ||
| HUMA-NUM BOX | 1.2Po/600To utile | |||
| total | 600To | 120To | 460To | 1.2Po/600To utile |
| Possibilité d’extension | 1200To | non | 1104To voir 2760To |