Calcul scientifique

Le service de calcul scientifique

l’IR* Huma-Num, en partenariat avec le Centre de calcul de l’IN2P3 (CC-IN2P3), met à disposition des laboratoires de recherche en SHS un accès à des ressources de calcul sous la forme de deux services distincts, dont le principe est de graduer les demandes par puissance.

  • Niveau 1 : la mise à disposition d’un serveur pour du calcul interactif mutualisé entre plusieurs utilisateurs
  • Niveau 2 : l’accès au calcul au sein du CC-IN2P3 par soumission de jobs pour des traitements nécessitants une puissance plus importante.

La puissance de calcul correspond, au nombre de processeur (central processing unit ou CPU) et du nombre de cœurs (cores), à la taille mémoire, à l’utilisation de carte accélératrice dédiée (GPU, FGPGA, …), au volume de données et au temps de traitement.

La graduation permet de distinguer deux niveaux : le niveau 1 pour un calcul nécessitant une puissance inférieure à la capacité d’une machine actuelle, le niveau 2 pour du calcul supérieur ou égal à la capacité d’un serveur. Ceci différencie les deux services et les ressources dédiées.

Dans les deux cas de figure, l’affectation personnelle de serveur ainsi que la réservation d’heures à un projet ne sont pas possibles. Pour ces types de besoins ainsi que pour des puissances importantes, Huma-Num rédigera l’utilisateur vers l’IDRIS qui dispose des infrastructures les plus complètes au niveau national sur ce type de traitements.

Enfin la puissance de calcul étant limitée, l’IR* Huma-Num ainsi que le CC-IN2P3 se réservent le droit de ne pas ouvrir le service ou de désactiver un compte si celui-ci dépasse les ressources réellement disponibles.

Usage des ressources

L’usage des ressources informatiques de l’IR* Huma-Num et du CC-IN2P3 sont soumises à l’acceptation des règles définies dans la charte informatique du CNRS et la charte déontologique RENATER disponibles ci-dessous :

Formule de remerciements

Pour toute publication scientifique qui a bénéficié des services de l’IR* Huma-Num et ou du CC-IN2P3 pour le traitement des données, nous suggérons d’insérer le texte de remerciements suivant :

(FR) Nous remercions le CNRS/TGIR HUMA-NUM et le Centre de Calcul IN2P3 (Lyon - France) pour la fourniture des ressources informatiques et de traitement des données nécessaires à ce travail. (EN) We gratefully acknowledge support from the CNRS/TGIR HUMA-NUM and IN2P3 Computing Center (Lyon - France) for providing computing and data-processing resources needed for this work.

Niveau 1 : serveur de calcul interactif mutualisé

Ce service est orienté pour les besoins spécifiques de traitement statistique sous R, nécessitant classiquement d’exécuter des modèles sur quelques heures.

L’accès se fait via trois modes :

Quelle que soit la méthode d’accès, l’authentification étant un compte local, l’espace de fichiers est identique pour l’utilisateur, il est donc permanent et sauvegardé une fois par jour.

Langage et environnement disponible

Il est compilé et/ou mise à jour environ tous les 3 mois les langages ci-dessous :

  • R version 3.6, 4.0, 4.1, 4.2 avec environ 700 packages dont les principales bibliothèques géographiques
  • Julia 1.8 sans packages ;
  • Python 3.8, 3.9 sans packages à part ceux de base.

L’utilisateur peut installer localement dans son compte d’autres packages (cas de R ou Julia), environnement (cas de python), ou kernel (cas de jupyter).

Demande de création d’un compte

L’accès au service nécessite de faire une demande d’accès via l’adresse du comité de la grille d’Huma-Num pour que la demande soit étudiée : cogrid@huma-num.fr en précisant :

  • Nom, Prénom :
  • Email : l’email doit impérativement être l’email institutionnel, condition nécessaire à l’ouverture du service, les emails grand publics (gmail, yahoo, orange etc.) ne sont pas elligibles.
  • Statut, laboratoire et établissement de rattachement :
  • Cadre d’utilisation (projet de recherche, thèse …) :
  • Titre du projet :
  • Type de programme (ANR, ERC,… ) :
  • Courte description :

Pour les étudiants en thèse :

  • Sujet :
  • Directeur de thèse :
  • Date estimée de soutenance :

Le service est uniquement réservé au seul membre des laboratoires de recherche du CNRS et des universités publiques pour des problématiques de calcul en sciences humaines et sociales. Les demandes pour des formations et/ou des cours ne sont pas possible (les universitsés disposant normalement de leur propre plateforme).

Détails techniques

Le service est opéré par un serveur non virtualisé ayant les caractéristiques suivantes :

  • OS : CentOS 8 (arch x86_64)
  • CPU: 2 * AMD EPYC 7542 32-Core Processor 2.9 MHz = 64 cores
  • RAM: 16 * 64 GB 3200 MHz DDR4 = 1024 GB
  • GPU: 2 * Nvidia A100 40G
  • Disque : 28To SSD interne

Les calculs sont limités à l’utilisation 19 cores et 96Go de Ram. Les GPU Nvidia A100 sont partitionnés via MIG, par conséquenc il n’est pas possible d’utiliser les bibliothèques graphique (Vulkan, DirectX, OpenGL). Ainsi, chaque compte ne peut accéder qu’à une fraction de la GPU.

Durée du service et utilisation du service

Quelques informations sont importantes à noter dans l’utilisation du service :

  • Le serveur n’a pas vocation à faire de la conservation de données. Il est donc demandé expressément aux utilisateurs de ne pas stocker les données une fois les calculs réalisés.
  • La service a été planifié pour des comptes à 90Go en moyenne.
  • Étant un serveur partagé entre plusieurs comptes, il est interdit de modifier le système d’exploitation, ou les packages du serveur.
  • Le service est prévu pour être maintenu jusqu’à fin 2024, la TGIR ne s’engage pas au dela de cette période pour un renouvellement sur plus de puissance ou un service similaire.

Niveau 2 : usage du calcul au sein du CC-IN2P3

Demande de création d’un compte

L’accès au service de calcul du CC-IN2P3 nécessite de faire une demande d’accès via l’adresse du comité de la grille d’Huma-Num pour que la demande soit étudiée : cogrid@huma-num.fr avec les mêmes informations pour le premier niveau.

Le nombre de comptes pouvant annuellement utiliser la ferme de calcul est limité, car planifié en nombre d’heures d’utilisation d’une année sur l’autre avec le CC-IN2P3. Huma-Num procède à une estimation d’un nombre d’heures de calcul pour les SHS, actuellement 1200 heures GPU par mois.

Huma-Num ne peut ainsi garantir, au regard des conditions évoquées ci-dessus, un accès systématique à ce service.

Caractéristiques techniques et documentation

L’ensemble des caractéristiques techniques de la ferme de calcul est disponible ici :

La documentation pour l’utilisation du cluster de calcul

La partie spécifique pour le cluster GPU

Utilisation des conteneurs

Utilisation de jupyter

Utilisation du service

L’utilisation du service nécessite la bonne prise en main de la documentation mise en exergue dans la section précédente (utilisation d’un séquenceur de jobs, estimation de la durée d’un script, etc.).

Une fois les traitements réalisés, les fichiers doivent être supprimés du système de stockage, qui n’a pas vocation à conserver des données.

Autre infrastructure permettant l’accès à une ferme de calcul

Pour des besoins plus importants il est possible de faire appel directement à l’IDRIS qui a reçu des financements nationaux pour la mise en oeuvre de 2 696 cartes GPU. Le détail de cette configuration est décrite ici : - http://www.idris.fr/jean-zay/cpu/jean-zay-cpu-hw.html.