Infrastructure multi-cibles pour l’usage de l’IA en sciences humaines et sociales

Présentation

Afin d’apporter une contribution aux programmes de recherche souhaitant s’investir dans le domaine de l’intelligence artificielle (IA) et en collaboration avec le centre de calcul de l’IN2P3, l’infrastructure Huma-Num IR* a investi en 2024 dans l’acquisition d’accélérateurs GPU (processeurs graphiques ou Graphics Processing Unit), intégrés à l’infrastructure de ses serveurs propres. Cette initiative vise à fournir une infrastructure multi-cibles répondant aux besoins variés des chercheurs en sciences humaines et sociales (SHS) souhaitant explorer, utiliser ou développer des services basés sur l’IA (dont l’IA générative).

L’acquisition de ces infrastructures a été rendue possible grâce au soutien financier de deux dispositifs nationaux ci-dessous.

  • le programme EquipEX+ COMMONS , financé par l’Agence Nationale de la Recherche (ANR)
  • le Plan Sciences Humaines et Sociales (SHS) 2023, financé par le ministère de la recherche, de l’enseignement supérieur et de l’innovation

Ces financements témoignent de l’importance accordée au développement d’infrastructures dédiées à la recherche en sciences humaines et sociales, et à l’intégration de ces technologies numériques dans ce domaine.

L’objectif principal de cet investissement est de garantir une autonomie et une sécurisation des données et des calculs. L’infrastructure, locale, associée à des systèmes de stockage internes, permet de maîtriser l’environnement de calcul et d’éviter la dépendance vis-à-vis de fournisseurs externes, notamment les solutions de type cloud. Conformément aux principes de protection des données, aucune transmission ou copie de données vers l’extérieur du site du Centre de Calcul de l’IN2P3 (21 avenue Pierre de Coubertin, 69100 Villeurbanne, France) n’est effectuée sans l’action explicite de l’utilisateur.

L’infrastructure ainsi déployée répond à un spectre d’usages incluant l’inférence, le traitement en temps réel, les microtâches, la formation à l’appropriation des outils d’IA, la prompt engineering, ainsi que l’optimisation de modèles. Pour les projets nécessitant une puissance de calcul supérieure, notamment pour la production de nouveaux modèles ou des apprentissages intensifs, il est recommandé de recourir à l’infrastructure plus vaste de l’IDRIS, disposant de plus d’un millier de GPU et ayant une orientation de super-computing.

Les ressources en accélération GPU sont distribuées en cinq classes d’usages distinctes :

  • Services prêts à l’emploi : offrant des fonctionnalités immédiates telles que la transcription ou l’accès à des serveurs de “Large Language Models” (ou LLM).
  • Serveurs interactifs mutualisés : permettant une exploration et un prototypage collaboratifs.
  • Ferme de calcul : dédiée à l’exécution de tâches computationnelles intensives.
  • Plateforme de Jupyter Notebooks : facilitant le développement et l’expérimentation de code.
  • Hébergement de progitiels et d’applications web maintenues dans le temps permettant le déploiement et la diffusion de services basés sur l’IA (dans la limite des affections de GPU possible) et couvrant des usages pouvant être mutualisés
  • En coopération avec les programmes de recherche du HN Lab, deux GPU sont réservées pour des besoins de recherche et développement des futurs services d’Huma-Num IR*.

Les ressources en GPU sont représentées dans le tableau ci-après.

Catégorie Nombre et type de GPU Note sur la ressource
Service prêt à l’emploi 6 NVIDIA L4 Capacité de transcrire 12 000 heures d’audio par mois
Serveur interactif mutualisé 2 NVIDIA A100 Serveur mutualisé entre utilisateurs
Ferme de calcul 16 NVIDIA H100 96G 105 120 heures de calcul par an
Plateforme de Jupyter Notebooks 30 NVIDIA L40S Limité à 30 utilisateurs simultanés
Hébergement d’application web 4 NVIDIA L40S Affectation d’une seule GPU par serveur virtuel

L’accès aux ressources informatiques est strictement limité aux personnels des établissements d’enseignement supérieur publics français relevant de la tutelle du ministère de l’Enseignement supérieur et de la Recherche, aux Établissements Publics Scientifiques et Technologiques (EPST), ainsi qu’aux doctorants. Les modalités d’accès spécifiques à chaque catégorie d’utilisateurs sont détaillées dans le tableau ci-dessous.

Catégorie Accessible
Service prêt à l’emploi (transcription) Accessible via un compte ShareDocs
Serveur interactif mutualisé Voir les modalités sur cette page
Ferme de calcul Voir les modalités sur cette page
Plateforme de Jupyter Notebooks Voir les modalités sur cette page
Hébergement d’application web Formuler une demande par mail à cogrid@huma-num.fr

Notes

  1. L’utilisation d’une adresse électronique académique est requise pour toute demande d’accès.
  2. En anticipation du déploiement prochain de supercalculateurs intégrant une architecture combinant unité de traitement graphique (GPU) et unité centrale de traitement (CPU) et unification de la mémoire, des serveurs basés sur des processeurs Ampère (sur architecture de type ARM) sont mis à disposition afin de permettre la validation du fonctionnement des applications. L’Infrastructure Huma-Num IR* manifeste un intérêt particulier pour les retours d’expérience concernant ce type de serveur, notamment en raison de son avantage en termes de réduction de la consommation énergétique.
  3. En fonction de l’évolution des besoins et de la disponibilité des ressources financières, une augmentation des capacités est envisagée pour la phase 2, prévue fin 2025. Compte tenu des limitations des ressources disponibles, l’Infrastructure Huma-Num IR* se réserve le droit de refuser la création de comptes ou l’hébergement de projets.
  4. Des sessions de formation ponctuelles sont prévues pour la rentrée 2025, proposées soit par l’Infrastructures Huma-Num IR* et ses consortiums, soit en présentiel par le CC-IN2P3 à Villeurbanne.

Informations complémentaires

Documentation

Caractéristiques des GPU mises en œuvre

Type A100 L4 L40S H100 GH200
Cconstructeur NVIDIA NVIDIA NVIDIA NVIDIA NVIDIA
Année de lancement Juin 2020 Mars 2023 Q4 2023 Mars 2023 Q3 2023
Architecture Ampere Ada Lovelace Ada Lovelace Grace Hopper Grace Hopper Superchip
Facteur de forme Carte PCI Carte PCI Carte PCI Carte PCI SoC1.
Consommation (watt) 250W 72W 350W 400W 1000W2.
Mémoire 40 GB 24 GB 48 GB 96 GB 144 GB
NVLink - - - oui oui
Nb. de core CPU (Arm) - - - - 72
Nb. flux de traitement 108 60 142 132 132
Nb. tensor core 432 240 568 528 528
Nb. unité ray tracing - 60 142 - -
Performance en FP16 77.97 TFLOPS 30.29 TFLOPS 91.61 TFLOPS 248.3 TFLOPS
Performance en FP32. 19.49 TFLOPS 30.29 TFLOPS 91.61 TFLOPS 62.08 TFLOPS 67 TFLOPS
Performance en FP64 9.746 TFLOPS 473.3 GFLOPS 1,431 GFLOPS 31.04 TFLOPS 34 TFLOPS
Fiche sur TechPowerUp lien lien lien lien
Datasheet constructeur lien lien lien lien / lien lien / lien

  1. SoC : system on chips / système sur puce. ↩

  2. La consommation électrique ne peut pas être directement comparée entre une carte PCI et un SoC, car ce dernier intègre aussi la consommation de la CPU, de la mémoire et du bus de communication. ↩