11/12/2025 –, Amphithéatre Gaston Berger
REX sur la création d’un LLMaaS (Large Language Model as a Service) souverain en environnement SecNumCloud. Scalabilité GPU, comptage de tokens, mesure de performance, intégration sécurisée… avec un twist : l’IA a participé à sa propre conception et supervision.
Peut-on créer un service d’IA générative souverain… avec l’aide de l’IA elle-même ?
C’est le défi que nous avons relevé en industrialisant un LLMaaS souverain, hébergé sur une IaaS SecNumCloud, destiné à des clients sensibles (secteurs régaliens, santé, etc.).
Ce retour d’expérience présente les défis rencontrés pour mettre en production un produit LLM fiable, scalable, mesurable, sécurisé — et partiellement construit grâce à l’IA.
Les défis concrets que nous avons relevés :
• Support de GPU hétérogènes (A100, L40S, H200, Apple M4…) avec scheduling dynamique selon les workloads
• Facturation au token, avec un système distribué de comptage intégré aux loadbalancers
• Mesures de performance détaillées (latence, tokens/s, efficacité par modèle)
• Répartition intelligente de la charge, avec 4 routeurs actifs + supervision complète
• Intégration dans un environnement SecNumCloud, avec IAM, audit, isolation stricte, et stockage souverain
La particularité du projet ? L’IA a contribué à sa propre création !
Nous avons utilisé des LLMs pour :
• Générer des morceaux d’infra-as-code (manifeste Kubernetes, proxies adaptatifs)
• Produire des dashboards et des scripts de supervision
• Aider à diagnostiquer les erreurs en production
• Automatiser certaines décisions de routage ou d’allocation de ressources
Ce projet nous a forcés à croiser IA, sécurité, observabilité, gouvernance, et culture DevSecOps dans un contexte de production réel.
Nous partagerons les succès, les limites, les outils, et surtout les leçons transférables à d’autres projets IA en entreprise.
Français
Thèmes de votre proposition:Automatisation, Infrastructure, Cloud, DevSecOps, Sécurité : Gouvernance, conformité, Open Source
Alexandru LATA façonne l’innovation technologique de Cloud Temple avec une conviction forte : l’IA, le cloud et la cybersécurité ne créent de valeur que s’ils servent des objectifs métiers clairs, dans un cadre de confiance. En tant que Chief Technology & Innovation Officer, il transforme ces technologies en produits concrets, performants et durables, au service des enjeux stratégiques des clients.
Sa mission : défendre une innovation ouverte, pragmatique et résolument open source, pour construire des solutions utiles, pérennes, et alignées sur les valeurs de souveraineté numérique.