Enseignement supérieur / Recherche
StudyFetch divise par 10 les coûts d'inférence grâce à NVIDIA, élargissant ainsi l'accès à l'apprentissage de l'IA à des millions d’apprenants
Objectif
StudyFetch crée une infrastructure d’apprentissage alimentée par l’IA pour plus de 7 millions d’étudiants, d’enseignants et d’apprenants. Sa plateforme transforme les cours en direct, les notes et les supports de cours en accompagnement personnalisé par IA, en plans d'étude, en fiches de révision, en tests d'entraînement et en programmes de conception de cours élaborés à partir des cours réels suivis par chaque apprenant.
Alors que la demande atteignait plusieurs centaines de milliers de conférences par mois, les limites financières et de précision des solutions de transcription dans le Cloud disponibles sur le marché faisaient peser une menace sur l'engagement fondamental de l'entreprise, à savoir proposer une IA performante à un prix abordable pour ceux qui en ont le plus besoin. En migrant son pipeline de transcription vers NVIDIA Riva avec le modèle Parakeet ASR, en l’intégrant aux microservices NVIDIA NIM™, et en adoptant les modèles ouverts NVIDIA Nemotron™ distillés à tous les niveaux de sa pile technologique, StudyFetch a divisé par 10 le coût de sa charge de travail d’inférence la plus importante, ouvrant ainsi la voie à l’accompagnement vocal, à la personnalisation en temps réel et à une nouvelle plateforme d’apprentissage agentique conçue pour réduire les obstacles à l’accès à l’IA pour des millions d’étudiants et d’apprenants. Ce partenariat s'étend désormais à la planification d'infrastructures dédiées. StudyFetch étudie en effet la mise en place de trois systèmes NVIDIA B300 à 8 voies afin de faciliter la transition des charges de travail liées au tutorat conversationnel et à la génération de cours, passant de modèles fermés à des modèles ouverts. Cela permettra à l'équipe de disposer d'une capacité plus prévisible et de réduire les coûts d'inférence à mesure que l'utilisation augmente.
Client
StudyFetch
Partenaire
AWS · Google Cloud
Cas d'utilisation
IA générative / IA vocale basée sur des LLM,
Inférence,
IA appliquée aux ressources humaines,
Apprentissage
Principaux enseignements
Efficacité de l’inférence
- Réduction des coûts d'environ 10 fois pour la charge de travail d'inférence la plus importante, grâce au remplacement de la transcription gérée dans le Cloud par NVIDIA Riva + Parakeet dans des conteneurs NVIDIA NIM
Apprentissage personnalisé
- Des centaines de milliers de cours universitaires sont transcrits en temps réel chaque mois, et cette même couche d'orchestration permet désormais d'étendre l'apprentissage basé sur la technologie NVIDIA aux apprenants et à la main-d'œuvre de nouvelle génération
Apprentissage évolutif
- Plus de 100 millions d’interactions d’apprentissage personnalisées en temps réel grâce au moteur d’apprentissage de StudyFetch sur les GPU NVIDIA H100 et L40S, et lancement par Honen de programmes d’initiation à l’IA destinés à 250 000 élèves de la maternelle à la terminale
- StudyFetch évalue actuellement trois systèmes NVIDIA B300 à 8 voies afin d'étendre ses capacités en matière de tutorat basé sur des modèles ouverts et de génération de cours, tout en bénéficiant d'une capacité prévisible et de coûts d'inférence réduits
Rendre le tutorat personnel par IA accessible à des millions d'apprenants
StudyFetch est un espace de travail pédagogique basé sur l'IA, utilisé par plus de 7 millions d'apprenants, principalement dans l'enseignement supérieur et les formations de troisième cycle, qui se tournent vers cette plateforme pour bénéficier d'un accompagnement pédagogique par l'IA, d'exercices pratiques et de supports d'étude adaptés à leurs cours. La transcription des cours en direct constitue le fondement de l'expérience, c'est ainsi que la plateforme enregistre ce qui est enseigné à chaque apprenant et transforme ces informations en un tuteur IA personnalisé, des fiches de révision, des tests d'entraînement et des plans d'étude correspondant au programme scolaire réel.
C'est également à ce stade que l'entreprise s'est heurtée à ses plus grandes difficultés. En assurant la transcription en direct de centaines de milliers de cours universitaires chaque mois via le service géré d’un grand fournisseur de Cloud, StudyFetch s’est heurté à deux obstacles.
Le premier était le coût. La transcription en direct représentait déjà un poste de dépenses mensuel à six chiffres, et la rentabilité unitaire se détériorait avec chaque nouvel apprenant. Pour une entreprise dont la mission est de rendre l’éducation de qualité accessible à tous, chaque dollar de coût de modèle pèse sur des marges qui doivent rester suffisamment faibles pour que les apprenants puissent s’offrir le produit. L’inférence de modèles de pointe à l’échelle d’Internet n’est tout simplement pas rentable dans le cadre de l'économie traditionnelle du Cloud.
Le second était la précision dans les environnements dans lesquels les apprenants étudient réellement. Les véritables cours universitaires sont bruyants, regorgent de terminologie spécifique à des disciplines telles que la chimie organique, l'anatomie, les statistiques et la programmation, et sont souvent dispensés par des professeurs aux accents et aux rythmes d'énonciation très variés. La transcription prête à l'emploi n'était pas adaptée à cette réalité, et le manque de qualité s'est répercuté en aval sur toutes les interfaces produit qui dépendaient de la transcription, à savoir le tuteur IA, les fiches de révision et les guides d'étude.
L'ensemble du secteur des technologies éducatives est confronté à cette même tension. Les apprenants ont besoin d'une IA de plus en plus performante pour suivre le rythme effréné des changements auxquels le monde est soumis, mais la mise en œuvre à grande échelle de modèles de pointe n'est pas viable dans le cadre du modèle économique traditionnel de l'inférence dans le Cloud. StudyFetch avait besoin d'une pile d'inférence capable de fournir une IA performante et précise à un prix abordable pour ses apprenants, sans pour autant compromettre la précision ni la flexibilité de déploiement.
Tractian
Alimenter la transcription et la personnalisation en direct avec NVIDIA Riva et Nemotron
Grâce à l’équipe NVIDIA Inception, StudyFetch a migré ses charges de travail d'inférence les plus coûteuses vers la pile d'IA vocale et de modèles ouverts de NVIDIA. Plus ce partenariat technique s'est renforcé, plus son champ d'application s'est élargi, passant de l'optimisation des infrastructures à l'alignement de la plateforme StudyFetch, en pleine expansion, sur la mission plus large de NVIDIA visant à rendre l'IA évolutive et accessible au sein des établissements d'enseignement, des programmes de formation professionnelle et des communautés d'apprentissage. Au cœur de la nouvelle architecture :
- NVIDIA Riva, un service d'IA vocale accéléré par GPU et utilisant le modèle ASR Parakeet, génère en temps réel des transcriptions de haute précision des cours magistraux, même dans des salles de classe bruyantes et face à un vocabulaire très spécifique à un domaine, ce qui posait problème aux services prêts à l’emploi.
- Les microservices NVIDIA NIM, des conteneurs d'inférence prêts à l'emploi et optimisés pour les GPU, permettent de regrouper et de déployer le pipeline Riva à la fois sur AWS et sur Google Cloud, offrant ainsi à une petite équipe la possibilité d'exploiter une IA vocale en production sans avoir recours à une fonction MLOps dédiée.
- NVIDIA Nemotron, une famille de grands modèles de langage ouverts, est intégrée à la plateforme API de StudyFetch aux côtés de modèles de pointe. Grâce à la nature ouverte et personnalisable de Nemotron, StudyFetch exploite des pipelines de distillation fournis par NVIDIA NIM, qui permettent de compresser des modèles volumineux en modèles déployables plus légers et à faible latence, optimisés pour les tâches spécifiques de la plateforme.
- À mesure que StudyFetch abandonne progressivement les modèles fermés au profit des modèles ouverts pour ses tâches de tutorat conversationnel et de génération de cours, l'équipe évalue actuellement une infrastructure dédiée basée sur les systèmes NVIDIA B300 afin de garantir une capacité prévisible, de réduire les coûts d'inférence et de poursuivre l'évaluation de Nemotron à l'échelle de la production.
- Le moteur d’apprentissage de StudyFetch, autrement dit sa couche contextuelle éducative, fonctionne sur des GPU NVIDIA H100 et L40S. Il achemine les requêtes de chaque apprenant à travers plus de 100 millions d’interactions d’apprentissage et s’améliore en permanence à mesure que le nombre d’apprenants utilisant la plateforme augmente.
- Honen, la nouvelle plateforme d’apprentissage agentique de StudyFetch, s’appuie dès le départ sur les GPU NVIDIA et généralise le modèle d’apprentissage personnalisé pour inclure la culture de l’IA et la formation professionnelle. Les apprenants peuvent lancer des notebooks Jupyter alimentés par GPU dans le cadre des formations certifiées NVIDIA, ce qui leur permet d'acquérir une expérience pratique des workflows d'IA. Les contenus de formations NVIDIA et NVIDIA Deep Learning Institute sont en cours d'intégration, ce qui permet aux apprenants de se familiariser avec les outils NVIDIA, le calcul accéléré et les environnements pratiques de développement en IA.
Diviser les coûts d'inférence par 10 tout en permettant le tutorat vocal et la personnalisation en temps réel
La migration de la transcription de cours en direct vers NVIDIA Riva et Parakeet, exécutés sur des GPU NVIDIA L40S dans des conteneurs NVIDIA NIM, a permis de diviser par 10 le coût de la charge de travail d’inférence la plus importante de l’entreprise. La distillation Nemotron sur les GPU NVIDIA H100 devrait permettre d'obtenir des réductions tout aussi substantielles sur l'ensemble de la pile d'inférence. L’impact est visible dans le produit lui-même. Là où le service précédent présentait un retard notable, les apprenants peuvent désormais voir leurs cours transcrits en temps réel, au fur et à mesure que le professeur parle. Chaque mois, des centaines de milliers de cours sont traités dans notre système, avec une précision qui reste constante même sur des enregistrements audio réels réalisés en classe. Grâce à la solution NVIDIA NIM, une petite équipe peut gérer tout cela sans avoir à mettre en place une fonction MLOps distincte. Les économies réalisées ont permis de financer des fonctionnalités que StudyFetch ne pouvait auparavant pas justifier avec le même budget :
- Tutorat par IA multimodal basé sur la voix : les pipelines de synthèse vocale (TTS) NVIDIA Riva destinés au tuteur IA sont en cours de développement ; leur déploiement est prévu pour cet été, avant la rentrée scolaire, afin d'offrir un apprentissage guidé par la voix aux apprenants qui ont besoin de modalités accessibles et conversationnelles.
- Personnalisation en temps réel à grande échelle : le moteur d’apprentissage installé sur les GPU NVIDIA H100 et L40S optimise en continu plus de 100 millions d’interactions d’apprentissage pour l’ensemble de la base d’apprenants.
- Déployable dans n’importe quel environnement : la pile NVIDIA Riva + NVIDIA NIM + Nemotron fonctionne aussi bien dans le Cloud que dans des environnements à client unique et réglementés, ce qui permet à Honen de s'adresser à une clientèle issue des entreprises, du secteur public et de l'enseignement.
- Une meilleure maîtrise de l'IA et une portée élargie de l'écosystème : la réduction des coûts permet à StudyFetch de proposer de nouvelles fonctionnalités destinées aux apprenants, ce qui facilite l'accès à l'IA pour les étudiants, les professionnels en activité et les personnes en reconversion.
Ces économies se traduisent directement par des capacités accrues pour un plus grand nombre d'apprenants, et ont permis de démontrer l'intérêt d'une approche allant au-delà de la simple transcription.
« StudyFetch a pour vocation de faciliter l'accès à une éducation de qualité pour tous. C'est grâce à NVIDIA que cela est économiquement possible. Notre collaboration avec leur équipe sur Riva, Nemotron et le reste de la pile technologique nous a non seulement permis de réduire nos coûts, mais aussi d'offrir davantage de possibilités à un plus grand nombre d'étudiants, afin qu'ils puissent acquérir les compétences dont ils ont besoin un tarif abordable. »
Ryan Trattner
Cofondateur et directeur de la technologie, StudyFetch
Mise à l’échelle de l’éducation personnelle pour la main-d’œuvre et la prochaine génération
Grâce à la transcription, à la personnalisation et à Honen fonctionnant sur une base NVIDIA partagée, StudyFetch étend son partenariat sur plusieurs fronts :
- La technologie NVIDIA Riva TTS sera déployée cet été pour les pipelines vocaux du tuteur IA, en prévision de la prochaine année scolaire, tandis que la distillation Nemotron atteint presque son pic de déploiement sur l'ensemble de la pile d'inférence, grâce à l'accumulation par l'entreprise de données d'utilisation spécifiques aux cursus.
- StudyFetch évalue actuellement trois systèmes NVIDIA B300 à 8 voies afin d'accompagner sa transition d'un modèle fermé vers un modèle ouvert de tutorat conversationnel et de génération de cours. Les résultats des évaluations menées avec Nemotron serviront à orienter les futures décisions de déploiement.
- Honen s'associe à NVIDIA pour son lancement et permettra à 250 000 élèves de la maternelle à la terminale de bénéficier de programmes d'initiation à l'IA, dispensés en complément des contenus proposés par la formation NVIDIA et le NVIDIA Deep Learning Institute. Des déploiements à plus grande échelle sont prévus dans l'enseignement supérieur et dans le monde du travail.
- StudyFetch explore actuellement les déploiements Honen sur site et pour un client unique, destinés aux secteurs réglementés et aux clients du secteur public dans le domaine de l'éducation, en utilisant des modèles Nemotron distillés et adaptés à ces environnements.
- L'équipe évalue actuellement des modèles de vision accélérés par NVIDIA afin de former les étudiants infirmiers et les techniciens paramédicaux à l'imagerie médicale, élargissant ainsi le champ d'application de la plateforme à la formation clinique et paramédicale.
Le partenariat entre StudyFetch et NVIDIA montre comment la réussite d'une infrastructure d'IA en production peut servir de modèle pour élargir l'accès à cette technologie. En réduisant les coûts liés à l'inférence, en améliorant les expériences d'apprentissage en temps réel et en permettant aux apprenants d'accéder à des outils et contenus compatibles avec NVIDIA, StudyFetch contribue à démocratiser l'apprentissage de l'IA et la formation professionnelle dans les salles de classe, sur les campus, au sein des communautés et dans l'ensemble de la population active.