Istruzione superiore / Ricerca
StudyFetch riduce i costi di inferenza di circa 10 volte con NVIDIA, ampliando l'accesso all'apprendimento basato sull'IA per milioni di studenti
Obiettivo
StudyFetch sta creando un'infrastruttura di apprendimento basata sull'IA per oltre 7 milioni di studenti, educatori e utenti di formazione continua. La sua piattaforma trasforma lezioni dal vivo, appunti e materiali didattici in tutoring IA personalizzato, piani di studio, flashcard, test pratici e programmi di studio per la creazione di corsi basati sul lavoro accademico effettivo di ogni studente.
Con la crescita della domanda fino a centinaia di migliaia di lezioni ogni mese, i limiti in termini di costi e accuratezza della trascrizione cloud pronta all'uso minacciavano la promessa fondamentale dell'azienda: offrire un'IA capace a prezzi accessibili per le persone che ne hanno più bisogno. Migrando la pipeline di trascrizione su NVIDIA Riva con il modello Parakeet ASR, pacchettizzandola in microservizi NVIDIA NIM™ e adottando modelli aperti NVIDIA Nemotron™ con distillazione su tutto lo stack, StudyFetch ha ridotto i costi del suo carico di lavoro di inferenza maggiore di circa 10 volte, rendendo possibili il tutoring vocale, la personalizzazione in tempo reale e una nuova piattaforma di apprendimento agentico progettata per ridurre le barriere all'IA per milioni di altri studenti e utenti di formazione continua. La partnership si sta espandendo alla pianificazione dell'infrastruttura dedicata, mentre StudyFetch sta valutando tre sistemi NVIDIA B300 a 8 vie per supportare il passaggio dei carichi di lavoro per il tutoring conversazionale e la generazione di corsi dai modelli chiusi ai modelli aperti, offrendo al team una capacità più prevedibile e costi di inferenza inferiori di pari passo con il crescente utilizzo.
Cliente
StudyFetch
partner
AWS · Google Cloud
Caso d'uso
IA generativa / LLM, IA vocale,
Inferenza,
IA per la forza di lavoro,
Apprendimento
Punti chiave
Inferenza efficiente
- Riduzione dei costi di ~10 volte sul maggiore carico di lavoro di inferenza sostituendo la trascrizione cloud gestita con NVIDIA Riva + Parakeet nei container NVIDIA NIM
Apprendimento personalizzato
- Centinaia di migliaia di lezioni universitarie trascritte in tempo reale ogni mese, con lo stesso livello di orchestrazione che ora scala l'apprendimento ottimizzato con NVIDIA per gli utenti di formazione continua e la forza lavoro di nuova generazione
Apprendimento scalabile
- Oltre 100 milioni di interazioni di apprendimento personalizzate in tempo reale attraverso il Learn Engine di StudyFetch su GPU NVIDIA H100 e L40S, con programmi di alfabetizzazione IA di Honen rivolti a 250.000 studenti delle scuole primarie e secondarie
- StudyFetch sta attualmente valutando tre sistemi NVIDIA B300 a otto vie per espandere i carichi di lavoro di tutoring a modello aperto e di generazione di corsi con una capacità prevedibile e costi di inferenza inferiori
Garantire un tutoring IA personale a prezzi accessibili per milioni di studenti
StudyFetch è uno spazio di lavoro di apprendimento nativo IA utilizzato da oltre 7 milioni di studenti, principalmente nei programmi di istruzione superiore e post-laurea, che utilizzano la piattaforma per il tutoring IA, fare pratica e usare materiali di studio basati sui loro corsi attuali. La trascrizione delle lezioni dal vivo è alla base dell'esperienza: è il modo in cui la piattaforma cattura ciò che viene insegnato a ogni studente e trasforma tale input in un tutor IA personale, flashcard, test pratici e piani di studio in linea con un programma reale.
Questa base è anche dove l'azienda ha riscontrato i suoi limiti maggiori. Eseguendo la trascrizione in tempo reale di centinaia di migliaia di lezioni universitarie ogni mese tramite il servizio gestito di un importante fornitore di cloud, StudyFetch si è scontrata contemporaneamente con due ostacoli.
Il primo era il costo. La trascrizione dal vivo rappresentava già una voce di spesa a sei cifre ogni mese e il risultato economico peggiorava a ogni nuovo studente. Per un'azienda la cui missione è quella di rendere l'istruzione di qualità accessibile a tutti, ogni dollaro speso per il modello si traduce in margini che devono rimanere sufficientemente bassi per consentire agli studenti di acquistare il prodotto. L'inferenza del modello di frontiera su scala Internet non è semplicemente sostenibile con i modelli economici del cloud tradizionale.
Il secondo ostacolo era l'accuratezza negli ambienti in cui gli studenti di fatto apprendevano. Le vere lezioni universitarie sono disturbate, piene di terminologia specialistica in materie come chimica organica, anatomia, statistica e programmazione, e spesso tenute da professori con un'ampia varietà di accenti e ritmi. La trascrizione standard non era ottimizzata per questa realtà e il divario di qualità era evidente a valle in ogni superficie del prodotto che dipendeva dalla trascrizione: il tutor IA, le flashcard e le guide allo studio.
L'intera categoria dell'edtech è alle prese con lo stesso problema. Gli studenti hanno bisogno di un'IA sempre più capace per stare al passo con il ritmo a cui il mondo sta cambiando, ma fornire modelli di frontiera su vasta scala non è fattibile con i modelli economici dell'inferenza cloud tradizionale. StudyFetch aveva bisogno di uno stack di inferenza in grado di offrire ai suoi studenti un'IA capace e accurata a un prezzo accessibile, senza compromettere l'accuratezza o la flessibilità di distribuzione.
Tractian
Potenziare la trascrizione e la personalizzazione live con NVIDIA Riva e Nemotron
Grazie al team NVIDIA Inception, StudyFetch ha mappato i suoi carichi di lavoro di inferenza più costosi sullo stack di IA vocale e di modelli aperti di NVIDIA. Man mano che la partnership tecnica si faceva più profonda, il suo ambito di applicazione si è ampliato, dall'ottimizzazione dell'infrastruttura all'allineamento della crescente piattaforma di StudyFetch fino alla più ampia missione di NVIDIA di offrire un'IA scalabile e accessibile a istituzioni, programmi per la forza lavoro e community di studenti. Al centro della nuova architettura:
- NVIDIA Riva, un servizio di IA vocale accelerato da GPU che esegue il modello Parakeet ASR, produce trascrizioni live altamente accurate delle lezioni in tempo reale, includendo le aule rumorose e il vocabolario specialistico che avevano messo in difficoltà i servizi pronti all'uso.
- I microservizi NVIDIA NIM, ovvero container di inferenza pre-costruiti e ottimizzati per GPU, impacchettano e distribuiscono la pipeline Riva sia su AWS che su Google Cloud, consentendo a un piccolo team di eseguire l'IA vocale in produzione senza una funzione MLOps dedicata.
- NVIDIA Nemotron, una famiglia di modelli linguistici aperti di grandi dimensioni, è stata integrata nella piattaforma API di StudyFetch insieme ai principali modelli di frontiera. Poiché Nemotron è aperto e ottimizzabile, StudyFetch esegue pipeline di distillazione fornite tramite NVIDIA NIM, comprimendo modelli più grandi in unità distribuibili più piccole e a bassa latenza ottimizzate per le attività specifiche della piattaforma.
- Dal momento che StudyFetch sta passando sempre di più dai modelli chiusi ai modelli aperti per il tutoring conversazionale e i carichi di lavoro di generazione di corsi, il team sta valutando l'infrastruttura NVIDIA B300 dedicata per supportare una capacità prevedibile, ridurre i costi di inferenza e proseguire la valutazione di Nemotron a livello di produzione.
- Il Learn Engine di StudyFetch, ovvero il suo Educational Context Layer, viene eseguito su GPU NVIDIA H100 e L40S, instradando le richieste di ogni studente attraverso più di 100 milioni di interazioni di apprendimento e migliorando continuamente man mano che più studenti utilizzano la piattaforma.
- Honen, la nuova piattaforma di apprendimento agentico di StudyFetch, è basata su GPU NVIDIA fin dal primo giorno ed estende il modello di apprendimento personalizzato all'alfabetizzazione IA e alla formazione della forza lavoro. Gli studenti possono effettuare il lancio di notebook Jupyter basati su GPU nei corsi ottimizzati con NVIDIA, ottenendo un'esperienza pratica con i flussi di lavoro IA. I contenuti di NVIDIA Training e del NVIDIA Deep Learning Institute vengono integrati, aiutando gli studenti a familiarizzare con gli strumenti NVIDIA, il calcolo accelerato e gli ambienti di sviluppo IA pratici.
Ridurre i costi di inferenza di circa 10 volte offrendo al contempo il tutoring vocale e la personalizzazione in tempo reale
La migrazione della trascrizione delle lezioni dal vivo su NVIDIA Riva e Parakeet in esecuzione su GPU NVIDIA L40S nei container NVIDIA NIM ha permesso di ridurre di circa 10 volte i costi del maggiore carico di lavoro di inferenza dell'azienda. La distillazione Nemotron su NVIDIA H100s è prevista offrire riduzioni sostanziali simili per il resto dello stack di inferenza. L'impatto è visibile all'interno del prodotto stesso. Mentre il servizio precedente presentava ritardi notevoli, gli studenti ora possono guardare la trascrizione delle lezioni in tempo reale mentre il professore parla. Centinaia di migliaia di lezioni passano attraverso la pipeline ogni mese con un'accuratezza che regge il confronto con l'audio delle classi reali. Il packaging NVIDIA NIM consente a un piccolo team di eseguire tutto questo senza dover ricorrere a una funzione MLOps separata. I risparmi sui costi hanno finanziato funzionalità che StudyFetch non poteva precedentemente giustificare con lo stesso budget:
- Tutoring IA multimodale e basato su voce: le pipeline text-to-speech (TTS) di NVIDIA Riva per il tutor IA sono in fase di sviluppo e il loro lancio è previsto per l'estate prima del prossimo anno scolastico, aprendo la strada all'apprendimento basato su voce per gli studenti che hanno bisogno di modalità accessibili e conversazionali.
- Personalizzazione in tempo reale su vasta scala: il Learn Engine su GPU NVIDIA H100 e L40S ottimizza continuamente oltre 100 milioni di interazioni di apprendimento su tutta la base di studenti.
- Distribuibile in qualsiasi ambiente: lo stack NVIDIA Riva + NVIDIA NIM + Nemotron funziona ugualmente bene in ambienti cloud, a tenant singolo e regolamentati, aprendo Honen ai clienti dei settori aziendale, governativo e dell'istruzione.
- Alfabetizzazione IA e portata dell'ecosistema più ampie: le riduzioni dei costi consentono a StudyFetch di offrire nuove funzionalità rivolte agli studenti, riducendo le barriere all'IA per studenti, professionisti e gruppi in fase di riqualificazione.
I risparmi sui costi si traducono direttamente in maggiori funzionalità a disposizione di un numero maggiore di studenti, dimostrando la validità di un approccio che va oltre la semplice trascrizione.
"StudyFetch esiste per rendere l'istruzione di qualità accessibile a chiunque. NVIDIA è ciò che lo rende economicamente possibile. La collaborazione con il team su Riva, Nemotron e il resto dello stack non ci ha solo portato a ridurre i costi, ma ci ha permesso anche di mettere ancora più capacità a disposizione di un numero maggiore di studenti, in modo da consentire alle persone di imparare ciò di cui hanno bisogno a un prezzo che possono effettivamente permettersi.”
Ryan Trattner
Cofondatore e CTO, StudyFetch
Estendere l'istruzione personalizzata alla forza lavoro e alla prossima generazione
Con la trascrizione, la personalizzazione e Honen in esecuzione su una base NVIDIA condivisa, StudyFetch sta espandendo la partnership su diversi fronti:
- NVIDIA Riva TTS verrà distribuito per le pipeline vocali del tutor AI questa estate, prima del prossimo anno scolastico. La distillazione di Nemotron si sta per raggiungere l'implementazione massima nel più ampio stack di inferenza, man mano che l'azienda accumula più dati sugli usi specifici per programma.
- StudyFetch sta valutando tre sistemi NVIDIA B300 a 8 vie per supportare il passaggio dalle dipendenze da modelli chiusi al tutoring conversazionale e alla generazione di corsi basati su modelli aperti. Le valutazioni di Nemotron potrebbero essere alla base delle future decisioni di distribuzione.
- Honen sta lanciando con NVIDIA per raggiungere 250.000 studenti dalle scuole primarie e secondarie mediante programmi di alfabetizzazione IA forniti insieme ai contenuti di NVIDIA Training e del NVIDIA Deep Learning Institute, con una distribuzione più ampia nel settore dell'istruzione superiore e della forza lavoro pianificata.
- StudyFetch sta esplorando le distribuzioni Honen on-premise e a tenant singolo per i settori regolamentati e i clienti dell'istruzione pubblica, utilizzando modelli Nemotron distillati e ottimizzati per questi ambienti.
- Il team sta valutando modelli di visione accelerati da NVIDIA per addestrare studenti di infermieristica e tecnici delle professioni sanitarie sull'imaging medico, estendendo la portata della piattaforma alla formazione clinica e alle professioni sanitarie.
La partnership tra StudyFetch e NVIDIA mostra come un'infrastruttura IA in produzione di successo possa diventare un modello per un accesso più ampio. Riducendo i costi di inferenza, migliorando le esperienze di apprendimento in tempo reale e collegando gli studenti a strumenti e contenuti in linea con NVIDIA, StudyFetch contribuisce a rendere l'alfabetizzazione IA e la formazione della forza lavoro scalabili per classi, campus, comunità e per la forza lavoro in generale.