Diagnostica per immagini basata su IA

L'avvento dei framework di deep learning ha migliorato notevolmente lo sviluppo e l'implementazione dell'IA nel settore della diagnostica per immagini. Tuttavia, mancando flussi di lavoro di sviluppo semplici ed efficienti per addestrare e creare modelli di deep learning all'avanguardia, la scalabilità dell'IA si limita alla produzione clinica.

MONAI, un framework di IA medica open-source, consente a sviluppatori e ricercatori di creare e addestrare algoritmi e modelli multimodali. Fornisce strumenti avanzati per addestrare e distribuire modelli IA nella produzione clinica, favorendo una rapida innovazione e riducendo il tempo di immissione sul mercato. MONAI supporta la creazione di ground truth, lo sviluppo di modelli e la gestione negli ambienti di produzione. La sua selezionata libreria, Model Zoo, offre modelli di IA generativa che generano dati sintetici di alta qualità per addestrare modelli di deep learning, consentendo un rapido avvio allo sviluppo dell'IA.

Grazie al toolkit open-source MONAI di modelli foundation, flussi di lavoro di riferimento ed elementi costitutivi interoperabili, ricercatori e sviluppatori possono:

• Accelerare lo sviluppo con modelli pre-addestrati, interfacce standardizzate e componenti specializzati che consentono l'integrazione di modelli personalizzati.
• Sviluppare e implementare modelli IA in modo rapido ed efficiente, ottenendo precisione e risultati superiori.
• Accedere ai modelli pre-addestrati tramite Model Zoo per accelerare l'addestramento e la distribuzione, riducendo notevolmente il tempo necessario per portare le soluzioni IA sul mercato.
• Creare efficienti soluzioni IA ottimizzate per l'uso clinico.

Visualizzazioni 2D e 3D di una scansione CT addominale simulata.

I rapidi progressi nell'IA hanno trasformato la diagnostica per immagini, consentendo analisi in tempo reale, interpretazione avanzata, segmentazione precisa e inferenza ad alte prestazioni. Queste funzionalità sono fondamentali per migliorare la precisione diagnostica, accelerare i flussi di lavoro clinici e, in definitiva, migliorare la cura dei pazienti.

Le soluzioni di analisi e inferenza delle immagini IA di NVIDIA consentono a sviluppatori e ricercatori di eseguire analisi in tempo reale, interpretazione avanzata e segmentazione e quantificazione precise delle immagini. Queste soluzioni sfruttano gli strumenti e le piattaforme avanzati di NVIDIA, tra cui GPU e SDK, per fornire funzionalità di inferenza ad alte prestazioni che accelerano i flussi di lavoro della diagnostica per immagini. Per colmare il divario tra sviluppo dell'IA e produzione, NVIDIA offre modelli pre-ottimizzati e API standard di settore per creare potenti applicazioni di IA medica.

Con le soluzioni di analisi e inferenza delle immagini IA di NVIDIA, ricercatori e sviluppatori possono:

• Analizzare immagini da diverse modalità di acquisizione, tra cui video a ultrasuoni, tomografia computerizzata e risonanza magnetica, identificando potenziali biomarcatori di rischio.
• Eseguire analisi in tempo reale per elaborare le immagini in modo rapido e preciso, migliorando la velocità e la precisione diagnostica.
• Migliorare l'interpretazione e la segmentazione delle immagini utilizzando modelli IA avanzati per informazioni più approfondite e misurazioni precise, supportando decisioni cliniche migliori.
• Sfruttare l'inferenza ad alte prestazioni per ottimizzare i modelli IA e ottenere un'elaborazione più veloce ed efficiente, riducendo il tempo di immissione sul mercato per le applicazioni di diagnostica per immagini basate sull'IA.

Segmentazione di 104 strutture anatomiche in scansione CT total body. (Link)

Gli agenti medici combinano le tecnologie di IA conversazionale con l'analisi dei dati medici, trovando casi d'uso in quasi tutti gli aspetti del settore sanitario, dalla generazione di report radiologici, al controllo interattivo dei sistemi robotici chirurgici, alla formazione degli studenti di medicina.

NVIDIA MONAI ha una comprovata esperienza nell'IA per l'analisi di immagini diagnostiche, ad esempio con la classificazione delle immagini a raggi X dei polmoni per il COVID, la segmentazione dell'aorta addominale nelle immagini CT, l'etichettatura cellulare nelle immagini patologiche e il tracciamento degli strumenti nei video laparoscopici assistiti da robot.

Con VILA-M3, il framework per agenti radiologici multimodali di NVIDIA, modelli di analisi delle immagini diagnostiche addestrati contribuiscono con annotazioni o classificazioni al contesto conversazionale di modelli di grandi dimensioni visivi e linguistici come Llama3. VILA-M3 è disponibile come parte della piattaforma open-source MONAI ed è stato utilizzato per migliorare il Modello Linguistico di Grandi Dimensioni (LLM) VILA come modello fondamentale pre-addestrato per l'interpretazione delle immagini di risonanza magnetica dei tumori cerebrali. VILA-M3 stabilisce nuovi standard per la precisione e la facilità di fine-tuning tra i co-piloti medici.

Combinando VILA-M3 con le piattaforme di calcolo accelerato per edge e cloud di NVIDIA, come Holoscan e NVAIE, i ricercatori e gli sviluppatori di applicazioni possono:

• Valutare la precisione integrando gli esperti IA in immagini diagnostiche come risorse per aggiungere contesto nelle conversazioni VLM.
• Perfezionare o estendere le funzionalità di VILA-M3 affinando il modello fondamentale VILA o aggiungendo nuovi modelli IA per immagini diagnostiche addestrati da MONAI come esperti aggiuntivi che coprono altre modalità o malattie.
• Esplorare paradigmi alternativi LLM+expert per il miglioramento continuo dei VLM come copiloti per la diagnostica per immagini.

Assistente IA multimodale MONAI per l'analisi dei flussi di lavoro radiologici.