Imagerie médicale optimisée par l'IA

L'arrivée des frameworks de Deep Learning a considérablement amélioré le développement et le déploiement de l'IA dans le domaine de l'imagerie médicale. Cependant, le manque de workflows de développement simples destinés à l'entraînement et à la création de modèles de Deep Learning de pointe limite l'évolutivité de l'IA à la production clinique.

MONAI, un framework d'IA médicale open source, permet aux développeurs et aux chercheurs de créer et d'entraîner des algorithmes et des modèles multimodaux. Il fournit des outils avancés permettant d'entraîner et de déployer des modèles d'IA en production clinique, ce qui accélère l'innovation et la mise sur le marché. MONAI prend en charge l'établissement d'une vérité terrain, le développement de modèles et la gestion dans les environnements de production. Sa bibliothèque organisée, Model Zoo, propose des modèles d'IA générative qui génèrent des données synthétiques de haute qualité pour entraîner des modèles de Deep Learning, permettant de démarrer rapidement le développement de l'IA.

Grâce à la boîte à outils open source de modèles de fondation MONAI, de workflows de référence et de blocs de construction interopérables, les chercheurs et les développeurs peuvent :

• Accélérer le développement avec des modèles pré-entraînés, des interfaces standardisées et des composants spécialisés qui permettent d'intégrer des modèles personnalisés.
• Développer et déployer des modèles d'IA rapidement et efficacement pour obtenir une plus grande précision et de meilleurs résultats.
• Accéder à des modèles pré-entraînés grâce à Model Zoo pour accélérer l'entraînement et le déploiement, ce qui réduit considérablement les délais de mise sur le marché des solutions d'IA.
• Développer des solutions d'IA robustes optimisées pour une utilisation clinique.

Visualisations 2D et 3D d'un tomodensitogramme abdominal simulé.

Les avancées rapides de l'IA ont transformé l'imagerie médicale, permettant d'effectuer des analyses en temps réel, d'améliorer l'interprétation, d'accroître la précision de la segmentation et d'obtenir rapidement des inférences. Ces capacités sont essentielles pour améliorer la précision des diagnostics, accélérer les workflows cliniques et, au final, améliorer les soins aux patients.

Les solutions d'analyse et d'inférence d'imagerie de NVIDIA permettent aux développeurs et aux chercheurs d'analyser les images en temps réel, d'améliorer l'interprétation des images, et de segmenter et de quantifier les images avec précision. Ces solutions exploitent les outils et les plateformes avancés de NVIDIA, notamment les GPU et les SDK, pour fournir des capacités d'inférence hautes performances qui accélèrent les workflows d'imagerie médicale. Pour combler le fossé entre le développement de l'IA et la production, NVIDIA propose des modèles pré-optimisés et des API standard permettant de développer de puissantes applications d'IA médicale.

Grâce aux solutions d'analyse et d'inférence d'imagerie pilotées par l'IA de NVIDIA, les chercheurs et les développeurs peuvent :

• Analyser des images issues de différentes modalités d'imagerie, notamment des vidéos d'ultrasons, des tomodensitogrammes et des IRM, pour identifier les biomarqueurs de maladies potentielles.
• Analyser les images en temps réel pour traiter rapidement et avec précision les images médicales et améliorer la vitesse et la précision du diagnostic.
• Améliorer l'interprétation et la segmentation des images à l'aide de modèles d'IA avancés pour obtenir des éclairages plus approfondis et réaliser des mesures précises, et prendre ainsi de meilleures décisions cliniques.
• Tirer parti de l'inférence hautes performances pour optimiser les modèles d'IA afin d'accélérer et d'accroître l'efficacité du traitement, réduisant ainsi le délai de mise sur le marché des applications d'imagerie médicale pilotées par l'IA.

Segmentation de 104 structures anatomiques dans une tomodensitométrie du corps entier. (Lien)

Les agents médicaux combinent les technologies d'IA conversationnelle à l'analyse de données médicales et trouvent des applications dans presque tous les aspects des soins de santé, de la génération de rapports radiologiques au contrôle interactif des systèmes robotiques chirurgicaux, en passant par la formation des étudiants en médecine.

NVIDIA MONAI a une expérience éprouvée dans le domaine de l'analyse d'images médicales optimisée par l'IA, de la classification d'images radiologiques du poumon pour le COVID à des réussites dans la segmentation de l'aorte abdominale sur les images de tomodensitométrie, l'étiquetage cellulaire sur les images de pathologie et le suivi des instruments dans les vidéos de laparoscopie assistée par robot.

Grâce à VILA-M3, le framework d'agents de radiologie multimodaux de NVIDIA, les modèles d'analyse d'images médicales entraînés contribuent à annoter ou à classifier le contexte conversationnel de grands modèles de vision et de langage, tels que Llama3. VILA-M3 est disponible dans le cadre de la plateforme open source MONAI et a été utilisé pour améliorer le LLM VILA en tant que modèle fondamental pré-entraîné pour l'interprétation des images d'IRM de tumeurs cérébrales. VILA-M3 établit de nouvelles normes en matière de précision et de facilité d'ajustement auprès des copilotes médicaux.

En combinant VILA-M3 avec les plateformes de calcul accéléré Edge et Cloud de NVIDIA telles que Holoscan et NVAIE, les chercheurs et les développeurs d'applications peuvent :

• Évaluer l'amélioration de la précision en intégrant des experts en IA d'imagerie médicale sous forme de ressources pour fournir un contexte supplémentaire dans les conversations VLM.
• Affiner ou étendre les capacités de VILA-M3 en affinant le VILA fondamental ou en ajoutant de nouveaux modèles d'IA d'imagerie médicale entraînés par MONAI sous forme d'experts supplémentaires couvrant d'autres modalités ou maladies.
• Découvrir d'autres paradigmes LLM + experts pour promouvoir continuellement l'utilisation des VLM dans les copilotes d'imagerie médicale.

Assistant d'IA multimodal MONAI pour l'analyse du flux de travail de radiologie.