Modèles de fondation pour l’IA dans le secteur de la santé
Important
Les éléments marqués (préversion) dans cet article sont actuellement en préversion publique. Cette préversion est fournie sans contrat de niveau de service, nous la déconseillons dans des charges de travail de production. Certaines fonctionnalités peuvent être limitées ou non prises en charge. Pour plus d’informations, consultez Conditions d’Utilisation Supplémentaires relatives aux Évaluations Microsoft Azure.
Important
Les modèles IA de santé sont destinés à la recherche et à l’exploration du développement de modèles. Les modèles ne sont pas conçus ou destinés à être déployés dans un cadre clinique, car ils ne sont pas utilisés dans le diagnostic ou le traitement de conditions de santé ou médicales, et les performances des modèles individuels à ces fins n’ont pas été établies. Vous êtes seul responsable de toute utilisation des modèles IA de santé, y compris la vérification des sorties et l’incorporation dans n’importe quel produit ou service destiné à un but médical ou pour informer la prise de décision clinique, de la conformité aux lois et réglementations applicables aux soins de santé, ainsi que l’obtention des autorisations ou approbations nécessaires.
Dans cet article, vous allez découvrir le catalogue de modèles de fondation multimodaux de Microsoft pour la santé. Les modèles ont été développés pour les organisations de santé en collaboration avec Microsoft Research, des partenaires stratégiques et des établissements de santé de premier plan. Les organisations de santé peuvent utiliser les modèles pour créer et déployer rapidement des solutions d’IA adaptées à leurs besoins spécifiques, tout en réduisant au minimum les exigences substantielles en matière de calcul et de données généralement associées à la création de modèles multimodaux à partir de zéro. Ces modèles ne sont pas conçus pour devenir des produits autonomes, mais plutôt pour servir de base de travail aux développeurs. Avec ces modèles IA pour la santé, les professionnels disposent d’outils qui leur permettent d’exploiter tout le potentiel de l’IA pour améliorer la recherche biomédicale, les flux de travail cliniques et finalement la prestation de soins.
Le secteur d’activité de la santé subit une transformation révolutionnaire qui est pilotée par la puissance de l’intelligence artificielle (IA). Bien que les grands modèles de langage existants comme GPT-4 s’annoncent extrêmement prometteurs pour les tâches cliniques basées sur le texte et le raisonnement multimodal à usage général, ils ont du mal à comprendre les données de santé multimodales non textuelles telles que celles issues de l’imagerie médicale (radiologie, pathologie, ophtalmologie) et d’autres textes médicaux spécialisés comme les dossiers médicaux électroniques longitudinaux. Ils ont aussi du mal à traiter des modalités non textuelles comme les données de signaux, les données génomiques et les données sur les protéines, dont une grande partie n’est pas disponible publiquement.
Le catalogue de modèles Azure AI disponible dans Azure AI Foundry et Azure Machine Learning Studio fournit des modèles de base pour la santé qui facilitent l’analyse basée sur l’IA de différents types de données médicales et dépassent largement la simple compréhension des textes médicaux, en permettant un raisonnement multimodal appliqué aux différentes données médicales. Ces modèles IA peuvent intégrer et analyser des données provenant de sources diverses avec des modalités différentes, notamment l’imagerie médicale, la génomique, les dossiers cliniques et d’autres sources de données structurées et non structurées. Les modèles couvrent également plusieurs domaines de santé comme la dermatologie, l’ophtalmologie, la radiologie et la pathologie.
Modèles internes Microsoft
Les modèles suivants sont les modèles de fondation multimodaux développés en interne par Microsoft pour la santé.
MedImageInsight
Ce modèle est un modèle d’incorporation qui analyse de manière sophistiquée les images, notamment pour la classification et la recherche de similarités dans l’imagerie médicale. Les chercheurs peuvent utiliser les incorporations de modèle dans des classifieurs simples à zéro coup ou créer des adaptateurs pour leurs tâches spécifiques, simplifiant ainsi les flux de travail dans la radiologie, la pathologie, l’ophtalmologie, la dermatologie et d’autres modalités. Par exemple, les chercheurs peuvent explorer comment le modèle peut être utilisé pour créer des outils qui acheminent automatiquement les examens d’imagerie vers des spécialistes ou qui signalent des anomalies potentielles pour des examens plus approfondis. Ces actions peuvent améliorer l’efficacité et les résultats pour les patients. En outre, le modèle peut être exploité pour implémenter les mesures de sécurité de l’IA responsable (IAR), notamment la détection des instances hors distribution (OOD) et la surveillance des dérives, afin de maintenir la stabilité et la fiabilité des outils d’IA et des pipelines de données dans les environnements d’imagerie médicale dynamiques.
CXRReportGen
La radiographie du thorax est la procédure radiologique la plus courante dans le monde. Elle est essentielle parce qu’elle aide les médecins à diagnostiquer un large éventail de maladies allant de l’infection pulmonaire au problème cardiaque. Ces images sont souvent la première étape dans la détection de problèmes de santé qui touchent des millions de personnes. Ce modèle IA multimodal intègre des images actuelles et antérieures ainsi que des informations clés sur les patients pour générer des rapports détaillés et structurés à partir d’une radiographie du thorax. Les rapports présentent les résultats générés par l’IA directement sur les images pour s’aligner sur les flux de travail avec intervention humaine. Les chercheurs peuvent tester cette capacité et le potentiel d’accélération des délais de traitement tout en améliorant la précision du diagnostic des radiologues.
MedImageParse
Ce modèle est conçu pour segmenter avec précision les images et couvre plusieurs modalités d’imagerie, notamment les radiographies, les tomographies, les IRM, les ultrasons, les images dermatologiques et les lames de pathologie. Le modèle peut être affiné pour des applications spécifiques, notamment la segmentation de tumeurs ou la délimitation d’organes, ce qui permet aux développeurs de tester/valider le modèle et de créer des outils qui tirent profit de l’IA pour une analyse d’images médicales très sophistiquée.
Modèles partenaires
Le catalogue de modèles Azure AI fournit également une collection curée de modèles de santé provenant de partenaires Microsoft qui offrent des fonctionnalités telles que l’analyse des lames de pathologie numériques, la recherche biomédicale et le partage des connaissances médicales. Ces modèles sont proposés par des partenaires tels que Paige.AI et Providence Healthcare. Pour obtenir la liste complète des modèles, reportez-vous à la page du catalogue de modèles.