Deep Learning based medical image synthesis

Job Title

Deep Learning based medical image synthesis

Job Description

Description du Stage

Motivés par les performances impressionnantes des LLM (Large Language Models – grands modèles de langage) sur une variété de tâches de traitement du langage naturel, le domaine du traitement d’images évolue vers l’utilisation de modèles de base, appelés modèles fondamentaux, plutôt que sur le développement de modèles supervisés spécialisés entrainés (presque) de zéro. Ces grands modèles sont entraînés sur une gigantesque quantité de données, souvent de manière non supervisée, et sont conçus pour être utilisés comme base pour des tâches variées, après une adaptation minimale.

Le Segment Anything Model (SAM) est un de ces modèles fondamentaux effectuant spécifiquement des tâches de segmentation. Il a été entraîné sur plusieurs milliards de masques et est conçu pour être efficace sur différents types de tâches de segmentation (interactive, sémantique, multi-instance) grâce à la variété de prompts qu’il peut accepter en entrée.

Cependant, il n’a pas été exposé à de nombreuses images médicales pendant son entraînement, et pour cette raison, il n’est pas utilisable tel quel pour la segmentation d’images médicales. Une nouvelle tendance dans le traitement d’images médicales a donc émergé : l’adaptation de SAM aux images médicales, en le fine-tunant, en utilisant ce qu’on appelle des couches d’adaptateur, ou en lui adjoignant des caractéristiques de CNN.

L’intérêt des modèles fondamentaux pour le traitement d’images médicales est en effet majeur : les images médicales sont des données sensibles et donc rares, et l’annotation est coûteuse, car elle nécessite souvent l’implication de médecins. Pour cette raison, les modèles supervisés habituels comme UNet ne peuvent pas bénéficier du passage à l’échelle que nous savons maintenant être cruciale pour obtenir de meilleurs modèles et qui a été responsable des récentes avancées en IA. Le fine-tuning de grands modèles pré-entraînés est donc considéré comme une voie prometteuse pour aller de l’avant.

L’objectif de ce stage est d’étudier comment SAM peut être utilisé dans le contexte de la segmentation des artères coronaires et des cathéters dans des images à rayons X interventionnelles. Tout d’abord, le stagiaire comparera les méthodes de fine-tuning de SAM sur des données de rayons X, en s’appuyant sur la littérature déjà importante sur le sujet. Ensuite, il étudiera comment différents types de prompts pourront être utilisés pour différents types de tâches : des scribbles pour la segmentation interactive, du texte pour la segmentation sémantique des vaisseaux ou la segmentation d’instances des cathéters. Enfin, comme les séquences de rayons X sont des vidéos, l’utilisation de SAM2, qui améliore SAM en permettant le traitement de données vidéo, pourra être étudiée.

References

CC-SAM: SAM with Cross-feature Attention and Context for Ultrasound Image Segmentation,
ECCV 2024

Shreyank N Gowda and David A. Clifton

Domesticating SAM for Breast US Image Segmentation via Spatial-Frequency Fusion and Uncertainty Correction, ECCV 2024

W.Zhang, H.We, J.Qui

I-MedSAM: Implicit Medical Image Segmentation with Segment Anything, ECCV 2024

Xiaobao Wei, Jiajun Cao,  Yizhu Jin, Ming Lu, Guangyu Wang, Shanghang Zhan

https://segment-anything.com/ https://ai.meta.com/sam2/

Candidat Recherché

• Troisième année d’école d’ingénieur / Master 2 Recherche, avec spécialité en apprentissage automatique, traitement d’images ou mathématiques appliquées

• Solides connaissances en statistiques, apprentissage automatique, deep-learning et/ou traitement d’images

• Expérience en Python et dans l’utilisation de Pytorch.

• La maîtrise de l’anglais à l’oral, à l’écrit et en lecture est obligatoire

• Bonne communication et capacité à travailler en équipe

A propos de Philips

Chez Philips, notre mission va au-delà de notre travail quotidien. Ensemble, nous avons pour objectif d’améliorer la vie de 2,5 milliards de personnes en innovant tout au long du continuum de santé. Nos solutions ont un impact direct sur notre vie de tous les jours et sur celle de nos proches.

• En savoir plus sur nos activités ici.

• Découvrez notre histoire riche et passionnante ici.

• En savoir plus sur notre mission ici.

Il se peut que vous soyez le candidat idéal pour ce poste ou pour d’autres postes chez Philips. En savoir plus sur notre engagement en faveur de la diversité et de l’inclusion ici.

LI-OFFICE

LI-FIELD