yoann dupas
ENÉchangeons

RECHERCHE / TRAVAUX CHOISIS

La perception,
en pratique.

Trois travaux pour explorer la fusion multimodale : ses architectures, sa robustesse et son coût d’inférence.

SCHÉMA INTERACTIF · ILLUSTRATION PÉDAGOGIQUE

Un même monde.
Plusieurs façons de le voir.

Explorez ce que chaque capteur apporte à la perception d’une scène.

Illustration d’une rue avec un véhicule et un piétonScène synthétique : les annotations sont dessinées, sans exécution de modèle ni mesure de performance. Le mélange affiché illustre la complémentarité des signaux et ne reproduit pas MEFA.PiétonVéhicule

Fusion : couleurs du RGB et contraste de l’infrarouge se superposent ici. Réglez le mélange pour explorer leurs apports.

Scène synthétique : les annotations sont dessinées, sans exécution de modèle ni mesure de performance. Le mélange affiché illustre la complémentarité des signaux et ne reproduit pas MEFA.

VISAPP 2025 / 2025

MEFA

Fusionner avant de détecter.

Mon rôle
Premier auteur

EntréesRGB + IR + LiDAR
FusionAttention
DétectionYOLO / RT-DETR

Le problème

Sous la pluie ou dans le brouillard, un capteur seul ne fournit pas toujours une représentation suffisante de la scène.

L’approche

Un module de fusion précoce par attention combine RGB, infrarouge et LiDAR avant un détecteur d’objets. L’étude compare cette approche à la concaténation des canaux.

Ce que montre l’étude

Le travail étudie la détection de piétons et de véhicules avec YOLOv8 et RT-DETR, dans des conditions météorologiques dégradées. Le module de fusion se place en amont de détecteurs monomodaux.

Résultats qualitatifs publiés — MEFA

Comparaison par temps de pluie et de nuit : visible, infrarouge, LiDAR, puis détections après concaténation ou MEFA. Figure 5 de l’article original, à lire dans son contexte expérimental.

Comparaison par temps de pluie et de nuit : visible, infrarouge, LiDAR, puis détections après concaténation ou MEFA. Figure 5 de l’article original, à lire dans son contexte expérimental.

Dupas, Hotel, Lefebvre & Cérin · VISAPP 2025 · Source : figure 5, p. 616 ↗ · CC BY-NC-ND 4.0 ↗

Publication source : MEFA: Multimodal Image Early Fusion with Attention Module for Pedestrian and Vehicle Detection

Texte intégral (PDF) ↗DOI ↗Lire l’article ↗

ICMV 2025 · SPIE / 2026

MEFA-MS

Rendre la fusion plus efficiente.

Mon rôle
Premier auteur

EntréesMultimodal
FusionU-Net + Attention
DétectionRT-DETR

Le problème

Le temps d’inférence de MEFA peut limiter son utilisation en conditions réelles. Il faut travailler le compromis entre qualité de détection et coût du modèle.

L’approche

MEFA-MS propose un encodeur-décodeur de type U-Net enrichi d’attentions spatiale et de canal, comparé au module MEFA sur DENSE.

Ce que montre l’étude

Avec RT-DETR sur DENSE, les auteurs rapportent un temps d’inférence réduit de 50 % par rapport à MEFA, ainsi qu’une amélioration du mAP50. Les résultats restent liés au protocole de l’article.

Publication source : MEFA-MS: attention-based U-Net for pedestrian and vehicle detection

Texte intégral (PDF) ↗DOI ↗Lire l’article ↗

ICCV Workshops 2025 · MIRA / 2025

FMCAF

Explorer la généralisation de la fusion.

Mon rôle
Coauteur

EntréesRGB + IR
FusionFreq-Filter + Cross Attention
DétectionDetection

Le problème

Une stratégie de fusion adaptée à un contexte ne se transfère pas nécessairement à d’autres scènes ou jeux de données.

L’approche

FMCAF associe un filtrage fréquentiel à une fusion par attention croisée. Il vise à limiter les informations redondantes et à mieux partager les indices entre RGB et infrarouge.

Ce que montre l’étude

L’architecture est évaluée sur LLVIP, pour les piétons en faible lumière, et VEDAI, pour les véhicules en vue aérienne. Ces évaluations explorent la robustesse dans deux contextes différents, sans établir une généralisation universelle.

Publication source : Towards a Generalizable Fusion Architecture for Multimodal Object Detection

Texte intégral (PDF) ↗DOI ↗Lire l’article ↗

PRENONS CONTACT

Une idée à
explorer ensemble ?

Pour des échanges scientifiques et techniques sur la vision par ordinateur et la perception multimodale.

M’écrire

Référence BibTeX