Reconstruire des intérieurs à partir de quelques photos

La plupart des bâtiments dans lesquels nous vivrons et travaillerons au cours des prochaines décennies existent déjà. Les rénover, les vendre, les meubler ou simplement les gérer partent tous de la même question : à quoi ressemble réellement cet espace, et quelles sont ses dimensions ? Pour une large part des logements, la réponse honnête est : quelques photos et, au mieux, un plan dépassé. Un modèle 3D fidèle d'une pièce, un jumeau numérique, transforme cette question en données. À terme, cela permet : - Immobilier : visites à distance et plans directement depuis les photos d'annonce. - Rénovation et rénovation énergétique : géométrie telle que construite pour planifier travaux et quantités. - Décoration et home staging : essayer de vrais meubles, aux vraies dimensions, avant d'acheter. - Architecture et BIM : un modèle de départ plutôt qu'un relevé manuel. - Assurance et gestion technique : un état documenté d'un espace à une date donnée. - Informatique spatiale : un modèle mesuré de la pièce pour la réalité augmentée et la robotique. Aucun de ces usages ne nécessite le scan d'une pièce de musée. Ils nécessitent de nombreuses pièces ordinaires, numérisées à faible coût, à grande échelle.

Trois familles de méthodes existent aujourd'hui. Chacune échoue sur l'une des exigences ci-dessus : coût faible, peu de photos, mesures fidèles, ou résultat modifiable. 2.1 Les capteurs dédiés sont précis mais coûteux. Les scanners laser et le LiDAR donnent une excellente géométrie. Ils nécessitent aussi du matériel, une visite sur site et un opérateur. Cela se justifie pour un bâtiment emblématique, pas pour des millions d'appartements. 2.2 La photogrammétrie nécessite bien plus de photos qu'une annonce n'en fournit. La photogrammétrie classique reconstruit la géométrie à partir des photos seules, mais son coût et son besoin de données augmentent vite avec le nombre d'images.

La photogrammétrie nécessite aussi un fort recouvrement entre les vues et des surfaces texturées à apparier. Ses cas d'échec connus sont les murs blancs unis, le verre et les reflets, et les jeux de photos épars : exactement ce à quoi ressemble un intérieur d'annonce. 2.3 Les méthodes neuronales et génératives semblent justes mais ne sont pas mesurées. Le rendu neuronal (NeRF, Gaussian Splatting) ajuste des millions de paramètres par scène. Dans nos essais, une pièce a nécessité 30 à 69 minutes, semblait superbe depuis les photos d'entrée, se dégradait en s'en éloignant, et ne contenait aucun mur ni meuble séparable. Les agents IA généralistes et les modèles de monde génératifs produisent des pièces plausibles. Dans notre test à 3 photos, un agent a bien lu la pièce, mais ses murs étaient décalés de 0,5 à 1 m. 2.4 Deux difficultés fondamentales. - L'échelle. Les photos seules ne contiennent pas d'échelle absolue : les mêmes images sont cohérentes avec une pièce et avec un modèle de celle-ci à n'importe quelle taille. Sans capteur, les dimensions réelles doivent être déduites. - Les zones non vues. Avec quelques photos, certaines parties de la pièce ne sont vues qu'une fois, voire jamais : derrière un meuble, ou du côté du photographe. Elles doivent être complétées sans inventer ce qui n'est pas là.

Question de recherche : peut-on obtenir un modèle mesuré, fidèle et modifiable d'une pièce à partir des 3 à 9 photos qu'une annonce ordinaire fournit déjà, sur du matériel accessible ?

Nous construisons une reconstruction structurée : le résultat n'est pas un nuage de points ou une image, mais un espace composé de murs, d'ouvertures et d'objets, aux dimensions réelles. Cette structure est ce qui rend le résultat utilisable : il peut être mesuré, exporté vers le BIM (IFC), meublé, modifié et exploré dans un navigateur web.

Nous évaluons sur des pièces réelles selon quatre axes, en séparant la cohérence interne de la précision par rapport au monde réel : cohérence géométrique, précision absolue par rapport à un mètre ruban, généralisation à des points de vue non vus, et temps de calcul. 4.1 Cohérence géométrique : 5 pièces, 3 à 9 photos

Cet écart mesure la cohérence des murs avec la géométrie reconstruite à partir des photos. Ce n'est pas une précision absolue, au centimètre. La structure est stable partout où les photos voient les murs, y compris des murs qui ne forment pas un angle droit. La couverture compte plus que le nombre de photos : 3 photos suffisent pour un studio, pas pour un séjour de 37 m². 4.2 Précision par rapport au réel : une première vérité terrain Nous avons mesuré au mètre ruban quelques dimensions dans une pièce de 20 m² reconstruite à partir de 9 photos.

Sans aucune mesure sur site, les deux dimensions structurelles s'écartent de 3,4% et 3,8%, ce qui concerne directement le problème d'échelle de la section 2.4. La fenêtre et le bureau sont nettement moins précis. Une seule dimension de référence, comme la hauteur sous plafond, pourrait améliorer l'estimation globale de l'échelle. Une seule pièce a été relevée à ce jour : une première donnée, pas encore une statistique. 4.3 Généralisation à des points de vue non vus Juger une scène à partir des photos qui l'ont construite est le cas le plus facile. Pour chaque photo, nous reconstruisons la pièce sans elle, puis comparons la scène à cette photo. Sur deux pièces (15 tests), la perte sur un point de vue non vu reste faible : 0,2 à 1,4 dB de PSNR. Le même test montre que retirer une photo peut encore changer la structure : la qualité de capture reste déterminante. 4.4 Temps de calcul

Les résultats confirment la question de recherche pour des pièces isolées, bien couvertes par les photos. Ils marquent aussi des limites claires : - La vérité terrain reste mince. Une seule pièce relevée au mètre ruban ; il en faut davantage pour quantifier la précision statistiquement. - La couverture conditionne la robustesse. Retirer une photo change encore la structure dans certains tests ; un protocole de capture simple est en cours de définition. - Une pièce à la fois. Les logements entiers, avec navigation entre les pièces, restent à faire. - Le mobilier est approximatif. Bonne position et bonne couleur, mais des formes de catalogue plutôt que les pièces exactes photographiées.

Une fois une pièce mesurée et structurée, elle devient un espace de travail. Du mobilier issu d'un vrai catalogue, aux vraies dimensions et aux vrais prix, peut être placé, remplacé ou restylé, et un assistant peut traiter des demandes en langage naturel tout en respectant les contraintes de la pièce. C'est du home staging 3D basé sur de vrais produits, plutôt que sur des équivalents génériques.

Une nouvelle phase s'ouvre pour notre R&D. Avec l'accès à des ressources de calcul haute performance (HPC), nous pourrons accélérer nos expériences, explorer de nouvelles optimisations et travailler à la reconstruction de logements entiers. Tous les chiffres ci-dessus ont été obtenus sur une seule carte graphique grand public. Les gains apportés par le HPC dépendront de la parallélisation et de l'optimisation logicielle : nous les mesurerons avant de les annoncer.

Notre ambition à long terme : réduire drastiquement le temps nécessaire pour transformer quelques photographies en espaces 3D interactifs, et avancer vers une expérience proche du temps réel.

Quelques photos d'annonce contiennent déjà la majeure partie de ce qui est nécessaire pour reconstruire une pièce. Nos premiers résultats montrent qu'une approche structurée peut retrouver des murs cohérents au centimètre et des dimensions à quelques pourcents, dans les fourchettes mesurées ci-dessus, sur du matériel accessible. Les prochaines étapes sont davantage de vérité terrain, des logements entiers, et des temps de calcul bien plus courts.

Cet article rapporte les résultats de nos propres essais ; il ne décrit pas notre méthode. Le contexte scientifique sur lequel il s'appuie est couvert par ces travaux : - Schönberger, J. L. et Frahm, J.-M. (2016). Structure-from-Motion Revisited. CVPR 2016. (COLMAP) - Triggs, B., McLauchlan, P., Hartley, R. et Fitzgibbon, A. (1999). Bundle Adjustment — A Modern Synthesis. - Mildenhall, B. et al. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV 2020. - Kerbl, B., Kopanas, G., Leimkühler, T. et Drettakis, G. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering. SIGGRAPH 2023.