Meta AI reconstruit le réel avec SAM 3: Votre Smartphone devient un Scanner 3D

L’intelligence artificielle de Meta franchit un cap historique avec le lancement de SAM 3 et ses nouveaux modèles de reconstruction 3D. Cette avancée majeure en vision par ordinateur promet de transformer notre interaction avec le numérique, particulièrement pour le métavers et la création de contenu 3D.

Bon, avouons-le, ces derniers mois, on a eu l’impression que le monde de l’IA générative tournait un peu en rond. Des images de plus en plus photoréalistes, des vidéos de plus en plus longues, des LLM qui nous pondent des dissertations sur la recette de la tarte aux pommes… C’est impressionnant, mais on commence à sentir une certaine lassitude. Comme si on attendait la prochaine révolution, le truc qui va vraiment changer la donne, pas juste faire un « encore plus gros ».

Et bien, mes chers camarades geeks, il semblerait que Meta AI ait écouté nos prières nocturnes. Leur dernière annonce, centrée sur SAM 3 et une flopée de modèles pour la reconstruction 3D, n’est pas qu’une simple mise à jour. C’est un changement de paradigme. On passe de l’IA qui crée des pixels à l’IA qui comprend le monde en 3D.

L’annonce est à lire ici, mais accrochez-vous, je vais vous faire le résumé avec mes tripes de geek.

SAM 3 : L’Artiste Numérique Ultime devient un Géomètre de Génie

Vous vous souvenez de SAM (Segment Anything Model) ? Ce modèle qui permettait de détourer n’importe quel objet dans une image en un clic ? C’était déjà de la pure magie. SAM 3, c’est cette même magie, mais après avoir avalé un manuel de physique et de géométrie projective.

La grosse différence ? La cohérence temporelle.

Imaginez : vous avez une vidéo de votre chat en train de faire une crise de folie dans le salon. Avec SAM 2, vous pouviez détourer le chat sur une image. Avec SAM 3, vous pouvez lui dire « c’est mon chat, Minou » sur la première frame, et le modèle va le tracker, le segmenter et le comprendre de manière cohérente sur toutes les frames qui suivent. Il ne voit plus une série de photos, mais une scène en mouvement. C’est comme passer d’une série de photos fixes à une vision humaine naturelle.

Pour nous, les créateurs de contenu, les développeurs, les bidouilleurs, c’est colossal. Fini les heures passées sur After Effects à suivre manuellement un objet. La post-production vidéo vient de prendre un sacré coup d’accélérateur.

La 3D : Le Saint Graal, et Meta y va à fond les moteurs

Mais là où mon cœur de geek a vraiment fait « bip bip », c’est sur la partie 3D. Meta ne lance pas un modèle, mais une famille de modèles dédiés à la reconstruction du monde réel.

• 3D Gen : C’est l’usine à création 3D. Tu lui décris en texte (« une chaise de gaming néon avec des ailes de dragon »), et il te sort un modèle 3D texturé et prêt pour le moteur de jeu de ton choix. Blender, Unity, Unreal… Les artistes 3D, respirez un bon coup. Cet outil ne va pas vous remplacer, mais il va vous libérer des tâches ingrates pour vous concentrer sur la vraie création.

• Recon-struct : Celui-ci, c’est de la pure science-fiction devenue réalité. Vous prenez une petite vidéo avec votre smartphone en tournant autour d’un objet – disons, votre vélo posé dans le jardin. Vous balancez la vidéo à Recon-struct, et paf ! Il vous génère un modèle 3D photoréaliste et parfaitement géométrique de votre vélo. Plus besoin de scanners 3D à 10 000 euros. Votre téléphone et une IA suffisent. Les implications pour l’e-commerce, l’archivage, les musées ou même le jeu vidéo (importer des objets du monde réel directement dans son jeu) sont tout simplement vertigineuses.

• Objaverse-XL : Derrière ce nom de super-vilain se cache la base de données qui rend tout cela possible : 11 millions de modèles 3D avec leurs descriptions. C’est la matière première sur laquelle ces IA s’entraînent. C’est la bibliothèque d’Alexandrie de la 3D.

Pourquoi est-ce que je suis plus excité que d’habitude ?

Parce que cette annonce ne sent pas le « me too ». Elle sent le « checkmate ».

1. L’Interface est la Reine : Meta ne se contente pas de balancer des APIs obscures. Ils présentent des démos où l’on interagit avec le monde de manière intuitive : un clic, un trait, une sélection. Ils ont compris que la puissance d’une IA se mesure aussi à sa capacité à être manipulée simplement.

2. Le Pont vers le Métavers (oui, il fallait le dire) : Là, c’est stratégique. Le projet de Meta, c’est un monde immersif en 3D. Et pour le peupler, quoi de mieux que des outils IA qui permettent à n’importe qui de recréer son environnement, ses objets, en un clin d’œil ? Ils ne construisent pas le métavers à la main, ils créent les pelleteuses et les bulldozers numériques pour que nous le construisions. C’est malin. Très malin.

3. L’Open Source en ligne de mire : Même si ces nouveaux modèles ne le sont pas encore tous, la philosophie open source de Meta sur ses précédents travaux laisse espérer que cette technologie finira par irriguer toute la communauté. Imaginez ces modèles intégrés dans Blender, dans OBS, dans Godot… L’écosystème créatif va s’emballer.

En conclusion

Meta AI vient de poser un jalon extrêmement puissant. Ils ont déplacé la bataille du « qui a la plus belle image » vers « qui comprend le mieux la physique de notre monde ». Avec SAM 3 et sa famille 3D, l’IA cesse d’être un simple pinceau magique pour devenir un véritable couteau suisse de la perception numérique.

Mon clavier démange déjà. J’ai hâte de mettre la main sur ces APIs, de bidouiller, de créer des trucs impossibles hier. L’avenir s’annonce… en trois dimensions. Et ça, c’est résolument geek.

Et vous, quel est le premier objet de votre salon que vous allez scanner en 3D ? Moi, c’est mon vieux casque VR. Pour l’immortaliser dans le métavers, ironie ultime.