Une intelligence artificielle crée des images en « lisant » dans les pensées

Les dernières recherches en intelligence artificielle semblent se rapprocher de la science-fiction. Une équipe japonaise a présenté le modèle d’une machine, reposant sur Stable Diffusion, capable de lire dans les pensées, rapporte BFMTV. Une étude détaillée a été publiée en décembre dernier sur le site Biorxiv.

Pour y parvenir, deux chercheurs ont combiné la technologie reposant sur Stable diffusion, l’outil permettant de générer des images à partir d’un simple texte, à des enregistrements d’imagerie par résonance magnétique fonctionnelle (IRMf). Il s’agit de reconstruire des expériences visuelles à partir de données d’IRMf, donc traduire ce qu’a pensé une personne en image.

Huit volontaires

Pour un spécialiste du décryptage des signaux IMRf interrogé par Libération, les deux chercheurs japonais ne font pas un grand écart par rapport aux recherches actuelles, « que ce soit en termes d’application, de méthodologie ou de découverte scientifique ». Pour construire ces images, Yu Takagi et Shinji Nishimoto ont puisé des données dans la Natural Scenes Dataset (NSD). Créée en 2022, elle accumule les relevés IRMf de huit volontaires qui ont été soumis à une dizaine de milliers d’images.

Du texte, puis des images

Ainsi, 27.000 associations ont été encodées. Il a ensuite fallu aux chercheurs trouver une méthode mathématique pour que les enregistrements IRMf soient traduits en texte, afin que Stable Diffusion puisse produire une image.

Bilan : quand on observe la différence entre les images qui avaient été présentées au groupe de volontaires et celles conçues par Stable Diffusion à partir des signaux enregistrés, le résultat est très proche. Tout au plus, on peut concéder que les visuels fournis par l’IA sont moins nets et précis que les images originales.