イスラエルのワイツマン科学研究所の研究チームが、脳の活動データから人が見た画像を再構成するAIモデル「Brain-IT」を開発しました。新しい被験者のデータはわずか1時間で、従来手法の40時間分に匹敵する結果を達成。脳科学とAIを融合した新たな研究として注目されています。
脳の活動から、見ていた画像を再構成
研究を主導したのは、ワイツマン科学研究所のミハル・イラニ教授の研究室です。ロマン・ベリ氏、アミット・ゼルツァー氏、ヨナタン・コグマン氏、ナヴェ・ワッサーマン氏らが共同で研究に取り組みました。成果は、機械学習分野の国際会議「ICLR 2026」に採択されています。
チームが開発した「Brain-IT」は、脳の活動を計測したデータをもとに、人が見た画像をコンピューター上で再構成するAIモデルです。
脳の活動を測定する方法の一つに、機能的磁気共鳴画像法（fMRI）があります。これは、脳内の血流などに伴う変化を測定することで、脳のどの領域が活動しているかを間接的に調べる技術です。
人が画像を見ているときの脳活動を記録し、そのデータと元の画像をAIに学習させることで、脳の反応と視覚情報の関係をモデル化できます。しかし、脳の反応には個人差があり、十分な学習データを集めるには長時間の測定が必要でした。
（画像提供：ワイツマン科学研究所および研究チーム）
新しい被験者への適応を大幅に効率化
今回の研究で注目されるのは、新しい被験者にモデルを適応させるために必要なデータ量を削減したことです。
研究チームは、複数の被験者が数千枚の画像を見た際の脳活動を記録した「Natural Scenes Dataset」を利用しました。同じ画像を見ても、脳の活動パターンは人によって異なります。その違いを踏まえながら、異なる被験者のデータを活用する仕組みを構築しました。
研究によると、事前に学習させたモデルを新しい被験者に適応させる際、1時間分のfMRIデータで、従来手法が約40時間分のデータを用いて達成していた水準に匹敵する再構成結果が得られました。
これは、AIモデル全体を1時間のデータだけで学習できるという意味ではありません。すでに学習済みのモデルを別の人に適応させるためのデータ量を減らせた、という成果です。
画像の意味と構造を組み合わせる
Brain-ITの中核となるのが、「Brain Interaction Transformer」と呼ばれる仕組みです。
研究チームは、脳内の複数の領域から得られる情報を統合し、画像の意味的な特徴と構造的な特徴を推定します。意味的な特徴は、画像に何が写っているのかを捉えるための情報です。一方、構造的な特徴は、物体の配置や画像全体の大まかな構成を表します。
AIはこれらの情報を組み合わせ、画像を生成するモデルに伝えることで、元の画像に近い再構成を目指します。
さらに研究チームは、画像から脳活動を予測するエンコーダーも開発しました。実際の脳スキャンを新たに行わなくても、画像に対応する脳活動の予測データを生成できるため、AIの学習に利用できるデータを拡張する可能性があります。ただし、ここで生成されるのはモデルによる予測値であり、実際に人間の脳を測定したデータではありません。
研究チームは、視覚情報の処理に関係する128の機能的なグループも特定したと報告しています。こうしたグループは、脳の視覚システムがどのように情報を処理しているのかを理解する手がかりになる可能性があります。
「心を読む」技術ではない
一方で、今回の成果を、人の思考を自由に読み取れる技術と捉えるのは正確ではありません。
実験では、被験者がスキャナーの中で実際に見た画像を対象に、測定された脳活動から画像を再構成しました。本人が考えていることや意図、夢の内容を自由に読み取れることが実証されたわけではありません。
また、fMRIは脳の活動を間接的に測定するため、再構成された画像も測定データをAIが解釈して生成したものです。元の画像を完全に復元できるわけではなく、誤差が生じる可能性もあります。研究成果を医療などに応用するには、精度や再現性についてさらなる検証が必要です。
研究チームは今後、音声情報への応用なども検討しています。脳活動から連続的な映像を再構成することや、夢の内容を再現することについても将来的な研究の方向性として考えられますが、現時点では実現した技術ではありません。
脳の活動とAIの生成能力を結び付ける研究は、人間の視覚情報処理の理解を深めるとともに、将来的には脳とコンピューターをつなぐ技術の発展にもつながる可能性があります。ワイツマン科学研究所の今回の成果は、その実現に向けた重要な一歩といえそうです。
＊本記事はイスラエルメディアHayadanの記事を元に構成しています。
