LogoAIRosetta

腦解碼器將視覺思維轉成文字:mind captioning 於2025年11月實現「見即寫」

Neurosciencenews.com

Summary2025年11月,Neuroscience News 報道一種稱為「mind captioning」嘅腦解碼方法。研究結合 fMRI 同視覺—語言模型,將受試者觀看或回憶嘅畫面直接轉為可讀文字,唔依賴大腦語言系統,開啟視覺表徵到自然語言映射新路徑。


2025年11月,Neuroscience News 報道一項將視覺思維轉寫成文字嘅研究成果⁠—⁠⁠—⁠研究團隊提出嘅「mind captioning」方法可以將一個人正喺睇緊或喺腦海度回想嘅畫面,生成準確嘅文字描述,而唔需要依賴傳統意義上嘅語言區激活。

研究流程其實唔複雜:受試者喺 fMRI 掃描儀入面睇大量圖像或回想先前見過嘅畫面,研究者記錄視覺皮層同相關感知區域嘅血氧信號。隨後,佢哋冇直接嘗試由語言區重建句子,而係先將呢啲腦活動模式映射到視覺⁠—⁠語言模型(即預訓練嘅圖像⁠—⁠文本嵌入空間)所用嘅表徵上。換言之,團隊利用深度視覺模型擷取圖像嘅語義嵌入,再訓練一個「橋接器」將大腦嘅視覺反應投射到呢啲嵌入向量,從而令下游嘅文本生成器基於該嵌入生成自然語言描述。

呢個方法嘅關鍵亮點係:生成嘅文字能準確反映画面入面嘅主體、動作同場景關係,而唔係淨係列舉幾個關鍵詞。實驗顯示,系統唔淨係可以為而家睇緊嘅圖像生成描述,亦可以將受試者回憶嘅畫面文字化⁠—⁠⁠—⁠即係話呢個方法讀到嘅係視覺表徵層面嘅資訊,而唔係語言表達過程入面嘅字詞編碼。

研究者喺文章中詳細記錄咗訓練同驗證流程:佢哋使用多組視覺素材並配對文本描述去訓練視覺⁠—⁠語言模型,然後將受試者喺睇圖同回憶過程中產生嘅 fMRI 數據輸入到投影網絡。評估階段透過人工標註員同自動化相似度指標去判斷生成描述同真實內容嘅一致性,結果顯示喺受控實驗條件下系統可以生成高可讀性、語義相關性強嘅句子。

但團隊亦強調幾點現實限制:目前依賴 fMRI,雖然空間分辨率高但時間分辨率同可移動性受限,距離可穿戴、實時解碼仲好遠;個體之間腦區表徵有差異,需要大量個體化標定訓練,跨人通用性仍係挑戰;此外,模型喺複雜抽象場景、情緒或隱喻性記憶方面嘅表現仍有限。

應用前景誘人但亦令人警醒。短期內,mind captioning 可用喺神經科學基礎研究⁠—⁠⁠—⁠分析視覺表徵點樣轉化為語義;長遠則可能幫助重症或失語病人以新方式表達視覺體驗。不過作者同時呼籲業界同社會及早討論倫理界限:腦數據私隱、非自願讀取風險、以及對「思想外化」誤解所帶來嘅法律同心理影響,都需要制度性回應。

呢項成果將視覺認知同現代視覺⁠—⁠語言人工智能模型嘅結合推到新高度。研究團隊表示,下一步會探索提升時間分辨率、減少對大型掃描設備嘅依賴,並改善跨個體嘅遷移能力。對年輕讀者嚟講,呢項工作好似科幻入面嘅「讀心筆記」⁠—⁠⁠—⁠但研究者反覆提醒,距離大眾可用尚有距離,仲有更多工作要喺可重複性、安全同倫理上展開。

CopyrightStatement

Comment

Please login before commenting

NoComments

RelatedNews

LoadingMore

腦解碼器將視覺思維轉成文字:mind captioning 於2025年11月實現「見即寫」 - Airosetta News