喺人工智能領域，唔少系統擅長識別圖像內容、做分類、檢測目標，但真正理解物體運動、碰撞、遮擋背後嘅物理規律就比較罕見。最近，Meta團隊推出嘅模型 V‑JEPA（Video Joint Embedding Predictive Architecture） 展示咗佢可以喺普通影片入面「學到」物理直覺，並對違反物理規律嘅情景產生「驚訝」反應。呢個模型唔係事先假定任何物理規則，而係透過觀察影片數據去建構呢種直覺。
下面我哋先介紹 V‑JEPA 嘅基本架構，跟住講吓佢喺物理直覺任務上嘅表現，仲有後來升級嘅 V‑JEPA2 版本。
V‑JEPA 嘅架構同訓練策略
從像素空間到潛在表徵（latent representation）
傳統嘅影片理解模型通常喺「像素空間」（pixel space）直接預測缺失像素——即係對被遮蔽或缺失嘅像素值做補全或推斷。但呢種方法容易陷入細節過多同噪聲干擾（例如風吹樹葉、光影變化等）嘅問題。
V‑JEPA 嘅關鍵係：唔係直接喺像素層面重建，而係喺潛在空間（latent space）做預測。即係話，模型先將影片幀編碼成較抽象、較緊湊嘅表徵（只保留「重要」嘅資訊），然後喺呢個抽象空間入面進行預測。
具體嚟講，V‑JEPA 架構可以分做三部分：Encoder1、Encoder2 同 Predictor。
- 喺訓練階段，首先對一組影片幀做遮蔽（masking）。被遮蔽嘅幀會輸入到 Encoder1，產生佢嘅潛在表示。
- 同時，將未遮蔽嘅原始幀輸入到 Encoder2，得到另一組潛在表示。
- 最後，Predictor 以 Encoder1 提供嘅潛在表示為輸入，去預測 Encoder2 嘅潛在表示。換言之，模型唔係努力喺像素層面重建被遮蔽區域，而係令潛在表示之間對齊。透過呢種方式，佢學識點利用影片幀之間嘅時間連貫性同動態資訊去推斷未來或隱藏部分。Quanta Magazine
因為模型只需要學習較「緊要」嘅抽象資訊（例如物體位置、速度、遮擋關係等），所以可以「忽略」好多無關嘅紋理、光影細節。正如一位研究者所講，模型能夠「捨棄唔必要嘅資訊，聚焦喺影片入面更重要嘅部分」。
喺完成呢個預訓練階段之後，如果要令模型執行特定任務（例如動作分類、物體識別等），可以對模型做微調（fine‑tune），使用少量有標註嘅數據去適配。相比端到端從零開始訓練，V‑JEPA 嘅方法通常需要較少標註數據。
物理直覺測試：驚訝信號同 IntPhys 基準
V‑JEPA 嘅一個命題係：佢喺觀察影片時，能否對嗰啲違反物理常識嘅場景表現出「驚訝」？例如，一件物體本應該喺遮擋物後再出現但冇出現，模型可唔可以察覺到異常？
Meta 團隊喺論文入面用咗 IntPhys 基準測試（Intuitive Physics benchmark）。喺呢個測試中，模型要判斷影片入面嘅動作係咪物理上合理（plausible）或唔合理（implausible）。V‑JEPA 喺呢個測試上嘅表現接近 98% 嘅準確率。而一個喺像素空間做預測嘅模型，效果幾乎只係「略優於隨機猜測」。
同時，團隊仲定義咗「驚訝」（surprise）嘅量度：佢哋將模型對未來幀預測嘅潛在表示同實際觀察到嘅潛在表示之間嘅誤差，當作「驚訝信號」。如果誤差好大，就代表模型被出乎意料嘅情況打亂咗預測。實驗顯示，當影片中出現物理不可能嘅現象（例如遮擋後物體冇重新出現、運動軌跡突變等），模型預測誤差會突然增大，呢個情況好似人類見到異常物理行為時嘅「驚訝」反應。
例如，如果有個球滾向遮擋物後消失，模型會預期喺未來幀見到個球再次出現；如果佢冇再次出現，就會產生好大嘅誤差，從而發出「驚訝」。
呢種「異常檢測」能力就係模型建構物理直覺嘅一種體現。
因為有呢個驚訝機制，V‑JEPA 喺「物理合理性判斷」呢個任務上具備一定通用性，可以喺唔同類型嘅影片中識別物理異常。
V‑JEPA2：擴展模型與機械人應用
喺V‑JEPA 嘅基礎上，Meta 團隊喺2025年6月推出咗 V‑JEPA2 呢個新版本。V‑JEPA2 喺規模同應用上都有較大擴展：模型參數達到 12 億（1.2B），預訓練用咗達 2200 萬條影片。
佢哋仲嘗試將 V‑JEPA2 應用喺機械人任務上。具體係，透過大約 60 小時嘅機械人操作數據，對一個新嘅預測器網絡做微調，然後用呢個網絡去預測機械人在環境中下一步嘅動作。結合影片同機械人行為資訊（即「動作‑環境交互」錄像），V‑JEPA2 被用於規劃機械人未來行為，喺啲簡單操作任務中取得成功。
不過喺更具挑戰性嘅物理直覺基準（稱為 IntPhys 2）上，V‑JEPA2 同其他模型嘅表現只係略高於隨機水平。一個重要瓶頸係：模型目前只可以處理幾秒鐘嘅影片輸入，並預測幾秒鐘後嘅畫面；更長時間跨度嘅預測能力仍然薄弱。Meta 團隊玩笑話，呢種「記憶」有啲似金魚（goldfish memory）——好快就會忘記早前嘅內容。
另外，模型而家仲缺乏對預測不確定性嘅有效編碼。如果歷史幀提供嘅資訊唔夠去做精確預測，呢種不確定性目前未被好好量化。
總結與展望
V‑JEPA 展示嘅能力引發咗大家對 AI 可唔可以「自下而上」形成物理直覺嘅思考。佢唔依賴預設嘅物理公式，而係透過對影片中時空關聯嘅學習，喺潛在層面學到咗一定嘅物理模型。佢嘅「驚訝」機制亦為異常檢測同物理合理性判斷提供咗新途徑。
不過，目前仍然有好多限制：短時記憶、對不確定性嘅處理能力不足、對複雜場景同更長時段推理嘅局限性。由影片理解擴展到機械人控制，模型仲需要同動作規劃、感測回饋、實時控制等模組協同。
未來嘅研究方向可能包括：擴展時間跨度、引入機率/不確定性建模、強化同因果推斷嘅結合，以及將呢種物理直覺模型真正植入機械人系統，實現具備通用物理常識嘅智能體。
參考論文地址（V‑JEPA / V‑JEPA2）
- V‑JEPA 論文地址（Meta 團隊，Video Joint Embedding Predictive Architecture）：
Revisiting Feature Prediction for Learning Visual Representations from Video – arXiv:2404.08471
- V‑JEPA2 論文地址（1.2B 參數版本 + 機械人應用）：