在人工智能领域，许多系统擅长识别图像内容、做分类、检测目标，但真正理解物体运动、碰撞、遮挡背后潜在的物理规律却更为罕见。最近，Meta 团队推出的一种模型 V‑JEPA（Video Joint Embedding Predictive Architecture） 展示了它能够从普通视频中“学习”物理直觉，并对不合物理规律的情境产生“惊讶”反应。该模型不事先假定任何物理规则，而是通过观察视频数据去构建这种直觉。
下面我们先介绍 V‑JEPA 的基本架构，再谈其在物理直觉任务上的表现，以及后来升级的 V‑JEPA2 版本。
V‑JEPA 的架构与训练策略
从像素空间到潜在表征（latent representation）
传统的视频理解模型通常“在像素空间”（pixel space）上直接预测缺失像素 —— 也就是对被遮蔽或缺失的像素值进行补全或推断。但这种方式往往容易陷入细节过多、噪声干扰严重的问题（例如风吹树叶、光影变化等）。
V‑JEPA 的关键在于：不直接在像素级别重建，而是在潜在空间（latent space）进行预测。也就是说，模型先将视频帧编码为更抽象、更紧凑的表征（仅保留“重要”的信息），再让其在这个抽象空间中做预测。
具体而言，V‑JEPA 架构可以分为三部分：Encoder1、Encoder2 和 Predictor。
- 在训练阶段，首先对一组视频帧进行遮蔽（masking）。被遮蔽的帧输入到 Encoder1，产生其潜在表示。
- 同时，将未遮蔽的帧（原始帧）输入到 Encoder2，得到另一组潜在表示。
- 最后，Predictor 以 Encoder1 提供的潜在表示为输入，预测 Encoder2 的潜在表示。换言之，模型并不努力“在像素级别重建遮蔽区域”，而是令潜在表示预测对齐。通过这种方式，它学得如何利用视频帧之间的时间连贯性和动态信息去推断未来或隐藏部分。Quanta Magazine
因为模型只需要学习更“紧要”的抽象信息（例如物体的位置、速度、遮挡关系等），所以它可以“忽略”许多不相关的纹理、光影细节等。正如一位研究者所言，模型能够“舍弃不必要的信息，聚焦于视频中更重要的部分”。
在完成这个预训练阶段后，若要让模型执行特定任务（例如动作分类、物体识别等），便可对模型进行微调（fine‑tune），使用一些带标签的数据进行适配。相较于从零开始端到端训练，V‑JEPA 的方法通常需要更少的标注数据。
物理直觉测试：惊讶信号与 IntPhys 基准
V‑JEPA 的一个命题是：它能否在观察视频时，对那些违反物理常识的场景表现出“惊讶”反应？例如，如果一个物体本该从遮挡物后出现却没有出现，模型是否能够察觉异常？
Meta 团队在其论文中使用了 IntPhys 基准测试（Intuitive Physics benchmark）。在这个测试中，模型要判断视频中的动作是否物理合理（plausible）或不合理（implausible）。V‑JEPA 在这一测试上的表现接近 98% 的准确率。而一个在像素空间预测的模型，其效果几乎只是“略优于随机猜测”。
同时，团队还定义了“惊讶”（surprise）度量：他们将模型对未来帧预测的潜在表示与实际观察到的潜在表示之间的误差作为“惊讶信号”。如果误差大，说明模型被“出乎意料”的情形打乱了预测。实验证明，当视频中出现物理不可能的现象（例如遮挡后物体未重新出现、运动轨迹突变等），模型预测误差会骤然增大，这正类似于人类看到异常物理行为时的“惊讶”反应。
例如，若一个球体滚向遮挡物后消失，模型期望在未来帧中看到球再出现；若它并未再次出现，就会产生很大误差，从而发出“惊讶”。
这种“异常检测”能力正是模型构建物理直觉的一种体现。
由于这种惊讶机制，V‑JEPA 在“物理合理性判断”这一任务上具备一定的通用性，能够在不同类型视频中识别物理异常。
V‑JEPA2：扩展模型与机器人应用
在V‑JEPA的基础上，Meta 团队在 2025 年6月又推出了 V‑JEPA 2 这一新版本。V‑JEPA2 在规模和应用上都有较大扩展：模型参数达到 12 亿（1.2B），预训练使用了达 2200 万条视频。
他们还尝试将 V‑JEPA2 应用于机器人任务。具体地，通过仅约 60 小时的机器人操作数据，对一个新的预测器网络进行微调，然后用这个网络来预测机器人在环境中的下一步动作。结合视频与机器人行动信息（即“动作‑环境交互”录像），V‑JEPA2 被用于规划机器人未来行为，并且在一些简单的操作任务中取得成功。
不过在更具挑战性的物理直觉基准（称为 IntPhys 2）上，V‑JEPA2 与其他模型的表现仅略高于随机水平。一个重要瓶颈是：模型目前只能处理几秒钟的视频输入，并预测几秒钟后的帧；更长时间跨度的预测能力仍弱。Meta 团队戏称，这种“记忆”有点像金鱼（goldfish memory）——很快就忘了远过去的内容。
此外，模型当前还缺乏对预测不确定性的有效编码。如果历史帧提供的信息不足以做出精确预测，这种不确定性现在还没有被很好量化。
总结与展望
V‑JEPA 所展示的能力引发了人们对 AI 是否能“自下而上”形成物理直觉的思考。它不依赖预设的物理公式，而是通过对视频中时空关联的学习，在潜在层面学到了一定的物理模型。其“惊讶”机制也为异常检测、物理合理性判断提供了新途径。
不过，目前它仍有诸多限制：短时记忆、对不确定性的处理能力不足、对复杂场景与更长时段推断的局限性。此外，从视频理解扩展到机器人控制，模型还需与动作规划、传感器反馈、实时控制等模块协同。
未来的研究方向可能包括：扩展时间跨度、引入概率/不确定性建模、强化与因果推断的结合，以及将这种物理直觉模型真正植入机器人系统，实现具备通用物理常识的智能体。
参考论文地址（V‑JEPA / V‑JEPA2）
- V‑JEPA 论文地址（Meta 团队，Video Joint Embedding Predictive Architecture）：
Revisiting Feature Prediction for Learning Visual Representations from Video – arXiv:2404.08471
- V‑JEPA2 论文地址（1.2B 参数版本 + 机器人应用）：