LogoAIRosetta

Black Forest Labs发布FLUX3:统一架构多模态基础模型,Early Access上线

BFL

Summary德国AI初创Black Forest Labs发布FLUX3多模态基础模型,基于Self-Flow自监督流匹配框架,在统一架构中同步训练图像、视频与音频,可生成最长20秒带原生音频的视频,Early Access开放并开源部分参考代码,人工评测显示对标模型中处于领先。

2026年7月23日,德国AI初创公司Black Forest Labs(BFL)宣布以Early Access方式正式推出FLUX3多模态基础模型。该模型采用统一架构,联合学习图像、视频和音频,基于Self‑Flow(自监督流匹配)学习框架扩展,在此前FLUX.1和FLUX.2系列基础上,进一步实现多模态生成与理解的深度融合。FLUX3可在单次生成中输出最长20秒的视频并附带原生音频,支持多种创作模式,在人工评测中展现出对现有领先模型的全面优势。

核心技术与架构创新

FLUX3的核心在于统一多模态表示。不同于传统将图像、视频、音频分模型处理的方式,它在同一套权重和架构中同步训练三种模态,目标是学习“世界”的统一表征,而非孤立处理单一信号。

其技术基础是BFL提出的Self‑Flow框架。Self‑Flow将流匹配(Flow Matching)目标与自监督特征重建相结合,无需依赖外部模型或额外监督,即可高效对齐多模态生成与理解能力。通过大幅扩展计算与数据资源,FLUX3在视频、图像和音频上同步训练,实现了从单一模态到真正联合多模态的跨越。

模型支持丰富的创作模式,包括:

  • 文生视频(Text‑to‑Video)
  • 图生视频(Image‑to‑Video)
  • 视频生视频(Video‑to‑Video)
  • 输入视频与音频续写
  • 关键帧转视频
  • 多语言对话驱动生成
  • 多镜头串联叙事

单次生成最长可达20秒带原生音频的视频,分辨率支持720p等实用规格,显著提升了内容创作的连贯性与沉浸感。

性能表现:人工评测领先

在带声音的10秒720p视频人工评测中,FLUX3表现突出:

  • 对比Grok Imagine Video,胜率达69%
  • 对比Seedance 2.0和Gemini Omni Flash,胜率均为52%

这些结果体现了其在视频质量、音画同步、运动连贯性以及整体真实感上的综合优势。BFL强调,所有能力均来自同一底层多模态流匹配模型,而非后期拼接多个专用系统,因此在跨模态一致性上更具优势。

详细情况与发布策略

FLUX3目前以Early Access形式上线,面向开发者和创作者开放体验。BFL同步发布了技术博客与相关研究,详细介绍了Self‑Flow的实现细节,并开源了部分参考代码(基于Apache‑2.0许可)。模型还扩展至动作预测(Action Prediction)等方向,为机器人与具身智能应用埋下伏笔。

作为FLUX系列的第三代产品,FLUX3延续了该系列在生成质量与可控性上的优势,同时解决了此前多模态系统常见的“模态割裂”问题。统一架构使其在理解输入(图像/视频/音频)与生成输出时使用相同表示空间,有助于减少跨模态幻觉,提升创作可控性。

可能影响:多模态生成格局重塑

1. 对内容创作产业的影响 FLUX3将显著降低高质量音视频内容的生产门槛。广告、影视预演、短视频、游戏过场等场景可直接从文本或参考素材生成带原生音频的连贯片段,减少后期配音与剪辑成本。多镜头串联与续写能力尤其适合叙事性内容创作。

2. 对AI模型竞争格局的影响 在视频生成赛道,FLUX3以统一架构挑战了此前以专用视频模型为主的格局(如部分闭源系统)。其在人工评测中的领先表现,可能迫使竞争对手加速多模态融合研发。开源Self‑Flow相关工作也将推动学术与开源社区跟进。

3. 对开发者与应用生态的影响 Early Access模式有助于快速收集反馈并迭代。开发者可基于统一模型构建更复杂的应用(如交互式视频对话、实时续写工具),而无需维护多套模态专用管线。动作预测能力的加入,则为其在机器人、仿真与具身AI方向的扩展提供了可能。

4. 潜在挑战与风险

  • 计算与成本:多模态联合训练与长视频生成对算力要求较高,实际部署成本需持续优化。
  • 可控性与安全:原生音频与长视频生成可能引入新的滥用风险,内容审核与水印机制将更重要。
  • 生态成熟度:Early Access阶段功能与稳定性仍需验证,大规模商业落地仍需时间。

行业启示:统一多模态是下一阶段关键

Black Forest Labs通过FLUX3证明,真正的多模态基础模型不应是“图像模型+视频模型+音频模型”的简单叠加,而应在统一架构中联合学习世界表征。Self‑Flow提供的自监督流匹配路径,为高效扩展多模态能力提供了可借鉴的范式。

随着FLUX3进入Early Access,多模态生成正从“能生成”迈向“生成得更真实、更连贯、更可控”。对于创作者、开发者和整个AI产业而言,这既是工具升级,也是创作范式转变的开始。未来,统一多模态模型或将成为内容生成与具身智能的核心基础设施。

▶️ 喜欢这篇内容?创作真的很辛苦!

欢迎关注我们的 YouTube 频道:
AI Rosetta

你的点赞、订阅和分享,是对我们最大的支持!🙏

更多AI新闻请访问: https://www.airosetta.com

CopyrightStatement

Comment

Please login before commenting

NoComments

RelatedNews

LoadingMore

Black Forest Labs发布FLUX3:统一架构多模态基础模型,Early Access上线 - Airosetta News