LogoAIRosetta

Black Forest Labs發佈FLUX3:統一架構嘅多模態基礎模型,Early Access上線

BFL

Summary德國AI初創Black Forest Labs推出FLUX3多模態基礎模型,採用Self‑Flow自監督流匹配框架,在統一架構同步訓練圖像、影片與音訊,可生成最長20秒帶原生音訊嘅影片,已開放Early Access並開源部分參考代碼,人工評估顯示領先同類模型。

2026年7月23日,德國AI初創公司Black Forest Labs(BFL)宣布以Early Access方式正式推出FLUX3多模態基礎模型。該模型採用統一架構,聯合學習圖像、影片和音訊,基於Self‑Flow(自監督流匹配)學習框架擴展,在此前FLUX.1和FLUX.2系列基礎上,進一步實現多模態生成與理解嘅深度融合。FLUX3可喺單次生成中輸出最長20秒嘅影片並附帶原生音訊,支援多種創作模式,喺人工評估中展現出對現有領先模型嘅全面優勢。

核心技術與架構創新

FLUX3嘅核心喺於統一多模態表示。唔同於傳統將圖像、影片、音訊分開用不同模型處理嘅方式,佢喺同一套權重同架構中同步訓練三種模態,目標係學習「世界」嘅統一表徵,而非孤立處理單一訊號。

其技術基礎係BFL提出嘅Self‑Flow框架。Self‑Flow將流匹配(Flow Matching)目標與自監督特徵重建相結合,無需依賴外部模型或額外監督,即可高效對齊多模態生成與理解能力。通過大幅擴展計算與數據資源,FLUX3喺影片、圖像同音訊上同步訓練,實現由單一模態到真正聯合多模態嘅跨越。

模型支援豐富嘅創作模式,包括:

  • 文字生影片(Text‑to‑Video)
  • 圖像生影片(Image‑to‑Video)
  • 影片生影片(Video‑to‑Video)
  • 輸入影片與音訊續寫
  • 關鍵幀轉影片
  • 多語言對話驅動生成
  • 多鏡頭串聯敘事

單次生成最長可達20秒帶原生音訊嘅影片,解像度支援720p等實用規格,顯著提升內容創作嘅連貫性同沉浸感。

效能表現:人工評估領先

喺帶聲音嘅10秒720p影片人工評估中,FLUX3表現突出:

  • 對比Grok Imagine Video,勝率達69%
  • 對比Seedance 2.0同Gemini Omni Flash,勝率均為52%

呢啲結果反映咗其喺影片質素、音畫同步、運動連貫性以及整體真實感上嘅綜合優勢。BFL強調,所有能力都來自同一底層多模態流匹配模型,而非後期拼接多個專用系統,因而喺跨模態一致性上更有優勢。

詳細情況與發佈策略

FLUX3目前以Early Access形式上線,面向開發者同創作者開放體驗。BFL同步發佈咗技術博客同相關研究,詳細介紹咗Self‑Flow嘅實現細節,並開源咗部分參考代碼(基於Apache‑2.0許可)。模型仲擴展至動作預測(Action Prediction)等方向,為機械人與具身智能應用埋下伏筆。

作為FLUX系列嘅第三代產品,FLUX3延續咗該系列喺生成質量與可控性上嘅優勢,同時解決咗此前多模態系統常見嘅「模態割裂」問題。統一架構令其喺理解輸入(圖像/影片/音訊)同生成輸出時使用相同表示空間,有助於減少跨模態幻覺,提升創作可控性。

可能影響:多模態生成格局重塑

1. 對內容創作產業嘅影響 FLUX3將顯著降低高質量音影片內容嘅生產門檻。廣告、影視預演、短影片、遊戲過場等場景可以直接由文本或參考素材生成帶原生音訊嘅連貫片段,減少後期配音與剪輯成本。多鏡頭串聯與續寫能力尤其適合敘事性內容創作。

2. 對AI模型競爭格局嘅影響 喺影片生成賽道,FLUX3以統一架構挑戰此前以專用影片模型為主嘅格局(如部分閉源系統)。佢喺人工評估中嘅領先表現,可能迫使競爭對手加速多模態融合嘅研發。開源Self‑Flow相關工作亦會推動學術與開源社群跟進。

3. 對開發者與應用生態嘅影響 Early Access模式有助於快速收集反饋並迭代。開發者可基於統一模型構建更複雜嘅應用(如互動式影片對話、即時續寫工具),而無需維護多套模態專用管線。動作預測能力嘅加入,則為其喺機械人、模擬與具身AI方向嘅擴展提供可能。

4. 潛在挑戰與風險

  • 計算與成本:多模態聯合訓練與長影片生成對算力要求較高,實際部署成本需持續優化。
  • 可控性與安全:原生音訊與長影片生成可能引入新嘅濫用風險,內容審核與水印機制將更重要。
  • 生態成熟度:Early Access階段功能與穩定性仍需驗證,大規模商業落地仍需時間。

行業啟示:統一多模態係下一階段關鍵

Black Forest Labs通過FLUX3證明,真正嘅多模態基礎模型唔應該係「圖像模型+影片模型+音訊模型」嘅簡單相加,而係應喺統一架構中聯合學習世界表徵。Self‑Flow提供嘅自監督流匹配路徑,為高效擴展多模態能力提供咗可借鑑嘅範式。

隨住FLUX3進入Early Access,多模態生成正由「能生成」邁向「生成得更真實、更連貫、更可控」。對於創作者、開發者同整個AI產業而言,呢個唔單止係工具升級,亦係創作範式轉變嘅開始。未來,統一多模態模型有可能成為內容生成與具身智能嘅核心基礎設施。

▶️ 鍾意呢篇內容?創作真係好辛苦!

歡迎關注我哋嘅 YouTube 頻道:
AI Rosetta

你嘅讚好、訂閱同分享,係對我哋最大嘅支持!🙏

更多AI新聞請訪問:https://www.airosetta.com

CopyrightStatement

Comment

Please login before commenting

NoComments

RelatedNews

LoadingMore

Black Forest Labs發佈FLUX3:統一架構嘅多模態基礎模型,Early Access上線 - Airosetta News