LTX-2開源：首個同步生成音頻與視頻嘅多模態模型，支援4K/50FPS

SummaryLightricks喺2026年開源LTX-2，一款基於擴散變換器嘅音頻—視頻多模態基礎模型，可同步生成高保真視音頻（原生4K、50FPS、最長20秒），支持本地運行、FP8量化、LoRA微調同多種上採樣流程，推動AI視頻創作向社區驅動轉型。

喺2026年1月，Lightricks正式開源LTX‑2，呢個基於擴散變換器（DiT）嘅音頻⁠—⁠視頻基礎模型可以喺單一模型內同步生成視像同音頻。作為首個全面開源嘅多模態視頻生成工具，LTX‑2支持高保真輸出，包括原生4K、50幀每秒（FPS）同最長20秒嘅影片。佢將現代視頻生成嘅核心組件整合埋一齊，包括空間同時間上採樣器、LoRA適配器同控制模組，適用於文本到視頻、圖像到視頻同視頻到視頻等多種任務。呢次開源標誌住AI視頻生成由封閉生態向社區驅動轉型，Lightricks執行長Zeev Farbman喺Reddit AMA話，希望開發者能夠「實際使用」模型，推動由簡單提示生成向專業渲染引擎嘅演進。本文根據Hugging Face、GitHub同arXiv等權威來源，詳述LTX‑2嘅技術細節、安裝使用步驟，並提供三個示範YouTube連結，幫助讀者快啲上手。

LTX‑2嘅技術架構同能力

LTX‑2嘅核心係一個非對稱雙流變換器架構：視頻流有14B參數，音頻流有5B參數，透過雙向音頻⁠—⁠視頻交叉注意力層耦合，支持共享時間步調度。呢個設計令模型喺生成影片時可以同步產生音頻，避免傳統分離處理帶嚟嘅低效。模型家族包含五個檢查點：基礎模型用於通用生成，可訓練同自定義；蒸餾模型用嚟加速推理（只需8步）；仲有各種LoRA用於控制，如Canny邊緣、深度圖同姿勢等。LTX‑2對效率作出優化，可以喺消費級GPU本地運行，並支持FP8量化以減少記憶體佔用。

喺性能方面，LTX‑2支持多種模式：快速原型（單階段管道）、生產級（雙階段上採樣）同關鍵幀插值。佢能處理複雜提示，例如詳細動作描述、環境細節同鏡頭運動，實現電影級效果。相比Sora同Veo等封閉模型，LTX‑2嘅開源屬性令自定義同整合更容易，例如可同ComfyUI結合做圖形化工作流。Lightricks強調模型嘅「生產級」定位，已喺公司產品中實際應用，證明佢喺長格式創作中嘅可靠性。

安裝與使用步驟

LTX‑2嘅安裝基於Python環境，官方提供完整代碼同訓練包，支持本地推理同LoRA微調。系統要求包括Python 3.12+、充足VRAM（建議使用Hopper GPU以啟用Flash Attention 3）同uv包管理器。以下係詳細步驟：

克隆倉庫並設定環境：

安裝uv（如果未安裝）：pip install uv。
克隆倉庫：git clone https://github.com/Lightricks/LTX‑2.git。
進入目錄：cd LTX‑2。
同步依賴：uv sync ‑‑frozen（呢個會建立虛擬環境並安裝核心套件，例如ltx‑core、ltx‑pipelines同ltx‑trainer）。
啟用環境：source .venv/bin/activate。

下載模型權重：

從Hugging Face下載核心檢查點，例如ltx‑2‑19b‑dev‑fp8.safetensors（建議FP8版本以節省記憶體）。
下載上採樣器：空間 ltx‑2‑spatial‑upscaler‑x2‑1.0.safetensors 同時間 ltx‑2‑temporal‑upscaler‑x2‑1.0.safetensors。
下載Gemma文本編碼器：從 google/gemma‑3‑12b‑it‑qat‑q4_0‑unquantized 取得所有資產。
可選LoRA：例如 ltx‑2‑19b‑distilled‑lora‑384.safetensors 用於蒸餾管道。放喺本地目錄或者使用Hugging Face快取。

優化設定：

安裝注意力優化：uv sync ‑‑extra xformers（或者手動安裝Flash Attention 3）。
對於高VRAM設備，可考慮禁用記憶體清理以加快速度。

使用示例：

文本到視頻：使用 TI2VidTwoStagesPipeline（建議生產級）。示例命令：

from ltx_pipelines import TI2VidTwoStagesPipeline
pipeline = TI2VidTwoStagesPipeline.from_pretrained("Lightricks/LTX-2", fp8transformer=True)
video = pipeline("A cinematic scene of a mountain landscape at sunset", num_inference_steps=40, guidance_scale=7.5)
video.save("output.mp4")

參數：num_inference_steps控制步數（建議20‑40），guidance_scale用嚟調整提示遵從度。
圖像到視頻：類似，使用圖像路徑作為輸入。
蒸餾模式：使用 DistilledPipeline 加速（只需8步）：pipeline = DistilledPipeline.from_pretrained(...)。
提示技巧：提示應該詳盡並按時間順序描述動作同環境，長度控制喺200詞內，使用 enhance_prompt=True 可以自動優化。
ComfyUI整合：克隆 https://github.com/Lightricks/ComfyUI‑LTXVideo/，安裝節點後透過圖形介面生成。

訓練與微調：

使用 ltx‑trainer 套件：準備好數據集後運行 ltx‑trainer lora ‑‑config config.yaml。
支持全微調同 IC‑LoRA，詳情見倉庫 README。

實例示範 YouTube 連結

LTX‑2嘅實際效果已經喺多條YouTube影片展示，以下揀咗三條代表性連結，涵蓋安裝、生成同比較示範：

How To Use LTX‑2 in ComfyUI | FREE AI Videos With Synced Audio（https://www.youtube.com/watch?v=IVs2uBNyHX0）：該影片詳細示範喺ComfyUI中安裝同用LTX‑2生成同步視音頻嘅過程，包含文本到視頻同圖像到視頻示例，突出可以免費本地運行嘅優勢。

LTX‑2 Released opensource!（https://www.youtube.com/watch?v=wXv4qhS4Oc0）：聚焦開源發布，顯示4K 50FPS影片生成示例，並與Sora等模型作比較，適合入門者了解整體能力。

NEW Open‑Source Leap to Create ALL Camera Movements in AI Filmmaking (30 Cinematic Moves)（https://www.youtube.com/watch?v=OlsyJx5YRBs）：教學式影片，示範30種電影級鏡頭運動，例如Dolly Zoom，透過精準提示達到專業效果。

行業影響與展望

LTX‑2嘅開源填補咗多模態模型嘅一個空白，推動AI喺電影、遊戲同VFX領域嘅應用。社區反饋整體正面，例如Reddit用戶讚佢易於本地運行，但亦指出需要較高配置嘅GPU。未來Lightricks計劃擴展路線圖，包括更長時長嘅影片同更高級嘅控制。總體而言，LTX‑2標誌住開源AI視頻生成嘅一個躍進，開發者可以透過GitHub貢獻，共同塑造多模態嘅未來。

▶️ 鍾意呢篇內容？創作真係好費心！

歡迎訂閱我哋嘅 YouTube 頻道：
AI Rosetta

你嘅點讚、訂閱同分享，係對我哋最大嘅支持！🙏

更多AI新聞請訪問：https://www.airosetta.com