在2026年1月，Lightricks公司正式开源LTX‑2模型，这是一个基于扩散变换器（DiT）的音频‑视频基础模型，能够在单一模型内生成同步的视频和音频内容。作为首个全面开源的多模态视频生成工具，LTX‑2支持高保真输出，包括原生4K分辨率、50帧每秒（FPS）和长达20秒的视频生成。它将现代视频生成的核心组件整合一体，包括空间和时间上采样器、LoRA适配器和控制模块，适用于文本到视频、图像到视频以及视频到视频等多种任务。这一开源举措标志着AI视频生成从封闭生态向社区驱动的转型，Lightricks CEO Zeev Farbman在Reddit AMA中表示，此举旨在让开发者“实际使用”模型，推动从简单提示生成向专业渲染引擎的演进。本文基于Hugging Face、GitHub和arXiv等权威来源，详述LTX‑2的技术细节、安装使用步骤，并提供三个演示YouTube链接，助力读者快速上手。
LTX‑2的技术架构与能力
LTX‑2的核心是一个非对称双流变换器架构：视频流拥有14B参数，音频流为5B参数，通过双向音频‑视频交叉注意力层耦合，支持共享时间步调理。这一设计允许模型在生成视频的同时同步创建音频，避免了传统方法中分离处理的低效问题。模型家族包括五个检查点：基础模型用于通用生成，可训练和自定义；蒸馏模型加速推理（仅8步）；以及各种LoRA用于控制如Canny边缘、深度图和姿势等。LTX‑2优化了效率，能在消费级GPU上本地运行，支持FP8量化以减少内存占用。
在性能上，LTX‑2支持多种模式：快速原型（单阶段管道）、生产质量（双阶段上采样）和关键帧插值。它能处理复杂提示，如详细的动作描述、环境细节和相机运动，实现电影级效果。与Sora和Veo等封闭模型相比，LTX‑2的开源特性使其更易于自定义和集成，如与ComfyUI结合实现图形化工作流。Lightricks强调模型的“生产级”定位，已在公司产品中实际应用，证明其在长形式创作中的可靠性。
安装与使用步骤
LTX‑2的安装基于Python环境，官方提供完整代码和训练包，支持本地推理和LoRA微调。系统要求包括Python 3.12+、充足VRAM（推荐Hopper GPU以启用Flash Attention 3）和uv包管理器。以下是详细步骤：
- 克隆仓库并设置环境：
- 安装uv（如果未安装）：pip install uv。
- 克隆仓库：git clone https://github.com/Lightricks/LTX‑2.git。
- 进入目录：cd LTX‑2。
- 同步依赖：uv sync ‑‑frozen（这会创建虚拟环境并安装核心包如ltx‑core、ltx‑pipelines和ltx‑trainer）。
- 激活环境：source .venv/bin/activate。
- 下载模型权重：
- 从Hugging Face下载核心检查点，如ltx‑2‑19b‑dev‑fp8.safetensors（推荐FP8版本以节省内存）。
- 下载上采样器：空间ltx‑2‑spatial‑upscaler‑x2‑1.0.safetensors和时间ltx‑2‑temporal‑upscaler‑x2‑1.0.safetensors。
- 下载Gemma文本编码器：从google/gemma‑3‑12b‑it‑qat‑q4_0‑unquantized获取所有资产。
- 可选LoRA：如ltx‑2‑19b‑distilled‑lora‑384.safetensors用于蒸馏管道。放置于本地目录或使用Hugging Face缓存。
- 优化设置：
- 安装注意力优化：uv sync ‑‑extra xformers（或手动安装Flash Attention 3）。
- 对于高VRAM设备，禁用内存清理以加速。
- 使用示例：
- 文本到视频：使用TI2VidTwoStagesPipeline（推荐生产级）。 示例命令：
- Python
from ltx_pipelines import TI2VidTwoStagesPipeline
pipeline = TI2VidTwoStagesPipeline.from_pretrained("Lightricks/LTX-2", fp8transformer=True)
video = pipeline("A cinematic scene of a mountain landscape at sunset", num_inference_steps=40, guidance_scale=7.5)
video.save("output.mp4")
- 参数：num_inference_steps控制步数（20‑40推荐），guidance_scale调整提示遵守度。
- 图像到视频：类似，使用图像路径作为输入。
- 蒸馏模式：使用DistilledPipeline加速（仅8步）：pipeline = DistilledPipeline.from_pretrained(...)。
- 提示技巧：提示应详细、按时间顺序描述动作和环境，长度控制在200词内，使用enhance_prompt=True自动优化。
- ComfyUI集成：克隆https://github.com/Lightricks/ComfyUI‑LTXVideo/，安装节点后通过图形界面生成。
- 训练与微调：
- 使用ltx‑trainer包：准备数据集后运行ltx‑trainer lora ‑‑config config.yaml。
- 支持全微调和IC‑LoRA，详见仓库README。
实例演示YouTube链接
LTX‑2的实际效果已在多个YouTube视频中展示，以下选取三个代表性链接，涵盖安装、生成和比较：
- How To Use LTX‑2 in ComfyUI | FREE AI Videos With Synced Audio（https://www.youtube.com/watch?v=IVs2uBNyHX0）：该视频详细演示ComfyUI中LTX‑2的安装和生成同步音视频过程，包括文本到视频和图像到视频示例，突出其免费本地运行优势。
- LTX‑2 Released opensource!（https://www.youtube.com/watch?v=wXv4qhS4Oc0）：聚焦开源发布，展示4K 50FPS视频生成实例，并比较与Sora等模型，适合初学者了解整体能力。
- NEW Open‑Source Leap to Create ALL Camera Movements in AI Filmmaking (30 Cinematic Moves)（https://www.youtube.com/watch?v=OlsyJx5YRBs）：教程式视频，演示30种电影级相机运动生成，如Dolly Zoom，使用精确提示实现专业效果。
行业影响与展望
LTX‑2的开源填补了多模态模型的空白，推动AI在电影、游戏和VFX领域的应用。社区反馈积极，如Reddit用户赞其易于本地运行，但也指出需高配置GPU。未来，Lightricks计划扩展路图，包括更长视频和高级控制。总体而言，LTX‑2标志着开源AI视频生成的跃进，开发者可通过GitHub贡献，共同塑造多模态未来。
▶️ 喜欢这篇内容？创作真的很辛苦！
欢迎关注我们的 YouTube 频道：
AI Rosetta
你的点赞、订阅和分享，是对我们最大的支持！🙏
更多AI新闻请访问：
https://www.airosetta.com