Pika-Labs/Pika-H3-Flex

机器学习

从提示词、首尾帧和最多 12 个参考文件在本地生成带同步立体声音频的视频。

131
6
Python
NOASSERTION
今天创建

Pika H3 Flex 是一个视频与音频生成模型的推理包和已发布适配器。它适合希望在自有 GPU 上自行运行模型、而非调用托管服务的创作者或工程师,但需要接受较大的下载体积和 H100 级硬件。适配器是 MiniMax-H3 的模型衍生品,因此约束其使用的不只是代码许可证,还包括模型许可证。

产出内容

同一模型家族有两个任务适配器:FL2VA 处理纯文本和首尾帧条件(t2va、i2va、l2va、fl2va),Ref2VA 接收有序的多模态参考素材。输入可包括文本、首帧/尾帧图片,最多 9 张图片、3 段视频和 3 段独立音频,参考文件总数上限为 12,每个视频或音频源需为 2–15 秒。原生输出为 480p 或 768p,覆盖 11 种画幅,24 fps,请求时长 5–15 秒(按 17n+5 帧网格取整,例如 5 秒得到 124 帧),32 kHz 立体声混入 H.264/AAC 的 MP4,并附带 JSON 元数据。更高分辨率(1080p、2K、4K)、独立音轨和提示词改写属于 Pika 托管的 API 端点,不在本地推理范围内(README)。

工作方式

流水线先编码提示词和输入素材,再用所选适配器生成视频和音频 latent,最后解码并合成为 MP4。生成使用六次去噪前向,配合特定的节点调度、新的中间噪声、视频 shift 12 和音频 shift 3;README 提醒通用六步 Euler 采样并不等价,即便种子相同,结果也可能因注意力内核、设备和库版本不同而有差异(README)。安装包会自动下载固定版本的 MiniMax-H3 组件与适配器,并在加载前校验适配器哈希和采样参数。元数据 JSON 会记录最终提示词、种子、几何参数、offload 设置和耗时,因此你视为私密的提示词也会写入该文件。

要求与限制

本地运行面向 Python 3.12 和带兼容驱动的 NVIDIA GPU;pip 安装需要系统 git、patch、ffmpeg 及带开发头文件的 C 编译器,Conda 和 Docker 方案会提供这些依赖。代表性测试每次请求使用一块 H100 80GB;H200 和 B300 未测试。一次请求只在一块 GPU 上运行——暴露八块 GPU 也不会拆分它,但不同空闲卡可跑独立进程。两个任务合计下载约 210 GB 基础文件加 5.5 GB 适配器,尚未计入依赖和下载暂存。--cpu-offload 将 transformer 权重留在 CPU 以降低采样显存,代价是主机内存和传输时间,且不会卸载 text encoder 或 VAE,因此它不构成最低 GPU 要求。已测试的验证表并未覆盖所有分辨率、时长或参考组合,最大规模参考集可能超出显存(硬件文档)。

许可证

推理和加载代码采用 Apache-2.0,但适配器按 MiniMax H3 社区许可证协议分发,并附有必须保留的声明(代码仓库)。部署模型时应查阅该许可证,而不只是代码许可证。

本文由 AI 根据项目 README 生成,更新于 2026年10月30日,以项目官方文档为准。