MiniMax H3 是什么架构？33B 全模态模型的技术架构与设计理念全解析
MiniMax H3 是一款通用型全模态生成系统，能够统一理解由文本、图像、视频和音频构成的多模态上下文，生成最高 2K 分辨率、最长 15 秒、带有原生立体声音频的视频。本文从整体架构、核心模块、训练范式与设计理念等维度，系统介绍 H3 的技术架构。
一、整体架构：三大模块协同工作
完整的 H3 系统由三个模块组成：
| 模块 | 功能 | 输出 |
|---|---|---|
| H3-Context-IR | 深入理解和提炼输入的多模态指令，转换为 H3 更易理解的上下文中间表示 | Context Intermediate Representation |
| H3-Base | 根据 H3-Context-IR 的输出生成音频和视频 | 768p 音视频 |
| H3-Regenerate-2K | 将 768p 结果连同原始上下文重新输入 H3，以 2K 分辨率重新生成 | 2K 音视频 |
H3-Context-IR 是一套托管式预处理与编排系统，能理解文本、图像、音频和参考视频之间的关系，以及这些素材与预期生成结果之间的关系。H3-Context-IR 对最终输出质量非常重要，因此官方强烈建议将 H3-Context-IR API 接入生成流程。不过 H3-Context-IR 不包含在本次开源发布中，以 API 形式提供。
H3-Base 负责实际生成，默认输出短边为 768 像素的视频。H3-Regenerate-2K 模块让 H3 在原始上下文的指导下重新生成高分辨率版本，而不是使用传统的超分模块——这样可以最大限度复用 H3 自身的生成能力，并利用原始多模态上下文还原小文字、精细纹理等细节。
二、核心组件：H3 不是语言模型
H3 不是语言模型，而是一个 diffusers pipeline。其核心组件包括：
| 组件 | 规格 | 说明 |
|---|---|---|
| H3-Omni-Transformer（DiT） | 33B / 66.3 GB | 50 层，隐藏维度 5376，56×128 注意力头 |
| 文本编码器（Qwen3-VL-32B） | 66.7 GB | 冻结的 condition 编码器 |
| 视频 VAE（H3-VisualVAE） | 10.4 GB | ViT+CNN KL VAE，16× 空间压缩 |
| 音频 VAE（H3-AudioVAE） | 0.6 GB | DAC/BigVGAN，32 kHz 立体声 |
其中 H3-Omni-Transformer 是一个 33B 参数的稠密单流 Transformer。它采用 Dense Single-stream Transformer 架构，彻底打破了模态间的壁垒。值得注意的是，33B 参数中约有 13B 参数位于 AdaLN 相关分支中——这些参数只依赖时间步嵌入，与序列内容无关，因此在推理时可以通过 AdaLN 预计算技术将其中 13B 参数（约 26GB）从常驻内存中移除，实际只需常驻 20.11B 参数（约 40.3GB）。
三、核心技术创新：四项关键技术
H3 的技术架构围绕四个关键模块展开：
3.1 Contextual Omni Representation（COR）
这是 H3 投入最大的部分。语言在其中起到了可泛化的连接和解释作用。多模态上下文的引入让传统的描述被重新定义——不仅要描述目标视频本身，还要描述上下文素材之间、上下文与目标之间的关系。COR 是 H3 广泛指令理解能力的根源。
3.2 H3-VAE（Tokenizer）
H3 彻底重构了前代的 tokenizer 技术，在重建质量和易学性上全面提升。其高压缩率带来 4 倍序列长度收益，直接降低了训练和推理成本，也是支撑原生 2K 分辨率输出的核心技术。
3.3 H3-Omni Transformer
H3-Omni Transformer 联合预测视频和音频的 latent。由于多模态上下文的引入，H3 的序列长度方差比前代大了 3 倍。MiniMax 采用了理解与生成异构的训练架构，精细调优不同工作负载下的硬件利用率，端到端训练吞吐提升近 30%。值得一提的是，团队放弃了曾在 Hailuo 02 上带来显著架构优势的设计，理由是它在 "任务泛化" 这一核心目标下引入了额外复杂性。
3.4 In-context Regeneration（2K 输出）
H3 的 2K 输出没有使用常规的专用超分模块，而是让基模对自己的低分辨率结果进行 in-context 重新生成。好处有两个：最大限度复用基模已有的生成能力；可以再次利用原始多模态上下文信息进行高分辨率输出，从而还原传统超分方案靠 "猜" 无法恢复的细节，比如小文字和精细纹理。
四、训练范式：任务与模态的统一
与传统模型将文生视频、图生视频、动作参考、音色参考和视频编辑拆分为多个独立任务不同，H3 在预训练阶段就把这些任务统一建模。其训练覆盖了以下任务：
- 文生图
- 文生视频（同时生成原生立体声音频）
- 原生多镜头建模
- 文生音频（不区分语音、音效和音乐）
- 图生图参考与编辑
- 图生视频参考与编辑
- 音生音参考与编辑
- 音视频生音视频参考与编辑
所有 these 任务全部基于真实的自然数据构建，参考/编辑关系通过自然语言表达，不局限于固定的任务集合。
五、设计理念：架构为模型定义让路
H3 的设计哲学可以概括为一句话：架构技巧应为模型定义让路。
这意味着 H3 的架构设计纯粹服务于 "任务泛化" 这一核心目标。团队放弃了某些在特定任务上表现优异但在泛化场景下增加复杂性的架构设计，转而采用让多种数据类型和任务尽可能早地融合的方式。语言在其中充当了连接所有模态的可泛化桥梁。
六、关于 实在Agent
实在Agent 已经内置了 MiniMax H3 模型。如果你使用实在Agent服务，无需自行处理模型下载、环境配置或 API 调用等部署工作，可以直接在 Agent 的工作流中调用 H3 的全部能力。
总结
MiniMax H3 是一个 33B 参数的稠密单流 Transformer，核心组件包括 H3-Omni-Transformer（联合预测视频与音频）、Qwen3-VL-32B 文本编码器、H3-VisualVAE 和 H3-AudioVAE。完整系统由 H3-Context-IR（预处理编排）、H3-Base（768p 生成）和 H3-Regenerate-2K（2K 再生成） 三个模块组成。其核心技术创新包括 Contextual Omni Representation（语言作为多模态桥梁）、H3-VAE（4 倍序列压缩）、理解与生成异构训练架构（吞吐提升近 30%） and In-context Regeneration（2K 输出）。H3 以 "任务泛化" 为设计核心，在预训练阶段统一建模了文生视频、图生视频、音视频参考与编辑等多种任务。如果你使用实在Agent，该模型已经内置，可直接调用。
