

> 传统自回归模型的逐字吐字瓶颈终于被打破。谷歌将扩散模型架构革命性地引入文本域，四倍速的性能跃升或将彻底改写大模型底层的端侧推理规则。

## 打破自回归架构的串行魔咒

在目前统治天下的大模型领域，GPT、Claude乃至早期的Gemma，无一例外都臣服于自回归（Autoregressive）架构的铁律之下。这种架构的核心逻辑极其简单粗暴——根据上文预测下一个词。这就好比一个老练的打字员，必须敲完第一个字，才能思考并敲击第二个字。这种串行计算的本质，导致了极其严重的推理延迟（Latency）瓶颈。无论你后端的算力集群多么庞大，你都无法在一个时间片内让模型同时吐出一段完整的句子。

而谷歌此次发布的DiffusionGemma，犹如在沉闷的技术死水中引爆了一颗深水炸弹。它极其激进地将过去只在图像生成领域（如Midjourney、Stable Diffusion）大放异彩的扩散（Diffusion）模型架构，强行跨界引入了离散的文本生成领域。这是一种降维打击般的解题思路。扩散模型不再是逐词预测，而是先生成一团包含全篇文本长度的“纯噪声”，然后通过复杂的去噪过程，在极少量的迭代步数内，将整段完整的连贯文本一次性“显影”出来。

![82.png](https://static.downly.cn/images/4fd9ceddae0ca30a6b418c9591f0fbf8.png)
<center>图源备注 图片由AI生成</center>

## 降维打击的四倍并行加速

通过将文本域映射到连续的隐空间（Latent Space）进行去噪，DiffusionGemma实现了一种非自回归的并行解码能力。这意味着，AI生成一段一百字的回复，不再需要串行地进行一百次极其昂贵的前向传播，而只需进行几次并行的去噪步数。谷歌官方宣称的“4倍速提升”，在底层架构层面上，实际上是一次从单车道向四车道乃至八车道的高速公路扩容。

这极大地改变了算力分配的逻辑。传统模型在生成阶段（Decode）极度依赖内存带宽（Memory Bandwidth）来搬运庞大的KV Cache矩阵，导致算力利用率极其低下。而基于扩散架构的文本模型，由于其并行运算的特性，能够更高效地榨干GPU中的计算单元（ALU），将原本受制于内存墙的推理过程，重新拉回了算力密集的舒适区。这种底层效率的跃升，不是靠堆显卡带来的，而是靠彻底重构数学模型带来的降维打击。

![83.png](https://static.downly.cn/images/02eb5bd8164918d474decad4e4cf1284.png)
<center>图源备注 图片由AI生成</center>

## 端侧模型生态的重新洗牌

这项开源突破，对下游开发者生态的涟漪效应是极其深远的，甚至可能引发端侧（Edge AI）设备的一场大洗牌。众所周知，手机、PC等边缘设备的内存带宽极其有限，这导致传统自回归大模型在本地运行时的吐字速度犹如龟爬，毫无用户体验可言。

DiffusionGemma的四倍速跃升，意味着原本需要昂贵云端算力才能实现的光速对话交互，现在可以极其顺滑地塞进普通的智能手机中。这解决了端侧AI落地的最大痛点。对于致力于开发本地化AI智能体、实时翻译耳机的硬件厂商而言，这无疑是天降甘霖。同时，作为一款开源模型，谷歌此举也是极其精明的算计，意图通过颠覆性的底层架构，从Meta的Llama生态中狠狠撕下一块属于并行解码时代的开发者阵地。

谷歌开源DiffusionGemma以扩散架构颠覆文本生成速度



> 抛弃传统的复杂采样机制，新一代DiT架构直接在像素层面实现精准控制与高效生成。底层范式的革新不仅大幅压缩了渲染算力成本，更为下一代端侧AI视觉硬件铺平了道路。

## 挣脱潜在空间的算力损耗与失真桎梏

长久以来，主流的视觉生成大模型高度依赖潜在扩散架构。为了规避庞大的计算量，传统模型通常先将高维的图像数据压缩到一个低维的潜在空间中进行扩散去噪，最后再通过解码器将其还原为像素。然而，这种“先压缩后还原”的妥协之举，不可避免地带来了细节丢失与高频信息的模糊，成为高保真视觉生成的阿喀琉斯之踵。

英伟达此次在CVPR亮相的PixelDiT架构，正是对这一底层顽疾的正面强攻。它摒弃了传统的U-Net网络，全面拥抱Transformer架构（DiT），并极其激进地将处理维度直接拉回到原始的像素空间。通过重新设计的注意力机制与极致优化的并行计算调度，PixelDiT在不牺牲生成质量的前提下，生生扛住了直接在像素级操作带来的恐怖计算复杂度，实现了从“有损压缩生成”到“无损原生生成”的技术跨越。

![32.png](https://static.downly.cn/images/d398610fdd5c21276bd19c624478017b.png)
 <center>图源备注 图片由AI生成</center>

## 架构范式的演进与尺度定律的胜利

PixelDiT的成功入围，绝非单纯的算法微调，而是大模型领域“尺度定律”在视觉生成方向的又一次伟力证明。传统网络在扩展模型参数量时往往会遇到性能瓶颈，而基于Transformer的DiT架构天生具备极佳的可扩展性。只要持续喂入更多的算力与更高质量的数据，其生成保真度与语义对齐能力就能实现近乎线性的提升。

更核心的突破在于，直接操作像素意味着模型能够更敏锐地捕捉到光影、纹理等微观物理规律。对于需要极高视觉精度的工业设计、医疗影像分析甚至影视级特效渲染而言，这种无需经过编码器二次翻译的直出能力，彻底打通了AI生成内容与专业级生产管线之间的壁垒。

![33.png](https://static.downly.cn/images/0caf054ce6e95cd3444aa24f8aedf2d7.png)
 <center>图源备注 图片由AI生成</center>

## 端侧渲染重塑与底层硬件生态的护城河

作为底层算力的绝对霸主，英伟达推出PixelDiT的野心远不止于发表一篇顶级学术论文。这项底层架构的革新，本质上是对其自身硬件生态的一次精妙反哺。像素级DiT对显存带宽与张量核心的调度有着极其严苛的要求，这恰好完美契合了英伟达最新一代GPU的硬件特性。

随着PixelDiT的开源与普及，下游开发者将能够以更低的试错成本开发出具备极高视觉质量的应用。更重要的是，通过底层算子的优化，这种原本只能在云端集群运行的庞然大物，正逐步显露出在边缘设备上部署的潜能。当高质量的像素级生成成为端侧设备的标配，整个视觉AI行业的商业逻辑与产品交互形态，必将迎来一场前所未有的重构。

英伟达PixelDiT架构入围CVPR 扩散模型在像素级生成领域的底层跃迁


> **导语**
> 英伟达 AI 团队近日再度突破界限，推出开放视觉行动基础模型 NitroGen。该模型通过学习 40,000 小时的海量视频数据，无需代码介入即可掌握游戏操控逻辑，为通用游戏智能体的构建提供了全新的技术范式。

## 视频即数据 重新定义游戏AI训练逻辑

传统游戏 AI 的训练往往依赖于对游戏内部接口的深度挖掘或定制化开发，而 NitroGen 走了一条更为通用的 "人类视角" 路线。该模型的核心构建始于对公开游戏视频的深度挖掘。

研究团队构建了一个庞大的数据管道，收集了总计 71,000 小时的原始视频素材。经过严格的质量过滤，最终提炼出 40,000 小时的精选数据。这些数据涵盖了 818 位创作者上传的 38,739 个视频，跨越了 846 款截然不同的游戏。数据分布显示，动作角色扮演类游戏（ARPG）占据主导地位，占比达 34.9%，其次是平台跳跃类（18.4%）和动作冒险类（9.2%）。这种多样化的数据构成，为模型理解复杂的 3D 空间关系和操作逻辑奠定了基础。

![Google_AI_Studio_2025-12-29T03_18_39.132Z.png](https://static.downly.cn/images/ff17838482696f5dbdf98f93f0b067bd.png)
 <center>图源备注：图片由AI生成</center>

## 三阶段提取 并不是简单的模仿

NitroGen 并非简单地 "看" 视频，而是通过一套精密的三阶段提取流程来 "理解" 操作。

首先，系统利用 300 个标准化的控制器模板，在视频画面中精准定位游戏手柄的 UI 叠加层。随后，基于 SegFormer 的分类分割模型会对这一区域进行深度解析，将视觉信号转化为具体的按键指令。最后，通过坐标精细化处理，确保动作预测的毫秒级准确性。这一流程让 NitroGen 具备了大规模行为克隆的能力，使其能够像人类玩家一样，仅凭画面反馈做出决策。

此外，随模型发布的还有一个通用模拟器。它能将商业 Windows 游戏无缝封装为兼容 Gymnasium 的接口，实现逐帧互动而无需修改任何底层代码，极大地降低了跨游戏策略迁移的门槛。

![Google_AI_Studio_2025-12-29T03_18_52.433Z.png](https://static.downly.cn/images/44511532641526f940446290039dc39d.png)
 <center>图源备注：图片由AI生成</center>

## 扩散架构驱动 性能与迁移能力的双重飞跃

在架构层面，NitroGen 采用了基于 Diffusion Transformer 的先进策略，专门针对 256×256 分辨率的 RGB 图像进行优化。这种架构选择使得模型在生成动作策略时具备了极高的鲁棒性。

实测数据显示，NitroGen 在多个零样本（Zero-shot）评估任务中表现优异，任务完成率稳定在 45% 至 60% 之间。更令人瞩目的是其迁移学习能力：当应用于一款从未见过的全新游戏时，经过预训练的 NitroGen 相较于从头开始训练的模型，性能提升幅度高达 52%。这证明了该模型不仅记忆了操作，更习得了通用的游戏交互逻辑。

搜索结果: 扩散架构