您现在的位置是：首页 > 数码行业网站首页数码行业

无需训练让扩散模型提速2倍，上交大提出Token级缓存方案

近日，上海交通大学等团队提出了一种创新的Token级缓存方案，名为Toca（Token-wise Caching），该方案能够显著提升扩散模型（Diffusion Models）在图像和视频生成任务中的推理速度，且无需额外训练。相关论文已被ICLR 2025接收。

扩散模型在图像和视频生成领域展现出卓越性能，但巨大的计算成本限制了其在实际应用中的推理速度。为了解决这一问题，研究者们引入了特征缓存方法，通过缓存前几个时间步的特征并在后续时间步中复用它们来加速扩散模型。然而，先前的缓存方法忽略了不同Token对特征缓存的敏感性差异，导致生成质量受损。

Toca团队提出了基于Token的特征缓存方法，允许自适应地选择最适合进行缓存的Token，并为不同类型和深度的神经网络层应用不同的缓存比率。通过在PixArt-α、OpenSora、DiT以及FLUX等模型上的广泛实验，团队证明了Toca方案的有效性。例如，在OpenSora和PixArt-α上分别实现了2.36倍和1.93倍的接近无损的生成加速。

Toca的核心创新在于引入了Token级的缓存复用策略，并从误差积累与传播的角度分析了特征缓存方法。此外，Toca还设计了四种不同的Token selection策略，以适应不同情形下的需求。这些策略包括基于Self-Attention Map、Cross-Attention Map、先前去噪步中的连续缓存复用次数以及空间分布加权的重要性得分计算。

Toca作为首次提出的从Token级实现扩散模型加速的方法，具有更强的适配性和在多种任务上的优异表现。该方案为扩散模型的加速提供了一种新的思路，有望推动视觉生成领域的发展。