开创性扩散语言模型 7B 华为诺亚方舟实验室与港大联合推出Dream

华为诺亚方舟实验室与香港大学自然语言处理组（HKUNLPGroup）近期联合发布了一款全新的语言模型——Dream7B。这款模型被认为是迄今为止最大的开源扩散大型语言模型之一，其问世标志着文本生成领域的一项重要突破。

与传统的自回归（AR）架构相比，Dream7B采用了一种全新的离散扩散模型（DiscreteDiffusionModels，DMs）架构。扩散模型从完全噪声的状态出发，通过逐步精炼的方式并行生成完整的文本序列。这种架构上的创新带来了诸多显著优势，使得Dream7B在性能上超越了现有的扩散语言模型，并且在通用能力、数学、代码以及规划能力等方面，甚至可以比肩甚至超越同等规模的自回归（AR）语言模型。

Dream7B在多项任务中展现了卓越的表现，尤其是在复杂推理、长期规划以及维持长文本连贯性方面。扩散模型的独特之处在于它能够从完全噪声的状态出发，通过逐步精炼的方式并行生成完整的文本序列，从而打破了自回归模型固定的从左到右生成方式。这种灵活性使得Dream7B在面对复杂的语言任务时表现得更加出色。

Dream7B已经开源了其基础模型和指令微调模型的权重，代码也已在GitHub上公开。这无疑将极大地促进扩散模型在自然语言处理领域的进一步研究和应用。华为诺亚方舟实验室和香港大学自然语言处理组也表示，未来将继续探索扩散语言模型更先进的后训练方法。

Dream7B的发布标志着文本生成领域的一项重要突破，它不仅展示了扩散模型在性能上的优越性，还为未来的自然语言处理研究提供了新的方向。