本研究将强化学习引入晶体生成模型，用奖励函数替代似然目标，让模型从"模仿已知材料"转向"主动探索未知空间"，在 mSUN（亚稳、唯一、新颖结构比例）指标上实现了从 15.9% 到 61.3% 的跃升。

晶体材料一直是技术革命的底层推动力——从半导体到电池，从催化剂到能源材料，每一种新晶体的发现都可能开启新的应用范式。然而，晶体材料的设计空间是典型的组合爆炸问题：元素组成、化学计量比、晶格参数、原子坐标、空间群、局域配位环境……这些维度相互耦合，使得穷举搜索在计算上不可行。

高通量计算和材料数据库（如 Materials Project）极大扩展了已知晶体的版图，但它们仍然是在"已知附近"打转——无论是 DFT 筛选还是数据挖掘，都很难系统性地跳出已有知识的引力范围。

生成式 AI 的出现改变了这个局面。VAE、GAN、自回归模型、扩散模型等方法陆续被用于生成无机晶体结构，试图从数据库中学习材料的隐含分布，然后从中采样新晶体。问题在于，这种做法存在一个根本性的目标错位​：模型学习的是训练数据的高概率区域，而材料科学家真正想要的，恰恰是那些低概率、但可能稳定且有用的未知结构。

Chemeleon2 正是为了解决这个错位而设计的。它的核心思路很简单：不让模型学分布，而是让模型学"什么值得生成"​​。具体做法是把晶体生成建模为一个强化学习问题——扩散模型是智能体，奖励函数是环境，新颖性、稳定性和多样性是评分标准。经过 RL 后训练，模型从被动的分布采样器升级为主动的探索工具。

---

背景：为什么似然目标不够用

要理解 Chemeleon2 的动机，得先看清楚似然训练的局限性。

扩散模型的标准训练目标是最大化训练数据的似然。在数学上这是优雅的，但在材料发现场景下会产生一个棘手的后果：模型生成的样本会天然地聚集在训练集中的高密度区域。换句话说：模型更倾向于生成"看起来像已知材料"的晶体，而不是去寻找那些数据库中缺席、但物理上可能存在的全新结构。

材料发现的特殊性加剧了这个问题。已知数据库（如 ICSD、Materials Project）的覆盖严重不均衡——某些元素组合和化学配比被充分研究，而另一些区域则几乎是空白。这种不均衡不是随机的；它反映了人类研究者的偏好（热门体系更容易被研究）和实验可及性的差异（某些体系更容易合成）。如果生成模型忠实复现了数据库的分布，它也会忠实复现这种偏好的扭曲。

此外，多样性、新颖性、热力学稳定性这三种目标之间存在天然张力。越靠近已知结构越可能稳定，越远离则越新颖但越可能不稳定。传统的条件生成方法（如 Classifier-Free Guidance）可以对某一属性做弱控制，但无法在多目标之间做显式的权衡优化。

所以问题不是生成模型不够好，而是训练目标本身和发现目标不一致​。这个洞察是 Chemeleon2 的出发点。

---

方法：把生成变成强化学习

Chemeleon2 的技术架构分两层：生成层和优化层。

生成层：潜在扩散模型作为策略网络

直接对晶体做 RL 会面临一个实际问题：晶体表示太复杂了。原子类型是离散的，晶格矩阵和原子坐标是连续的，策略概率计算困难，采样成本也高。Chemeleon2 的做法是先用一个变分自编码器（VAE）将晶体结构压缩到连续潜在空间，再在这个潜在空间中做扩散生成。

这样做的优势很明显：潜在空间是连续的，可以直接用策略梯度方法优化；扩散模型的去噪过程天然对应着一个多步决策过程，每一步去噪就是一个动作，整个扩散链就是一条轨迹。因此，把扩散模型视为策略网络在数学上是自然的。

图1｜强化学习引导晶体材料探索框架。

优化层：GRPO + 多目标奖励

RL 阶段是整篇论文的核心创新。Chemeleon2 使用组相对策略优化（Group Relative Policy Optimization, GRPO）来更新扩散模型参数。

GRPO 的核心思路是：对同一个输入条件生成一组候选晶体（比如 K=4 个），然后在组内做相对归一化——每个候选的奖励减去组内均值，再除以组内标准差，得到组内相对优势。和普通的 REINFORCE 相比，GRPO 大幅降低了优势估计的方差。论文中的训练曲线也验证了这一点：GRPO 的奖励提升更平滑，梯度方差更低。

图2｜策略优化算法示意图。

奖励函数由三个组件构成：

创造性奖励：通过连续结构距离度量生成晶体与参考数据库中最近邻晶体的差异，鼓励生成唯一且不同于已知结构的候选。这里使用连续距离而不是简单的"是否完全匹配"二元判断，避免了优化过程中的陡峭梯度问题。

稳定性奖励：基于能量凸包上方能量（Energy Above Hull），鼓励热力学上可行或亚稳的结构。考虑到 DFT 计算太昂贵，Chemeleon2 使用机器学习力场（MLFF）做快速近似评估，这使得 RL 训练中的大量试错变得可行。

多样性奖励：显式惩罚模式坍缩，推动模型覆盖更广泛的组成和化学空间。消融实验表明，去掉多样性奖励后，模型会反复生成少数相似结构，仅通过微小几何扰动来赚取奖励——这正是材料生成中典型的奖励黑客行为。

这三个奖励的权重决定了模型在探索和利用之间的平衡点。论文没有给出固定的最优权重，而是展示了不同权重配置下的帕累托前沿，说明这个框架的可调性本身就是一种优势。

---

结果：从 15.9% 到 61.3% 的跃升

核心指标：mSUN

论文定义了一个核心评估指标——mSUN（metastable, unique, and novel）​，即同时满足三个条件：亚稳（能量凸包上方能量 < 0.1 eV/atom）、唯一（与其他生成结构不重复）、新颖（不同于训练集中的任何结构）。这个指标直接衡量一个生成模型对材料发现的实用价值——多生成没有用的已知结构，少生成不稳定的虚构结构。

在 Alex-MP-20 数据集上的从头生成基准测试中，每个模型生成 10,000 个晶体，直接对未做几何优化的原始结构评估：

mSUN 提升了 45.4 个百分点，相对提升 285.5%。这个数字的含义是：每生成 100 个晶体，有效新结构的数量从约 16 个增加到约 61 个，接近 **4 倍的发现效率提升**​。

唯一性从 99.4% 降到 88.7%，提示 RL 模型仍存在轻微的模式坍缩倾向——模型找到了一些"高奖励区域"后会集中采样。但考虑到 mSUN 的巨大提升，这个代价是值得的，而且多样性奖励已经显著缓解了这一问题。

在较小的 MP-20 数据集上的结果趋势一致，说明该方法不是对单一数据集的过拟合。

新颖性—稳定性困境

材料生成中有一个经典困境：越靠近已知材料越稳定，越远离越新颖。传统生成模型受训练分布限制，很难同时提升这两者。

Chemeleon2 在这个二维图上明显拓展了帕累托前沿。t-SNE 结构嵌入可视化显示，基线模型虽然覆盖较广，但有效候选稀疏；RL 模型则形成了富含 mSUN 结构的局部簇，表明模型学会了在"有前途"的区域深耕，而不是均匀撒网。

一个有趣的发现是：RL 模型倾向于先识别热力学有利的结构原型（比如钙钛矿、尖晶石等），再通过多元素、多阴离子替换引入组成复杂性。换句话说，模型学会的策略是"在稳定骨架之上增加化学新颖性"​​，而不是凭空想象全新结构类型。这种策略在材料科学上也是合理的——已知结构类型通常已经经过自然和实验的筛选。

组成空间的迁移

另一个重要发现是 RL 如何改变了模型的元素偏好。基线 Chemeleon2 偏向生成含氧、硫族和卤素的化合物，这恰好是 Materials Project 等数据库中占比最高的类别。RL 后，过渡金属比例从 26.2% 增加到 35.6%，非金属比例从 27.2% 降至 16.6%。Br、I、Se 等更可极化元素的出现频率也增加了。

这种迁移是奖励设计的结果：稳定性奖励偏好具有多氧化态和可调配位环境的过渡金属，创造性奖励推动模型探索数据库中欠表示的元素组合。模型还生成了较多三元和四元化合物，其中相当一部分具有较低凸包上方能量，提示这些复杂组成中存在真实的合成候选。

论文也坦率指出，目前的模型生成的是有序周期结构，不能很好区分离散化合物和固溶体。某些多金属体系可能更适合被解释为无序固溶体，而不是确定的有序化合物。这是当前模型的一个已知盲区。

性质引导生成：带隙 3 eV 的靶向设计

除从头生成外，论文还做了一个更有应用场景的实验——目标带隙引导设计​，以 3 eV 为靶点。

这一实验比较了三种条件生成方式：CFG、LoRA+CFG、RL。CFG 生成的带隙分布很宽，无法有效集中到目标附近，而且严重破坏了 mSUN（有效结构比例接近零）。LoRA+CFG 略有改善但不明显。RL 优化后的模型则生成了 DFT 验证带隙明显集中在 3 eV 附近的结构，同时保持 mSUN 为 45.3%。

在 512 个初始样本中，有 82 个结构同时满足 mSUN 和 2.7–3.3 eV 的目标带隙。经过 DFT 几何弛豫后，mSUN 和亚稳比例还进一步提升了，说明模型生成的结构已经接近平衡构型。

这个结果的意义在于：RL 不仅能引导模型生成想要的属性，而且不会在属性优化过程中牺牲化学有效性​。这是传统条件生成方法无法做到的。

图3｜强化学习用于性质引导晶体生成。

---

讨论与判断

Chemeleon2 的真正贡献不在于具体的 mSUN 数字，而在于它提出了一个范式层面的思路转变​：生成式 AI 在科学发现中的角色，不应该是一个被动的数据分布模仿者，而应该是一个可以被科学目标直接驱动的主动探索者。

这个思路的通用性很高。论文中奖励函数的模块化设计意味着，只要有一个可以量化评估的科学目标（无论是稳定性、带隙还是其他功能性质），就可以作为 RL 的奖励信号来引导生成。这为 AI 驱动的材料逆向设计提供了一套可插拔的框架。

但局限也值得认真对待：

第一，结构新颖性的精确定义仍然是一个开放问题。对于低对称结构、轻微晶格畸变和复杂配位环境，简单的结构距离不足以做出可靠判断，"看似新实则等价"或"看似已知实则不同"的误判难以避免。

第二，有序结构的假设限制了模型的适用范围。真实材料中的固溶体、位点无序、缺陷、非化学计量组成都无法被当前模型处理。这在多元素体系中尤其突出——模型生成的某些"有序结构"可能在实验上更接近无序固溶体。

第三，稳定性评估的可靠性取决于力场精度。MLFF 虽然快，但对于高阶多元素体系中参考相图稀疏的区域，能量估计可能被高估。论文也提醒了这一点——最终的验证仍然需要 DFT 弛豫，甚至实验合成。

另外，从工程角度看，Chemeleon2 训练一个 RL 后训练的模型需要先生成大量候选再做评估反馈，计算开销不小。论文没有详细报告训练成本，但对于实际部署来说，这是一个需要考量的因素。

综合来看，Chemeleon2 打动人的地方在于它回答了一个非常根本的问题：当生成模型的训练目标和科学发现目标不一致时，该怎么办？它的回答是：别让模型学分布，让模型学目标。这个回答简洁、有效，而且可复用。

---

论文信息：

Park, H., Walsh, A. Guiding generative models to uncover diverse and novel crystals via reinforcement learning. Nature Machine Intelligence (2026).

DOI: https://doi.org/10.1038/s42256-026-01262-4

本研究将强化学习引入晶体生成模型，用奖励函数替代似然目标，让模型从"模仿已知材料"转向"主动探索未知空间"，在 mSUN（亚稳、唯一、新颖结构比例）指标上实现了从 15.9% 到 61.3% 的跃升。

晶体材料一直是技术革命的底层推动力——从半导体到电池，从催化剂到能源材料，每一种新晶体的发现都可能开启新的应用范式。然而，晶体材料的设计空间是典型的组合爆炸问题：元素组成、化学计量比、晶格参数、原子坐标、空间群、局域配位环境……这些维度相互耦合，使得穷举搜索在计算上不可行。

高通量计算和材料数据库（如 Materials Project）极大扩展了已知晶体的版图，但它们仍然是在"已知附近"打转——无论是 DFT 筛选还是数据挖掘，都很难系统性地跳出已有知识的引力范围。

生成式 AI 的出现改变了这个局面。VAE、GAN、自回归模型、扩散模型等方法陆续被用于生成无机晶体结构，试图从数据库中学习材料的隐含分布，然后从中采样新晶体。问题在于，这种做法存在一个根本性的目标错位​：模型学习的是训练数据的高概率区域，而材料科学家真正想要的，恰恰是那些低概率、但可能稳定且有用的未知结构。

Chemeleon2 正是为了解决这个错位而设计的。它的核心思路很简单：不让模型学分布，而是让模型学"什么值得生成"​​。具体做法是把晶体生成建模为一个强化学习问题——扩散模型是智能体，奖励函数是环境，新颖性、稳定性和多样性是评分标准。经过 RL 后训练，模型从被动的分布采样器升级为主动的探索工具。

---

背景：为什么似然目标不够用

要理解 Chemeleon2 的动机，得先看清楚似然训练的局限性。

扩散模型的标准训练目标是最大化训练数据的似然。在数学上这是优雅的，但在材料发现场景下会产生一个棘手的后果：模型生成的样本会天然地聚集在训练集中的高密度区域。换句话说：模型更倾向于生成"看起来像已知材料"的晶体，而不是去寻找那些数据库中缺席、但物理上可能存在的全新结构。

材料发现的特殊性加剧了这个问题。已知数据库（如 ICSD、Materials Project）的覆盖严重不均衡——某些元素组合和化学配比被充分研究，而另一些区域则几乎是空白。这种不均衡不是随机的；它反映了人类研究者的偏好（热门体系更容易被研究）和实验可及性的差异（某些体系更容易合成）。如果生成模型忠实复现了数据库的分布，它也会忠实复现这种偏好的扭曲。

此外，多样性、新颖性、热力学稳定性这三种目标之间存在天然张力。越靠近已知结构越可能稳定，越远离则越新颖但越可能不稳定。传统的条件生成方法（如 Classifier-Free Guidance）可以对某一属性做弱控制，但无法在多目标之间做显式的权衡优化。

所以问题不是生成模型不够好，而是训练目标本身和发现目标不一致​。这个洞察是 Chemeleon2 的出发点。

---

方法：把生成变成强化学习

Chemeleon2 的技术架构分两层：生成层和优化层。

生成层：潜在扩散模型作为策略网络

直接对晶体做 RL 会面临一个实际问题：晶体表示太复杂了。原子类型是离散的，晶格矩阵和原子坐标是连续的，策略概率计算困难，采样成本也高。Chemeleon2 的做法是先用一个变分自编码器（VAE）将晶体结构压缩到连续潜在空间，再在这个潜在空间中做扩散生成。

这样做的优势很明显：潜在空间是连续的，可以直接用策略梯度方法优化；扩散模型的去噪过程天然对应着一个多步决策过程，每一步去噪就是一个动作，整个扩散链就是一条轨迹。因此，把扩散模型视为策略网络在数学上是自然的。

图1｜强化学习引导晶体材料探索框架。

优化层：GRPO + 多目标奖励

RL 阶段是整篇论文的核心创新。Chemeleon2 使用组相对策略优化（Group Relative Policy Optimization, GRPO）来更新扩散模型参数。

GRPO 的核心思路是：对同一个输入条件生成一组候选晶体（比如 K=4 个），然后在组内做相对归一化——每个候选的奖励减去组内均值，再除以组内标准差，得到组内相对优势。和普通的 REINFORCE 相比，GRPO 大幅降低了优势估计的方差。论文中的训练曲线也验证了这一点：GRPO 的奖励提升更平滑，梯度方差更低。

图2｜策略优化算法示意图。

奖励函数由三个组件构成：

创造性奖励：通过连续结构距离度量生成晶体与参考数据库中最近邻晶体的差异，鼓励生成唯一且不同于已知结构的候选。这里使用连续距离而不是简单的"是否完全匹配"二元判断，避免了优化过程中的陡峭梯度问题。

稳定性奖励：基于能量凸包上方能量（Energy Above Hull），鼓励热力学上可行或亚稳的结构。考虑到 DFT 计算太昂贵，Chemeleon2 使用机器学习力场（MLFF）做快速近似评估，这使得 RL 训练中的大量试错变得可行。

多样性奖励：显式惩罚模式坍缩，推动模型覆盖更广泛的组成和化学空间。消融实验表明，去掉多样性奖励后，模型会反复生成少数相似结构，仅通过微小几何扰动来赚取奖励——这正是材料生成中典型的奖励黑客行为。

这三个奖励的权重决定了模型在探索和利用之间的平衡点。论文没有给出固定的最优权重，而是展示了不同权重配置下的帕累托前沿，说明这个框架的可调性本身就是一种优势。

---

结果：从 15.9% 到 61.3% 的跃升

核心指标：mSUN

论文定义了一个核心评估指标——mSUN（metastable, unique, and novel）​，即同时满足三个条件：亚稳（能量凸包上方能量 < 0.1 eV/atom）、唯一（与其他生成结构不重复）、新颖（不同于训练集中的任何结构）。这个指标直接衡量一个生成模型对材料发现的实用价值——多生成没有用的已知结构，少生成不稳定的虚构结构。

在 Alex-MP-20 数据集上的从头生成基准测试中，每个模型生成 10,000 个晶体，直接对未做几何优化的原始结构评估：

mSUN 提升了 45.4 个百分点，相对提升 285.5%。这个数字的含义是：每生成 100 个晶体，有效新结构的数量从约 16 个增加到约 61 个，接近 **4 倍的发现效率提升**​。

唯一性从 99.4% 降到 88.7%，提示 RL 模型仍存在轻微的模式坍缩倾向——模型找到了一些"高奖励区域"后会集中采样。但考虑到 mSUN 的巨大提升，这个代价是值得的，而且多样性奖励已经显著缓解了这一问题。

在较小的 MP-20 数据集上的结果趋势一致，说明该方法不是对单一数据集的过拟合。

新颖性—稳定性困境

材料生成中有一个经典困境：越靠近已知材料越稳定，越远离越新颖。传统生成模型受训练分布限制，很难同时提升这两者。

Chemeleon2 在这个二维图上明显拓展了帕累托前沿。t-SNE 结构嵌入可视化显示，基线模型虽然覆盖较广，但有效候选稀疏；RL 模型则形成了富含 mSUN 结构的局部簇，表明模型学会了在"有前途"的区域深耕，而不是均匀撒网。

一个有趣的发现是：RL 模型倾向于先识别热力学有利的结构原型（比如钙钛矿、尖晶石等），再通过多元素、多阴离子替换引入组成复杂性。换句话说，模型学会的策略是"在稳定骨架之上增加化学新颖性"​​，而不是凭空想象全新结构类型。这种策略在材料科学上也是合理的——已知结构类型通常已经经过自然和实验的筛选。

组成空间的迁移

另一个重要发现是 RL 如何改变了模型的元素偏好。基线 Chemeleon2 偏向生成含氧、硫族和卤素的化合物，这恰好是 Materials Project 等数据库中占比最高的类别。RL 后，过渡金属比例从 26.2% 增加到 35.6%，非金属比例从 27.2% 降至 16.6%。Br、I、Se 等更可极化元素的出现频率也增加了。

这种迁移是奖励设计的结果：稳定性奖励偏好具有多氧化态和可调配位环境的过渡金属，创造性奖励推动模型探索数据库中欠表示的元素组合。模型还生成了较多三元和四元化合物，其中相当一部分具有较低凸包上方能量，提示这些复杂组成中存在真实的合成候选。

论文也坦率指出，目前的模型生成的是有序周期结构，不能很好区分离散化合物和固溶体。某些多金属体系可能更适合被解释为无序固溶体，而不是确定的有序化合物。这是当前模型的一个已知盲区。

性质引导生成：带隙 3 eV 的靶向设计

除从头生成外，论文还做了一个更有应用场景的实验——目标带隙引导设计​，以 3 eV 为靶点。

这一实验比较了三种条件生成方式：CFG、LoRA+CFG、RL。CFG 生成的带隙分布很宽，无法有效集中到目标附近，而且严重破坏了 mSUN（有效结构比例接近零）。LoRA+CFG 略有改善但不明显。RL 优化后的模型则生成了 DFT 验证带隙明显集中在 3 eV 附近的结构，同时保持 mSUN 为 45.3%。

在 512 个初始样本中，有 82 个结构同时满足 mSUN 和 2.7–3.3 eV 的目标带隙。经过 DFT 几何弛豫后，mSUN 和亚稳比例还进一步提升了，说明模型生成的结构已经接近平衡构型。

这个结果的意义在于：RL 不仅能引导模型生成想要的属性，而且不会在属性优化过程中牺牲化学有效性​。这是传统条件生成方法无法做到的。

图3｜强化学习用于性质引导晶体生成。

---

讨论与判断

Chemeleon2 的真正贡献不在于具体的 mSUN 数字，而在于它提出了一个范式层面的思路转变​：生成式 AI 在科学发现中的角色，不应该是一个被动的数据分布模仿者，而应该是一个可以被科学目标直接驱动的主动探索者。

这个思路的通用性很高。论文中奖励函数的模块化设计意味着，只要有一个可以量化评估的科学目标（无论是稳定性、带隙还是其他功能性质），就可以作为 RL 的奖励信号来引导生成。这为 AI 驱动的材料逆向设计提供了一套可插拔的框架。

但局限也值得认真对待：

第一，结构新颖性的精确定义仍然是一个开放问题。对于低对称结构、轻微晶格畸变和复杂配位环境，简单的结构距离不足以做出可靠判断，"看似新实则等价"或"看似已知实则不同"的误判难以避免。

第二，有序结构的假设限制了模型的适用范围。真实材料中的固溶体、位点无序、缺陷、非化学计量组成都无法被当前模型处理。这在多元素体系中尤其突出——模型生成的某些"有序结构"可能在实验上更接近无序固溶体。

第三，稳定性评估的可靠性取决于力场精度。MLFF 虽然快，但对于高阶多元素体系中参考相图稀疏的区域，能量估计可能被高估。论文也提醒了这一点——最终的验证仍然需要 DFT 弛豫，甚至实验合成。

另外，从工程角度看，Chemeleon2 训练一个 RL 后训练的模型需要先生成大量候选再做评估反馈，计算开销不小。论文没有详细报告训练成本，但对于实际部署来说，这是一个需要考量的因素。

综合来看，Chemeleon2 打动人的地方在于它回答了一个非常根本的问题：当生成模型的训练目标和科学发现目标不一致时，该怎么办？它的回答是：别让模型学分布，让模型学目标。这个回答简洁、有效，而且可复用。

---

论文信息：

Park, H., Walsh, A. Guiding generative models to uncover diverse and novel crystals via reinforcement learning. Nature Machine Intelligence (2026).

DOI: https://doi.org/10.1038/s42256-026-01262-4