均衡传播算法借鉴生物神经网络的局部学习规则，通过模拟大脑突触的双阶段动态平衡，使玻尔兹曼机等能量模型摆脱传统对比散度的低效束缚。这种“神经动力学+概率建模”的耦合，不仅为生成式AI提供了更接近生物学习范式的训练框架，更在量子退火硬件上展现出指数级加速潜力，有望推动更高效、节能的神经计算硬件的发展。

主讲人：Anthony

致力实用化量子计算，负责SDK研发，持续研发和集成内置算法和实用工具，以简化从问题建模到量子计算机求解的流程，探索量子计算在人工智能、金融分析等领域的潜在应用。

主要内容：

    1. Ising模型的基本概念
    2. 均衡传播算法原理
    3. 该算法在Ising机上的实现方式
    4. 应用场景展望与未来发展

直播回放：

---

1. Ising模型

1.1 伊辛模型的基本概念

Ising模型最初是为解释铁磁相变现象提出的经典物理模型。其核心结构由二维晶格上的离散自旋系统构成：每个晶格节点i（i=1,2,3,...）具有±1两种自旋状态，相邻节点间通过耦合权重J_ij连接。系统总能量可表示为：

其中求和范围覆盖所有连接节点对。

以图示的三节点系统为例：节点s₁与s₂、s₁与s₃分别通过权重为2和5的边连接，当自旋状态分别为(+1,+1,-1)时，系统总能量计算为：

1.2 伊辛模型与神经网络

接下来我们来看一下它和神经网络之间的一些联系。Ising模型的自旋演化机制与神经网络神经元更新规则存在深刻关联。在Ising系统中，相邻自旋通过耦合作用相互影响：

当耦合系数J_ij>0时，系统倾向于使相邻自旋方向一致（铁磁耦合）；当J_ij<0时则促使自旋方向趋于相反（反铁磁耦合）。系统会逐渐演化到平衡态，这个过程中系统能量会降低。而对于神经网络而言，神经元的更新规则类似于自旋的演化：

若输入神经元激活值为+1且连接权重为正，则该信号将促使下游神经元趋向正激活状态。以水果分类任务为例，构建包含重量、颜色两个输入特征，隐藏层及苹果/橘子输出层的神经网络。该网络通过层级连接权重计算特征组合，最终实现分类决策。值得注意的是，这种网络拓扑结构既可表征传统神经网络，也可映射为Ising模型的晶格结构，揭示了两者在计算本质上的相通性。

实际上，Ising模型的求解是很困难的，属于NP-hard组合优化问题，传统算法面临指数级复杂度挑战。本文后面将详细讨论Ising模型的高效求解方案——相干Ising机（Coherent Ising Machine, CIM）。2018年《Science》报道的研究显示，CIM的光学计算架构在求解2000自旋问题时，速度较经典模拟退火算法提升近两个数量级，为复杂优化问题提供了物理计算的新的解决方案。

2. 均衡传播

2.1 均衡传播与反向传播

为深入理解均衡传播(Equilibrium Propagation, EP)的创新性，需系统对比其与传统反向传播(Backpropagation, BP)的算法差异。传统反向传播算法需要构建完整的计算图，通过链式法则将输出端的误差信号逐层逆向分解，每个神经元的权重更新都严格依赖于后续层的梯度信息：给定损失函数L(θ)=𝔼[ℓ(f_θ(x),y)]，其梯度计算遵循∂L/∂θ=∂ℓ/∂f_θ · ∂f_θ/∂θ。

与反向传播相比，均衡传播具有如下图所示的优势。均衡传播建立在能量基模型(Energy-Based Models, EBMs)框架下，将网络视为动态系统，其状态演化由能量函数$E(s,θ)$驱动，最终收敛于能量极小点:

在能效比和硬件友好性方面，均衡传播均表现优异，而且这种只依赖局部信息的学习规则，和我们的真真实实的人类神经更加符合。

2.1 均衡传播的训练过程

均衡传播的训练过程主要分为四个阶段：初始化参数、自由阶段、约束阶段和更新权重阶段。

1). 初始化参数：网络由节点（神经元或自旋变量）和连接权重构成，节点状态 s_i∈{-1, +1}  表示激活状态，权重J_ij定义节点间的相互作用强度。初始时，权重J_ij随机赋值，输入层节点固定为数据x，输出层目标为y。

2). 自由阶段(Free Phase)： 系统在输入数据x驱动下自发演化至平衡态。此阶段能量函数仅包含网络内部相互作用，不进行约束也没有任何标签输入： 
节点状态遵循梯度动力学方程：
随着时间t的增加，系统收敛至稳态 s₀，此时输出层 s_Y为网络对输入x的自然响应（无监督预测）。该阶段演化过程如下图所示：

3). 引导阶段(Nudge Phase)：在自由阶段基础上，对输出层施加目标约束，修正能量函数：

其中约束项将输出层节点s_Y拉向目标标签y。对其计算梯度可得：
因此，其动力学方程为：
参数 β > 0控制目标约束强度。系统演化至新平衡态 s_β ，输出层被“牵引”至目标y。值得注意的是，由于隐层节点的反向传播效应，输入层状态也会发生适应性调整，也即模型的全网络的共同优化特性。该阶段演化过程如下图所示：

4). 参数更新：通过对比两阶段的差异，计算梯度：
通过比较两个阶段的平衡状态，能够捕捉到目标信号对网络状态的调整，反映了网络输出与目标输出之间的误差信息。权重更新方向使约束项 C(s_Y, y) 最小化，推动网络输出逼近目标。理论分析表明（Scellier et al., 2022），当约束强度β和参数更新步长ε满足ε,β →0时，更新量收敛于传统梯度：也就是说，尽管均衡传播仅利用局部信息，其梯度方向与反向传播的全局梯度一致，但规避了链式求导的计算开销。

注记：上述结论源于对于小量β,ε的扩展能量泛函：

的优化过程。交替求解：

从定理可以看出，两次求解做差得到的梯度与C的梯度一致。

3. 均衡传播与Ising机

3.1 借助Ising机实现均衡传播

将均衡传播映射到Ising机硬件实现时，需解决连续梯度与离散状态的适配问题。Ising机通过物理系统的稳态演化实现均衡传播（EP）：耦合权重θ_ij作为可训练参数保持连续值域，支持梯度更新；而神经元状态s_i在Ising机实现中被离散化为±1（光学相干Ising机通过0/π相位编码），但在微分方程框架下可保留连续激活值，使算法在硬件部署时利用二值状态的高能效特性，同时在软件仿真时保持传统神经网络的表达能力。 梯度计算通过自由阶段（s⁰）与引导阶段（s^β）的状态差异实现，具体公式为： 

其中β为输出约束强度。以光学相干Ising机为例，每个光学参量振荡器对应神经元，其振荡相位编码±1状态。训练过程通过马赫-曾德尔干涉仪调制耦合强度：自由阶段锁定输入光子模式记录稳态相位s⁰，扰动阶段注入调控光强诱导新平衡态s^β，梯度通过光电探测器测量两阶段外积差异并反馈更新权重。 

在Ising机硬件上实现均衡传播的实证研究中，讲者构建了面向MNIST手写数字识别的专用架构。输入层采用28×28=784个光学参量振荡器，其相位状态直接编码图像像素强度（+1对应墨迹区域，-1表示空白）。隐层设置120个可调谐耦合节点，输出层创新性地采用40节点扩展编码方案——每个数字类别分配4个节点，通过多数表决机制提升分类鲁棒性。详细内容见下文3.3节。

3.2 伊辛模型与玻尔兹曼机

玻尔兹曼机（BM）与均衡传播（EP）均以能量最小化为核心范式，但其建模目标与实现路径存在本质差异。玻尔兹曼机的概率分布定义为：  

其中可见层v与隐藏层h的状态服从概率分布，训练目标为最大化可见层数据的对数似然：
使对训练集中的数据模型更倾向于生成低能量状态，本质上属于无监督特征学习。与之对比，均衡传播则构建监督学习导向的能量函数：
其中 β 项引入目标导向的约束势场。其训练通过自由阶段（β=0）与引导阶段（β>0）的平衡态差异生成确定性梯度：  

玻尔兹曼机的能量形式与Ising模型一致。

 

3.3 实验架构与结果

本部分使用MNIST进行伊辛机实现均衡传播的实证研究。MNIST 数据集是机器学习和深度学习领域中最经典的基准数据集之一，由 Yann LeCun 等研究者于 1998 年创建，包含60,000个训练样本和10,000个测试样本，主要用于手写数字识别任务。每个样本是28×28像素的灰度图像，对应0到9的数字类别。

针对MNIST/100的子集（1000训练样本，100测试样本）构建专用架构：

    输入层：28×28=784个光学参量振荡器，相位编码像素强度（+1为墨迹，-1为空白）。 
    隐藏层：120个可调谐耦合节点。 
    输出层：40节点扩展编码（每数字类别分配4节点）。

实验结果表明，EP算法在训练集上达到了98.8%的准确率，在测试集上达到了88.8% 的准确率。

4. 应用与展望

4.1 均衡传播的应用

均衡传播（EP）的发展深度融合了硬件创新与算法优化，已经在跨学科领域展现独特优势。
图片生成：结合均衡传播（EP）和Hopfield网络的变分自编码器（VAE）训练，用于生成建模任务。研究利用Hopfield网络的对称性，设计了一个模型同时作为编码器和解码器。实验表明，该方法在生成图像质量上与传统反向传播训练的VAE相当。

均衡传播算法借鉴生物神经网络的局部学习规则，通过模拟大脑突触的双阶段动态平衡，使玻尔兹曼机等能量模型摆脱传统对比散度的低效束缚。这种“神经动力学+概率建模”的耦合，不仅为生成式AI提供了更接近生物学习范式的训练框架，更在量子退火硬件上展现出指数级加速潜力，有望推动更高效、节能的神经计算硬件的发展。

主讲人：Anthony

致力实用化量子计算，负责SDK研发，持续研发和集成内置算法和实用工具，以简化从问题建模到量子计算机求解的流程，探索量子计算在人工智能、金融分析等领域的潜在应用。

主要内容：

    1. Ising模型的基本概念
    2. 均衡传播算法原理
    3. 该算法在Ising机上的实现方式
    4. 应用场景展望与未来发展

直播回放：

---

1. Ising模型

1.1 伊辛模型的基本概念

Ising模型最初是为解释铁磁相变现象提出的经典物理模型。其核心结构由二维晶格上的离散自旋系统构成：每个晶格节点i（i=1,2,3,...）具有±1两种自旋状态，相邻节点间通过耦合权重J_ij连接。系统总能量可表示为：

其中求和范围覆盖所有连接节点对。

以图示的三节点系统为例：节点s₁与s₂、s₁与s₃分别通过权重为2和5的边连接，当自旋状态分别为(+1,+1,-1)时，系统总能量计算为：

1.2 伊辛模型与神经网络

接下来我们来看一下它和神经网络之间的一些联系。Ising模型的自旋演化机制与神经网络神经元更新规则存在深刻关联。在Ising系统中，相邻自旋通过耦合作用相互影响：

当耦合系数J_ij>0时，系统倾向于使相邻自旋方向一致（铁磁耦合）；当J_ij<0时则促使自旋方向趋于相反（反铁磁耦合）。系统会逐渐演化到平衡态，这个过程中系统能量会降低。而对于神经网络而言，神经元的更新规则类似于自旋的演化：

若输入神经元激活值为+1且连接权重为正，则该信号将促使下游神经元趋向正激活状态。以水果分类任务为例，构建包含重量、颜色两个输入特征，隐藏层及苹果/橘子输出层的神经网络。该网络通过层级连接权重计算特征组合，最终实现分类决策。值得注意的是，这种网络拓扑结构既可表征传统神经网络，也可映射为Ising模型的晶格结构，揭示了两者在计算本质上的相通性。

实际上，Ising模型的求解是很困难的，属于NP-hard组合优化问题，传统算法面临指数级复杂度挑战。本文后面将详细讨论Ising模型的高效求解方案——相干Ising机（Coherent Ising Machine, CIM）。2018年《Science》报道的研究显示，CIM的光学计算架构在求解2000自旋问题时，速度较经典模拟退火算法提升近两个数量级，为复杂优化问题提供了物理计算的新的解决方案。

2. 均衡传播

2.1 均衡传播与反向传播

为深入理解均衡传播(Equilibrium Propagation, EP)的创新性，需系统对比其与传统反向传播(Backpropagation, BP)的算法差异。传统反向传播算法需要构建完整的计算图，通过链式法则将输出端的误差信号逐层逆向分解，每个神经元的权重更新都严格依赖于后续层的梯度信息：给定损失函数L(θ)=𝔼[ℓ(f_θ(x),y)]，其梯度计算遵循∂L/∂θ=∂ℓ/∂f_θ · ∂f_θ/∂θ。

与反向传播相比，均衡传播具有如下图所示的优势。均衡传播建立在能量基模型(Energy-Based Models, EBMs)框架下，将网络视为动态系统，其状态演化由能量函数$E(s,θ)$驱动，最终收敛于能量极小点:

在能效比和硬件友好性方面，均衡传播均表现优异，而且这种只依赖局部信息的学习规则，和我们的真真实实的人类神经更加符合。

2.1 均衡传播的训练过程

均衡传播的训练过程主要分为四个阶段：初始化参数、自由阶段、约束阶段和更新权重阶段。

1). 初始化参数：网络由节点（神经元或自旋变量）和连接权重构成，节点状态 s_i∈{-1, +1}  表示激活状态，权重J_ij定义节点间的相互作用强度。初始时，权重J_ij随机赋值，输入层节点固定为数据x，输出层目标为y。

2). 自由阶段(Free Phase)： 系统在输入数据x驱动下自发演化至平衡态。此阶段能量函数仅包含网络内部相互作用，不进行约束也没有任何标签输入： 
节点状态遵循梯度动力学方程：
随着时间t的增加，系统收敛至稳态 s₀，此时输出层 s_Y为网络对输入x的自然响应（无监督预测）。该阶段演化过程如下图所示：

3). 引导阶段(Nudge Phase)：在自由阶段基础上，对输出层施加目标约束，修正能量函数：

其中约束项将输出层节点s_Y拉向目标标签y。对其计算梯度可得：
因此，其动力学方程为：
参数 β > 0控制目标约束强度。系统演化至新平衡态 s_β ，输出层被“牵引”至目标y。值得注意的是，由于隐层节点的反向传播效应，输入层状态也会发生适应性调整，也即模型的全网络的共同优化特性。该阶段演化过程如下图所示：

4). 参数更新：通过对比两阶段的差异，计算梯度：
通过比较两个阶段的平衡状态，能够捕捉到目标信号对网络状态的调整，反映了网络输出与目标输出之间的误差信息。权重更新方向使约束项 C(s_Y, y) 最小化，推动网络输出逼近目标。理论分析表明（Scellier et al., 2022），当约束强度β和参数更新步长ε满足ε,β →0时，更新量收敛于传统梯度：也就是说，尽管均衡传播仅利用局部信息，其梯度方向与反向传播的全局梯度一致，但规避了链式求导的计算开销。

注记：上述结论源于对于小量β,ε的扩展能量泛函：

的优化过程。交替求解：

从定理可以看出，两次求解做差得到的梯度与C的梯度一致。

3. 均衡传播与Ising机

3.1 借助Ising机实现均衡传播

将均衡传播映射到Ising机硬件实现时，需解决连续梯度与离散状态的适配问题。Ising机通过物理系统的稳态演化实现均衡传播（EP）：耦合权重θ_ij作为可训练参数保持连续值域，支持梯度更新；而神经元状态s_i在Ising机实现中被离散化为±1（光学相干Ising机通过0/π相位编码），但在微分方程框架下可保留连续激活值，使算法在硬件部署时利用二值状态的高能效特性，同时在软件仿真时保持传统神经网络的表达能力。 梯度计算通过自由阶段（s⁰）与引导阶段（s^β）的状态差异实现，具体公式为： 

其中β为输出约束强度。以光学相干Ising机为例，每个光学参量振荡器对应神经元，其振荡相位编码±1状态。训练过程通过马赫-曾德尔干涉仪调制耦合强度：自由阶段锁定输入光子模式记录稳态相位s⁰，扰动阶段注入调控光强诱导新平衡态s^β，梯度通过光电探测器测量两阶段外积差异并反馈更新权重。 

在Ising机硬件上实现均衡传播的实证研究中，讲者构建了面向MNIST手写数字识别的专用架构。输入层采用28×28=784个光学参量振荡器，其相位状态直接编码图像像素强度（+1对应墨迹区域，-1表示空白）。隐层设置120个可调谐耦合节点，输出层创新性地采用40节点扩展编码方案——每个数字类别分配4个节点，通过多数表决机制提升分类鲁棒性。详细内容见下文3.3节。

3.2 伊辛模型与玻尔兹曼机

玻尔兹曼机（BM）与均衡传播（EP）均以能量最小化为核心范式，但其建模目标与实现路径存在本质差异。玻尔兹曼机的概率分布定义为：  

其中可见层v与隐藏层h的状态服从概率分布，训练目标为最大化可见层数据的对数似然：
使对训练集中的数据模型更倾向于生成低能量状态，本质上属于无监督特征学习。与之对比，均衡传播则构建监督学习导向的能量函数：
其中 β 项引入目标导向的约束势场。其训练通过自由阶段（β=0）与引导阶段（β>0）的平衡态差异生成确定性梯度：  

玻尔兹曼机的能量形式与Ising模型一致。

 

3.3 实验架构与结果

本部分使用MNIST进行伊辛机实现均衡传播的实证研究。MNIST 数据集是机器学习和深度学习领域中最经典的基准数据集之一，由 Yann LeCun 等研究者于 1998 年创建，包含60,000个训练样本和10,000个测试样本，主要用于手写数字识别任务。每个样本是28×28像素的灰度图像，对应0到9的数字类别。

针对MNIST/100的子集（1000训练样本，100测试样本）构建专用架构：

    输入层：28×28=784个光学参量振荡器，相位编码像素强度（+1为墨迹，-1为空白）。 
    隐藏层：120个可调谐耦合节点。 
    输出层：40节点扩展编码（每数字类别分配4节点）。

实验结果表明，EP算法在训练集上达到了98.8%的准确率，在测试集上达到了88.8% 的准确率。

4. 应用与展望

4.1 均衡传播的应用

均衡传播（EP）的发展深度融合了硬件创新与算法优化，已经在跨学科领域展现独特优势。
图片生成：结合均衡传播（EP）和Hopfield网络的变分自编码器（VAE）训练，用于生成建模任务。研究利用Hopfield网络的对称性，设计了一个模型同时作为编码器和解码器。实验表明，该方法在生成图像质量上与传统反向传播训练的VAE相当。