1924 年恩斯特·伊辛 （Ernst Ising）在其博士论文中， 解决了几年前由他的导师威廉·伦茨 （Wilhelm Lenz） 提出的磁性材料模型的一维版本。

 

一、 Ising 模型

 

100 年后，该模型已经是统计力学中最著名的模型之一，其变体不仅用于描述铁磁，还用于建模众多复杂系统，甚至成了诺贝尔物理学奖的宠儿。

 

 

今年的物理诺奖颁给John Hopfield 教授提出的神经网络模型，就是Ising 模型的一种推广。另外，2021年诺贝尔物理学奖颁给了自旋玻璃。自旋玻璃实际上不是玻璃，而是形象化比喻一个网络状的自旋系统，也是Ising模型的一种变体。

二、  自旋-Transformer

同样，Spin-Transformer 中还介绍了Matthias做的专业推导，从二元自旋推广到D维矢量自旋，并提出了一类受物理启发的 spin-transformer ：一个可微的矢量自旋系统，由数据驱动，其集体行为可以通过训练来塑造。

 

 

笔者称其为"用数据雕刻的自旋玻璃"，天然可以用重整化描述，能够实现相变涌现，从而可以解决众多复杂问题。

 

笔者文中建议：“进一步探索和发展与矢量自旋玻璃物理学的联系，并将Transformer作为统计力学系统进行适当的研究，将是有趣的”，有趣到物理诺奖层次，因为 Ising 模型居然创造出了超越人类的智能。

 

三、Ising 机

 

Ising 模型具有基本的计算意义，因为NP复杂度类型中的任何问题都可以表述为仅具有多项式开销的 Ising 问题。

 

 

Ising 模型俨然成了物理诺奖灌水机，而基于Ising 模型构建的硬件 - 性能优于现有计算机的可扩展 Ising 机，有潜力对实际应用产生巨大影响，最近几年自然成了自然（Nature）的灌水机。

 

四、组合优化硬件求解器

 

第一篇Nature[文献1]，将 Ising 机作为组合优化问题的硬件求解器，用来搜索 Ising 模型的绝对或近似基态。论文探索了构建 Ising 机的各种方法，并解释了其操作原理。

 

方法包括 1.基于自旋电子学、光学、忆阻器和数字硬件加速器等技术的经典热退火器; 2. 使用光学和电子实现的动态系统求解器; 3. 超导电路量子退火器。

 

 

核心观点：摩尔定律终结者；一台机器可基于经典退火、量子退火和动力学系统演化等多种计算方法运行；常见基准测试问题的SOTA性能；量子方法的性能优于经典算法；混合量子-经典和数字-模拟算法未来前景广阔。

 

五、平衡传播的 Ising 机

 

第二篇Nature[文献2]，探讨并解决了 “监督训练方法与 Ising 机物理学匹配的复杂性导致其在 AI 应用中受到的限制”。

 

该研究找到通过平衡传播算法以监督方式训练 Ising 机的有效方法，从而获得了与基于软件的实现水平相当的结果。证明了仅通过自旋系统的动力学执行推理、误差反向传播和计算全局成本函数梯度的可行性。这与Spin-Transformer 中Matthias做的专业推导呼应。

 

 

基于硬件物理学的新学习算法正在出现，例如 Hamiltonian Echo Backprop、耦合学习、热力学计算、深度油藏计算和平衡传播等等。

 

将硬件（根据Ising能量演变的耦合自旋的物理系统）与算法（一种利用 Ising 能量的最小化来查找权重更新的训练算法）匹配是在非常规硬件中实现学习的有效方法。

 

将此方法（Ising 自旋系统通过其内在动力学计算梯度）与采用纳米技术（如忆阻器）实现局部耦合的低功耗硬件相结合，嵌入式 AI 未来充满发展潜力。

 

六、稀疏和高阶 Ising 机

 

第三篇Nature[文献3]，专注于一种基于概率位 （p-bit） 的新兴、受物理启发的求解器，强调能够实现高阶交互的稀疏、大规模并行和可重构架构。

 

p-bit的灵感来自自然界中遇到的相互作用粒子的统计力学(下图a); 其中粒子形成稀疏连接、异步和大规模并行网络(下图b)。稀疏性通过允许并行更新大部分网络而不会引入任何错误来实现很大程度的并发性。

 

 

研究的中心思想是引入一种主图架构，可以为给定的 p-bit 多路复用不同的连接和相移（彩色）时钟，以实现可重构架构来同时保持稀疏网络的大规模并行性。

 

研究还在基于 FPGA 的大规模 p-计算机中首次实现了三阶交互，并将此实现与最近引入的组合优化挑战（即 XORSAT 问题）进行了比较。结果表明，与领先的Ising机相比，运行 APT 算法的基于 FPGA 的 p 计算机极具竞争力。

 

七、启示

 

当国内还在苦苦找寻购买使用N家GPU大炼钢铁的时候，用于求解困难优化问题的 Ising 机和特定于领域的加速器正在悄然崛起。基于各种物理启发的方法已经使用一系列硬件基板实现。

 

当我们埋头追赶的时候，一定还是得抬头看路。不然悄无声息发展的技术（ChatGPT就是个好例子），某天突然爆发的时候，我们还得开启新一轮的埋头追赶，如此往复。笔者预判：Transformer 的 Ising机估计也在路上了。

 

附：相干伊辛机介绍

 详细介绍请点击：相干伊辛机

 

在量子计算机主题下，日本将“相干伊辛机（CIM）”作为发展重点，这种量子计算机又称为“量子人工大脑”“量子神经网络（QNN）”、光网络型量子计算机等。

首先，CIM可以用来解决组合优化问题，这种问题经典计算机难以在有效时间内求解。如果投入实际使用，它可以作为“加速器”来补足经典计算机的短板。经典计算机在半导体集成电路上运行，而CIM最大的特点是使用“光”来计算。具体来说，相干伊辛机使用光纤中的激光脉冲（通常用于光通信）作为量子比特进行计算。

 

 

在伊辛模型中，可以将原子集中每对电子自旋之间的相互作用所产生的能量相加。因为能量的大小取决于自旋是否对齐，所以集合的总能量取决于系统中每个自旋指向的方向。因此，一般的伊辛优化问题是确定自旋应处于哪种状态，以使系统的总能量最小。

 

在最简单的模型中，假设只有相邻的自旋相互作用。但在一般的伊辛优化问题中，任何自旋都可以与其他旋转相互作用，不管彼此之间的距离多远，这种相互作用的标记和强度对每对自旋来说可能是唯一的。当问题规模较大时，解决起来就非常困难（就像找出推销员拜访数十万潜在买家的路线问题一样困难）。如果我们能找到一种快速解决伊辛优化问题的方法，并找到一种方法来解决旅行商等类似问题，那么我们也许能更快地解决这些问题。

有两篇展示了 CIM 实力与优势的论文，发表在同一期《科学》杂志上，在全世界都引起了巨大反响。一篇是由NII和美国斯坦福大学的小组联合发表的《A full-programmable 100-spin connected Ising machine with all-to-all connections》（实现全连接的完全可编程100自旋规模的CIM），另一篇是主要由NTT小组研发发表的《A coherent Ising machine for 2000-node optimization questions》（用于解决2000节点优化问题的相干伊辛机）。

第一篇文章对光纤测量类CIM 解决某个小规模问题进行了性能评估。在 330m 光纤环路中生成 160 个自旋量子比特，其中有100 个自旋量子比特用于计算，要解决的问题是立方图中的 MAX-CUT （最大割）问题，图中所有顶点都有三个连接，已知MAX-CUT问题等价于寻找伊辛模型的基态问题，对于小规模问题已知精确解，所以我们可以此评估CIM的性能提升。所得结果的概要如下：

1、经实验发现，光脉冲循环60圈，仅用100us左右即可完成求解。

2、发现对于16自旋立方图问题，有 20% 或更高的概率获得精确解。

第二篇论文以实际应用为目标，评估了经典计算机上难以计算的2000个节点问题的性能。由于问题规模巨大而精确解未知，因此将其与经典计算机上的GW-SDP算法和模拟退火算法（SA）进行比较，以保证解的准确性。实验条件上，光纤环路长度为1km，可产生5082个脉冲，其中2000个脉冲自旋量子比特用于计算。所得结果的概要如下： 

1、确认在2000自旋问题中，对于随机图、无标度图和完全图三种类型，可以在5ms内获得超过经典计算机使用GW-SDP算法精度的良好近似解。

2、在完全图中，CIM 能获得比经典计算机使用 SA 算法更准确的解，且求解速度提高了大约 20 到 50 倍。 

从以上两篇论文的结果看，CIM的实力与优势显而易见。首先可以肯定这种方法能很好地解决实际问题。具体来说就是随着问题节点数规模增加，CIM的优势越来越明显。而在结果上则CIM有可能得到比经典计算机精度更高的近似解，满足可实用条件。此外，由于CIM计算时间约为5ms，可以通过多次尝试找到最佳解决方案来提高准确性。

论文中仅提到了CIM可解决MAX-CUT问题，基于不同类型的数学问题之间的相互规约，CIM还可解决很多其他实用的NP完全问题。在未来，通过解决更多类型的NP完全问题，探索 CIM更多的应用场景，这一点尤为重要。

 

参考：

https://mp.weixin.qq.com/s/BLKeuIgQkur04tPhnaWPjQ

https://kaiwu.qboson.com/portal.php?mod=view&aid=22

文献1: Ising machines as hardware solvers of combinatorial optimization problems https://www.nature.com/articles/s42254-022-00440-8

文献2 Training an Ising machine with equilibrium propagation https://www.nature.com/articles/s41467-024-46879-4

文献3 All-to-all reconfigurability with sparse and higher-order Ising machines https://www.nature.com/articles/s41467-024-53270-w

 

1924 年恩斯特·伊辛 （Ernst Ising）在其博士论文中， 解决了几年前由他的导师威廉·伦茨 （Wilhelm Lenz） 提出的磁性材料模型的一维版本。

 

一、 Ising 模型

 

100 年后，该模型已经是统计力学中最著名的模型之一，其变体不仅用于描述铁磁，还用于建模众多复杂系统，甚至成了诺贝尔物理学奖的宠儿。

 

 

今年的物理诺奖颁给John Hopfield 教授提出的神经网络模型，就是Ising 模型的一种推广。另外，2021年诺贝尔物理学奖颁给了自旋玻璃。自旋玻璃实际上不是玻璃，而是形象化比喻一个网络状的自旋系统，也是Ising模型的一种变体。

二、  自旋-Transformer

同样，Spin-Transformer 中还介绍了Matthias做的专业推导，从二元自旋推广到D维矢量自旋，并提出了一类受物理启发的 spin-transformer ：一个可微的矢量自旋系统，由数据驱动，其集体行为可以通过训练来塑造。

 

 

笔者称其为"用数据雕刻的自旋玻璃"，天然可以用重整化描述，能够实现相变涌现，从而可以解决众多复杂问题。

 

笔者文中建议：“进一步探索和发展与矢量自旋玻璃物理学的联系，并将Transformer作为统计力学系统进行适当的研究，将是有趣的”，有趣到物理诺奖层次，因为 Ising 模型居然创造出了超越人类的智能。

 

三、Ising 机

 

Ising 模型具有基本的计算意义，因为NP复杂度类型中的任何问题都可以表述为仅具有多项式开销的 Ising 问题。

 

 

Ising 模型俨然成了物理诺奖灌水机，而基于Ising 模型构建的硬件 - 性能优于现有计算机的可扩展 Ising 机，有潜力对实际应用产生巨大影响，最近几年自然成了自然（Nature）的灌水机。

 

四、组合优化硬件求解器

 

第一篇Nature[文献1]，将 Ising 机作为组合优化问题的硬件求解器，用来搜索 Ising 模型的绝对或近似基态。论文探索了构建 Ising 机的各种方法，并解释了其操作原理。

 

方法包括 1.基于自旋电子学、光学、忆阻器和数字硬件加速器等技术的经典热退火器; 2. 使用光学和电子实现的动态系统求解器; 3. 超导电路量子退火器。

 

 

核心观点：摩尔定律终结者；一台机器可基于经典退火、量子退火和动力学系统演化等多种计算方法运行；常见基准测试问题的SOTA性能；量子方法的性能优于经典算法；混合量子-经典和数字-模拟算法未来前景广阔。

 

五、平衡传播的 Ising 机

 

第二篇Nature[文献2]，探讨并解决了 “监督训练方法与 Ising 机物理学匹配的复杂性导致其在 AI 应用中受到的限制”。

 

该研究找到通过平衡传播算法以监督方式训练 Ising 机的有效方法，从而获得了与基于软件的实现水平相当的结果。证明了仅通过自旋系统的动力学执行推理、误差反向传播和计算全局成本函数梯度的可行性。这与Spin-Transformer 中Matthias做的专业推导呼应。

 

 

基于硬件物理学的新学习算法正在出现，例如 Hamiltonian Echo Backprop、耦合学习、热力学计算、深度油藏计算和平衡传播等等。

 

将硬件（根据Ising能量演变的耦合自旋的物理系统）与算法（一种利用 Ising 能量的最小化来查找权重更新的训练算法）匹配是在非常规硬件中实现学习的有效方法。

 

将此方法（Ising 自旋系统通过其内在动力学计算梯度）与采用纳米技术（如忆阻器）实现局部耦合的低功耗硬件相结合，嵌入式 AI 未来充满发展潜力。

 

六、稀疏和高阶 Ising 机

 

第三篇Nature[文献3]，专注于一种基于概率位 （p-bit） 的新兴、受物理启发的求解器，强调能够实现高阶交互的稀疏、大规模并行和可重构架构。

 

p-bit的灵感来自自然界中遇到的相互作用粒子的统计力学(下图a); 其中粒子形成稀疏连接、异步和大规模并行网络(下图b)。稀疏性通过允许并行更新大部分网络而不会引入任何错误来实现很大程度的并发性。

 

 

研究的中心思想是引入一种主图架构，可以为给定的 p-bit 多路复用不同的连接和相移（彩色）时钟，以实现可重构架构来同时保持稀疏网络的大规模并行性。

 

研究还在基于 FPGA 的大规模 p-计算机中首次实现了三阶交互，并将此实现与最近引入的组合优化挑战（即 XORSAT 问题）进行了比较。结果表明，与领先的Ising机相比，运行 APT 算法的基于 FPGA 的 p 计算机极具竞争力。

 

七、启示

 

当国内还在苦苦找寻购买使用N家GPU大炼钢铁的时候，用于求解困难优化问题的 Ising 机和特定于领域的加速器正在悄然崛起。基于各种物理启发的方法已经使用一系列硬件基板实现。

 

当我们埋头追赶的时候，一定还是得抬头看路。不然悄无声息发展的技术（ChatGPT就是个好例子），某天突然爆发的时候，我们还得开启新一轮的埋头追赶，如此往复。笔者预判：Transformer 的 Ising机估计也在路上了。

 

附：相干伊辛机介绍

 详细介绍请点击：相干伊辛机

 

在量子计算机主题下，日本将“相干伊辛机（CIM）”作为发展重点，这种量子计算机又称为“量子人工大脑”“量子神经网络（QNN）”、光网络型量子计算机等。

首先，CIM可以用来解决组合优化问题，这种问题经典计算机难以在有效时间内求解。如果投入实际使用，它可以作为“加速器”来补足经典计算机的短板。经典计算机在半导体集成电路上运行，而CIM最大的特点是使用“光”来计算。具体来说，相干伊辛机使用光纤中的激光脉冲（通常用于光通信）作为量子比特进行计算。

 

 

在伊辛模型中，可以将原子集中每对电子自旋之间的相互作用所产生的能量相加。因为能量的大小取决于自旋是否对齐，所以集合的总能量取决于系统中每个自旋指向的方向。因此，一般的伊辛优化问题是确定自旋应处于哪种状态，以使系统的总能量最小。

 

在最简单的模型中，假设只有相邻的自旋相互作用。但在一般的伊辛优化问题中，任何自旋都可以与其他旋转相互作用，不管彼此之间的距离多远，这种相互作用的标记和强度对每对自旋来说可能是唯一的。当问题规模较大时，解决起来就非常困难（就像找出推销员拜访数十万潜在买家的路线问题一样困难）。如果我们能找到一种快速解决伊辛优化问题的方法，并找到一种方法来解决旅行商等类似问题，那么我们也许能更快地解决这些问题。

有两篇展示了 CIM 实力与优势的论文，发表在同一期《科学》杂志上，在全世界都引起了巨大反响。一篇是由NII和美国斯坦福大学的小组联合发表的《A full-programmable 100-spin connected Ising machine with all-to-all connections》（实现全连接的完全可编程100自旋规模的CIM），另一篇是主要由NTT小组研发发表的《A coherent Ising machine for 2000-node optimization questions》（用于解决2000节点优化问题的相干伊辛机）。

第一篇文章对光纤测量类CIM 解决某个小规模问题进行了性能评估。在 330m 光纤环路中生成 160 个自旋量子比特，其中有100 个自旋量子比特用于计算，要解决的问题是立方图中的 MAX-CUT （最大割）问题，图中所有顶点都有三个连接，已知MAX-CUT问题等价于寻找伊辛模型的基态问题，对于小规模问题已知精确解，所以我们可以此评估CIM的性能提升。所得结果的概要如下：

1、经实验发现，光脉冲循环60圈，仅用100us左右即可完成求解。

2、发现对于16自旋立方图问题，有 20% 或更高的概率获得精确解。

第二篇论文以实际应用为目标，评估了经典计算机上难以计算的2000个节点问题的性能。由于问题规模巨大而精确解未知，因此将其与经典计算机上的GW-SDP算法和模拟退火算法（SA）进行比较，以保证解的准确性。实验条件上，光纤环路长度为1km，可产生5082个脉冲，其中2000个脉冲自旋量子比特用于计算。所得结果的概要如下： 

1、确认在2000自旋问题中，对于随机图、无标度图和完全图三种类型，可以在5ms内获得超过经典计算机使用GW-SDP算法精度的良好近似解。

2、在完全图中，CIM 能获得比经典计算机使用 SA 算法更准确的解，且求解速度提高了大约 20 到 50 倍。 

从以上两篇论文的结果看，CIM的实力与优势显而易见。首先可以肯定这种方法能很好地解决实际问题。具体来说就是随着问题节点数规模增加，CIM的优势越来越明显。而在结果上则CIM有可能得到比经典计算机精度更高的近似解，满足可实用条件。此外，由于CIM计算时间约为5ms，可以通过多次尝试找到最佳解决方案来提高准确性。

论文中仅提到了CIM可解决MAX-CUT问题，基于不同类型的数学问题之间的相互规约，CIM还可解决很多其他实用的NP完全问题。在未来，通过解决更多类型的NP完全问题，探索 CIM更多的应用场景，这一点尤为重要。

 

参考：

https://mp.weixin.qq.com/s/BLKeuIgQkur04tPhnaWPjQ

https://kaiwu.qboson.com/portal.php?mod=view&aid=22

文献1: Ising machines as hardware solvers of combinatorial optimization problems https://www.nature.com/articles/s42254-022-00440-8

文献2 Training an Ising machine with equilibrium propagation https://www.nature.com/articles/s41467-024-46879-4

文献3 All-to-all reconfigurability with sparse and higher-order Ising machines https://www.nature.com/articles/s41467-024-53270-w