2024 年诺贝尔物理学奖授予了 John Hopfield 和 Geoffrey Hinton，以表彰他们在“通过人工神经网络推动机器学习发展中的基础性发现与发明”，再次彰显了伊辛模型（Ising Model）及其扩展在复杂系统和统计物理中的重要地位。

诺贝尔奖委员会的评价

诺贝尔奖委员会表示，今年两位获奖者的工作基于物理学工具，为机器学习的巨大潜力打下了基础。Hopfield的联想记忆模型能够存储和重建数据中的模式，而Hinton的工作则实现了数据特征的自主识别，推动了人工智能的发展。

诺贝尔委员会主席Ellen Moons表示：“两位获奖者的研究为物理学和多个领域带来了重要益处，尤其在开发具有特定属性的新材料等方面，人工神经网络的应用已经产生了广泛影响。”

两位获奖者的经历

John J. Hopfield

John J. Hopfield于1954年获得斯沃斯莫尔学院的学士学位，1958年在康奈尔大学获得物理学博士学位。随后，他在贝尔实验室工作了两年，并陆续在加州大学伯克利分校、普林斯顿大学、加州理工学院教授物理、化学和生物学。他于1969年获得美国物理学会的奥利弗·巴克利奖，并于1973年当选美国国家科学院院士，2001年获国际理论物理中心（ICTP）颁发的狄拉克奖章。

Geoffrey E. Hinton

Geoffrey Hinton，被誉为“深度学习之父”，是2018年图灵奖得主。他在神经网络与机器学习领域的开创性研究为人工智能的进步铺平了道路。Hinton发明了反向传播算法和对比散度算法，这些突破性贡献推动了深度学习技术在语音识别和图像处理等领域的应用。他的工作不仅在学术界备受赞誉，同时也推动了谷歌、苹果等企业在技术上的革新。此外，Hinton对人工智能伦理与潜在风险的深刻见解，为技术的负责任发展提供了指导，并持续通过研究和教育培养新一代研究人员。

两位获奖者的主要贡献

John Hopfield

1. 提出联想记忆（associative memory），可以存储和重建数据（包括图像和其他类型的数据）中的模式。

2. 发明 Hopfield 网络，专门用于存储和重建模式。可将节点想象为像素，对应一副图像。Hopfield 网络利用物理学中描述材料特性的自旋方法，借鉴描述自旋系统能量的方式对网络整体进行描述，并通过寻找节点之间的连接值进行训练，保存具有较低能量的图像。当网络接收到失真或不完整的图像时，会按策略遍历节点并更新其值，降低网络能量，从而逐步找到与输入图像最相似的图像。

Geoffrey Hinton

1. 以 Hopfield 网络为基础发明了玻尔兹曼机（Boltzmann machine），能够通过学习识别给定数据类型中具有特征的元素。

2. 借助统计物理工具，通过输入在运行过程中可能出现的示例对玻尔兹曼机进行训练。训练好的玻尔兹曼机可用来对图像分类，或生成与训练示例模式类似的新图像，并在此基础上进一步发展，开启了当前机器学习的爆炸性发展。

诺贝尔奖与复杂系统的关联

今年的诺贝尔物理学奖高度关联于复杂系统，Hopfield提出的神经网络模型实际上是伊辛模型的推广。伊辛模型是展示复杂系统中有序与无序竞争的经典模型，尤其在二维空间中，它可以作为研究有序-无序临界相变的最小模型之一。

伊辛模型的通俗化解释

伊辛模型的通俗解析：假设在一个班级中，同学们需要在王雷和李丽之间选择班长。每位同学都会受到邻座四位同学的影响，当邻座更倾向于王雷时，该同学则更可能投票给王雷。然而，每位同学也会保留一定的个性化选择，有时会不顾邻座同学的决定，而按照自己的意愿投票。当通过独立选择倾向性参数来调整时，不同的动态结果会呈现出系统的多样性。独立选择倾向性高时，系统演化随机，如同复杂系统中的无序状态；独立选择倾向性低时，系统演化至单一选择，体现出有序状态。当独立选择倾向性处于临界时，系统会展现出高度复杂性，同学们在两个选择之间犹豫不决、反复改变，恰似复杂系统处于混沌与秩序的边缘，即有序——无序临界相变现象。

图  二维的伊辛模型，每个小箭头就代表一名同学，箭头向上表示该同学选择王雷，箭头向下表示选择李丽，每位同学受最邻近同学以及是否倾向于自己的意愿选择的影响。

Hopfield网络是伊辛模型的扩展

Hopfield网络可以视作伊辛模型的扩展。与伊辛模型不同的是，Hopfield网络中的每个神经元都是全连接的，且连接权重会随着训练过程而改变。通过这种方式，网络最终能演化出满足一定要求的记忆分布。

图  Hopfield网络

人工神经网络的灵感源于大脑

人工神经网络的设计最初受大脑结构启发。Hopfield网络使用类似自旋系统的能量模型来描述其状态，通过训练网络以寻找最优的节点连接，从而使其能够识别和重建输入的模式。

具体而言，John Hopfield 发明的 Hopfield 网络在存储和重建模式方面具有独特的作用。

首先，将网络节点想象为像素，使得整个 Hopfield 网络与一幅图像相对应，这种形象的类比有助于更好地理解其工作原理。

Hopfield 网络巧妙地利用了物理学中描述材料特性的自旋方法。自旋使得每个原子成为微小磁铁，这种属性为网络的构建提供了新的思路。通过借鉴物理学中描述自旋系统能量的方式，可以对 Hopfield 网络进行整体描述。在训练过程中，通过寻找节点之间的连接值，能够保存具有较低能量的图像。这意味着网络能够以一种高效的方式存储图像信息，使得能量较低的图像状态更稳定。

当 Hopfield 网络接收到失真或不完整的图像时，它会按照特定的策略遍历节点并更新其值。这种策略旨在降低网络的能量，使网络逐渐趋向于更稳定的状态。通过不断地调整节点值，Hopfield 网络能够逐步从存储的图像中找到与输入图像最相似的图像。这一过程就像是在一个庞大的图像库中进行搜索，最终找到与输入最匹配的结果。

总的来说，Hopfield 网络以其独特的方式利用物理学概念，实现了图像的存储和重建，为机器学习和模式识别领域提供了重要的工具和方法。

但这种模型与我们今天常见的前馈神经网络仍有很大差异，Geoffrey Hinton 以 Hopfield 网络为基石，创造性地发明了玻尔兹曼机（Restricted Boltzmann Machine, RBM），它是一种可通过输入数据集学习概率分布的随机生成神经网络。玻尔兹曼机拥有强大的功能，它能够通过学习来识别给定数据类型中具有特征的元素。Hinton 巧妙地借助统计物理的工具对其进行训练。统计物理主要聚焦于由大量粒子组成的系统的整体行为和性质，而玻尔兹曼机就如同这样一个复杂的系统。通过输入在运行过程中可能出现的示例，不断调整和优化玻尔兹曼机的参数。

它包含一层可视层和一层隐藏层。在同一层的神经元之间是相互独立的，而在不同的网络层分之间的神经元是相互连接的(双向连接)。在网络进行训练以及使用时信息会在两个方向上流动，而且两个方向上的权值是相同的。但是偏置值是不同的(偏置值的个数是和神经元的个数相同的)，受限玻尔兹曼机的结构如下:

图  受限玻尔兹曼机结构

上面一层神经元组成隐藏层(hidden layer),用h向量隐藏层神经元的值。下面一层的神经元组成可见层(visible layer),用v向量表示可见层神经元的值。连接权重可以用矩阵W表示。常用的受限玻尔兹曼机一般是二值的，即不管是隐藏层还是可见层，它们的神经元的取值只为0或者1。将多种这样的网络串联起来，还可以形成深度的网络，这也构成了第一个可以被称为“深度神经网络”的架构。

经过训练的玻尔兹曼机展现出了卓越的性能。它可以对图像进行分类，准确地将不同的图像划分到相应的类别中。同时，还能生成与训练示例的模式类似的新图像，为图像创作和数据扩充提供了新的途径。

Hinton 在此基础上进一步发展，开启了当前机器学习的爆炸性发展。他的贡献为人工智能领域带来了革命性的变化，推动了机器学习技术在各个领域的广泛应用，从图像识别到自然语言处理，从医疗诊断到智能交通，都能看到机器学习的身影。玻尔兹曼机的发明和发展，成为了机器学习发展历程中的一个重要里程碑。

参考文献：

1. 《2024年物理诺奖授予人工神经网络：统计物理引发的机器学习革命》  

2. 《跨学科研究的再次兴起？2024年诺贝尔物理学奖专家解读》

---

本文转载自微信公众号：科创漕河泾

2024 年诺贝尔物理学奖授予了 John Hopfield 和 Geoffrey Hinton，以表彰他们在“通过人工神经网络推动机器学习发展中的基础性发现与发明”，再次彰显了伊辛模型（Ising Model）及其扩展在复杂系统和统计物理中的重要地位。

诺贝尔奖委员会的评价

诺贝尔奖委员会表示，今年两位获奖者的工作基于物理学工具，为机器学习的巨大潜力打下了基础。Hopfield的联想记忆模型能够存储和重建数据中的模式，而Hinton的工作则实现了数据特征的自主识别，推动了人工智能的发展。

诺贝尔委员会主席Ellen Moons表示：“两位获奖者的研究为物理学和多个领域带来了重要益处，尤其在开发具有特定属性的新材料等方面，人工神经网络的应用已经产生了广泛影响。”

两位获奖者的经历

John J. Hopfield

John J. Hopfield于1954年获得斯沃斯莫尔学院的学士学位，1958年在康奈尔大学获得物理学博士学位。随后，他在贝尔实验室工作了两年，并陆续在加州大学伯克利分校、普林斯顿大学、加州理工学院教授物理、化学和生物学。他于1969年获得美国物理学会的奥利弗·巴克利奖，并于1973年当选美国国家科学院院士，2001年获国际理论物理中心（ICTP）颁发的狄拉克奖章。

Geoffrey E. Hinton

Geoffrey Hinton，被誉为“深度学习之父”，是2018年图灵奖得主。他在神经网络与机器学习领域的开创性研究为人工智能的进步铺平了道路。Hinton发明了反向传播算法和对比散度算法，这些突破性贡献推动了深度学习技术在语音识别和图像处理等领域的应用。他的工作不仅在学术界备受赞誉，同时也推动了谷歌、苹果等企业在技术上的革新。此外，Hinton对人工智能伦理与潜在风险的深刻见解，为技术的负责任发展提供了指导，并持续通过研究和教育培养新一代研究人员。

两位获奖者的主要贡献

John Hopfield

1. 提出联想记忆（associative memory），可以存储和重建数据（包括图像和其他类型的数据）中的模式。

2. 发明 Hopfield 网络，专门用于存储和重建模式。可将节点想象为像素，对应一副图像。Hopfield 网络利用物理学中描述材料特性的自旋方法，借鉴描述自旋系统能量的方式对网络整体进行描述，并通过寻找节点之间的连接值进行训练，保存具有较低能量的图像。当网络接收到失真或不完整的图像时，会按策略遍历节点并更新其值，降低网络能量，从而逐步找到与输入图像最相似的图像。

Geoffrey Hinton

1. 以 Hopfield 网络为基础发明了玻尔兹曼机（Boltzmann machine），能够通过学习识别给定数据类型中具有特征的元素。

2. 借助统计物理工具，通过输入在运行过程中可能出现的示例对玻尔兹曼机进行训练。训练好的玻尔兹曼机可用来对图像分类，或生成与训练示例模式类似的新图像，并在此基础上进一步发展，开启了当前机器学习的爆炸性发展。

诺贝尔奖与复杂系统的关联

今年的诺贝尔物理学奖高度关联于复杂系统，Hopfield提出的神经网络模型实际上是伊辛模型的推广。伊辛模型是展示复杂系统中有序与无序竞争的经典模型，尤其在二维空间中，它可以作为研究有序-无序临界相变的最小模型之一。

伊辛模型的通俗化解释

伊辛模型的通俗解析：假设在一个班级中，同学们需要在王雷和李丽之间选择班长。每位同学都会受到邻座四位同学的影响，当邻座更倾向于王雷时，该同学则更可能投票给王雷。然而，每位同学也会保留一定的个性化选择，有时会不顾邻座同学的决定，而按照自己的意愿投票。当通过独立选择倾向性参数来调整时，不同的动态结果会呈现出系统的多样性。独立选择倾向性高时，系统演化随机，如同复杂系统中的无序状态；独立选择倾向性低时，系统演化至单一选择，体现出有序状态。当独立选择倾向性处于临界时，系统会展现出高度复杂性，同学们在两个选择之间犹豫不决、反复改变，恰似复杂系统处于混沌与秩序的边缘，即有序——无序临界相变现象。

图  二维的伊辛模型，每个小箭头就代表一名同学，箭头向上表示该同学选择王雷，箭头向下表示选择李丽，每位同学受最邻近同学以及是否倾向于自己的意愿选择的影响。

Hopfield网络是伊辛模型的扩展

Hopfield网络可以视作伊辛模型的扩展。与伊辛模型不同的是，Hopfield网络中的每个神经元都是全连接的，且连接权重会随着训练过程而改变。通过这种方式，网络最终能演化出满足一定要求的记忆分布。

图  Hopfield网络

人工神经网络的灵感源于大脑

人工神经网络的设计最初受大脑结构启发。Hopfield网络使用类似自旋系统的能量模型来描述其状态，通过训练网络以寻找最优的节点连接，从而使其能够识别和重建输入的模式。

具体而言，John Hopfield 发明的 Hopfield 网络在存储和重建模式方面具有独特的作用。

首先，将网络节点想象为像素，使得整个 Hopfield 网络与一幅图像相对应，这种形象的类比有助于更好地理解其工作原理。

Hopfield 网络巧妙地利用了物理学中描述材料特性的自旋方法。自旋使得每个原子成为微小磁铁，这种属性为网络的构建提供了新的思路。通过借鉴物理学中描述自旋系统能量的方式，可以对 Hopfield 网络进行整体描述。在训练过程中，通过寻找节点之间的连接值，能够保存具有较低能量的图像。这意味着网络能够以一种高效的方式存储图像信息，使得能量较低的图像状态更稳定。

当 Hopfield 网络接收到失真或不完整的图像时，它会按照特定的策略遍历节点并更新其值。这种策略旨在降低网络的能量，使网络逐渐趋向于更稳定的状态。通过不断地调整节点值，Hopfield 网络能够逐步从存储的图像中找到与输入图像最相似的图像。这一过程就像是在一个庞大的图像库中进行搜索，最终找到与输入最匹配的结果。

总的来说，Hopfield 网络以其独特的方式利用物理学概念，实现了图像的存储和重建，为机器学习和模式识别领域提供了重要的工具和方法。

但这种模型与我们今天常见的前馈神经网络仍有很大差异，Geoffrey Hinton 以 Hopfield 网络为基石，创造性地发明了玻尔兹曼机（Restricted Boltzmann Machine, RBM），它是一种可通过输入数据集学习概率分布的随机生成神经网络。玻尔兹曼机拥有强大的功能，它能够通过学习来识别给定数据类型中具有特征的元素。Hinton 巧妙地借助统计物理的工具对其进行训练。统计物理主要聚焦于由大量粒子组成的系统的整体行为和性质，而玻尔兹曼机就如同这样一个复杂的系统。通过输入在运行过程中可能出现的示例，不断调整和优化玻尔兹曼机的参数。

它包含一层可视层和一层隐藏层。在同一层的神经元之间是相互独立的，而在不同的网络层分之间的神经元是相互连接的(双向连接)。在网络进行训练以及使用时信息会在两个方向上流动，而且两个方向上的权值是相同的。但是偏置值是不同的(偏置值的个数是和神经元的个数相同的)，受限玻尔兹曼机的结构如下:

图  受限玻尔兹曼机结构

上面一层神经元组成隐藏层(hidden layer),用h向量隐藏层神经元的值。下面一层的神经元组成可见层(visible layer),用v向量表示可见层神经元的值。连接权重可以用矩阵W表示。常用的受限玻尔兹曼机一般是二值的，即不管是隐藏层还是可见层，它们的神经元的取值只为0或者1。将多种这样的网络串联起来，还可以形成深度的网络，这也构成了第一个可以被称为“深度神经网络”的架构。

经过训练的玻尔兹曼机展现出了卓越的性能。它可以对图像进行分类，准确地将不同的图像划分到相应的类别中。同时，还能生成与训练示例的模式类似的新图像，为图像创作和数据扩充提供了新的途径。

Hinton 在此基础上进一步发展，开启了当前机器学习的爆炸性发展。他的贡献为人工智能领域带来了革命性的变化，推动了机器学习技术在各个领域的广泛应用，从图像识别到自然语言处理，从医疗诊断到智能交通，都能看到机器学习的身影。玻尔兹曼机的发明和发展，成为了机器学习发展历程中的一个重要里程碑。

参考文献：

1. 《2024年物理诺奖授予人工神经网络：统计物理引发的机器学习革命》  

2. 《跨学科研究的再次兴起？2024年诺贝尔物理学奖专家解读》

---

本文转载自微信公众号：科创漕河泾