是什么让神经网络有记忆?-神经网络的训练方法 是专利保护的客体吗

霍普菲尔德网络中的连接图在经典的霍普菲尔德网络（左）中，每个神经元（I，j，k，l）以成对的方式与其他神经元连接。在伯恩斯先生和深井教授制作的修改网络中，三个或更多神经元的集合可以同时连接

计算机模型是研究大脑如何制造和存储记忆和其他类型复杂信息的重要工具。但创建这样的模型是一件棘手的事情。某种程度上，一系列信号(包括生化信号和电子信号)以及神经元和其他细胞类型之间错综复杂的连接，为记忆的形成创造了硬件。然而，由于神经科学家并不完全了解大脑的潜在生物学，将这一过程编码到计算机模型中以进一步研究一直是一个挑战。

现在，冲绳科学技术研究所(OIST)的研究人员改变了一种常用的计算机记忆模型，称为Hopfield网络，以一种从生物学中获得灵感的方式提高性能。他们发现，新的网络不仅能更好地反映大脑中神经元和其他细胞的连接方式，还能储存更多的记忆。

Hopfield网络将记忆存储为系统中不同神经元之间的加权连接模式。该网络被“训练”为对这些模式进行编码，然后研究人员可以通过呈现一系列模糊或不完整的模式来测试它对这些模式的记忆，并看看该网络是否能将它们识别为它已经知道的模式。然而，在经典的Hopfield网络中，模型中的神经元相互连接到网络中的其他神经元，形成一系列所谓的“成对”连接。

成对连接表示两个神经元如何在突触处连接，突触是大脑中两个神经元之间的连接点。但实际上，神经元具有复杂的分支结构，称为树突，可提供多个连接点，因此大脑依靠更复杂的突触排列来完成其认知工作。此外，神经元之间的连接受到称为星形胶质细胞的其他细胞类型的调节。

伯恩斯先生（他是OIST神经编码和脑计算部门负责人富井智木教授小组的博士生）解释说:“大脑中只有神经元之间的成对连接是不现实的。”他创造了一个改进的Hopfield网络，在这个网络中，不仅是成对的神经元，而且是三组、四组或更多的神经元也可以连接起来，就像大脑中通过星形胶质细胞和树突树可能发生的那样。

虽然新网络允许这些所谓的“set-wise”连接，但总的来说，它包含的连接总数与以前相同。研究人员发现，一个混合了成对连接和集合连接的网络表现最好，并保留了最多的记忆。他们估计它的工作效率是传统Hopfield网络的两倍多。

Hopfield网络对大脑过程建模很重要，但它们也有强大的其他用途。例如，基于人工智能的语言工具(如ChatGPT)的基础是一种非常相似的名为transformer的网络。

伯恩斯先生和他的同事们计划继续使用他们改进后的Hopfield网络，使其更加强大。例如，在大脑中，神经元之间的连接强度通常在两个方向上是不一样的，所以伯恩斯想知道这种不对称的特征是否也可以提高网络的性能。

此外，他还想探索如何使神经网络的记忆相互作用，就像它们在人脑中的作用一样。伯恩斯先生说:“我们的记忆是多方面的、广阔的。”“我们还有很多东西要发现。”