人脑，由连接在神经网络中的大约860 亿个神经元组成，可以执行非凡的计算壮举，但只消耗十几瓦，它是如何做到的？IEEESpectrum最近与美国国家标准与技术研究院的物理学家Jeffrey Shainline进行了交谈，他的工作可能会对这个问题有所启发。Shainline 正在寻求一种可以为高级形式的人工智能提供动力的计算方法——所谓的脉冲神经网络（spiking neural networks），与现在广泛部署的人工神经网络相比，它更接近地模仿大脑的工作方式。 今天，占主导地位的范式使用在数字计算机上运行的软件来创建具有多层神经元的人工神经网络。这些“深度”人工神经网络已被证明非常成功，但它们需要大量的计算资源和能量才能运行。而且这些能源需求正在迅速增长：特别是训练深度神经网络所涉及的计算变得不可持续。
长期以来，研究人员一直被创建人工神经网络的前景所吸引，该网络更能反映生物神经元网络中发生的情况，当一个神经元接受来自多个其他神经元的信号时，它可能会达到激活阈值（threshold）水平，从而导致它“Fire”，意思是它产生一个输出信号尖峰，发送到其他神经元，可能会诱导其中一些神经元也被激发。 一些公司已经生产出用于实现电子脉冲神经网络的芯片。Shainline 的研究重点是在此类网络中使用超导光电元件。他的工作最近从研究理论可能性发展到进行硬件实验。他向Spectrum介绍了他实验室的这些最新进展。 问：多年来，我一直听说来自 IBM 和其他地方的神经形态处理芯片，但我没有感觉到它们在实际世界中有任何应用，是我的错觉吗？ JeffreyShainline：好问题：尖峰神经网络——它们有什么用？ IBM 2014 年推出的 True North 芯片引起了轰动，因为它新颖、与众不同且令人兴奋。最近，英特尔一直在用其 Loihi 芯片做伟大的事情。英特尔现在已经有了它的第二代产品。但这些芯片是否能解决实际问题仍然是一个大问题。 我们知道，生物大脑可以做数字计算机无法比拟的事情。然而，这些尖峰神经形态芯片并没有立即让我们大吃一惊。为什么不？我认为这不是一个容易回答的问题。 我要指出的一件事是，他们当中的任何一个芯片都没有 100 亿个神经元（大约是人脑中神经元的数量）。即使是果蝇的大脑也有大约 150,000 个神经元，但在英特尔最新的Loihi 芯片甚至没有。 我知道，他们正在为如何使用这款芯片而苦苦挣扎，英特尔的人们做了一些聪明的事情：他们为学者和初创公司提供了廉价访问他们的芯片的机会——在很多情况下是免费的。他们正在众包创意，希望有人能找到一款杀手级应用。 问：你猜这类芯片的第一个杀手级应用会是什么？ Shainline：也许是一个智能音箱，一个音箱需要一直在等待你说出一些关键词或短语。这通常需要很大的功率。但研究表明，在一个简单芯片上运行的非常简单的脉冲神经算法可以在几乎不消耗电力的情况下做到这一点。 问：告诉我您和您的NIST 同事正在研究的光电设备，以及它们如何改进尖峰神经网络。 Shainline：首先，您需要了解光将是您可以在尖峰神经系统中的神经元之间进行交流的最佳方式。那是因为没有什么能比光快。因此，使用光进行通信将使您拥有最大的尖峰神经网络。 但是仅仅快速发送信号是不够的。您还需要以节能的方式进行操作。因此，一旦您选择以光的形式发送信号，您可以实现的最佳能量效率是，如果您只将一个光子从一个神经元发送到它的每个突触连接。你不能再少一点光了。 我们正在研究的超导探测器在探测单光子光方面是最好的——就它们耗散多少能量以及它们的运行速度而言是最好的。 不过，您也可以构建一个尖峰神经网络，使用室温半导体来发送和接收光信号。现在，哪种策略最好还不清楚。但是因为我有偏见，让我分享一些追求超导方法的理由。 诚然，使用超导元件会产生大量开销——您必须在低温环境中构建所有东西，以便您的设备保持足够冷以进行超导。但是一旦你这样做了，你可以很容易地添加另一个关键元素：一个叫做 Josephson junction的东西。 Josephsonjunction是超导计算硬件的关键组成部分，无论它们是用于量子计算机中的超导量子位、超导数字逻辑门还是超导神经元。 一旦您决定使用光进行通信并使用超导单光子探测器来感知光，您就必须在低温环境中构建您的计算机。因此，无需更多开销，您现在就可以使用Josephson junction。 这带来了一个不明显的好处：事实证明，在三维集成Josephson junction比在三维集成半导体 MOSFET 晶体管更容易。这是因为对于半导体，您在硅片的下平面上制造 MOSFET。然后你把所有的布线层都放在上面。使用标准处理技术在其上放置另一层 MOSFET 基本上是不可能的。 相比之下，在多个平面上制造Josephsonjunction并不难。两个不同的研究小组已经证明了这一点。我们一直在谈论的单光子探测器也是如此。 当您考虑允许这些网络扩展到类似于大脑的复杂事物时，这是一个关键的好处。与半导体相比，你可以在一个硅片上安装更多的神经元和突触，因为你可以在三维中堆叠。你可以有 10 层，这是一个很大的优势。 问：这种计算方法的理论意义令人印象深刻。但是您和您的同事实际构建了什么样的硬件？ Shainline：我们最近最激动人心的成果之一是超导单光子探测器与Josephson junction的集成演示。允许我们做的是接收单光子光并使用它来切换约瑟夫森结并产生电信号，然后整合来自许多光子脉冲的信号。 我们最近在我们的实验室展示了这项技术。我们还制造了可在低温下工作的芯片光源。我们也花了很多时间研究在芯片上传输光信号所需的波导。 我提到了使用这种计算技术可以实现的3D 集成（堆叠）。但是，如果您要让每个神经元与数千个其他神经元通信，您还需要某种方式让光信号从一层的波导传输到另一层的波导，而不会造成损失。我们已经证明了这些波导的堆叠平面多达三个，并相信我们可以将其扩展到 10 层左右。 问：当您说“集成”时，您的意思是您已经将这些组件连接在一起，还是您将所有东西都放在一个芯片上？ Shainline：我们确实将超导单光子探测器与约瑟夫森结结合在一个芯片上。该芯片安装在一个小型印刷电路板上，我们将其放入低温恒温器中以保持足够冷以保持超导性。我们使用光纤进行从室温到低温的通信。 问：为什么您如此热衷于采用这种方法，而其他人为什么不这样做呢？ Shainline：关于为什么这种神经形态计算方法可能会改变游戏规则，有一些非常有力的理论论据。但这需要跨学科的思考和合作，而现在，我们确实是唯一一个专门做这件事的团队。 如果有更多的人参与进来，我会喜欢的。作为一名研究人员，我的目标不是成为第一个做所有这些事情的人。如果来自不同背景的研究人员为这项技术的发展做出贡献，我会更加高兴！
