一种深度强化学习模型，允许AI代理跟踪气味羽流-深度强化算法局部最优

在先前的飞行昆虫研究中，诸如“逆风涌浪”、“侧风颠簸”和“U形转弯”等行为模块，也通过深度强化学习训练的人工智能追踪模拟气味来概括

长期以来，科学家和工程师从动物惊人的能力中获得灵感，并试图在机器人和人工智能（AI）代理中对这些能力进行逆向工程或复制。其中一种行为是气味追踪，这是一些动物，特别是昆虫，经常在远距离追踪感兴趣的特定气味源（例如食物或配 偶）的能力。

华盛顿大学和内华达大学雷诺分校的研究人员进行的一项新研究采用了一种创新的方法，即使用人工神经网络（ANN）来理解飞虫的这种非凡能力。他们的研究最近发表在《自然-机器智能》杂志上，展示了人工智能如何推动开创性的新科学见解。

该研究的主要作者Satpreet H.Singh告诉Tech Xplore：“我们被激励去研究一种复杂的生物行为，即气味羽流追踪，飞虫（和其他动物）用来寻找食物或配 偶。”。生物学家已经对昆虫羽流追踪的许多方面进行了非常详细的实验研究，因为这是昆虫生存和繁殖的关键行为。

虽然羽流追踪是一种至关重要的生物能力，但它也是生物智能的一个显著例子，因为它需要整合关于当前和以前经历过的气味的记忆，以及处理间歇性或不可靠的嗅觉线索和风感信号，以使昆虫快速适应其飞行轨迹。

辛格补充道：“他们这样做的时候，并没有一张他们飞行的环境的全球地图。”。

如果在机器人或人工制剂中可靠地再现，气味羽流追踪可以让研究人员制造出更好的机器人，能够检测和追踪有害气体泄漏、野火和其他环境威胁。

辛格解释道：“我们没有进行传统的实验室风洞实验，而是使用了一种使用人工神经网络的互补性‘模拟’方法。”。“这有助于我们在多个层面上对羽流追踪进行综合理解，包括突发行为、神经表征和神经动力学。”

许多神经科学家已经开始使用基于标记数据训练的人工神经网络（ANN）来研究和人工复制生物过程。在他们的研究中，辛格和他的同事转而使用了深度强化学习（DRL），这是一种算法工具包，在神经科学中刚刚开始受到重视，它使用模拟而不是标记数据来训练神经网络。

辛格说：“神经科学之外的DRL最近的一些非常成功的应用包括DeepMind著名的围棋AI，或者OpenAI最近的GPT语言模型。”。“和动物训练一样，DRL使用模拟的‘奖励’和‘惩罚’来训练能够自主完成任务的ANN特工。”

为了使用DRL训练羽流追踪剂，研究人员首先模拟了总面积约为120平方米的有风场地内的气味源发出的气味。当他们的特工确定了气味来源的位置时，他们得到了奖励。相反，如果他们失去了气味的踪迹，离开了赛场，他们就会受到“惩罚”

辛格说：“经过培训后，我们利用模拟器的灵活性，生成具有各种气味浓度和风模式的羽流，以观察该药剂在不同条件下的精确行为。”。“在真实的风洞中再现这种对羽流形态的细粒度控制将是一项相当费力的工作。”

辛格和他的同事们还能够观察到他们的人工神经网络的各个单元（即人工神经元）在追踪气味羽流时的活动。这种追踪过程中的神经元记录尚未在自由飞行的昆虫中收集到，因为使用现有技术无法获得。

辛格说：“我们经过训练的人工智能体所表现出的行为与生物学家先前在飞行昆虫进行羽流追踪时观察到的行为模块非常相似。”。

研究人员收集的记录表明，他们的模型可能复制了动物身上气味羽流追踪的生物过程。随后，辛格和他的同事模拟了可以在未来风洞真实世界实验中重现的羽流形态。

这些模拟使他们能够产生不同的假设，说明在不断变化的风力条件下，人工智能体在追踪羽流时可能会表现出怎样的行为。他们专门研究了风向经常变化的情况。

辛格解释道：“利用我们人工神经网络代理同时进行的行为和神经观察，我们对支持羽流跟踪的算法和神经计算产生了直觉和洞察力。”。“作为一个例子，我们发现神经活动编码了一些变量，比如上次遇到气味后的时间，这些变量之前被假设对羽流跟踪很重要。之前的实验结果和计算结果之间的这些相似性表明了这些量对成功跟踪羽流的根本重要性。”

除了实现关键技术进步外，人工神经网络代理还可以进行逆向工程，以更好地理解它们的工作原理，这反过来可能为神经科学研究提供信息。因此，辛格及其同事创建的模型也可能被神经科学家用于研究气味羽流追踪背后的生物学过程。

在未来，研究人员希望他们的模型将激励机器人代理的创造，这些机器人代理可以在搜索和救援任务、环境监测工作和其他应用中跟踪气味。在接下来的研究中，他们计划进一步开发他们的模型，通过提高模拟和试剂的物理和生物逼真度，从而更好地代表真实世界的气味羽流。此外，他们希望人工繁殖飞虫的其他生理特征和能力。

辛格补充道：“还需要更多的理论工作来理解我们的人工神经网络，进一步理解产生紧急行为的计算。”。“最后，我们的特工只执行一项任务，即羽流追踪，而飞虫有更丰富的行为技能。开发能够再现如此丰富生物复杂性的模拟和特工训练模式是一项艰巨的工程挑战，应该会启发未来的工作。”