类脑认知智能研究组提出类脑心理揣测脉冲神经网络助力多智能体合作与竞争
人类等群体动物在自然界中广泛存在着合作或竞争等社会行为。心理揣测(Theory of Mind)等社会认知能力在社会智能的群体涌现中起到至关重要的作用。心理揣测是指能够区分自我和他人，揣测他人心理状态（包括信念、意图、愿望等）的能力（图1A）。近年来，这种认知功能在心理学与认知神经科学中受到了广泛的研究并逐渐揭开了心理揣测的神经机制（图1B）。而心理揣测的神经机制为研究并探索基于心理揣测的多智能体社会交互、人机交互提供了重要启发与创新源泉。
图1. A，心理揣测例子；B，心理揣测涉及的脑区及神经回路
中国科学院自动化研究所曾毅研究员课题组借鉴人脑心理揣测的神经机制，提出了面向多智能体的类脑心理揣测脉冲神经网络（MAToM-SNN,如图2）。具体而言，借鉴腹内侧前额叶皮层（the ventral medial prefrontal cortex, vmPFC）和背内侧前额叶皮层（the dorsal medial prefrontal cortex, dmPFC）分别内化和存储与自我和他人相关的信息，背外侧前额叶皮层（the dorsolateral prefrontal cortex, dlPFC）进一步推断他人决策的神经机制,所提模型分别构建了根据自身经验揣测他人的模块（Self-MAToM）和根据对他人观测揣测他人的模块（Other-MAToM）。两个模块均采用四层全连接的脉冲神经网络结构，用LIF模型（the leaky integrate-and-fire model）模拟脉冲神经元放电情况。此外，受人脑前扣带皮层（the anterior cingulate cortex, ACC）基于对他人预测的行为与真实行为的差别的响应机制启发，所提模型基于代理梯度算法对网络进行训练与优化。MAToM-SNN预测的他人行为给决策模型提供了丰富的状态表征，进而帮助决策网络自适应地调整自身策略。
图2. 心理揣测模型助力多智能体高效合作与竞争
研究团队在多个合作、合作竞争混合场景中进行了实验，其中收获（Harvest）、升级（Escalation）、打猎（Hunt）的合作场景需要多个智能体协力收获更多的奖励，而单一智能体仅能取得有限的奖励；欺骗（Physical Deception）、捕食（Predator-Prey）、通讯（World Communication）的合作竞争场景存在对立的双方，其中一方需要合力干扰另一方的判断或围堵/躲避另一方。研究发现，在合作场景中，心理揣测模型能够帮助智能体自主与他人协作获取群体更多利益，做出更具前瞻性的选择；在合作竞争场景中，心理揣测模块帮助智能体更了解队友与对手，因此在与决策模型结合的过程中会衍生出更有利于团队整体的行为。实验结果也证明了心理揣测模型能有效泛化至由传统的人工神经网络和脉冲神经网络构建的决策网络上，提升平均奖励和学习速度（图3，图4）。
图3. 心理揣测模型助力多智能体合作
图4. 心理揣测助力多智能体竞争
除此之外，本研究在竞争任务中深入探索了心理揣测模型的作用。消融实验显示（表1）：具有心理揣测能力的团队（B-ToM）比没有心理揣测能力的团队（B）获得更高的奖励。此外，对立团队中一方拥有心理揣测模型（B-ToM）使得被推断出的团队的奖励（A）会减少。这表明在竞争任务中，心理揣测增加了一个团队的奖励并抑制了对立团队的奖励。当两个团队都有心理揣测模型时，拥有更多智能体的团队（B队）可以获得更多奖励并抑制拥有较少智能体的团队获得奖励。这也证实了我们的模型将有助于人数较多的团队在竞争性任务中提高性能。
表1. 竞争任务的消融分析结果
本研究也进一步分析了基于自我经验、对他人观测实现的心理揣测模型在社会决策过程中的影响，发现基于自我经验对他人揣测能够在交互早期快速地帮助提升合作效率和表现，随着交互中不断累积到他人的观测数据，后期对他人直接建模更加准确（如图5所示）。因此基于自我经验和对他人观测的心理揣测贡献于社会交互的不同阶段，协同助力多智能体的合作与竞争。
图5. 具有自我经验的智能体与没有自我经验的智能体在竞争中的表现对比
综上，本研究通过提出并实现类脑心理揣测模型将心理揣测能力带给了多智能体，并赋能其在复杂社会决策中获得应用，证明了心理揣测能力在社会交互中能够帮助高效地合作与竞争，为探索人机交互、多智能体社会决策提供了基础。同时，使人工智能具有心理揣测、共情等社会认知能力是发展安全、负责任、有道德、可信的人工智能的基础，将促进人与人工智能的和谐共生。
2023年6月23日，相关成果以A Brain-inspired Theory of Mind Spiking Neural Network Improves Multi-agent Cooperation and Competition为题在Cell Press细胞出版社期刊Patterns上在线发表。
文章链接：
https://www.cell.com/patterns/fulltext/S2666-3899(23)00126-5
模型代码开源：
https://github.com/BrainCog-X/Brain-Cog/tree/main/examples/Social_Cognition/MAToM-SNN