【科学网】新型算法可有效解决“灾难性遗忘”问题 类人通用智能算法获新进展
人脑是公认的高智能典范。人不仅可以在新环境中持续吸收新知识，还可以根据环境灵活调整行为。相较于人脑，传统深度神经网络（DNN）既无法连续学习，也没有情景依赖学习的能力。近日，中科院自动化所脑网络组研究中心与模式识别国家重点实验室余山课题组在克服上述两个核心问题方面取得了重要进展。相关成果已于8月9日在线发表在《自然—机器智能》上。
传统DNN一方面会受到“灾难性遗忘”问题的困扰，难以在学习新知识的同时保留旧知识，即缺少连续学习（continual learning）的能力；另一方面，DNN往往只能实现预先训练好的固定操作，不能对实际环境中存在情境信息（如自身状态，环境变化、任务变化等）做出灵活的响应，难以满足复杂多变的需求，即缺少情境依赖学习（contextual-dependent learning）的能力。这两方面能力的缺失是制约当前DNN发展出类人通用智能等高水平智能的重要瓶颈。
在 《神经网络中依赖于上下文处理的连续学习》（Continual Learning of Context-dependent Processing in Neural Networks）一文中，硕士生曾冠雄、博士后陈阳等提出了正交权重修改（orthogonal weights modification，OWM）算法和情境依赖处理（context-dependent processing，CDP）模块，二者相结合使人工神经网络具备了连续学习和情境依赖学习能力，有效地解决了“灾难性遗忘”等难题。
据介绍，OWM算法可以有效克服神经网络中的“灾难性遗忘”，实现连续学习；受大脑前额叶皮层启发的CDP模块可以有效整合情境信息，调制神经网络的信息处理过程。二者的有效结合，可使人工神经网络具备强大的连续学习和情境依赖学习的能力，并大大增加其灵活性和适应性。
图灵奖得主Allen Newell和诺贝尔奖得主Herbert A. Simon曾经联合撰文，将智能定义为“适应环境变化，实现自身目的”的能力；DeepMind的联合创始人之一Shane Legg也曾在总结出数十种智能的定义后，提出智能的通用衡量指标应该是“在不同的环境中实现特定目的的能力”。从中可见，个体对复杂、动态环境的高适应性是智能的重要标志。
值得一提的是，2018年10月，由余山指导，曾冠雄、研究生崔波和陈阳组成的团队，曾凭借作品《基于情境信号的连续多任务学习》从国内外84所高校和研究院所的近300支参赛队伍中脱颖而出，获得2018年国际大学生类脑计算大赛最高奖“创新特等奖”，并获得奖金30万元。