百度首席科学家Andrew NG做客自动化所

　　7月7日上午，百度首席科学家Andrew NG应邀做客自动化所并做《Deep Learning：Overview and trends》学术报告。讲座由自动化所副所长徐波主持。 

　　讲座开始前，徐波副所长首先对Andrew教授的到来表示热烈的欢迎。他说，百度是工业界“深度学习”研究的领先者，至今已有多款基于深度学习技术的产品上线。中科院自动化所一向重视机器学习、人工智能以及大脑仿真领域的研究，更是“脑板块”研究的积极参与者和推动者。百度和中科院自动化所是老朋友，一直保持着友好的合作关系，很多自动化所的学生毕业后也选择进入百度工作。此次学术报告会是一次深化了解、加深关系、推进合作的难得机遇。 

　　报告伊始，Andrew教授从人工智能的良性循环圈这一概念开始讲起：好的产品（Great Product）吸引更多的用户，用户（Users）产生大量的数据，通过机器学习算法通过数据（Data）使产品更好更智能。循环往复，我们就可以得到越来越好的产品。然而，传统机器学习算法表现出的效果并没有随着数据量的增长而持续变好，而是走到了天花板，很难有所突破。然而目前的实验结果来看，深度学习算法可以利用大数据的优势，持续提升算法性能。 

　　接下来，Andrew介绍了和他的团队在斯坦福做的一个机器人辨识马克杯的实验：机器从人的命令中听到的是声音数字信号，从图片中看到的像素值，在设计学习算法前，必须先设计特征。计算机视觉和语音识别领域特征都很难设计，也不易理解。对于NLP任务来讲，如何设计好的特征也是影响算法性能的瓶颈。追本溯源，人脑是如果完成上述任务的呢？ 

　　Andrew教授认为，人脑中的大部分perception有可能是一个简单的程序。而神经网络正是对大脑中神经元及其工作方式的很好的模拟模型。并且，Adam的实验表明，神经网络的规模越大，算法效果越好。然而模型越复杂，意味着要学习的参数越多，模型越难训练。Andrew教授介绍到在Google构建大规模神经网络时的做法，一是模型并行化，二是使用异步随机梯度下降算法。Andrew教授还提到，目前百度已经有多款深度学习模型的产品上线，包括语音识别、图像检索以及广告排名等。 

　　Andrew教授紧接着分析了有标记数据和无标记数据对学习算法的影响：在马克杯实验中，我们之所以可以得到不错的实验结果，是因为有大量的标记图片。对有标记数据进行监督学习才使得算法表现良好，但是这样现实中并不存在大量已准确标记的数据。同时，人脑也是从大量无标记数据中进行学习的。重新审视神经科学发现的人类大脑学习的过程发现，人类大脑在看到图片的第一个步骤，是寻找物体的边线。采用稀疏编码模型，机器也可以从大量无标记数据中学习到视觉皮层看到的边线特征。增加隐层，深度学习算法就可以从像素及特征学习到边线特征，进而学习到角块特征，物体特征等更深层次特征。 

　　最后，Andrew教授对深度学习未来的发展进行了展望：1）将会越来越重视对无标记数据的特征学习；2）深度学习将全面占领计算机视觉和语音识别领域；3）向量化表示的提出将对NLP领域产生重大影响，并将对机器翻译、网页搜索和对话系统等性能提升有所帮助。总的来说，模型的规模依旧是最大的挑战。 

　　这次学术报告是Andrew教授加入百度后的第二次公开讲座。Andrew教授临走时，得知今天的讲座还有两个分会场，听众可以通过视频实时收听收看，听会人数累计超过500人，对自动化所的前期准备工作表示了感谢。Andrew表示，以后还会和自动化所科研人员进行更深层次学术交流。 

　　人物介绍：Andrew NG教授2014年5月16日加入百度，担任百度公司首席科学家，负责百度研究院的领导工作。加入百度前任斯坦福大学计算机科学系和电气工程系的副教授，斯坦福人工智能实验室的主任。Andrew Ng是深度学习领域的顶级专家，曾领导谷歌的深度学习项目——Google Brain ，被誉为谷歌大脑之父。Andrew Ng还是在线教育平台Coursera联合创始人。2013年《时代》杂志评选的全球最具影响力百大人物中上榜的十六名科技人物之一。