陶大程教授：ViTAE——繁而不同，大道至简

2022年11月24日上午，京东探索研究院院长、京东集团高级副总裁陶大程教授受北京大学智能学院邀请，通过线上形式为“北京大学智能科学前沿论坛”带来了一场精彩的报告，报告题目为“ViTAE——繁而不同，大道至简” ，吸引了包括智能学院、人工智能研究院、王选计算机研究所和计算机学院等众多老师和同学的参与。

首先，陶教授给大家回顾了人工智能与神经网络的发展历程，用一张图的形式向大家简要展示人工智能和神经网络从被提出至今的重要突破。随后，陶教授又概括性地描述了人工智能当今及日后可能面临的诸多问题，如机器与人类的关系问题、人工智能的伦理问题、大数据“杀熟”等与人工智能相关的社会问题。

接下来，陶教授更为详细地向大家介绍了人工神经网络这一领域是如何从一个最简单的神经元发展到如今规模宏大的大模型。从单个的人工神经元到感知机、到引入反向传播算法的多层感知机，再到近年来提出的更为复杂的神经网络结构，如AlexNet、ResNet，最后到当今受到广泛关注的大模型，陶教授从丰富的视角出发向同学们介绍了这一历程。陶教授不仅从数学推导、网络模型的角度来描述上述工作，更为高屋建瓴地站在这门学科历史发展的角度上，从数据集、算力、理论发展等多个维度对这些工作加以阐释，拓宽了同学们的视野。

进一步地，陶教授着眼于大模型，更为具体地向同学们展开了介绍。首先，陶教授从原理的角度介绍了transformer的结构与参数。随后，陶教授带领同学们探究了如何沿更深、更宽、更大的方向来拓展网络模型。最后，陶教授同大家讨论了transformer在多任务上的应用与表现效果以及ViTAE的设计思想和结构。从实验结果可以看出，当前的模型在图像识别、图像分类、语义分割、遥感场景识别等领域都取得了非常好的效果。

报告最后，林宙辰教授和查红彬教授分别从网络的设计角度、大模型与人脑联系的角度向陶教授提出了十分有价值的问题，陶教授结合目前的研究现状与自己的理解对这两个问题进行了解答。查红彬教授对陶大程教授分享的精彩报告做了总结与感谢，本次交流报告分享活动至此圆满结束。