⬆⬆⬆              点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

12月11日晚7:30-9:00

AI TIME特别邀请了3位优秀的讲者跟大家共同开启NeurlPS 2020专场二！

哔哩哔哩直播通道

扫码关注AITIME哔哩哔哩官方账号

观看直播

链接：https://live.bilibili.com/21813994

★ 邀请嘉宾 ★

刘乾：北京航空航天大学与微软亚洲研究院联合培养博士，主要关注在上下文建模、语义解析、组合泛化等话题，目前以第一作者身份在ACL、EMNLP、NeurIPS等会议发表若干论文。

报告题目：

基于解析式学习的组合泛化研究

摘要：

近年来，深度学习模型在各种任务上都取得了非常大的成功。然而，不同于人类可以从少量样本中快速学习，深度学习模型的成功仍依赖于大量训练数据。那么，深度学习模型是否有可能拥有人类这种快速学习的能力呢？一个关键问题就在于深度学习是否可以拥有组合泛化能力。

组合泛化是人类的一种基本而又必不可少的能力，通过理解已知部件的未知组合，人类可以利用有限的语言元素理解无限的自然语言世界。因此，越来越多研究者关注在组合泛化这个问题上，尤其是在AI编程领域。

2018年，纽约大学和Facebook的科学家们提出一个组合泛化领域的经典测试基准SCAN，测试任务是将诸如“run after walk”这样的自然语言解析成诸如“WALK RUN”这样的导航指令。然而他们发现，目前最先进的深度学习模型，甚至包括预训练模型，在这个测试基准上表现得都尤其差。

为了解决这个问题，本文指出组合泛化的核心在于将语言看作某种代数系统，通过学习表达式来达成模型的组合泛化。在该思想的指导下，本文提出一种新颖的记忆增强的神经模型LANE，该模型在SCAN上取得了相当好的效果。

杨幻睿：本科毕业于清华大学电子工程系，目前是美国杜克大学电子与计算机工程系博士四年级在读学生，师从李海老师和陈怡然老师。主要研究方向为利用稀疏、量化等方式压缩神经网络模型提升运行效率，以及评估并增强深度学习模型的鲁棒性，以期得到即高效又鲁棒的适用于部署在现实世界中的深度学习模型。

报告题目：

DVERGE：通过“缺陷”多样化构建鲁棒集成深度学习模型

摘要：

最新研究表明，用于图像识别任务的卷积神经网络往往表现出一致的“对抗性缺陷”：对抗攻击算法可以生成很小的输入噪声误导这些模型，并且同一对抗噪声往往可以同时误导在同一数据集上训练出的不同模型，即在模型间“迁移”。本文提出利用集成模型提升深度学习鲁棒性的DVERGE方法。我们通过提取集合模型的子模型学到的“非鲁棒特征”确定其缺陷所在，并进一步通过多样化子模型的缺陷使其面对对抗性噪声输出不同的结果。这一新颖的多样性描述与优化方式使DVERGE得到了超出其他集成学习方法的迁移攻击鲁棒性。

宋飏：本科毕业于清华大学物理系，现为斯坦福大学计算机系博士生，导师为Stefano Ermon教授。致力于研究具有灵活的模型结构，稳定的训练方式，优异的样本质量，以及能够自由控制的新型生成式模型。

报告题目：

基于数据梯度估计的生成式模型

摘要：

现有的生成式模型方法通常基于用最大似然（MLE）训练的显式概率模型（explicit models)，或者用对抗训练（adversarial training）学习的隐式采样模型（implicit models）。前者需要变分推理，或者模型具有特殊设计的结构。后者的训练通常极不稳定。为了克服上述困难，我们提出了一种基于估计数据分布梯度的新方法。

通过去噪计分匹配方法（denoising score matching），我们能够使用几乎不受限制的模型结构来估计数据分布的梯度。利用马尔可夫链蒙特卡洛（MCMC）和随机微分方程（Stochastic Differential Equations），我们可以使用此模型完成样本生成、似然函数计算、后验概率推理、数据调整等多种任务。我们的新方法可以允许不受限制的模型结构，避免了对抗训练，同时打破了多项任务上的最佳记录，包括图像和语音生成。

直播结束后我们会邀请讲者在微信群中与大家答疑交流，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“nips”，将拉您进“NeurIPS 2020 交流群”！

AI TIME微信小助手

主       办：AI TIME 、AMiner

联合支持：智源社区、中国工程院知领直播、学堂在线、CSDN

合作伙伴：智谱·AI、学术头条、biendata、大数据文摘、数据派、 Ever链动、机器学习算法与自然语言处理

AMiner是学术搜索和社会网络挖掘研究的重要数据和实验平台，由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万。        

1）AMiner平台：https://www.aminer.cn

2）会议专题页面：https://www.aminer.cn/conf/emnlp2020

AI TIME欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，顶级的平台需要顶级的你，请将简历等信息发至yun.he@aminer.cn！

微信联系：AITIME_HY

清华情怀·AITIME基地

1911主题餐厅

AI TIME期待与你线下相聚！

AI TIME欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，顶级的平台需要顶级的你，

请将简历等信息发至yun.he@aminer.cn！

微信联系:AITIME_HY

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造一个知识分享的聚集地。

更多资讯请扫码关注