adequacy AAAI2019 | 腾讯AI Lab详解自然语言处理领域三大研究方向及入选论文( 五 ) 模型

12. 通过样本加权进行更好地微调文本分类模型
Better Fine-tuning via Instance Weighting for Text Classification
【adequacy AAAI2019 | 腾讯AI Lab详解自然语言处理领域三大研究方向及入选论文】该论文由腾讯AI Lab主导，与南京大学合作完成。深度神经网络中使用迁移学习在许多文本分类应用中取得了巨大成功。一种简单而有效的迁移学习方法是对预训练的模型参数进行微调。之前的微调工作主要集中在预训练阶段，并且研究如何预训练一组对目标任务最有帮助的参数。本文提出了一种基于样本加权的微调方法，对于微调阶段进行了改进以提高分类器在目标域的最终性能。 IW-Fit动态调整每个微调时期的样本权重，以实现两个目标：1）有效地识别和学习目标域的特定知识; 2）很好地保留源域和目标域之间的共享知识。 IW-Fit中使用的样本加权计算指标与模型无关，对于基于DNN的通用分类器而言易于实现。实验结果表明，IW-Fit可以持续提高模型在目标域的分类精度。
13. 深层特征结构学习方法
LearningDeep Hierarchical Structure among Features
该论文由香港科技大学与腾讯 AI Lab合作完成，提出了多种层次结构特征学习方法。数据中的特征通常存在着复杂的层次结构。大多数现有的研究侧重于利用已知的层次结构来帮助监督学习提高学习的精度，而且通常仅能够处理层次深度为2的简单结构。本文提出了一种深度层次特征学习方法，用于学习任意深度的特征层次结构，并且学习目标是凸函数。DHS方法依赖于结构中边上的权重的指数系数，然而这些指数系数需要提前人为给定，这会导致学习出的特征表达是次优的。基于DHS方法，本文又提出了可以自动学习这些指数系数的方法。进一步的，本文考虑层次结构未知的情况，并且在DHS的基础上又提出一种深度特征层次结构学习方法。不同于以往的方法，LDHS不需要知道关于层次结构的先验知识，而是通过fused-lasso技术和一种特定的序列约束条件直接从数据中学习出特征的层次结构。上述所有提出的模型的优化方法都可以通过近似梯度的方式求解，并且本文给出了求解过程中每个子问题的高效解答算法。本文在多种人工和真实数据集上进行了实验，结果表明了本文提出方法的有效性。
14. DDFlow：通过无监督数据蒸馏学习光流
DDFlow:Learning Optical Flow with Unlabeled Data Distillation
这项研究由腾讯AI Lab主导，与香港中文大学合作完成，提出一种无监督的数据蒸馏方法学习光流——DDFlow。该方法由一个教师模型中提取出预测结果，并用这些结果来指导学生模型学习光流。以往的无监督学习方法是通过一些人工设定的能量函数来处理被遮挡的区域，这篇论文的不同之处是通过数据来自动学习和预测被遮挡区域的光流。通过该方法，模型只需使用一个非常简单的目标函数，就能取得更高的准确率。本文在Flying Chairs, MPI Sintel, KITTI 2012 和 KITTI 2015四个数据集上做了详尽的实验。实验表明，本文提出的方法超过所有无监督的光流预测方法，并且可以实时运行。
15. 类间角度损失用于卷积神经网络
Inter-Class Angular Loss for Convolutional Neural Networks
这项研究由南京理工大学与腾讯AI Lab合作完成。卷积神经网络在各种分类任务中表现出强大的力量，并且在实际应用中取得了显着的成果。然而，现有网络在很大程度上忽略了不同类别对的区分学习难题。例如，在CIFAR-10数据集中，区分猫和狗通常比区分马和船更难。通过仔细研究卷积神经网络模型在训练过程中的行为，研究者观察到两类的混淆程度与它们在特征空间中的角度可分性密切相关。也就是说，类间角度越大，混淆度越低。基于这一观察，研究者提出了一种新的损失函数，称为“类间角度损失”。它明确地模拟了类相关性，可以直接应用于许多现有的深度网络。通过最小化ICAL，网络可以通过扩大它们对应的类向量之间的角度来有效地区分相似类别中的示例。对一系列视觉和非视觉数据集的全面实验结果证实，ICAL极大地提高了各种代表性深度神经网络的辨别能力，并为传统的softmax损失产生了优于原始网络的性能。

adequacy AAAI2019 | 腾讯AI Lab详解自然语言处理领域三大研究方向及入选论文( 五 )

推荐阅读