adequacy AAAI2019 | 腾讯AI Lab详解自然语言处理领域三大研究方向及入选论文( 四 ) 模型

文章图片
忠实度导向的训练框架
9.基于译文忠实度训练的神经网络机器翻译
Neural Machine Translation with Adequacy-Oriented Learning
当前翻译模型的训练通常是基于最大化词的似然概率的框架。该框架有三个缺陷：训练/测试不一致，训练时是基于正确的目标序列而测试时是由于包含错误的生成序列；基于词级别的目标函数，而在实际场景中评判译文质量的指标通常是基于句子级别的；最大似然估计更多是关注译文的流利度而不是忠实度，这也是导致模型偏好短译文的重要原因。
本研究尝试在统一框架中同时解决上述三个缺陷。如图1所示，将翻译建模成强化学习中的随机策略问题，而学习奖励则是基于模型生成的完整序列评估的。为了更好地评估译文的忠实度，本文提出了一种新的标准 – 覆盖差异率，通过比较生成译文和人工译文对源端词的覆盖程序，以评估有多少源端词被遗漏翻译。在图2展示的例子中，译文的 CDR=4/7，其中4和7分别是生成译文和人工译文中覆盖的源端词个数。该论文中的覆盖率思想也是延续作者的前续工作，在训练框架中验证该策略的普适性，实验同时证明两种方法具有一定互补性，同时使用可进一步提升翻译效果。

文章图片
图 1 训练框架

文章图片
图 2 CDR示例
除了改进基本的翻译模型，研究者同时探索辅助翻译，从而使当前神经网络机器翻译系统更好地为真实用户服务。围绕最近推出的辅助翻译产品TranSmart，腾讯AI Lab发表在AAAI2019的论文将用户提供的或者自动检索的翻译记忆融入神经翻译模型，从而改善翻译质量。不同于现有的翻译记忆方法，本文将翻译记忆组织成一个压缩图并采用基于图的注意力机制来构建翻译的上下文。其优势是，既可以保证计算的有效性，又可以充分地建模翻译记忆中全局信息比如长距离的调序，因而获得了更好的翻译质量。
入选论文
精彩一览
10. MOBA游戏AI的多层次宏观策略模型
Hierarchical Macro Strategy Model for MOBA Game AI
该论文由腾讯AI Lab独立完成，在通用AI研究中，可解决部分可观测、团队协作、博弈等复杂AI问题。即时战略游戏是游戏AI的下一个挑战。即时战略游戏给AI研究提供了一个部分可观测的游戏环境，智能体在这样的环境中基于比围棋大的多的操作空间产生交互。攻克即时战略游戏需要同时具备强大的宏观策略及精准的微观执行。最近，研究人员在微观执行层面取得了巨大突破，然而宏观策略层面仍然缺乏完整有效的解决方案。该论文创新提出了基于机器学习的多层宏观策略模型以提升智能体在多人在线格斗游戏游戏 - 即时战略游戏的一个子类 - 中的宏观策略能力。经过多层次宏观策略模型训练的智能体显示的进行宏观策略决策以指导微观操作。更进一步的，每一个智能体在做决策的同时，通过本文创新设计的模仿跨智能体通信机制与其他智能体进行配合。研究者在一款风靡的5v5 MOBA游戏上充分验证了多层次宏观策略模型的效果。研究团队的5 AI战队在与前1%的人类战队的对战测试中，取得了48%的胜率。
11. 意见目标抽取以及目标情感预测的统一模型
A Unified Model for Opinion Target Extraction and Target Sentiment Prediction
该论文由腾讯AI Lab主导，与香港中文大学合作完成，该研究通过改进基本的序列标注模型来提升端到端抽取用户评论中的意见目标和相应的情感倾向的性能。基于意见目标的情感分析涉及到了意见目标抽取和目标情感预测两个子任务。目前的工作主要是将他们作为两个单独的任务来研究，对于实际应用的贡献是非常有限的。这篇文章的目标在于以一种端到端的方式来解决完整的TBSA任务。为了实现这个目标，本文提出了一个新的统一模型并在模型中采用了一种联合的标注方案。整个模型用到了两层循环神经网络：上层的RNN用来预测联合的标签，这些标签会作为主要任务TBSA的输出；为了引导上层的RNN更好的完成TBSA任务，本文引入了下层的RNN来同时解决辅助任务--意见目标实体的边界检测。RNN产生的边界特征表示可以直接用于提升目标情感预测的质量。为了探索任务之间的依赖，本文提出显式地对目标边界到目标情感极性的转换进行约束。本文也设计了一个组件对同一个意见目标内的情感一致性进行维持，这个组件主要基于门控制机制来对上一个时刻的特征和当前时刻的特征之间的关系进行建模。本文在三个标准数据集上进行了大量实验，结果表明本文的方法都比现有的方法更好。

adequacy AAAI2019 | 腾讯AI Lab详解自然语言处理领域三大研究方向及入选论文( 四 )

推荐阅读