作者归档:kugwzk

ICLR 2020扫读

ICLR 2020

AAAI 2020 RC&QA扫读

  • Improving Question Generation with Sentence-level Semantic Matching and Answer Position Inferring
    • 这篇文章做的是以sentence answer-aware的QG问题。文章针对以往的QG模型在decoder过程中没有focus原始的问题类型和语义以及copy出答案无关词的情况,提出了利用question decode完成后拿到的表示q进行多任务训练:包括sentence级别的语义任务,即和document sentence的表示一起输入一个model进行判断是否是语义一致的。另一个则是answer position inferring任务,其实就是RC问题咯。
    • 从效果上来看,单独的两个任务甚至还不如maxout generator那篇。综合起来提升效果也不大。
    • 数据集:SQuAD,MARCO
  • An Empirical Study of Content Understanding in Conversational Question Answering
    • 分析CQA数据集到底是否可以反应model的文章理解能力,以及对话理解能力。从去掉text和conversation history的结果来看,很多高分model去掉text也比conversation history的效果要好。这说明其实并没有理解text。而且还发现QuAC上训练好的model大都依赖之前答案的位置信息。而CoQA上的model没有学好很好的cross-sentence信息。总之就是把这两个数据集的bias都指出来了。
    • 感觉文章还没怎么写好的感觉有一些图表貌似标错了。
    • 数据集:QuAC,CoQA
  • Unsupervised Domain Adaptation on Reading Comprehension
    • 文章研究如何把在source domain上训练的RC模型顺利迁移到target端,作者强调要在large target domain的数据上也work。方法是利用BERT作为特征抽取器并在上层用MLP做分类器(和传统BERT做RC一样)在source端上训练。然后在轮流使用带过滤的self training和conditional adversarial learning来训练。
    • Conditional Adversarial Learning是指在对抗训练的过程中不止使用feature进行对抗,还要带上分类器的结果,就是output logit,这样据说可以在domain adaptation上更好地对齐。然后文章这里直接就用了第一次提出这个想法的那篇文章一样的思路,使用Multilinear map以及熵控制等方法。感觉上这点自己之前并不了解算是涨了见识,但是这篇文章感觉也就这点创新了。
    • 论文还强调了影响泛化能力不止有语料来源还有问题的不同形式。然后文章模型最关键的部分从实验来看是self training、
    • 数据集:SQuAD,CNN,Daily Mail, NewsQA,CoQA,DROP
  • Forget Me Not: Reducing Catastrophic Forgetting for Domain Adaptation in Reading Comprehension
    • 文章也是针对跨领域的RC问题,但是针对的是如何解决RC领域迁移学习中的灾难性遗忘问题。不过作者也说方法可以用在别的任务上。
    • 方法主要是考虑引入正则项,来控制fine tune时候参数的更新,直觉上来说比如cos可以让fine tune的时候不要便宜过大,L2可以让参数距离之间不要过大,还有从L1角度引入的EWC。最后实验是加了所有的正则项。
    • 由于EWC不甚了解就直接看实验结果现象好了。效果发现在BERT上加这些正则项,其实并不会太影响到fine tune结果甚至还有提升。并且在持续学习和不同任务迁移上都能保持最佳效果。感觉针对的问题角度还是很新颖的。
    • 数据集:MS MARCO, SQuAD, BioASQ。