ACL 2020扫读

ACL 2020

  • Transformers to Learn Hierarchical Contexts in Multiparty Dialogue for Span-based Question Answering
    • 文章为了把pretrain model适用于dialog文本,把MLM也扩展到了utterance级别。一开始自己以为是直接预测整个utterance,看了才知道是把utterance一个token mask后用CLS来预测,估计是建模一下utterance内部的联系。 然后还把NSP改了一下。不过发现这些其实对pretrain mode来提升有限,但是作者也不直接抽span fine tune,还有一个任务是预测哪个utterance有答案,这样也方便了no answer的情况,而且这么结合之前的pretrain 任务提升可以。感觉的确可以思考一下怎么pretrain在dialog文本上,更好地建模文本理解,自己之前也看了一些但都是从生成角度。
    • 数据集:FriendsQA,一个抽span的dialog RC数据集

发表评论

电子邮件地址不会被公开。 必填项已用*标注