[论文笔记]ESIM

引言

这是经典论文Enhanced LSTM for Natural Language Inference的笔记。
本篇论文文是建立在自然语言推理(Natural Language Inference,NLI)任务上的。提出了简单的通过基于LSTM的序列推理模型效果到达了当时的SOTA水平。同时基于该模型，在局部推理建模层和推理组合层使用了递归结构(树形LSTM)使得模型效果进一步提升。

NLI任务的目的是判断一个自然语言假设(hypothesis)h能否从一个前提(premise)p推理而来，如下面的例子所示：

p: Several air lines polled saw costs grow more than expected, even after adjusting for inflation.
h: Some of the companies in the poll reported cost increases.

p: 一些航空公司的调查显示，即使考虑到通货膨胀因素，成本的增长也超过了预期。
h: 一些参与调查的公司报告了成本增加。
1
2
3
4
5

这里假设h可以被认为是从前p提中推导而来。

模型结构

模型整体结构如上图所示，左边就是ESIM模型，右边是语法树模型。

我们看左边的ESIM，从下往上看，分别是

• 输入编码层(Input Ecoding)
  • 对前提和假设进行编码