Introduction
作者认为好的word representation模型应该同时兼顾两个问题：一是词语用法在语义和语法上的复杂特点；二是随着语言环境的改变，这些用法也应该随之改变。作者提出了deep contextualized word representation方法来解决以上两个问题。
这种算法的特点是：每一个word representation都是整个输入语句的函数。具体做法就是先在大语料上以language model为目标训练出bidirectional LSTM模型，然后利用LSTM产生词语的表征。ELMo故而得名(Embeddings from Language Models)。为了应用在下游的NLP任务中，一般先利用下游任务的语料库(注意这里忽略掉label)进行language model的微调,这种微调相当于一种domain transfer; 然后才利用label的信息进行supervised learning。
ELMo表征是“深”的，就是说它们是biLM的所有层的内部表征的函数。这样做的好处是能够产生丰富的词语表征。高层的LSTM的状态可以捕捉词语意义中和语境相关的那方面的特征(比如可以用来做语义的消歧)，而低层的LSTM可以找到语法方面的特征(比如可以做词性标注)。如果把它们结合在一起，在下游的NLP任务中会体现优势。
Bidirectional language models
ELMo顾名思义是从Language Models得来的embeddings，确切的说是来自于Bidirectional language models。具体可以表示为：
其中是一系列的tokens。
ELMo采用多层Bi-LSTM来构建语言模型。
假设输入的token的词向量表示为，在每一个位置
，每一层LSTM上都输出相应上下文相关的表示
，
表示LSTM的层数。LSTM的最后一层输出
通过softmax层来预测下一个token，
目标是最大化以下似然：
其中，代表token embedding，
代表softmax layer的参数。
ELMo
对于每一个token，一个层的biLM要计算出共
个representaions：
其中表示的是token embedding layer，而其余Bi-LSTM层中，
对于下游的具体任务，ELMo把所有层的压缩在一起形成一个单独的vector：
其中是softmax-normalized的权重，而
则允许任务模型对ELMo向量进行缩放。
对于一个supervised NLP任务，使用ElMo生成word representation可以分以下三步:
- pre-train biLM模型。模型由两层bi-LSTM组成，之间用residual connection连接起来。
- 在任务语料上(注意是语料，忽略label)fine tuning上一步得到的biLM模型。可以把这一步看为biLM的domain transfer。
- 利用ELMo的word embedding来对任务进行训练。通常的做法是把它们作为输入加到已有的模型中，一般能够明显的提高原模型的表现。
