[toc] 背景知识: Spark与Hadoop差异 Spark是在借鉴了MapReduce之上发展而来的，继承了其分布式并行计算的优点并改进了...

为什么要layer Norm ？随着网络层数增加，特征分布会变化，为了保持特征分布的稳定性，加速收敛layer Norm 和 Batch No...

为什么需要注意力机制？理解文本、图片信息，能记住的信息是有限的，模型要利用好每一刻有用的部分，把注意力放在某一个部分seq2seq 存在1、长依...

语言模型：用于判断一句话是否语法通顺给已经训练好的语言模型可以对任何一个文本给出概率，概率越高说明语法上越通顺 链式概率 P(今天是周日) = ...

seq2seq应用场景：文本生成：翻译、看图说话、生成摘要 文本理解和生成文本encoder & decoderencoder，根据输入序列生成...

输入 x1 单词对应一个embedding，Ex1输出 y' = [y1', y2', ...] （任务不同，使用的y不同：词性标注，每个y'都...

矩阵分解法 构造矩阵X 形状式词库size×词库size分解后得到S\V\D， 其中S矩阵就是词向量坏处是 矩阵分解是全局方法，分解的过程依赖于...

文本表示基础 单词和句子的表示 迭代1：one-hot表示词库：[今天 天气 很好]句子1：[今天 天气 很好] = [1,1,1]缺点：没有顺...