语言模型

模型:可以量化,可以打分。

语言模型

概率语言模型(统计语言模型)

用处示例:输入法、机器翻译、语音识别等。

N-gram:简化处理——马尔科夫模型(未来事件,只取决于有限的历史)

语言模型的评价:内在评价(预测测试集的能力,perplexity)和外在评价(具体任务)

推荐阅读更多精彩内容