场景
这是我在2015年3月份做的毕业设计，当时在《数学之美》上看到这个用余弦定理计算相似度的算法，于是想着可以用它来计算两篇文章的相似度，因为我发现好多同学写论文直接上百度复制粘贴，其实有时候我也是_，于是我想写个程序能够判断同学的文章是不是从百度抄来的，抄了百分之几，于是就做了这个毕业设计。最后拿到了学校的优秀毕业设计。
整个流程：
- 获得学生的论文，包含标题和内容两个部分。标题为关键字，构造百度搜索的URL，然后去抓取前 n 页的网页内容。提取出汉字。
- 对汉字进行过滤，去掉标点，虚词等等，再进行中文分词。
- 拿下载的文章和学生的文章，一篇一篇的计算相似度，找出相似度最高的前几篇，超过一个阈值，比如60%，就认为是抄袭了。
实现细节：
- 文本爬虫，多线程抓取网页内容，把网上的文章下载到缓冲区，一个线程把缓冲区写到磁盘，其实就是多个生产者，一个消费者的模型。
- 中文分词，看了一下结巴分词，最后还是自己实现了一个最大正向匹配的分词算法，下载了一个包含22万个常用和专业词的字典。
- 计算两篇文章的相似度，这个是本文下面重点要说的。
相似度计算
由上面的过程，我把一篇文章切成一个一个的词了，像这样
我正在写代码
中文分词后
我 / 正在 / 写 / 代码
然后我有一个包含 22 万个词语的字典，它的结构像这样，按拼音首字母排序（假设啊，数据都是假设的）
| 唯一index | 词语 |
|---|---|
| 哎 | 0 |
| 爱情 | 1 |
| 爱人 | 2 |
| ... | ... |
| 我 | 30 |
| 代码 | 50 |
| 写 | 70 |
| ... | ... |
| 正在 | 99 |
| ... | ... |
| 作业 | 22000 |
在字典里面分别查找 {"我", "正在", "写", "代码"} 对应的 index
查找前
我 / 正在 / 写 / 代码
查找后变成了
30 / 99 / 70 / 50
词典有22万个词，我开一个长度为22万的数组array，记录词频
array[30] = 1 // 表示“我”出现了1次，出现了100次就赋值100
array[99] = 1
array[70] = 1
array[50] = 1
其实有很多地方是 0 的，用稀疏数组保存省空间，转换后变成
array = {0, 0, 0, 0, 0, 0, 0, ... 0, 1, 0, ..., 0, 1, 0, ...0}
array 长度 22000
{我正在写代码} == {0, 0, 0, 0, 0, ..., 0, 1, 0, ..., 0}
到此，一篇文章就被转化成了一个维度是22000的向量了，储存在 array 中。
余弦定理
应该是高中的数学书上讲过余弦定理（其实我也忘的差不多了_），书上有这个式子
2篇文章就是2个向量，2个向量可以计算夹角来判断相似度。计算文章相似度就可以转化为计算两个N维向量的夹角。
如果两个向量夹角很小，cos值接近1，说明他们很相似。
如果两个向量夹角是90度，cos值为0，说明他们不相似，是正交的。
如果 cos 为 1，说明两篇文章的词频是一模一样的，即出现了一样的词语，但语序可能不一样。
如果 cos 为 0，说明两篇文章没有一样词语，是正交的，一个相同的词都没有。
这样就可以判断两篇文章有多相似了，可以得出一个[-1, 1]之间的值，来判断是否抄袭，改变语序，调换段落也是没用的_。
