3.1 任务说明
- 任务主题：论文代码统计，统计所有论文出现代码的相关统计；
- 任务内容：使用正则表达式统计代码连接、页数和图表数据；
- 任务成果：学习正则表达式统计；
3.2 数据处理步骤
在原始arxiv数据集中作者经常会在论文的comments或abstract字段中给出具体的代码链接，所以我们需要从这些字段里面找出代码的链接。
- 确定数据出现的位置；
- 使用正则表达式完成匹配；
- 完成相关的统计；
3.3 正则表达式
正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
3.3.1普通字符
大写字母和小写字母，所有数字、所有标点符号和一些其他符号
| 字符 | 描述 |
|---|---|
| [ABC] | 匹配 […] 中的所有字符，例如 [aeiou] 匹配字符串 “google runoob taobao” 中所有的 i e o u a 字母。 |
| [^ABC] | 匹配除了 […] 中字符的所有字符，例如 [^aeiou] 匹配字符串 “google runoob taobao” 中除了 e o u a 字母的所有字母。 |
| [A-Z] | [A-Z] 表示一个区间，匹配所有大写字母，[a-z] 表示匹配所有的小写字母。 |
| . | 匹配出了换行符（\n,\r）以外的任何单个字符，相当于[^\n\r] |
| [\s\S] | 匹配所有字符。\s是匹配所有空白符，包括换行，\S是匹配非空白符，包括换行 |
| \w | 匹配字母、数字、下划线。等价于[A-Za-z0-9] |
3.3.2 有特殊含义的字符
| 特别字符 | 描述 |
|---|---|
| () | 标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符，请使用(和)。 |
| * | 匹配前面的子表达式零次或多次。要匹配字符，请使用。 |
| + | 匹配前面的子表达式一次或多次。要匹配+字符，请使用+。 |
| . | 匹配除换行符 \n 之外的任何单字符。要匹配 . ，请使用 . 。 |
| [ | 标记一个中括号表达式的开始。要匹配 [，请使用 [。 |
| ? | 匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。要匹配 ? 字符，请使用 ?。 |
| \ | 将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如， ‘n’ 匹配字符 ‘n’。’\n’ 匹配换行符。序列 ‘\’ 匹配 “”，而 ‘(’ 则匹配 “(”。 |
| ^ | 匹配输入字符串的开始位置，除非在方括号表达式中使用，当该符号在方括号表达式中使用时，表示不接受该方括号表达式中的字符集合。要匹配 ^ 字符本身，请使用 ^。 |
| { | 标记限定符表达式的开始。要匹配 {，请使用 {。 |
| \ | 指明两项之间的一个选择。要匹配\ ,请使用 \。 |
3.3.3 限定符
| 字符 | 描述 |
|---|---|
| * | 匹配前面的子表达式零次或多次。例如，zo* 能匹配 “z” 以及 “zoo”。* 等价于{0,}。 |
| + | 匹配前面的子表达式一次或多次。例如，‘zo+’ 能匹配 “zo” 以及 “zoo”，但不能匹配 “z”。+ 等价于 {1,}。 |
| ? | 匹配前面的子表达式零次或一次。例如，“do(es)?” 可以匹配 “do” 、 “does” 中的 “does” 、 “doxy” 中的 “do” 。? 等价于 {0,1}。 |
| {n} | n 是一个非负整数。匹配确定的 n 次。例如，‘o{2}’ 不能匹配 “Bob” 中的 ‘o’，但是能匹配 “food” 中的两个 o。 |
| {n,} | n 是一个非负整数。至少匹配n 次。例如，‘o{2,}’ 不能匹配 “Bob” 中的 ‘o’，但能匹配 “foooood” 中的所有 o。‘o{1,}’ 等价于 ‘o+’。‘o{0,}’ 则等价于 ‘o*’。 |
| {n,m} | m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，“o{1,3}” 将匹配 “fooooood” 中的前三个 o。‘o{0,1}’ 等价于 ‘o?’。请注意在逗号和两个数之间不能有空格。 |
3.4代码操作
#导入所需的package并读取原始数据
import seaborn as sns
from bs4 import BeautifulSoup # 用于爬取arxiv的数据
import re
import requests # 用于向网络发送请求
import json
import pandas as pd # 数据处理和分析
import matplotlib.pyplot as plt # 画图工具
data = []
with open('arxiv-metadata-oai-snapshot.json','r') as f:
for idx, line in enumerate(f):
d = json.loads(line)
d = {'abstract':d['abstract'],'categories':d['categories'],'comments':d['comments']}
data.append(d)
data = pd.DataFrame(data)
data.head()
image.png
data['categories']
image.png
data['abstract'][1]
image.png
从获取的信息可以看出comments里面包含pages和figures信息
3.4.1 对pages进行抽取
# 使用正则表达式进行匹配， xx pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))
data['pages'].head()
image.png
# 筛选出有pages的论文
data = data[data['pages'].apply(len)>0]
data
image.png
# 由于匹配得到的是一个list，如['19 pages'],需要进行转换
data['pages']=data['pages'].apply(lambda x: float(x[0].replace('pages','')))
data['pages']
image.png
# 对pages进行统计
data['pages'].describe().astype(int)
image.png
统计结果如下：论文平均的页数为17页，75%的论文在22页以内，最长的论文有11232页。
接下来按照分类统计论文页数，选取了论文的第一个类别的主要类别：
# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories']
image.png
# 只取.前面的字符串
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
data['categories']
image.png
# 每一类论文的平均页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')
image.png
# 每一类论文的总页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].sum().plot(kind='bar')
image.png
3.4.2 抽取论文图表个数
figures和pages的获取思路一致，都是在comments列下进行：正则》获取有效的行》获取实际的数值
data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace('figures','')))
data.head()
image.png
# 按照论文类别进行统计
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['figures'].mean().plot(kind='bar')
image.png
3.4.3 抽取论文的代码链接
论文代码存在于comments或abstract之中,网址中通常包含'github'字符
# 筛选包含github的论文
data_with_code = data[(data.comments.str.contains('github')==True)|(data.abstract.str.contains('github')==True)]
data_with_code['text']=data_with_code['abstract'].fillna('')+data_with_code['comments'].fillna('')
data_with_code['text']
image.png
data_with_code['text'][253172]
image.png
阅读上面的文本后发现论文代码网址：http://nbarbey.github.com/TomograPy/
# 使用正则表达式匹配论文
patten = '[a-zA-Z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(patten).apply(len)
data_with_code['code_flag']
image.png
data_with_code['text'][254226]
image.png
data_with_code['text'][300298]
image.png
从上面的分析中可以看出按照正则表达式的要求：有效网址如下：https://github.com/dcasadei/psde
虽然统计结果为2，但是两个是相同的网址
data_with_code=data_with_code[data_with_code['code_flag']==1]
data_with_code
image.png
# 可视化：按照论文类别统计code代码个数
plt.figure(figsize=(12,6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')
image.png
