使用正则表达式工具RegexBuddy提取IMDb TOP 250榜单电影列表

字数 2615阅读 354

0 准备工作

在拙作使用Python的Text Processing方法爬取IMDb TOP 250榜单电影列表中,我们用Python写了一个简单的小爬虫,来爬取IMDb TOP 250电影榜单。通过阅读该篇文章,相信读者应该对URL、网页外观与其源代码之间的关系有一个简单的了解。

在篇末,我提到使用正则表达式也可以很轻松的完成这项工作。本篇将介绍使用正则表达式工具RegexBuddy来提取IMDb TOP 250榜单的方法。

首先,先对正则表达式这个名词进行一个科普,它不是一个很可怕的jargon,你通过查阅维基百科,可以发现,它的意思是“描述某种规则的表达式”,它还有很多别名,比如“正规表达式”。你可以理解为一个正则表达式可以描述一个pattern,比如扑克牌中的三带一,你想在按一定顺序排列的牌堆里找出所有的三带一这个组合,你便对我说“三带一”(一个表达式),然后我来识别这个表达式,并把符合三带一排列的牌组找出来。正则表达式是一种pattern的描述方法,很巧地,很多工具可以识别这种描述方法(而我只能识别“三带一”这种描述方法),并起到筛选的作用。根据表达式找到目标内容的过程叫做“匹配”。拿到匹配到的内容,你就可以进行修剪了。

其次,你的终端上要装一个RegexBuddy,你可以理解为它是一个识别正则表达式并进行匹配的工具。我使用的版本是3.6.0,这个资源请自行找寻,本文并不提供任何违反法律法规的下载通道。

在你的Google Chrome浏览器中打开IMDb TOP 250电影榜单,并使用'Ctrl + U'组合键调出网页源代码,再打开你刚刚安装好的RegexBuddy,你便完成了所有准备工作。

1 提取第一个电影信息

打开RegexBuddy,你会发现一个这样的界面。对于一个商学院的学生来说,这样的界面还是太吓人了。

RegexBuddy Initiation

但要告诉大家的是,为了提取这个电影榜单的信息,大部分功能我们是暂时用不到的。

在左上角的Match/Replace/Split选项卡中选择Replace,在中间一行Create/Test/Debug...选项卡中选择Test,如果你的操作正确,它现在的界面应该变成了这个样子。

RegexBuddy Replace/Test Mode

现在,回到我们之前找到的源代码界面,全选源代码,将其复制粘贴至Test选项卡上半部分的空白区域。

View Source
复制到这个区域

现在,我们找到包含某一部电影,如排名在145位的1961年美国电影《纽伦堡审判》,所有信息的代码段,复制到Replace选项卡的上半部分的空白区域。

<td class="titleColumn">
      145.
      <a href="/title/tt0055031/?pf_rd_m=A2FGELUUNOQJNL&pf_rd_p=2398042102&pf_rd_r=0MN1ASG8REVJVVVN01RG&pf_rd_s=center-1&pf_rd_t=15506&pf_rd_i=top&ref_=chttp_tt_145"
title="Stanley Kramer (dir.), Spencer Tracy, Burt Lancaster" >Judgment at Nuremberg</a>
        <span class="secondaryInfo">(1961)</span>
    </td>
    <td class="ratingColumn imdbRating">
            <strong title="8.2 based on 48,165 user ratings">8.2</strong>
    </td>
    <td class="ratingColumn">
    <div class="seen-widget seen-widget-tt0055031 pending" data-titleid="tt0055031">
        <div class="boundary">
            <div class="popover">
复制到这个位置

我们可以看到,复制的这段语句中,有很多以颜色高亮出来的字符。这些字符,是正则表达式中保留字符,我们在每一个高亮出来的字符之前加一个转义符''。

匹配到了《纽伦堡审判》的信息

可以看到,RegexBuddy匹配到了所有符合我们输入pattern的字符串,并用黄色高亮来表示。

到此为止,我们已经通过输入一个pattern成功匹配到了一个字符串。

2 观察目标字符串结构

我们现在已经匹配到电影《纽伦堡审判》的信息所在的字符串,我们将其命名为目标字符串。其实,所有的目标字符串都有一定的结构,它们之间有相同的部分,也有不同的部分,我们将这些不同的部分命名为特异部分。我们要输入的正则表达式,其作用就是将这个结构中的特异部分用一定的规则表示出来。

我在下图中,用高亮将每个目标字符串的特异部分标出。在这些特异部分中,有一些是我们关注的,包括排名,导演,主演一,主演二,题名,年份,投票数,评分,我们将之称为目标信息。将目标信息用蓝色下划线标出。

特异部分/目标信息

在此例中,所有的特异部分所处的context都是一样的,如第二行,‘145’前面有六个空格,后面有一个句点。所有的目标字符串的排名这个位置,前方都有六个空格,后面都有一个句点。同样地,导演Stanley Kramer前边是'title="',后面是' (dir.)'。表示评分信息的那一行,可以看到它的结构是"xx based on xxx user ratings". 这些目标字符串的一致性,为我们提取目标信息提供了很大的便利。

3 使用正则表达式.*匹配特异部分

本篇文章,将不对正则表达式的细则进行讲解,只重点讲解两个保留字符。

第一个字符是句点.。一个句点可以表示一个换行符之外的字符,如果你在正则表达式输入框输入一个句点,它将匹配除了换行符之外的每一个字符。

`.`的匹配结果

第二个字符是星号*。星号本身不代表任何pattern,但它跟在句点之后,可以表示任意长度的除了换行符之外的字符串。如果在正则表达式输入框中输入.*,它将匹配全文的每一行(不包含换行符)。

`.*`的匹配结果

在此例中,我们尝试性地将所有特异部分替换成.*。Bravo! 可以看到,所有的目标字符串都被匹配到了。

将所有特异部分替换成`.*`后,排在38位的《摩登时代》也被匹配到了

4 捕获和提取目标信息

接下来,我们将对我们感兴趣的信息进行捕获。捕获是正则表达式应用中的一个重要功能。通常情况下,我们使用圆括号()进行捕获,我们首先试着捕获排名数。在排名数的位置加上一对圆括号,你便捕获了榜单中每一部电影的排名数。

捕获排名数

我们试着提取一下这个排名数。 选择Test选项卡中Replace命令,并在下拉菜单中选择List All Replacement,勾选Update Automatically. 这个Replace命令的作用,是将正则表达式匹配到的字符进行替换,替换的内容由用户自定义。而List All Replacement则是将每处替换的结果显示在Test选项卡下半部分的空白中。

List All Replacement

现在,我们将在Replace选项卡下半部分的空白中,输入用于替换的文本。我们使用$来引用捕获的分组。如在这里,我们输入$1,这个命令的作用,是将所有匹配到的文本(目标字符串),替换成该字符串中的指定捕获值(这里用1来指定排名)。

引用并显示捕获值

可以看到,在Test选项卡下半部分的空白中,出现了每一处替换后的内容,即我们捕获的排名。我们可以使用相同的办法,对所有我们看兴趣的内容一一捕获、引用并显示。

全部捕获后的结果

通过调整引用的顺序,可以对显示内容的顺序进行更改,但是,当信息量大,捕获分组较多时,使用数字来引用捕获就会显得十分混乱。这里,我们可以给每一个捕获起一个名字,如给排名数起名字,可以在正则表达式中这样表示,(?<rank>.*)

这样,我们想引用排名数时,就可以使用排名数分组的名称‘rank’来引用它了,正确的引用命令是${rank}

试着将所有我们感兴趣的信息起名,最后的正则表达式长这个样子。

<td class="titleColumn">
      (?<rank>.*)\.
      <a href=".*"
title="(?<dir>.*) \(dir\.\), (?<star1>.*), (?<star2>.*)" >(?<title>.*)</a>
        <span class="secondaryInfo">\((?<year>.*)\)</span>
    </td>
    <td class="ratingColumn imdbRating">
            <strong title=".* based on (?<users>.*) user ratings">(?<rating>.*)</strong>
    </td>
    <td class="ratingColumn">
    <div class="seen-widget seen-widget-.* pending" data-titleid="(?<id>.*)">

我们试着在替换文本框中输入${rank} ${title} ${year} ${dir} ${star1} ${star2} ${users} ${rating} ${id},可以看到每一部电影的信息都显示在了下方,总共有250条记录。

全部捕获并排序后的结果

5 导出目标数据

RegexBuddy支持将我们提取出的结果导出为任意支持格式的文件。我们比较感兴趣的文件类型是CSV文件。

通常情况下,将空格改为逗号即可解决格式问题。但是我们注意到,评分数信息中本身就含有逗号,这会影响CSV文件对列的判断,因此,我们使用CSV文件可以识别的另一个分隔符——制表符。

在替换文本框中,我们使用'\t'来表示制表符。可以看到显示结果中已经出现了制表符。修改完毕后,可以使用Test选项卡中的另存为命令,选择Save Test Result命令,保存类型选择All files,并手动将扩展名改为CSV.

添加制表符并保存结果
选择All files并手动规定扩展名

到此为止,我们便提取了榜单中所有我们感兴趣的信息。

IMDb.CSV

正则表达式在text processing中的应用非常广泛,许多语言都有兼容正则表达式的功能包,在这里,推荐一篇讲解其具体规则的文章——《正则表达式30分钟入门教程》。RegexBuddy还有更多强大的功能,比如将正则表达式转换成兼容不同语言的代码段等等。此例中,我们用到的只是它所有功能中最为肤浅的一部分。

这个方法,是我本科时期在上海财经大学金融科学实验中心打杂的时候学到的,比使用Python编写爬虫法更快更直观,应付普通的数据提取应该是绰绰有余了,不敢藏私,特此记录。如果您发现任何问题或有任何建议,欢迎指正或讨论。

by JohnnyMOON
COB @UIUC
EM: gengyug2@illinois.edu

推荐阅读更多精彩内容