python实战作业1-4

由于课程上提供的网站访问不了,就随便找了一个网站来爬
地址是http://guo.lu
(好像是个很文艺的网站啊XD)

代码如下:

import requests
from bs4 import BeautifulSoup
import urllib.request


def get_url():
    oriurl="http://guo.lu/page/"
    urls=[]
    for i in range(1,7):
        url=oriurl+str(i)
        urls.append(url)
    return urls


def get_info(urls):
    for url in urls:
        wb_data = requests.get(url)
        soup = BeautifulSoup(wb_data.text,'lxml')
        for i in range(0,len(soup.select('#primary > div > div.else'))):
            data = {
                'title':soup.select('#primary > div > div > h3 > a')[i].get_text(),
                'img':soup.select('#primary > div > a > img')[i].get('src'),
                'description':soup.select('#primary > div > div.else > p')[i].get_text(),
                'date' :soup.select('#primary > div > div > p')[i].get_text(),
                'view_num' :soup.select('#primary > div > div > p.here > span.icon-view')[i].get_text(),
            }
            print(data)


get_info(get_url())

输出内容:

{'date': '五月 7, 2016', 'title': '用力地生活,只是因为拥有想要守护的人', 'description': '五月 7, 2016', 'img': 'http://guo.lu/wp-content/themes/Diaspora/timthumb/timthumb.php?src=http://guo.lu/wp-content/uploads/2016/05/wallhaven-229296.jpg', 'view_num': '5172'}
{'date': '一\n\n2013年,公司接了一个500强品牌的全国路演,那段时间项目很密集,人手不够用,我被临时调去项目组支...', 'title': '愿每个失恋的姑娘,都被时光温柔以待', 'description': '一\n\n2013年,公司接了一个500强品牌的全国路演,那段时间项目很密集,人手不够用,我被临时调去项目组支...', 'img': 'http://guo.lu/wp-content/themes/Diaspora/timthumb/timthumb.php?src=http://guo.lu/wp-content/uploads/2016/04/wallhaven-269911.jpg', 'view_num': '6724'}
{'date': '\n3588\n5172\n92 ', 'title': '可是,我依然没有遇见你', 'description': '\n3588\n5172\n92 ', 'img': 'http://guo.lu/wp-content/themes/Diaspora/timthumb/timthumb.php?src=http://guo.lu/wp-content/uploads/2016/04/wallhaven-105618-1.jpg', 'view_num': '9323'}
{'date': '四月 24, 2016', 'title': '第一眼心动的人,要怎么做朋友', 'description': '四月 24, 2016', 'img': 'http://guo.lu/wp-content/themes/Diaspora/timthumb/timthumb.php?src=http://guo.lu/wp-content/uploads/2016/03/wallhaven-215913.jpg', 'view_num': '11690'}
{'date': '昨天饭后无聊浏览QQ好友个人信息,无意中看到闺蜜z的前男友昵称还是俩人好的时候的情侣名,信息主页上还...', 'title': '哪有什么岁月静好,不过是有人替你负重前行', 'description': '昨天饭后无聊浏览QQ好友个人信息,无意中看到闺蜜z的前男友昵称还是俩人好的时候的情侣名,信息主页上还...', 'img': 'http://guo.lu/wp-content/themes/Diaspora/timthumb/timthumb.php?src=http://guo.lu/wp-content/uploads/2016/03/wallhaven-284841.jpg', 'view_num': '9722'}
{'date': '\n1415\n6724\n61 ', 'title': '那段奋不顾身的日子,叫青春', 'description': '\n1415\n6724\n61 ', 'img': 'http://guo.lu/wp-content/themes/Diaspora/timthumb/timthumb.php?src=http://guo.lu/wp-content/uploads/2016/03/wallhaven-194679.jpg', 'view_num': '8850'}
{'date': '四月 9, 2016', 'title': '我想要名正言顺的关心', 'description': '四月 9, 2016', 'img': 'http://guo.lu/wp-content/themes/Diaspora/timthumb/timthumb.php?src=http://guo.lu/wp-content/uploads/2016/02/13d2ed25a5591b695aa23245d5018b391ad44b6f998e5-R5QYdw.jpg', 'view_num': '11096'}
{'date': '我们为爱情付出了那么多,可它也从没有回报我们以安详。\n\n好像每个二十几岁的年轻女孩子都要有一个说出...', 'title': '让梦想照进现实', 'description': '我们为爱情付出了那么多,可它也从没有回报我们以安详。\n\n好像每个二十几岁的年轻女孩子都要有一个说出...', 'img': 'http://guo.lu/wp-content/themes/Diaspora/timthumb/timthumb.php?src=http://guo.lu/wp-content/uploads/2016/02/8bd6b9931ad5597e5ed5f1c0adaa6ace847c0253da4da-Aa4JWq.jpg', 'view_num': '10024'}
{'date': '\n3689\n9323\n92 ', 'title': '一想到你的不完美,便觉得更加爱你了', 'description': '\n3689\n9323\n92 ', 'img': 'http://guo.lu/wp-content/themes/Diaspora/timthumb/timthumb.php?src=http://guo.lu/wp-content/uploads/2016/01/wallhaven-109498.png', 'view_num': '9495'}
{'date': '三月 20, 2016', 'title': '我们拼命变好,是因为心里住着不想辜负的人', 'description': '三月 20, 2016', 'img': 'http://guo.lu/wp-content/themes/Diaspora/timthumb/timthumb.php?src=http://guo.lu/wp-content/uploads/2016/01/wallhaven-304681.jpg', 'view_num': '10601'}
{'date': '1\n\n车窗外是一片无垠的大海。\n\n雨下了又停,彩虹在不远的前方,返回市区的路很长,我坐在副驾驶上,向左...', 'title': '你多走了弯路,才看到更多的风景', 'description': '1\n\n车窗外是一片无垠的大海。\n\n雨下了又停,彩虹在不远的前方,返回市区的路很长,我坐在副驾驶上,向左...', 'img': 'http://guo.lu/wp-content/themes/Diaspora/timthumb/timthumb.php?src=http://guo.lu/wp-content/uploads/2016/01/wallhaven-282224.jpg', 'view_num': '8839'}
{'date': '\n7682\n11690\n154 ', 'title': '这真是个孤独的世界', 'description': '\n7682\n11690\n154 ', 'img': 'http://guo.lu/wp-content/themes/Diaspora/timthumb/timthumb.php?src=http://guo.lu/wp-content/uploads/2016/01/wallhaven-33805.jpg', 'view_num': '9555'}

date跟description会混淆,因为这两个的selector路径一模一样。。。。
其他没什么难度,在浏览器的network里找到了真实的网页地址之后就随便爬了

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,198评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,663评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,985评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,673评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,994评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,399评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,717评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,407评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,112评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,371评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,891评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,255评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,881评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,010评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,764评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,412评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,299评论 2 260

推荐阅读更多精彩内容