Python学习之豆瓣每日书单

1. 功能


  1. 爬取豆瓣每日书单信息
  2. 处理爬取后的信息,制作成makedown文件,方便浏览

2. 原理


1、requests获取网络信息
2、BeautifulSoup解析网页
3、生成makedown文件

3. 源码


#!/usr/bin/env python3
# -*- coding:utf-8 -*-

from bs4 import BeautifulSoup
import requests
import time
import datetime

r = requests.get('https://book.douban.com')

html=r.text

soup = BeautifulSoup(html, 'html.parser')

items = []
global_nav_items = soup.find('div', class_='global-nav-items')

for tag in global_nav_items.find_all('a'):
    items.append(tag.string)

print(items)

class Info(object):
    def __init__(self, title, img, link, author, year, pulisher, abstract):
        self.title = title
        self.img = img
        self.link = link
        self.author = author
        self.year = year
        self.publisher = publisher
        self.abstract = abstract

new_book_html = soup.find('ul', class_='list-col list-col5 list-express slide-item')

book_info_list = []

for tag in new_book_html.find_all('li'):
    info_html = tag.find('div', class_='info')
    info_title = info_html.find('a')
    title = info_title.string.strip()
    cover = tag.find('div', class_='cover')
    img = cover.find('img')['src'].strip()
    href = info_title['href'].strip()
    author = info_html.find(class_='author').string.strip()
    year = info_html.find(class_='year').string.strip()
    publisher = info_html.find(class_='publisher').string.strip()
    abstract = info_html.find(class_='abstract').string.strip()
    book = Info(title, img, href, author, year, publisher, abstract)
    book_info_list.append(book)

print('推荐%s本新书' %  len(book_info_list))
for book in book_info_list:
    print('*'*100)
    print(book.title)
    print(book.img)
    print(book.link)
    print(book.author)
    print(book.year)
    print(book.publisher)
    print(book.abstract)

def save():
    today = datetime.datetime.fromtimestamp(time.time()).strftime('%Y-%m-%d')
    file_name = '豆瓣'+today+'推荐书单'
    with open(file_name+'.md', 'w') as file:
        file.write('#'+file_name)
        file.write('\\n---')
    with open(file_name+'.md', 'a') as file:
        num = 1
        for book in book_info_list:
            file.write('\\n\\n')
            file.write('## ' + str(num) +'. ' + book.title)
            file.write('\\n')
            file.write('!['+book.title+' cover img]('+book.img+')')
            file.write('\\n\\n')
            file.write('简介\\n')
            file.write('---\\n')
            file.write(book.abstract)
            file.write('\\n\\n')
            file.write('作者:     '+book.author+'\\n\\n')
            file.write('出版时间: '+book.year+'\\n\\n')
            file.write('出版社:   '+book.publisher+'\\n\\n')
            file.write('[更多...]('+book.link+')')
            num = num + 1

if __name__ == '__main__':
    save()

4. 生成的md文件


#豆瓣2016-11-02推荐书单
---

## 1. 以蓄满泪水的双眼为耳
![以蓄满泪水的双眼为耳 cover img](https://img3.doubanio.com/lpic/s29015065.jpg)

简介
---
本书是当代著名作家、中国作协主席铁凝女士近十年来的散文、随笔、演讲、访谈的自选集,共31篇文章,都是作者自2007年担任作协主席以来的重要作品。
大量篇幅,如她与杨绛先生深情交往的细节、与诺贝尔文学奖得主大江健三郎先生的文学对话等,都属首次发表。
书中既刻画了杨绛、马识途、汪曾祺、贾大山、张洁、井上靖、大江健三郎、诗琳通公主等文学家,也精选了作者...

作者:     铁凝

出版时间: 2016-9-1

出版社:   生活•读书•新知三联书店 生活书店出版有限公司

[更多...](https://book.douban.com/subject/26864818/?icn=index-editionrecommend)

## 2. 哈利·波特与被诅咒的孩子
![哈利·波特与被诅咒的孩子 cover img](https://img3.doubanio.com/lpic/s29121750.jpg)

简介
---
时隔九年,哈利•波特带着他的魔法世界重磅回归!
《哈利•波特与被诅咒的孩子》打破2016年度预售纪录,北美地区两日卖出2,000,000册!
六大看点
1.哈利的小儿子阿不思被分院帽分进了斯莱特林,他会适应那里的生活吗?
2.德拉科•马尔福的儿子斯科皮竟然与阿不思成为了最好的朋友,这是真正的友情还是另有预谋?
3.伏地魔的女儿出现了……她将履行怎样的使命?她是否会成...

作者:     约翰·蒂法尼 / 杰克·索恩 / J.K.罗琳

出版时间: 2016-10

出版社:   人民文学出版社

[更多...](https://book.douban.com/subject/26871656/?icn=index-editionrecommend)

## 3. 视觉思维
![视觉思维 cover img](https://img3.doubanio.com/lpic/s29129053.jpg)

简介
---
本书是使用代表事物、思维、概念等含义的象征图像与简单的文字,整理思维、传递情感、表达心境、寻找乐趣的思维训练图书。书中讲述了视觉思维整理法的诸多构成要素,并详细列举了用途与示例。可着力培养用图形思考和整理习惯,可极为迅速捕获创意点子与灵感,可更加轻松理解复杂难懂的知识。让你在讲话或提出自我主张的时候更有说服力,更容易激起听众的共鸣。

作者:     [韩] 郑珍好

出版时间: 2016-10

出版社:   中国铁道出版社

[更多...](https://book.douban.com/subject/26905838/?icn=index-editionrecommend)

## 4. 人类的演化
![人类的演化 cover img](https://img1.doubanio.com/lpic/s29129057.jpg)

简介
---
是什么让我们成为人类?
我们怎么发展出了语言、思维和文化?
为什么我们存活下来,而其他的人科物种却灭绝了?
人类演化的故事,比任何其他故事都更让我们着迷。我们的好奇心永不满足,总是不断在问:我们是谁?来自哪里?本书对人类演化历程提出了全新的疑问,也给出了崭新的研究方式和回答。
“这是一个侦查的过程,呈现在我们面前的,是一个由考古学记录组成的犯罪现...

作者:     [英] 罗宾·顿巴

出版时间: 2016-8-1

出版社:   上海文艺出版社

[更多...](https://book.douban.com/subject/26834220/?icn=index-editionrecommend)

## 5. 故宫日历(2017年)
![故宫日历(2017年) cover img](https://img3.doubanio.com/lpic/s28913836.jpg)

简介
---


作者:     陈丽华 / 冯贺军 / 李湜

出版时间: 2016-9-10

出版社:   故宫出版社

[更多...](https://book.douban.com/subject/26840888/?icn=index-editionrecommend)

## 6. 余生,请多指教
![余生,请多指教 cover img](https://img3.doubanio.com/lpic/s29049325.jpg)

简介
---
曾经以为,自己这辈子都等不到了——世界这么大,我又走得这么慢,要是遇不到良人要怎么办?
早过了“全球三十几亿男人,中国七亿男人,天涯何处无芳草”的猖狂岁月,越来越清楚,循规蹈矩的生活中,我们能熟悉进而深交的异性实在太有限了,有限到我都做好了“接受他人的牵线,找个适合的男人慢慢煨熟,再平淡无奇地进入婚姻”的准备,却在生命意外的拐弯处迎来自己的...

作者:     柏林石匠

出版时间: 2016-10

出版社:   百花洲文艺出版社

[更多...](https://book.douban.com/subject/26872990/?icn=index-latestbook-subject)

## 7. 大师们的写作课:好文笔是读出来的
![大师们的写作课:好文笔是读出来的 cover img](https://img1.doubanio.com/lpic/s29089377.jpg)

简介
---
好文笔是读出来的?
不是所有的人都真的会读,但真正会读的人一定会写!
《大师们的写作课》让你通过读就能迅速地提升写作能力,从48位文学大师的笔下,找到关于写作的密码——
【内容篇】从“颜色”到“情色”,你的笔下也可以写出10万种活色生香;
【技能篇】从“标点”到“收束”,为你深度解码大师们的写作密码;
【拓展篇】从传统文学、外国语言、前人新秀、自媒体...

作者:     舒明月

出版时间: 2016-10

出版社:   江苏凤凰文艺出版社

[更多...](https://book.douban.com/subject/26890188/?icn=index-latestbook-subject)

## 8. 千门八将1
![千门八将1 cover img](https://img3.doubanio.com/lpic/s29089623.jpg)

简介
---
江湖未死,但很多规矩却已远去。
传承几千年的外八门,进入当代社会,无不面临着“变则形亡,守则身亡”的困境。
当代千门门主高阳,坚守“平衡江湖”的门派宗旨,希望重拾江湖规矩。
然千门有“八将少五不做局”的规矩,千门八将,各司其责,八将相依相靠才能做出完美的千局。当代千门人丁凋零,连八将尚未凑齐,无法发挥千局的力量。仅靠千术,千门无法折服外八门。
千...

作者:     高阳

出版时间: 2016-9-1

出版社:   江苏凤凰文艺出版社

[更多...](https://book.douban.com/subject/26890239/?icn=index-latestbook-subject)

## 9. 大脑使用指南
![大脑使用指南 cover img](https://img3.doubanio.com/lpic/s29056032.jpg)

简介
---
人为什么会做梦?为什么眼见的不一定为实?为什么国民男神一换再换?大脑为什么是最大的性器官?为什么一孕傻三年?
你与你的大脑之间的关系也是个细思极恐的问题。
到底是你在控制大脑,还是大脑在控制你呢?
无论你是谁,从哪里来,又往哪里去,无论你在不在乎大脑的存在,你与你的大脑都密不可分。你的所有决定、所有情感、所有记忆,都在大脑中生成又在大脑中消失。...

作者:     赵思家

出版时间: 2016-10

出版社:   湖南科技出版社

[更多...](https://book.douban.com/subject/26876074/?icn=index-latestbook-subject)

## 10. 香蕉的低语
![香蕉的低语 cover img](https://img1.doubanio.com/lpic/s29058848.jpg)

简介
---
一个很深很深的故事。每个人都在心灵深处流浪。
* * *
“如果你在八月经过一片香蕉地,你可能会听到香蕉的低语:哧哧——哧哧——哧哧——”
父亲留给菲丽宾娜一沓信,告诉她黎巴嫩散发着橙花的香气,还有香蕉的低语。为了真正理解这些信,菲丽宾娜只身一人来到黎巴嫩,寻找父母亲的足迹。
与此同时,丹妮丝,一个在牛津大学读博的土耳其女孩厌倦了西方。她决定前往黎巴嫩...

作者:     [土耳其] 伊切·泰玛尔库兰

出版时间: 2016-10-15

出版社:   北京联合出版公司

[更多...](https://book.douban.com/subject/26864850/?icn=index-latestbook-subject)
md_figure1
md_figure2

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 158,444评论 24 688
  • 声明:本文讲解的实战内容,均仅用于学习交流,请勿用于任何商业用途! 一、前言 强烈建议:请在电脑的陪同下,阅读本文...
    Bruce_Szh阅读 11,101评论 4 27
  • 【翻轉日記,四十二】 為保證項目順利進行,必要的規章和懲戒制度是十分必要的。設計制度時要針對學生特點,比如學生動手...
    陈威Jonathan阅读 58评论 0 0
  • 有的时候,我真得觉得我的茉莉花快要死了,枝干枯得皮都快要掉了,显得很沧桑,泥土皲裂,花枝也已经枯黄。这时候...
    louisa_jia阅读 61评论 0 0
  • 天气好棒ヾ ^_^ 植物园里开了桃花,有很多小朋友,有一个刚会走路 希望师姐和她对象幸福 鼻子又开始痛。麻麻买了好...
    我是胡萝卜阅读 51评论 0 0