Python爬取天天基金网历史净值数据

天天基金网历史净值数据的页面地址是
http://fund.eastmoney.com/f10/F10DataApi.aspx?type=lsjz&code=110022&sdate=2018-02-22&edate=2018-03-02&per=20
参数说明如下:

  1. type 类型,历史净值用lsjz表示
  2. code 基金代码,六位数字
  3. sdate 开始日期,格式是yyyy-mm-dd
  4. edate 结束日期,格式是yyyy-mm-dd
  5. per 一页显示多少条记录

为了便于分析页面数据,要保证所选择日期范围内的净值在一个页面全部显示,可以把per设成很大的值,比如65535。
返回的页面数据比较简单,只有一个历史净值的表格和总记录数,总页数和当前页数。

var apidata={ content:"
净值日期    单位净值    累计净值    日增长率    申购状态    赎回状态    分红送配
2018-03-02  2.3580  2.3580  0.17%   开放申购    开放赎回    
2018-03-01  2.3540  2.3540  0.56%   开放申购    开放赎回    
2018-02-28  2.3410  2.3410  -1.35%  开放申购    开放赎回    
2018-02-27  2.3730  2.3730  -2.06%  开放申购    开放赎回    
2018-02-26  2.4230  2.4230  0.29%   开放申购    开放赎回    
2018-02-23  2.4160  2.4160  -0.49%  开放申购    开放赎回    
2018-02-22  2.4280  2.4280  2.58%   开放申购    开放赎回    
",records:7,pages:1,curpage:1};
html.PNG

用BeautifulSoup库的findAll找到tbody(表格主体)标签,然后在里面找tr(表格中的一行)标签,单元格内容是:

  1. td:nth-of-type(1)(第1个单元格)是净值日期
  2. td:nth-of-type(2)(第2个单元格)是单位净值
  3. td:nth-of-type(3)(第3个单元格)是累计净值
  4. td:nth-of-type(4)(第4个单元格)是日增长率

范例代码如下:

# -*- coding:utf-8 -*-


import requests
from bs4 import BeautifulSoup
from prettytable import *


def get_url(url, params=None, proxies=None):
    rsp = requests.get(url, params=params, proxies=proxies)
    rsp.raise_for_status()
    return rsp.text


def get_fund_data(code, start='', end=''):
    record = {'Code': code}
    url = 'http://fund.eastmoney.com/f10/F10DataApi.aspx'
    params = {'type': 'lsjz', 'code': code, 'page': 1, 'per': 65535, 'sdate': start, 'edate': end}
    html = get_url(url, params)
    soup = BeautifulSoup(html, 'html.parser')
    records = []
    tab = soup.findAll('tbody')[0]
    for tr in tab.findAll('tr'):
        if tr.findAll('td') and len((tr.findAll('td'))) == 7:
            record['Date'] = str(tr.select('td:nth-of-type(1)')[0].getText().strip())
            record['NetAssetValue'] = str(tr.select('td:nth-of-type(2)')[0].getText().strip())
            record['ChangePercent'] = str(tr.select('td:nth-of-type(4)')[0].getText().strip())
            records.append(record.copy())
    return records


def demo(code, start, end):
    table = PrettyTable()
    table.field_names = ['Code', 'Date', 'NAV', 'Change']
    table.align['Change'] = 'r'
    records = get_fund_data(code, start, end)
    for record in records:
        table.add_row([record['Code'], record['Date'], record['NetAssetValue'], record['ChangePercent']])
    return table


if __name__ == "__main__":
    print demo('110022', '2018-02-22', '2018-03-02')

输出结果如下:

+--------+------------+--------+--------+
|  Code  |    Date    |  NAV   | Change |
+--------+------------+--------+--------+
| 110022 | 2018-03-02 | 2.3580 |  0.17% |
| 110022 | 2018-03-01 | 2.3540 |  0.56% |
| 110022 | 2018-02-28 | 2.3410 | -1.35% |
| 110022 | 2018-02-27 | 2.3730 | -2.06% |
| 110022 | 2018-02-26 | 2.4230 |  0.29% |
| 110022 | 2018-02-23 | 2.4160 | -0.49% |
| 110022 | 2018-02-22 | 2.4280 |  2.58% |
+--------+------------+--------+--------+
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,100评论 18 139
  • ORACLE日期时间函数大全 TO_DATE格式(以时间:2007-11-02 13:45:25为例) Year:...
    雨一流阅读 620评论 0 2
  • 在应用程序中添加日志记录总的来说基于三个目的:监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析...
    时待吾阅读 4,817评论 1 13
  • 文/洛小简 我的心正在缺着口。那一处恰好是你——来过、留下过的印迹,不可被抹杀、不能被忘却。 那缺口正在风口浪尖,...
    洛小简阅读 327评论 6 2
  • 很多年没有去扫墓了,今年机缘巧合去了两次。 从小到大对于殡仪馆和公墓总是感觉害怕和恐惧的,每每到了那样的场合,人总...
    云微阅读 330评论 0 0