python数据分析应用 - 近5年八类资产价格走势分析

最近发现PYTHON与TABLEAU的组合简直就是我们数据分析爱好者的绝佳工具组合。最近对大类资产配置这个问题产生了较大的兴趣,笔者就使用python作为数据获取、数据处理的工具,同时采用tableau作为数据展现的工具简单分析了8大类资产近5年多的价格走势,也许会对当下大类资产配置决策提供一些参考依据。这8大类资产包括:

  • 小麦
  • 大豆
  • 新华富时A50指数
  • 原油
  • 黄金
  • 美元指数
  • 道琼斯指数

数据获取

数据来源,直接爬取investing.com网站公布的各大类资产日行情数据,以黄金为例python源代码如下:

#首先需要安装selenium以及chrome驱动
from selenium import webdriver
def crawlMainIndex():
    '''
    在INVESTING.COM网站下下载最新的常见指数行情
    '''
    driver=webdriver.Chrome()
    #爬取黄金指数行情
    mainIndexDownloader(driver,'gold','http://cn.investing.com/commodities/gold-historical-data')
    #此处省略爬取其它指数行情...
    driver.quit()

def mainIndexDownloader(driver,indextype,url):
    '''
        根据xpath定位交易日、收盘价、开盘价、最高价、最低价、成交量、日涨幅等日行情数据
        最后保存到数据库当中,为了可以每天增量下载,这里直接使用django的持久化框架。
    '''
    time.sleep(1)
    driver.get(url)
    time.sleep(1)
    i = 1
    while True:
        quotes = driver.find_elements_by_xpath('//*[@id="curr_table"]/tbody/tr[%d]/td' % i)
        if len(quotes) == 0:
            break
        #mainIndexQuote类直接映射为mysql数据库当中cron_mainindexquote表
        data = mainIndexQuote(
            tradeday=dateConverter(quotes[0].text),
            closeprice=quotes[1].text,
            openprice=quotes[2].text,
            highprice=quotes[3].text,
            lowprice=quotes[4].text,
            tradevol=quotes[5].text,
            chgpcnt=quotes[6].text.replace('%', ''),
            type=indextype
        )
        existList = mainIndexQuote.objects.filter(tradeday=dateConverter(quotes[0].text)).filter(type=indextype)
        #判断是否数据库当中已经存在,不存在则插入
        if len(existList) == 0:
            #持久化,保存在数据库当中
            data.save()
        i += 1

数据处理

想要分析抓取下来的8类资产价格走势,必须要解决以下几个问题:

  • 不同品种的交易日期并不完全相同,放到一起展示,存在不对齐现象,即缺失值,必须对缺失值进行处理
  • 不同交易品种,价格分布的区间不一样,需要进行规一化处理
  • 由于数据库当中表的存储方式为长表,需要转换为宽表,具体原理请参见笔者的另一篇简书笔记Python数据分析之重塑reshaping与交叉表pivot table(1)

python语言当中的数据分析包pandas为解决上述数据分析过程当中的常见问题提供了非常便捷的方法,对应的源代码如下,可以看出上述三个问题,只需要两行代码

import pandas as pd
def analyseMainIndex():
    '''
    根据历史数据抓取的各主要指数行情,分析大类资产栩置情况
    :return:
    '''
    with engine.connect() as conn, conn.begin():
        df = pd.read_sql_table('cron_mainindexquote', conn)
    #由于数据库当中表的存储方式为长表,需要转换为宽表,具体原理请参见笔者的另一篇简书笔记
    #http://www.jianshu.com/p/e7ac9a0f5e6c
    df1=df.pivot(index='tradeday', columns='type', values='closeprice')
    #使用后向填充,作为缺失值处理方式,当然也可以使用前期填充,修改bfill参数值即可
    #通过使用lambda匿名函数可以将不同大类资产的价格规范化为[0,1]区间,方便合并展示
    df2=df1.fillna(method='bfill').apply(lambda x: (x - np.min(x)) / (np.max(x) - np.min(x)))
    #将处理后的规范化的数据直接存储到CSV文件当中,当然此处也可以直接保存到数据库当中
    df2.to_csv(r'd:\temp\normalization.csv')

数据展现

数据可视化的意义在于,让人在信息爆炸时代快速、直观地获取自已关注的信息。通过tableau直连前面已经清理整理好的csv数据文件之后,几秒钟之内即可绘制出8类资产价格走势图。效果如下:

8类资产近5年价格走势.png

从上图中可以发现,在这八大类资产当中,小麦、大豆、铜、石油都处于近5年来的相对价格低位,而美元指数、道指、已经处于5年内价格高位,正所谓,人往高处走,水往低处流,那是不是说近5年来的相对低位的资产种类看多就会因为被低估而比较安全呢?至少从近期来看,结论似乎是对的,但相信答案没有那么简单。
工行网银交易截图

图片发自简书App

提出问题,收集数据,学习原理,尝试回答问题,正是数据分析的迷人之处。

推荐阅读更多精彩内容

  • 1.资产配置量化模型:超配权益类主要观点 在货币环境宽裕、资本管制加强的情况下,资金必然会寻找“溢出口”。我们判断...
    钱景基金阅读 174评论 0 0
  • 技术分析:股指是最好的参照基本分析:把握宏观经济投资组合:根据行情调整成功者的启示:具备与众不同的思维方式超越专家...
    你在学校阅读 2,151评论 0 12
  • 1.类级别注解 @Entity映射实体类 @Table映射数句库表 @Entity(name="tableName...
    苗義阅读 253评论 0 4
  • 女儿暑假要出去一趟,需要去“出入境中心”办户照。 我把手续证件全交给了在县城上班的宗姨妈,托她去办。 姨妈去办,回...
    韩悦沐阅读 74评论 0 3
  • 攀楼而上,一跃而下,莹粉满地,奔波为忆。晴楼镜相,面饰红白,怡形捉影,神情漠然。空手套物,耻心不改,藏匿怠倦,造梦...
    栽愣阅读 71评论 0 1