基于手机信令的大数据分析教程(一)—— 数据导入数据库

前言

该套教程以一个初学大数据的菜鸟视角,编写数据分析处理的整套流程。写得较为详(luo)细(suo),希望适用于任何城乡规划大数据的初学者。持续更新中,若有错误,望指正!

1、任务总纲

(1)职住数据导入数据库,用SQL语句进行处理数据

(2)GIS连接数据库,数据处理后进行可视化分析,得到基于区县和街道层面的人口分布图、就业岗位分布图和职住比分布图

(3)职住OD分析,得到基于中区(街道层面)和大区(区县层面)的OD期望线

(4)用POI制作核密度和网格密度图

(5)利用Adobe Illustrator的插件美化GIS出图

(6)计算每个街道的平均通勤距离

(7)Tableau 软件连接数据库,绘制距离分布衰减的柱状图

2、材料准备

这里以西安为例,获得的资料为:
西安的区县和街道分区shp、西安的手机基站分布点shp、西安十分之一职住数据csv、西安POI

3、涉及软件

·pgAdmin III(我们所用的数据库PostgreSQL)
· Navicat Premium(数据库管理工具)
·Qgis3.4或PostGIS 2.0(导入shapefile)
·ArcGIS 10.5
·Avenza MAPublisher(AI插件,美化GIS出图)
·Tableau 10.5(可视化图表)

涉及的软件

——————————————————————————————
下面正式开始教程keke~
本节重点:使用Navicat新建连接和数据库,利用SQL语句新建并导入表

数据导入数据库

下图为已经识别出来的西安职住数据,0代表未识别出居住地或工作地

十分之一职住数据

该表格为csv UTF8(逗号分隔)格式
注意数据存储的整条路径不能出现中文,否则导入数据库后会发生错误!

QQ截图20181123113314.png

打开Navicat——文件——新建连接——PostgreSQL
设定连接名,这里用的本地连接(localhost),密码是一开始安装时自己设定的密码

QQ截图20181123110352.png
QQ截图20181123110423.png

在新建连接上右键——新建数据库,其中编码选择UTF8
注意不要用默认的postgres数据库,不然GIS可能连接不上

QQ截图20181123111206.png
QQ截图20181123111242.png

在“查询”界面中输入新建表和导入数据的SQL命令,将之前csv表格的数据导入
注意每个字段的数据类型
其中with csv HEADER表示之前csv表中的表头

create table xian_homework2 (home varchar(50), work varchar(50), sum int);
COPY xian_homework2 FROM 'E:\data\xianhw2.csv'  with csv HEADER
QQ截图20190105190331.png

成功后可以将该查询语句保存下来

QQ截图20181123193310.png

关于建表和导入导出数据的语句,详见施老师的教程:
https://www.jianshu.com/p/5ab5dc112ca3

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,117评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,963评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,897评论 0 240
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,805评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,208评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,535评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,797评论 2 311
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,493评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,215评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,477评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,988评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,325评论 2 252
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,971评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,055评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,807评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,544评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,455评论 2 266

推荐阅读更多精彩内容