最近有位老铁，他手头上有四百多个Excel文件，每个文件的记录数都达到百万行左右，他很苦恼，因为想把这些文件都合并到一起，但Excel最大的记录数是1048576，他没有办法，所以咨询我，看有什么方法可以做到把这些记录都合并到一起。
我给他推荐的方案是，使用Python + Mysql, 实现Excel数据的自动读取和数据导入。
平均200M的Excel文件公有474个
为了方便使用Python，安装了Anaconda,做Python的环境管理；安装了MySQL的社区版和Workbench，方便对数据的操作。
Anaconda可以直接到官网上下载，下载后安装到电脑上就可以，安装过程就不细说；MySQL也可以到官网上下载，下载后安装到电脑上，这里需要注意的是，安装开发者版本，里面包含了数据库实例和Workbench等工具。
我重点说下Python代码，如何使用Pandas库读取Excel,批量写入Mysql数据库。
首先打开Anaconda Navigator, 然后再打开Jupyter notebook,检查环境里是否包括了如下Python库 ：
1）Pandas；
2）sqlalchemy；
3）openpyxl.
-Panda 库用是用来处理Excel的;
-Sqlalchemy用来管理Mysql,
-Openpyxl用来读取xlsx后缀的大数据量Excel文件。
如果某个库不存在的话，可以通过Anaconda prompt来安装，举例，命令行输入pip install openpyxl。
如果所有库都准备好后，新建一个Python 3脚本文件，输入如下代码
#引入之前安装好的python库
import pandas as pd
import os
from sqlalchemy import create_engine
import datetime
#遍历存放Excel文件的目录，获取Excel文件的绝对路径
path = r'D:/data/2'
files = os.listdir(path)
for i in files:
path1 = path + '/' + i
print(path1)
#因为文件合并后是有先后次序的，所以上面的代码会把文件的名字打印出来，可以
#检查文件名的排序是否正确
#检查完文件名排序正确后，创建MySQL连接器
engine = create_engine('mysql+pymysql://root:~1Qaz2Wsx@localhost/fang?charset=utf8MB4')
conn = engine.connect()
#为了记录已经导入Excel文件的个数，先定义一个文件数的变量
file_number = 0
#通过遍历所有的Excel文件，把Excel里的数据都导入到MySQL数据库里
for i in files:
path1 = path + '/'+I #i是文件名
print(path1)
starttime = datetime.datetime.now() #记录开始时间
print(starttime)
data = pd.read_excel(path1,engine = 'openpyxl',header =
3,usecols='A:AR')
#header指从第4行开始，并以第4行作为列头，usecols指只读取从A列到AR列的数据，其他列的数据都不要，openpyxl指使用大数#据量的引擎，
把数据从Excel里读入内存里的Pandas Dataframe
data.to_sql(name='mdg',con=conn,index=False,if_exists='append') #然后再把数据从data frame导入到mysql
endtime = datetime.datetime.now() #完成后，打印完成时间
print(endtime)
duration = endtime - starttime #计算单个文件导入消耗时间（秒）
print(duration.seconds)
代码执行过程会产生日志
