导语：在开发中或多或少都会遇到数据批量插入的功能，最近我在做项目的过程中就遇到了这样一个问题。上传Excel文件，解析文件内容并将解析的内容插入数据库。
思路分析
- 1.解析Excel文件
Excel文件解析使用apache.poi包下的工具，maven工程只需要在pom.xml添加下列依赖就可以
<!--Excel解析-->
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi</artifactId>
<version>3.14</version>
</dependency>
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi-ooxml</artifactId>
<version>3.14</version>
</dependency>
具体解析逻辑不是本文讨论的重点，暂时忽略。
- 2.封装数据
也不是本文讨论重点 - 3.插入数据到数据库
我们知道Oracle数据库批量插入有两种方式，第一种方式循环insert，效率低的要死。我这里讨论的是第二种方式。
最初我采用的如下方式：foreach
<insert id="addList" parameterType="java.util.List" useGeneratedKeys="false">
INTO T_APPLAUD
(
ID,
USER_ID,
BUSINESS_TYPE,
PRODUCT_ID,
CREATE_TIME
) VALUES
<foreach collection="list" item="wdSolr" index="index" separator=",">
(
#{item.id, jdbcType=NUMERIC},
#{item.userId, jdbcType=VARCHAR},
#{item.businessType, jdbcType=VARCHAR},
#{item.productId, jdbcType=VARCHAR},
#{item.createdTime, jdbcType=NUMERIC}
)
</foreach>
</insert>
代码写的很漂亮，但是效果却没有出现，直接报错：
java.sql.SQLException: ORA-00933: SQL 命令未正确结束
查阅相关资料才知道，Oracle没有这种语法。MySql对上述语法支持。所以需要将SQL做如下修改
<insert id="addList" parameterType="java.util.List" useGeneratedKeys="false">
INSERT ALL
<foreach item="item" index="index" collection="list">
INTO T_APPLAUD
(
ID,
USER_ID,
BUSINESS_TYPE,
PRODUCT_ID,
CREATE_TIME
) VALUES
(
#{item.id, jdbcType=NUMERIC},
#{item.userId, jdbcType=VARCHAR},
#{item.businessType, jdbcType=VARCHAR},
#{item.productId, jdbcType=VARCHAR},
#{item.createdTime, jdbcType=NUMERIC}
)
</foreach>
SELECT 1 FROM DUAL
</insert>
还有一种方式：
<insert id="addList" parameterType="java.util.List" useGeneratedKeys="false">
INSERT INTO T_APPLAUD
(
ID,
USER_ID,
BUSINESS_TYPE,
PRODUCT_ID,
CREATE_TIME
)
<foreach item="item" index="index" collection="list" separator="union all">
(
SELECT
#{item.id},
#{item.userId},
#{item.businessType},
#{item.productId},
#{item.createdTime}
FROM DUAL
)
</foreach>
</insert>
两种方式更推荐使用第二种方式，我在项目中就是使用的第二种方式。
但是在使用的过程中又遇到了新的问题，当插入的数据超过4000条的时候，mybatis执行的时候报错：
ORA-01745:无效的主机/绑定变量名
分析判断是因为union all插入sql太长，导致程序解析SQL出错。针对上述情况，我想到的解决方案是，分段插入提交，但是这样又会导致事务不统一。在此分享一下我的处理逻辑，代码就不粘贴了，采用伪代码的形式描述
//将数据源分割成多个小List。
List<List<T>> subLists = splitList(List<T> resource,int size);
//遍历subLists，分别调用批量插入方法，
inertService.insertList(list);//这里可以采用多线程来实现，
//当所有线程全部执行完毕，检测插入条目和数据源是否相同，如果相同，插入成功，如果不同，插入异常，将异常插入的数据全部删除。
