Spring Batch 3 - 读数据库写文件

目的:通过jdbc连接读取数据库的记录,写入到单个文件中

源数据表

  • 我们还以上篇文章解析后的结果作为源数据表。
源数据源表

写入的文本格式

  • 按照dateStr,userCode,time,path,userAgent 用逗号分隔作为一行

Spring Batch 代码实现

依旧三部分:ItemReader、ItemProcessor、ItemWriter

  • ItemReader实现:通过JDBC连接数据库,执行sql语句,把查询出的结果集映射到实体类AccessBean中。Spring Batch3提供了这种场景下的ItemReader实现:org.springframework.batch.item.database.JdbcCursorItemReader
  • ItemProcessor实现:这里不对数据处理,直接写入文件中
  • ItemWriter实现:把查询到的数据按行组织数据,逗号分隔,写入到输出文件中。Spring Batch3本身实现了写文本的ItemWriter:org.springframework.batch.item.file.FlatFileItemWriter,可以自定义数据组织和分隔符等。

我们可以看到,几乎没有任何实现代码,很多事情Spring Batch都提供了默认的实现。

Spring Batch Job配置

  • Job
 <batch:job id="readDB2FileJob">
        <batch:step id="readDB2FileStep">
            <batch:tasklet>
               <batch:chunk reader="jdbcItemReader" writer="fileWriter" commit-interval="5000" ></batch:chunk>
            </batch:tasklet>
        </batch:step>
    </batch:job>
  • logReader
  <!-- jdbc Reader -->
    <bean id="jdbcItemReader" class="org.springframework.batch.item.database.JdbcCursorItemReader">
       <!-- 数据源 -->
       <property name="dataSource" ref="dataSource"></property>
       <!-- 游标一次读多少行 -->
       <property name="fetchSize" value="5000"></property>
       <!-- 查询sql -->
       <property name="sql">
           <value>
                <![CDATA[
                SELECT date_str, `path`, userCode, `time`, userAgent FROM access 
                ]]>
           </value>
       </property>
       <!-- 行映射对象 -->
       <property name="rowMapper">
           <bean class="org.springframework.jdbc.core.BeanPropertyRowMapper">
               <property name="mappedClass" value="com.me.springbatch.support.AccessBean"></property>
           </bean>
       </property>
    </bean>
  • fileWriter
   <!-- write to file Writer -->
    <bean id="fileWriter" class="org.springframework.batch.item.file.FlatFileItemWriter">
       <!-- 输出文件 -->
       <property name="resource" value="file:/my/out.log"></property>
       <!-- 如果目标文件已存在,是否删除 -->
       <property name="shouldDeleteIfExists" value="true"></property>
       <!-- 行策略 -->
       <property name="lineAggregator">
           <bean class="org.springframework.batch.item.file.transform.DelimitedLineAggregator">
               <!--  逗号分隔 -->
               <property name="delimiter" value=","></property>
               <property name="fieldExtractor">
                   <bean class="org.springframework.batch.item.file.transform.BeanWrapperFieldExtractor">
                       <!-- 行数据(字段、顺序) -->
                       <property name="names" value="dateStr,userCode,time,path,userAgent"></property>
                   </bean>
               </property>
           </bean>
       </property>
    </bean>

FlatFileItemWriter 类有一个重要的属性就是lineAggregator,用来描述如何组织行数据的。Spring Batch提供了一个实现DelimitedLineAggregator ,在多数情况下都可以通过此类处理。

  • 运行Job
App.run("readDB2FileJob");

附完整代码

https://git.oschina.net/heichong/spring-batch-demo

推荐阅读更多精彩内容