springboot2 + mybatis +phoenix + swagger2 + generator 踩坑

准备

  1. 确保 hadoop hbase tephra都已经开启。tephra开启phoenix支持事务。
  2. CREATE SCHEMA SVD_PIC 创建SCHEMA
  3. create table SVD_PIC.PIC (id varchar not null primary key, file VARBINARY) TRANSACTIONAL=true创建表

踩坑

  1. 开启phoenix事务支持,SCHEMA支持
    hbase中的hbase-site.xml加入以下代码段。需要在项目中resources文件夹下加入hbase-site.xml文件,服务端也要加入。客户端驱动包也要加入该文件。不然数据源链接时会报错。
    <!-- 开启phoenix事务支持 -->
    <property>
        <name>phoenix.transactions.enabled</name>
        <value>true</value>
    </property>

    <!-- 存储tx状态的快照目录 -->
    <property>
        <name>data.tx.snapshot.dir</name>
        <value>/tmp/tephra/snapshots</value>
    </property>

    <!-- 事务超时时间 -->
    <property>
        <name>data.tx.timeout</name>
        <value>60</value>
    </property>
    <property>
        <name>phoenix.schema.isNamespaceMappingEnabled</name>
        <value>true</value>
    </property>
    <property>
        <name>phoenix.schema.mapSystemTablesToNamespace</name>
        <value>true</value>
    </property>
  1. intellij idea中创建链接phoenix数据源
    第一步
  • driver files 添加 phoenix-4.14.1-HBase-1.4-client.jarjar包来自 phoenix 发布包中
  • 需要在 phoenix-4.14.1-HBase-1.4-client.jar 中添加刚修改过的 hbase-site.xml因为 client 包是一个集成包,里面的 hbase-site.xml 是默认的,刚加入的启用事务支持,SCHEMA支持需要同步hbase-site.xml 文件。不然会报错。
    添加 url 和 driver
  • jdbc:phoenix:10.211.55.4:2181;schema=SVD_PIC 2181是 zookeeper的端口。10.211.55.4 ip为集群机器 ip,我配的是伪分布式,所以只有一个ipip 可以替换成对应的 host
    查询 phoneix
  1. 解决关于springboot2 + phoenix + swagger2 中包冲突的问题。先上解决后的文件。
buildscript {
   repositories {
       maven {
           url "https://plugins.gradle.org/m2/"
       }
   }
   dependencies {
       classpath "gradle.plugin.com.arenagod.gradle:mybatis-generator-plugin:1.4"
   }
}

plugins {
   id 'org.springframework.boot' version '2.1.4.RELEASE'
   id 'java'
}



apply plugin: 'io.spring.dependency-management'

group = 'com.bd'
version = '0.0.1-SNAPSHOT'
sourceCompatibility = '1.8'

repositories {
   mavenCentral()
}

dependencies {
   // spring
   compile('org.springframework.boot:spring-boot-starter-aop')
   compile('org.springframework.boot:spring-boot-starter-data-rest')
   compile('org.springframework.boot:spring-boot-starter-validation')
   compile('org.springframework.boot:spring-boot-starter-web')
   compile('org.mybatis.spring.boot:mybatis-spring-boot-starter:2.0.1')
   testImplementation 'org.springframework.boot:spring-boot-starter-test'

   // 数据库连接池
   compile('com.alibaba:druid-spring-boot-starter:1.1.16')
   
   // io 包
   compile('commons-io:commons-io:2.6')
   
   // phoenix
   compile('org.apache.phoenix:phoenix-core:4.14.1-HBase-1.4') {
       // 排除这三个包,跟 spring 包有冲突
       exclude group: 'org.slf4j', module: 'slf4j-log4j12'
       exclude group: 'tomcat', module: 'jasper-runtime'
       exclude group: 'log4j', module: 'log4j'
   }

   compile('io.springfox:springfox-swagger2:2.0.1')
   compile('io.springfox:springfox-swagger-ui:2.0.1')

   compile group: 'com.google.code.gson', name: 'gson', version: '2.8.5'
   compile group: 'log4j', name: 'log4j', version: '1.2.17'
   compile group: 'com.google.guava', name: 'guava', version: '16.0'
}

apply plugin: "com.arenagod.gradle.MybatisGenerator"

configurations {
   mybatisGenerator
}

mybatisGenerator {
   verbose = true
   configFile = 'src/main/resources/generator.xml'
}
  • phoenix-core 包中与 springboot 的日志、tomcat 包冲突排除这三个包的引用
  • 高版本的swagger2中引用高版本的guava包,该包在phoenix-core中也有引用低版本的guava包,gradle会替换低版本的guava包。但是phoenix-core使用一些guava低版本提供的api在高版本中被移除。所以启动时会报错。这里我把swagger2的版本降低到最低,同时又把guava指定到16版本,问题解决。
  1. 要使phoenix支持事务,需要在服务端开启tephra start。我服务端跑着一台乌班图的虚拟机。开启tephra start后,通过jps可以看到TransactionServiceMain进程。还可以查看日志,日志文件在tmp文件夹中自己找吧。
    jps

使用 mybatis generator 生成 sql、model、mapper

具体怎么操作这里我就不说了。

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE generatorConfiguration
        PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN"
        "http://mybatis.org/dtd/mybatis-generator-config_1_0.dtd">
<!-- 配置生成器 -->
<generatorConfiguration>
  <classPathEntry location="/Users/zhangbo/Documents/ideaProject/dbDriver/phoenix-4.14.1-HBase-1.4-client.jar" />

  <context id="DB2Tables" defaultModelType="flat" targetRuntime="MyBatis3">

    <!-- 自动识别数据库关键字,默认false,如果设置为true,根据SqlReservedWords中定义的关键字列表;
        一般保留默认值,遇到数据库关键字(Java关键字),使用columnOverride覆盖
     -->
    <property name="autoDelimitKeywords" value="false"/>
    <!-- 生成的Java文件的编码 -->
    <property name="javaFileEncoding" value="UTF-8"/>
    <!-- 格式化java代码 -->
    <property name="javaFormatter" value="org.mybatis.generator.api.dom.DefaultJavaFormatter"/>
    <!-- 格式化XML代码 -->
    <property name="xmlFormatter" value="org.mybatis.generator.api.dom.DefaultXmlFormatter"/>
    <!-- beginningDelimiter和endingDelimiter:指明数据库的用于标记数据库对象名的符号,比如ORACLE就是双引号,MYSQL默认是`反引号; -->
    <property name="beginningDelimiter" value="`"/>
    <property name="endingDelimiter" value="`"/>

    <!--自动实现Serializable接口-->
    <plugin type="org.mybatis.generator.plugins.SerializablePlugin" />

    <!--必须有,否则会生成很多注释-->
    <commentGenerator>
      <property name="suppressDate" value="true"/>
      <property name="suppressAllComments" value="true"/>
    </commentGenerator>

    <jdbcConnection driverClass="org.apache.phoenix.jdbc.PhoenixDriver"
                    connectionURL="jdbc:phoenix:10.211.55.4:2181;schema=SVD_PIC">
    </jdbcConnection>
    <!-- java类型处理器
        用于处理DB中的类型到Java中的类型,默认使用JavaTypeResolverDefaultImpl;
        注意一点,默认会先尝试使用Integer,Long,Short等来对应DECIMAL和 NUMERIC数据类型;
    -->
    <!--<javaTypeResolver type="org.mybatis.generator.internal.type.JavaTypeResolverDefaultImpl">-->
      <!--&lt;!&ndash;-->
          <!--true:使用BigDecimal对应DECIMAL和 NUMERIC数据类型-->
          <!--false:默认,-->
              <!--scale>0;length>18:使用BigDecimal;-->
              <!--scale=0;length[10,18]:使用Long;-->
              <!--scale=0;length[5,9]:使用Integer;-->
              <!--scale=0;length<5:使用Short;-->
       <!--&ndash;&gt;-->
      <!--<property name="forceBigDecimals" value="false"/>-->
    <!--</javaTypeResolver>-->

    <javaModelGenerator targetPackage="com.bd.springphoenixhbase.pic.model" targetProject="src/main/java">
      <property name="enableSubPackages" value="true"/>
      <!-- 设置是否在getter方法中,对String类型字段调用trim()方法 -->
      <property name="trimStrings" value="true"/>
    </javaModelGenerator>

    <sqlMapGenerator targetPackage="/" targetProject="src/main/resources/mapper">
      <!-- 在targetPackage的基础上,根据数据库的schema再生成一层package,最终生成的类放在这个package下,默认为false -->
      <property name="enableSubPackages" value="true"/>
    </sqlMapGenerator>

    <javaClientGenerator targetPackage="com.bd.springphoenixhbase.pic.mapper" type="XMLMAPPER" targetProject="src/main/java">
      <property name="enableSubPackages" value="true"/>
    </javaClientGenerator>

    <!-- 选择一个table来生成相关文件,可以有一个或多个table,必须要有table元素
        选择的table会生成一下文件:
        1,SQL map文件
        2,生成一个主键类;
        3,除了BLOB和主键的其他字段的类;
        4,包含BLOB的类;
        5,一个用户生成动态查询的条件类(selectByExample, deleteByExample),可选;
        6,Mapper接口(可选)

        tableName(必要):要生成对象的表名;
        注意:大小写敏感问题。正常情况下,MBG会自动的去识别数据库标识符的大小写敏感度,在一般情况下,MBG会
            根据设置的schema,catalog或tablename去查询数据表,按照下面的流程:
            1,如果schema,catalog或tablename中有空格,那么设置的是什么格式,就精确的使用指定的大小写格式去查询;
            2,否则,如果数据库的标识符使用大写的,那么MBG自动把表名变成大写再查找;
            3,否则,如果数据库的标识符使用小写的,那么MBG自动把表名变成小写再查找;
            4,否则,使用指定的大小写格式查询;
        另外的,如果在创建表的时候,使用的""把数据库对象规定大小写,就算数据库标识符是使用的大写,在这种情况下也会使用给定的大小写来创建表名;
        这个时候,请设置delimitIdentifiers="true"即可保留大小写格式;

        可选:
        1,schema:数据库的schema;
        2,catalog:数据库的catalog;
        3,alias:为数据表设置的别名,如果设置了alias,那么生成的所有的SELECT SQL语句中,列名会变成:alias_actualColumnName
        4,domainObjectName:生成的domain类的名字,如果不设置,直接使用表名作为domain类的名字;可以设置为somepck.domainName,那么会自动把domainName类再放到somepck包里面;
        5,enableInsert(默认true):指定是否生成insert语句;
        6,enableSelectByPrimaryKey(默认true):指定是否生成按照主键查询对象的语句(就是getById或get);
        7,enableSelectByExample(默认true):MyBatis3Simple为false,指定是否生成动态查询语句;
        8,enableUpdateByPrimaryKey(默认true):指定是否生成按照主键修改对象的语句(即update);
        9,enableDeleteByPrimaryKey(默认true):指定是否生成按照主键删除对象的语句(即delete);
        10,enableDeleteByExample(默认true):MyBatis3Simple为false,指定是否生成动态删除语句;
        11,enableCountByExample(默认true):MyBatis3Simple为false,指定是否生成动态查询总条数语句(用于分页的总条数查询);
        12,enableUpdateByExample(默认true):MyBatis3Simple为false,指定是否生成动态修改语句(只修改对象中不为空的属性);
        13,modelType:参考context元素的defaultModelType,相当于覆盖;
        14,delimitIdentifiers:参考tableName的解释,注意,默认的delimitIdentifiers是双引号,如果类似MYSQL这样的数据库,使用的是`(反引号,那么还需要设置context的beginningDelimiter和endingDelimiter属性)
        15,delimitAllColumns:设置是否所有生成的SQL中的列名都使用标识符引起来。默认为false,delimitIdentifiers参考context的属性

        注意,table里面很多参数都是对javaModelGenerator,context等元素的默认属性的一个复写;
     -->

    <table schema="SVD_PIC" tableName="PIC"
           domainObjectName="Pic"
           enableCountByExample="false"
           enableUpdateByExample="false"
           enableDeleteByExample="false"
           enableSelectByExample="false"
           enableUpdateByPrimaryKey="false"

    >
      <!--<generatedKey column="id" sqlStatement="JDBC"/>-->
    </table>

  </context>

</generatorConfiguration>

这里有

完整示例代码

推荐阅读更多精彩内容