Hive函数

Hive函数

函数分类

  • cli命令
    • 显示当前对话有多少函数可用 show functions;
    • 显示函数的表述信息 desc function concat;
    • 显示函数的扩展描述信息 desc function extended concat;
  • 简单函数
  • 特殊函数
    • 窗口函数
      • 应用场景
        • 用于分区排序
        • 动态Group by
        • Top N
        • 累计计算
        • 层次查询
      • Windowing function
        • lead
        • lag
        • FIRST_VALUE
        • LAST_VALUE
    • 分析函数
      • THE OVER clause
        • COUNT
        • SUM
        • MIN
        • MAX
        • AVG
      • Analytics functions
        • RANK
        • ROW_NUIMBER
        • DENSE_RANK
        • CUME_DIST
        • PERCENT_RANK
        • NTILE
    • 混合函数
      • java_method(class,method[,arg1[,arg2...]])
      • reflect(class,method[,arg1[,arg2...]])
      • hash(a1[,a2])
    • UDTF
      • 表函数
        • lateralView:LATERAL VIEW udtf(expression) tableAlias AS columnAlias(',',columnAlias)* fromClause:FROM baseTable(lateralView)*
      • 例子
        • explode函数 :行展开为列

内置函数

正则表达式

  • 使用正则表达式的函数
  • A LIKE B,字符"_"表示任意单个字符,而字符"%"表示任意数量的字符
  • A RLIKE B
    • select 1 from dual where 'footbar' rlike ^f.*r$;
  • regexp_replace(string A,string B,string C)
    • select regexp_replace('footbar','oo|ar','') from dual;(return 'fb')
  • regexp_extract(string subject,string pattern,int index)
    • select regexp_extract('foothebar','foo(.*?)(bar)',1) from winfunc;

自定义函数

UDF

  • UDF-用户自定义函数(user defined function)
    • 针对单条记录
  • 创建函数
    • 自定义一个java类
    • 继承UDF类
    • 重写evaluate方法
    • 打jar包
    • hive执行add jar
      • add jar /home/jar/function.jar
    • hive执行创建模板函数
      • create temporary function bigthan as 'com.udf.udftest';
    • hql中使用

UDAF

  • UDAF用户自定义聚合函数
    • user defined aggregation function
    • 针对记录集合
  • 开发通用UDAF有两个步骤
    • 第一个是编写resolver类,resolver负责类型检查,操作符重载。
    • 第二个是编写evaluator类,evaluator真正实现UDAF的逻辑
  • 通常来说,顶层UDAF类继承org.apache.hadoop.hive.ql.udf.GenericUDAFResolver2,里面编写嵌套类evaluator实现UDAF的逻辑
  • 实现resolver
    • resolver通常继承org.apache.hadoop.hive.ql.udf.GenericUDAFResolver2,但是更建议继承AbstractGenericUDAFResolver,隔离将来hive接口的变化。GenericUDResolver和GenericUDResolver2接口的区别是,后面的允许evaluator实现可以访问更多的信息,例如DISTINCT限定符,通配符FUNCTION(*)。
  • 实现evaluator
    • 所有evaluators必须继承抽象类org.apache.hadoop.hive.ql.udf.generic.GenericUDAFEvaluator。子类必须实现它的一些抽象方法,实现UDAF的逻辑。
  • Mode
    • 这个类比较重要,它表示了udaf在mapreduce的各个阶段,理解Mode的含义,就可以理解了hive的UDAF的运行流程
    • public static enum Mode{
      PARTIAL1,
      PARTIAL2,
      FINAL,
      COMPLETE
      };
    • PARTIAL1:这个是mapreduce的map阶段:从原始数据到部分数据聚合,将会调用iterate()和terminatePartial()
    • PARTIAL2:这个是mapreduce的map端的Combiner阶段,负责在map端合并map的数据;从部分数据聚合到部分数据聚合,将会调用merge()和terminatePartial()
    • FINAL:mapreduce的reduce阶段:从部分数据的聚合到完全聚合,将会调用merge()和terminate()
    • COMPLETE:如果出现了这个阶段,表示mapreduce只有map,没有reduce,所有map端就直接出结果了;从原始数据直接到完全聚合,将会调用iterate()和terminate()
  • 永久函数
    • 如果希望在hive 中自定义一个函数,且能永久使用,则修改源码添加相应的函数类,然后在修改ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java类,添加相应的注册函数代码。registerUDF("parse_url",UDFParseUrl.class.false);
    • 写一个hql文件,hive -i 'file'
    • 新建hiverc文件
      • jar包放到安装目录下或者指定目录下
      • $HOME/.hiverc
      • 把初始化语句加载到文件中

推荐阅读更多精彩内容