记Oracle中regexp_substr的一次调优(速度提高99.5%)

项目中需要做一个船舶代理费的功能,针对代理的船进行收费,那么该功能的第一步便是选择进行代理费用信息的录入,在进行船舶选择的时候,发现加载相关船舶信息十分的慢,其主要在sql语句的执行,因为测试的时候数据较少,实际使用中,数据量较大。

关于regexp_substr函数的使用可查看Oracle通过一个字段的值将一条记录拆分为多条记录

需求和表结构

船舶相关的信息在系统中有船舶动态表(CBDT),另外有一张船舶代理费表(CBDLF),要求对于已经录入代理费的船舶不再出现在列表中(CBDLF表中有记录的需要过滤掉),CBDT中有一个合同清单字段,HTQD,该字段由分号";"拼接多个合同,由于选了船舶,需要计算这个船上所有合同的作业量(拿合同字段和其他表做连接),因此需要切割,方便后继的作业量计算,需求引入就是这里——需要切割合同清单字段(HTQD),存在几个合同,就要将该行变成几条记录。

  • 船舶动态表CBDT(肯定是省略的啦,哪有这么简单的表)
CBBH HC HTQD
0001 191210 N20191202-xx;N20191203-xx
  • 船舶动态表CBDLF
CBBH HC Free
0001 191210 12534.23

原来的方案

对于之前的sql,执行时间长达5秒多,最快也是4秒多,而且是只有一个月的数据。


原本方案的执行时间

看看原来的sql语句

select CBDT.CBBH, CBDT.HC,
  regexp_substr(CBDT.HTBHQD,'[^;]+', 1,LEVEL,'i') HTTDBH
FROM CBDT 
    WHERE (CBDT.CBBH, CBDT.HC) not IN (SELECT CBBH, HC from CBDLFB)     
    AND KBRQ >= TO_DATE('2019-11-18', 'yyyy-mm-dd') and KBRQ <= TO_DATE('2019-12-18', 'yyyy-mm-dd')
connect by LEVEL <=regexp_count(CBDT.HTBHQD, ';') + 1

第一次尝试

使用了not in,显然这满足要求,但事实是not in的效率是十分低下的,(当初在用的时候,我也不知道啊,手动捂脸),所以应该改成join,有了下面的sql

select CBDT.CBBH, CBDT.HC,
  regexp_substr(CBDT.HTBHQD,'[^;]+', 1,LEVEL,'i') HTTDBH
FROM CBDT 
LEFT JOIN CBDLFB ON CBDT.CBBH = CBDLFB.CBBH and CBDT.HC = CBDLFB.HC
    WHERE CBDLFB.CBBH is NULL   
    AND KBRQ >= TO_DATE('2019-11-18', 'yyyy-mm-dd') and KBRQ <= TO_DATE('2019-12-18', 'yyyy-mm-dd')
connect by LEVEL <=regexp_count(CBDT.HTBHQD, ';') + 1

这样改了之后,基本维持在4秒左右,当然,这还是不能忍的啊。

第二次尝试

通过改变时间,无论是延长还是缩短,sql执行的时间基本都在4秒左右,所以,目前的数据量对sql的影响不是很大了,那么肯定是sql本身的问题,去掉regexp_substr后,果然,只需要0.0xx秒的时间,所以基本确定了是这个函数的问题。开始度娘和谷歌。然而只找到了一个百度经验说性能问题,也没有说怎么解决。直到在谷歌上有人说,regexp_substr是正则,其本身效率就不高,不推荐。但是不推荐如前我的需求是必须要用啊(不知道有没有其他方案),找了许久依旧没有解决方案,回头再观察sql,regexp_substr是正则表达式毫无疑问,然后发现最后的regexp_count,这个那应该也是正则,但是regexp_count(CBDT.HTBHQD, ';')的意思是计算有几个分号,这个函数可以换掉啊。所以改用了LENGTH(CBDT.HTBHQD) -LENGTH(REPLACE(CBDT.HTBHQD,';','')) + 1,运行,奇迹发生了。
新的sql

select CBDT.CBBH, CBDT.HC,
  regexp_substr(CBDT.HTBHQD,'[^;]+', 1,LEVEL,'i') HTTDBH
FROM CBDT 
LEFT JOIN CBDLFB ON CBDT.CBBH = CBDLFB.CBBH and CBDT.HC = CBDLFB.HC
    WHERE CBDLFB.CBBH is NULL   
    AND KBRQ >= TO_DATE('2019-11-18', 'yyyy-mm-dd') and KBRQ <= TO_DATE('2019-12-18', 'yyyy-mm-dd')
connect by LEVEL <= LENGTH(CBDT.HTBHQD) -LENGTH(REPLACE(CBDT.HTBHQD,';','')) + 1
新的sql执行时间

速度提到了约:67%。

1秒多的时间,虽然较原来的5秒要好太多,但是1秒多的卡顿,始终还是不好,那么继续尝试吧。

找新的方案去了,待更新........(不到1秒内,誓不回);

——————————————我是分割线——————————————

我回来了,因为找到了终极优化,从5秒到0.025s,还是谷歌啊。
最后执行时间


最后执行时间

话不多说,直接看改后的sql

select CBDT.CBBH, CBDT.HC,
  regexp_substr(CBDT.HTBHQD,'[^;]+', 1,l) HTTDBH -- 原来的LEVEL换成了l,注意
FROM CBDT 
LEFT JOIN CBDLFB ON CBDT.CBBH = CBDLFB.CBBH and CBDT.HC = CBDLFB.HC,
    (SELECT LEVEL l FROM DUAL CONNECT BY LEVEL<=100) b -- 关键
    WHERE CBDLFB.CBBH is NULL   
    AND KBRQ >= TO_DATE('2019-11-18', 'yyyy-mm-dd') and KBRQ <= TO_DATE('2019-12-18', 'yyyy-mm-dd')
   AND l <= LENGTH(CBDT.HTBHQD) -LENGTH(REPLACE(CBDT.HTBHQD,';','')) + 1  

之前的connect 是使用到sql最后,这样的方式会导致数据出现很多冗余,而且冗余特别严重,需要使用distinct,至于原因,还在找。使用regexp_substr函数必须配对使用connect,但是没想到居然可以这样使用。

5—>0.023 这速度提高99.5%;页面秒开,爽。

最后

本文可在我的小站中查看记Oracle中regexp_substr函数的一次调优

生命不息,使劲造。

本文内容个人拙见,若有出入,欢迎指正!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,117评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,328评论 1 293
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,839评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,007评论 0 206
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,384评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,629评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,880评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,593评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,313评论 1 243
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,575评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,066评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,392评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,052评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,082评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,844评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,662评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,575评论 2 270

推荐阅读更多精彩内容