版本通告|Apache Doris 0.15 Release 版本正式发布!

Apache Doris 代码仓库地址:apache/incubator-doris 欢迎大家关注加星


亲爱的社区小伙伴们,历时数个月精心打磨,我们很高兴地宣布, Apache Doris 于 2021 年 11 月 29 日迎来了 0.15.0 Release 版本的正式发布!有 99 位 Contributor 为 Apache Doris 提交了近 700 项优化和修复,在此我们也对所有贡献者表示最真诚的感激!

在 0.15.0 Release 版本中,我们增加了诸多新功能,对 Apache Doris 的查询性能、易用性、稳定性方面等进行了全面优化:新增资源划分和隔离功能,用户可以通过资源标签的方式将集群中的 BE 节点划分为资源组,实现对在线、离线业务的统一管理和资源隔离;增加了 Runtime Filter 及 Join Reorder 功能,对多表 Join 场景的查询效率进行了大幅提升,在 Star Schema Benchmark 测试数据集下有 2-10 倍的性能提升;新增导入方式 Binlog Load ,使 Doris 可以增量同步 MySQL 中对数据更新操作的 CDC ;支持 String 列类型,长度最大支持 2GB ;支持 List 分区功能,可以通过枚举值创建分区;支持 Unique Key 模型上的 Update 语句;Spark-Doris-Connector 支持数据写入 Doris ……还有更多重要特性,欢迎大家在文末点击“阅读原文”下载使用。

我们欢迎大家在使用过程中,有任何问题通过 GitHub Discussion 或者 Dev 邮件组与我们取得联系,也期待大家参与社区讨论和建设中 。

重 要 更 新

资源划分与隔离

用户可以通过资源标签的方式将一个 Doris 集群中的 BE 节点划分成多个资源组,从而可以进行在线、离线业务的统一管理和节点级别的资源隔离。

同时,还可以通过限制单个查询任务的 CPU、内存开销以及复杂度,来控制单个查询的资源开销,从而降低不同查询之间的资源抢占问题。

性能优化

新增 Runtime Filter 及 Join Reorder 功能。Runtime Filter 功能通过使用 Join 算子中右表的 Join Key 列条件来过滤左表的数据,在大部分 Join 场景下可以显著提升查询效率。如在 Star Schema Benchmark ( TPCH 的精简测试集) 下可以获得 2-10 倍的性能提升。

Join Reorder 功能可以通过通过代价模型自动帮助调整 SQL 中 Join 的顺序,以帮助获得最优的 Join 效率。
可通过会话变量 set enable_cost_based_join_reorder=true 开启。

新增功能

  • 支持直接对接 Canal Server 同步 MySQL binlog 数据。

  • 支持 String 列类型,长度范围 1-2GB 。

  • 支持 List 分区功能,可以针对枚举值创建分区。

  • 支持事务性 Insert 语句功能。可以通过 begin ; insert ; insert; ,... ; commit ; 的方式批量导入数据。

  • 支持在 Unique Key 模型上的 Update 语句功能。可以在 Unique Key 模型表上执行 Update Set where 语句。

  • 支持 SQL 阻塞名单功能。可以通过正则、Hash 值匹配等方式阻止部分 SQL 的执行。

  • 支持 LDAP 登陆验证。

拓展功能

  • 支持 Flink-Doris-Connector 。

  • 支持 DataX doriswriter 插件。

  • Spark-Doris-Connector 支持数据写入 Doris 。

功 能 优 化

查询

支持在 SQL 查询规划阶段,利用 BE 的函数计算能力计算所有常量表达式。

导入

  • 支持导入文本格式文件时,指定多字节行列分隔符或不可见分隔符。

  • 支持通过 Stream Load 导入压缩格式文件。

  • Stream Load支持导入多行格式的 Json 数据。

导出

  • 支持 Export 导出功能指定 where 过滤条件。支持导出文件使用多字节行列分隔符。支持导出到本地文件。
  • Export 导出功能支持仅导出指定的列。
  • 支持通过 outfile 语句导出结果集到本地磁盘,并支持导出后写入导出成功的标记文件。

易用性

  • 动态分区功能支持创建、保留指定的历史分区、支持自动冷热数据迁移设置。
  • 支持在命令行使用可视化的树形结构展示查询、导入的计划和 Profile。
  • 支持记录并查看 Stream Load 操作日志。
  • 通过 Routine Load 消费 Kafka 数据时,可以指定时间点进行消费。
  • 支持通过 show create routine load 功能导出 Routine Load 的创建语句。
  • 支持通过 pause/resume all routine load 命令一键启停所有 Routine Load Job。
  • 支持通过 alter routine load 语句修改 Routine Load 的 Broker List 和 Topic。
  • 支持 create table as select 功能。
  • 支持通过 alter table 命令修改列注释和表注释。
  • show tablet status 增加表创建时间、数据更新时间。
  • 支持通过 show data skew 命令查看表的数据量分布,以排查数据倾斜问题。
  • 支持通过 show/clean trash 命令查看 BE 文件回收站的磁盘占用情况并主动清除。
  • 支持通过 show view 语句展示一个表被哪些视图所引用。

新增函数

  • bitmap_min , bit_length
  • yearweek , week , makedate
  • percentile 精确百分位函数
  • json_array,json_object,json_quote
  • 支持为 AES_ENCRYPT 和 AES_DECRYPT 函数创建自定义公钥。
  • 支持通过 create alias function 创建函数别名来组合多个函数。

其他

  • 支持访问 SSL 连接协议的ES外表。
  • 支持在动态分区属性中指定热点分区的数量,热点分区将存储在 SSD 磁盘中。
  • 支持通过 Broker Load 导入 Json 格式数据。
  • 支持直接通过 libhdfs3 库访问 HDFS 进行数据的导入导出,而不需要 Broker 进程。
  • select into outfile 功能支持导出 Parquet 文件格式,并支持并行导出。
  • ODBC 外表支持 SQLServer。

下 载 使 用

下载地址

http://doris.apache.org/master/zh-CN/downloads/downloads.html

升级说明

您可以从 Apache Doris 0.14.0 或 0.14.x 发行版本直接升级到 0.15.0 Release 版本,升级过程请参考文档:

http://doris.apache.org/master/zh-CN/installing/upgrade.html

更新日志

详细 Release Note 请查看链接:

https://github.com/apache/incubator-doris/issues/6806

意见反馈

如果您遇到任何使用上的问题,欢迎随时通过 GitHub Discussion 论坛或者 Dev 邮件组与我们取得联系。

GitHub 论坛:https://github.com/apache/incubator-doris/discussions

Dev 邮件组:dev@doris.apache.org

致 谢

Apache Doris 0.15.0 Release 版本的发布离不开所有社区用户的支持,在此向所有参与版本设计、开发、测试、讨论的社区贡献者们表示感谢,他们分别是:

贡献者名单

@924060929

@acelyc111

@Aimiyoo

@amosbird

@arthur-zhang

@azurenake

@BiteTheDDDDt

@caiconghui

@caneGuy

@caoliang-web

@ccoffline

@chaplinthink

@chovy-3012

@ChPi

@copperybean

@crazyleeyang

@dh-cloud

@DinoZhang

@dixingxing0

@dohongdayi

@e0c9

@EmmyMiao87

@eyesmoons

@francisoliverlee

@Gabriel39

@gaodayue

@GoGoWen

@HappenLee

@harveyyue

@Henry2SS

@hf200012

@huangmengbin

@huozhanfeng

@huzk8

@hxianshun

@ikaruga4600

@JameyWoo

@Jennifer88huang

@JinLiOnline

@jinyuanlu

@JNSimba

@killxdcj

@kuncle

@liutang123

@luozenglin

@luzhijing

@MarsXDM

@mh-boy

@mk8310

@morningman

@Myasuka

@nimuyuhan

@pan3793

@PatrickNicholas

@pengxiangyu

@pierre94

@qidaye

@qzsee

@shiyi23

@smallhibiscus

@songenjie

@spaces-X

@stalary

@stdpain

@Stephen-Robin

@Sunt-ing

@Taaang

@tarepanda1024

@tianhui5

@tinkerrrr

@TobKed

@ucasfl

@Userwhite

@vinson0526

@wangbo

@wangliansong

@wangshuo128

@weajun

@weihongkai2008

@weizuo93

@WindyGao

@wunan1210

@wuyunfeng

@xhmz

@xiaokangguo

@xiaoxiaopan118

@xinghuayu007

@xinyiZzz

@xuliuzhe

@xxiao2018

@xy720

@yangzhg

@yx91490

@zbtzbtzbt

@zenoyang

@zh0122

@zhangboya1

@zhangstar333

@zuochunwei
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容