Buffer表引擎介绍

Buffers 表引擎将缓冲数据写入内存,周期性刷新数据到目标表. 当进行读操作时,数据从缓冲区读出,同时写入到另一张表。

Buffer(database, table, num_layers, min_time, max_time, min_rows, max_rows, min_bytes, max_bytes)

Engine 参数:database, table – 此表是刷新数据的目标表。与数据库名不同, 你能够使用常量表达式,返回一个string.num_layers – 并行处理层. 从物理上讲,此表将被表示为 'num_layers' 独立缓冲层数。推荐值为: 16.min_time, max_time, min_rows, max_rows, min_bytes, 和max_bytes 是从缓冲区刷新数据的条件.

在Buffer中缓冲的数据写入到目标表,如果所有的 'min'条件或最少的一个 'max' 条件是 met.min_time, max_time – 是从第一次写入到 buffer.min_rows时开始计时的秒数max_rows – 在 buffer.min_bytes中的行数, max_bytes – 在缓冲区中字节的最大数量.

在写操作的过程中,数据被插入到一个 随机缓冲区的 'num_layers' 数量. 或者,如果插入的数据部分足够大 (> 'max_rows' 或者 'max_bytes'),  它将直接写入到目标表, 忽略缓冲区.

刷新数据单独被计算为每个 'num_layers' 缓冲区. 例如, 如果num_layers = 16 和 max_bytes = 100000000, 最大 RAM 消耗是 1.6 GB.

CREATE TABLE merge.hits_buffer AS merge.hits ENGINE = Buffer(merge, hits, 16, 10, 100, 10000, 1000000, 10000000, 100000000)

创建一个 'merge.hits_buffer' 表与'merge.hits'具有相同的表结构,同时使用 Buffer 引擎. 当写入到此表后, 数据将被缓冲到 RAM 中,然后写入到 'merge.hits' 表中. 16 缓冲区将被创建。 每个缓冲区中的数据将被刷新,每过100秒,或每写入100万条数据, 或者每写入100 MB 数据; 或者如果同时写入10 秒, 10,000条和 10 MB 数据。 例如,如果一行已经被写入 ,在100秒后,它将被刷新。 但是如果多行已经被写入,数据将稍微延迟刷新。

当服务器停止后,DROP TABLE 或 DETACH TABLE, 缓存数据也刷新到目标表。

你能够在单引号标记上设置空字符串对于数据库和表名称。 它提示了缺乏一个目标表。在这种情况下, 当数据刷新条件达到后,缓冲区将被清空。在内存中维护一个数据窗口是必要的。

当从一个缓冲表中读取数据时,数据同时在缓冲表和目标表中处理。注意:缓冲表不支持一个索引。换句话说,在缓冲区的数据被全表扫描,对于大的缓冲区速度将是慢的。(在次级表中,支持的索引将被引用 )

如果在缓冲表中的列集合不能匹配次级表的列集合, 在2张表中同时存在的列子集将被插入。

如果此类型不匹配缓冲表中的列和次级表的列,则一个错误信息将被写入到服务器日志中,缓冲将被清空。当缓冲表刷新时,次级表不存在,则同样的错误信息也被写入到服务器日志中。

如果你需要在缓冲表和次级表中执行ALTER语句,我们推荐先删除缓冲表,然后在次级表上执行ALTER语句,再创建缓冲表。

如果服务器出现异常重启,在缓冲中的数据将丢失。

对于缓冲表来说,PREWHERE, FINAL 和 SAMPLE 不能正常运行。这些条件将被传给目标表,而在缓冲表中不用于处理数据。因此, 我们推荐仅使用缓冲表来写入数据, 次级表来读取数据,从而实现读写分离。

当数据加载到一个缓冲中后,一个缓存将被锁定。如果在此表上同时执行读数据操作,则将有一定的延时。

插入到一个缓冲表的数据可能以其他的顺序和其他的数据块落地到次级表。因此,一个缓存表难以正确地写入一个 CollapsingMergeTree 表. 为了避免此类问题, 你可以设置 'num_layers' 到 1。

如果目标表是同步的, 一些复制表的特性将丢失,当写入到缓冲表时。随机改变行的顺序和数据的大小导致数据重复数据删除,退出工作,意思是不可能有一个可靠的'exactly once' 写入到复制表。

由于上述的劣势, 我们仅推荐使用一个缓冲表在特定的场景。

当从大量服务器接收过来太多插入操作时,适用于使用缓冲表。 在插入之前,数据不能被缓冲, 这就意味着 INSERTs 不能运行地足够快。

注意:每次往缓冲表中不要频繁插入小批量数据,每秒插入上万条数据最佳 ,当插入更大数据块时,每秒将产生上百万条数据。

版权声明:本文版权归@神州云联科技有限公司所有,未经允许任何单位或个人不得转载,复制或以任何其他方式使用本文全部或部分,侵权必究。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268

推荐阅读更多精彩内容

  • 表引擎介绍: ClickHouse表引擎决定了如下几个方面: 怎样存储数据 -将数据写到哪里, 怎样读取数据. 支...
    c3729438b799阅读 18,761评论 0 7
  • 系统层面(基本不用动,看了下,买的云服务器基本都已经优化过了) 内核相关参数(/etc/sysctl.conf) ...
    神奇大叶子阅读 1,925评论 0 4
  • 本篇文章是基于谷歌有关Graphic的一篇概览文章的翻译:http://source.android.com/de...
    lee_3do阅读 6,964评论 2 20
  • 超高速音视频编码器用法: ffmpeg [options] [[infile options] -i infile...
    吉凶以情迁阅读 4,406评论 0 4
  • 苹果红阅读 121评论 0 0