ClickHouse数据生命周期管理

1 概述

如果将ClickHouse作为Log或Metrics这种具有明显时序特征数据的存储和分析引擎,那就需要考虑这些数据的生命周期管理,即设置数据的老化机制,如是否需要根据时间划分数据存储等级、设定数据的保留时长等。
ClickHouse支持从分区、列、表等粒度对数据进行管理,如分区数据的迁移、删除,列、表的TTL设置。

生命周期

2 数据生命周期管理

2.1 热温数据分离

2.1.1 环境准备

docker run -d --name=ch24 --hostname=node24 --network=host --ulimit nofile=262144:262144 --volume=/etc/localtime:/etc/localtime --volume=/data/ch/conf:/etc/clickhouse-server --volume=/data/ch/data:/var/lib/clickhouse --volume=/data/ch/disk:/mnt --volume=/data/ch/log:/var/log yandex/clickhouse-server

2.1.2 热温存储划分

热数据一般为最近几天或几周的数据,访问频率最高,通常采用SSD作为存储介质,达到存储时长后,会自动迁移至温数据区;而温数据一般为数月之内的数据,访问频次相对较低,通常采用普通机械盘作为存储介质。
对于Log或Metrics类型数据使用时间字段作为分区键和排序键,ClickHouse虽然没有提供基于时间的数据自动迁移(目前只提供基于分区大小的数据自动迁移),但可以利用其卷划分机制。

  • /data/ch/disk/hot1,hot2 作为热数据存储
  • /data/ch/disk/warm1 作为温数据存储

2.1.3 磁盘与存储策略配置

<?xml version="1.0"?>
<yandex>   
  <storage_configuration>
        <disks>
            <disk_hot1>
                <path>/mnt/hot1/</path>
                <keep_free_space_bytes>1048576</keep_free_space_bytes>
            </disk_hot1>
            <disk_hot2>
                <path>/mnt/hot2/</path>
                <keep_free_space_bytes>1048576</keep_free_space_bytes>
            </disk_hot2>
            <disk_warm1>
                <path>/mnt/warm1/</path>
                <keep_free_space_bytes>1048576</keep_free_space_bytes>
            </disk_warm1>
        </disks>
 
        <policies>
            <moving_from_hot_to_warm>
                <volumes>
                    <hot>
                        <disk>disk_hot1</disk>
                        <disk>disk_hot2</disk>
                    </hot>
                    <warm>
                        <disk>disk_warm1</disk>
                    </warm>
                </volumes>
                <move_factor>0.2</move_factor>
            </moving_from_hot_to_warm>
        </policies>
    </storage_configuration>
</yandex>

磁盘配置参数(disks标签)

  • disk_name:必选,必须全局唯一,自定义磁盘名称
  • path:必选,用于指定磁盘路径,必须以“/”结尾
  • keep_free_space_bytes:可选,用于定义磁盘预留空间

策略配置参数(policies标签)

  • policies_name:必选,必须全局唯一,自定义策略名称
  • volume_name:必选,必须全局唯一,自定义卷名称
  • disk:用于关联disks配置中的磁盘,可以声明多个disk,MergeTree会按定义的顺序选择
  • max_data_part_size_bytes:可选,单个数据分区的最大存储阈值,如果当前分区的数据大小超过阈值,则之后的分区会写入下一个disk磁盘
  • move_factor:可选,默认为0.1,如果当前分区的可用空间小于factor因子,并且定义了多个卷,则数据会自动向下一个卷移动
  • prefer_not_to_merge:可选,是否在当前卷中合并数据分区

2.1.4 分区数据迁移

目前只能通过ALTER查询语句移动分区:

# 移动某个分区至当前存储策略中当前volume下的其他disk磁盘
ALTER TABLE hot_warm_table MOVE PART 'all_1_2_1' TO DISK 'disk_warm1'
 
# 移动某个分区至当前存储策略中其他的volume
ALTER TABLE hot_warm_table MOVE PART 'all_1_2_1' TO VOLUME 'warm'

2.1.5 示例

1)按照上述方式启动ClickHouse实例,并配置存储策略
查看磁盘配置:

SELECT
    name,
    path,
    formatReadableSize(free_space) AS free,
    formatReadableSize(total_space) AS total,
    formatReadableSize(keep_free_space) AS reserved
FROM system.disks
查看磁盘配置.png

查看策略配置:

SELECT
    policy_name,
    volume_name,
    volume_priority,
    disks,
    formatReadableSize(max_data_part_size) AS max_data_part_size,
    move_factor
FROM system.storage_policies
查看策略配置.png

2)创建一张MergeTree表用于测试

CREATE TABLE hot_warm_table
(
    `id` UInt64,
    `StartDate` Date
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(StartDate)
ORDER BY id
SETTINGS storage_policy = 'moving_from_hot_to_warm'

注意:需指定storage_policy,否则数据会写入默认存储路径中

3)写入测试数据
写入第一批数据,会创建一个分区目录:

INSERT INTO TABLE hot_warm_table SELECT rand(),'2020-12-02 11:11:11' FROM numbers(100000)
 
SELECT partition_id,name,table,disk_name FROM system.parts WHERE table = 'hot_warm_table'
写入第一批数据.png

写入第二批数据,会创建一个新的分区目录:

INSERT INTO TABLE hot_warm_table SELECT rand() FROM numbers(100000)
 
SELECT partition_id,name,table,disk_name FROM system.parts WHERE table = 'hot_warm_table'
写入第二批数据.png

如果触发合并操作,会生成一个新分区目录:

optimize TABLE hot_warm_table
 
SELECT name, disk_name FROM system.parts WHERE table = 'hot_warm_table'
合并数据.png

注意:由多个disk组成的volume,每当生成一个新数据分区时,会依照disk定义的顺序,依次轮询写入

4)迁移数据分区到温数据区

ALTER TABLE hot_warm_table MOVE PART '202012_1_2_1' TO VOLUME 'warm'
 
SELECT name, disk_name FROM system.parts WHERE table = 'hot_warm_table'
迁移数据.png

注意:合并后尚未被清理的数据分区无法移动

2.2 保留趋势数据

可以通过物化视图同步MergeTree表中的数据到SummingMergeTree或AggregatingMergeTree表引擎中,利用既定的聚合条件得到趋势数据并存储。


保留趋势数据

2.3 过期数据清理

2.3.1 删除指定数据分区

ALTER TABLE hot_warm_table DROP PARTITION '202012'
删除指定数据分区.png

注意:此处可以指定partition_id进行数据分区删除,如果partition_id是all,则无法直接删除。

2.3.2 设置数据TTL自动删除

在MergeTree中,可以为某个列字段或整张表设置TTL。当时间到达时,如果是列字段级别的TTL,则会删除该列的数据;如果是表级别的TTL,则会删除整张表的数据;如果同时设置了列级别和表级别的TTL,则会以先到期的那个为主。
1)列级别TTL

CREATE TABLE ttl_table_v1
(
    `id` String,
    `create_time` DateTime,
    `code` String TTL create_time + toIntervalSecond(10),
    `type` UInt8 TTL create_time + toIntervalSecond(10)
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_time)
ORDER BY id

2)表级别TTL

CREATE TABLE ttl_table_v2
(
    `id` String,
    `create_time` DateTime,
    `code` String TTL create_time + toIntervalMinute(1),
    `type` UInt8
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_time)
ORDER BY create_time
TTL create_time + toIntervalDay(1)

注意:ClickHouse没有提供删除TTL声明的方法,但提供了控制全局TTL合并任务的启停方法:

SYSTEM STOP/START TTL MERGES

参考:《ClickHouse原理解析与应用实践》

推荐阅读更多精彩内容