一 环境准备
下文以常见ClickHouse集群部署架构中方案四的部署架构为例。
| 节点名称 | 主机IP | 分片与副本 | 服务 |
|---|---|---|---|
| node21 | 192.168.167.21 | R0、R2 | ZooKeeper、ClickHouse |
| node22 | 192.168.167.22 | R1、R0 | ZooKeeper、ClickHouse |
| node23 | 192.168.167.23 | R2、R1 | ZooKeeper、ClickHouse |
准备Docker环境：
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum update -y && sudo yum install -y containerd.io-1.2.13 docker-ce-19.03.11 docker-ce-cli-19.03.11
mkdir /etc/docker
cat <<EOF | tee /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}
EOF
mkdir -p /etc/systemd/system/docker.service.d
systemctl daemon-reload
systemctl restart docker
systemctl enable docker
二 ZK部署
docker run -d --name=zk21 --hostname=node21 --network=host --volume=/etc/localtime:/etc/localtime --volume=/data/zk/conf:/conf --volume=/data/zk/data:/data zookeeper
docker run -d --name=zk22 --hostname=node22 --network=host --volume=/etc/localtime:/etc/localtime --volume=/data/zk/conf:/conf --volume=/data/zk/data:/data zookeeper
docker run -d --name=zk23 --hostname=node23 --network=host --volume=/etc/localtime:/etc/localtime --volume=/data/zk/conf:/conf --volume=/data/zk/data:/data zookeeper
其中，主配置文件 conf/zoo.cfg的关键配置项：
4lw.commands.whitelist=*
server.1=node21:2888:3888;2181
server.2=node22:2888:3888;2181
server.3=node23:2888:3888;2181
注意：
- 记得配置 data/myid
- 映射到宿主机的文件权限（ID为1000的zookeeper用户）
三 CH部署
docker run -d --name=ch21 --hostname=node21 --network=host --ulimit nofile=262144:262144 --volume=/etc/localtime:/etc/localtime --volume=/data/ch/data:/var/lib/clickhouse --volume=/data/ch/conf:/etc/clickhouse-server --volume=/data/ch/log:/var/log yandex/clickhouse-server
docker run -d --name=ch22 --hostname=node22 --network=host --ulimit nofile=262144:262144 --volume=/etc/localtime:/etc/localtime --volume=/data/ch/data:/var/lib/clickhouse --volume=/data/ch/conf:/etc/clickhouse-server --volume=/data/ch/log:/var/log yandex/clickhouse-server
docker run -d --name=ch23 --hostname=node23 --network=host --ulimit nofile=262144:262144 --volume=/etc/localtime:/etc/localtime --volume=/data/ch/data:/var/lib/clickhouse --volume=/data/ch/conf:/etc/clickhouse-server --volume=/data/ch/log:/var/log yandex/clickhouse-server
注意：映射到宿主机的文件权限（ID为999的clickhouse用户）
四 CH配置
ClickHouse最重要的配置有clickhouse_remote_servers、zookeeper和macros。
config.xml（在每个节点中的配置都相同）
<yandex>
<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>
<include_from>/etc/clickhouse-server/config.d/macros.xml</include_from>
<listen_host>0.0.0.0</listen_host>
</yandex>
主配置文件，设置成可加载其他相关配置文件。
conf.d/metrika.xml（在每个节点中的配置都相同）
<?xml version="1.0"?>
<yandex>
<clickhouse_remote_servers>
<cluster_1>
<shard>
<internal_replication>true</internal_replication>
<weight>1</weight>
<replica>
<host>node21</host>
<port>9000</port>
</replica>
</shard>
<shard>
<internal_replication>true</internal_replication>
<weight>1</weight>
<replica>
<host>node22</host>
<port>9000</port>
</replica>
</shard>
<shard>
<internal_replication>true</internal_replication>
<weight>1</weight>
<replica>
<host>node23</host>
<port>9000</port>
</replica>
</shard>
</cluster_1>
</clickhouse_remote_servers>
<zookeeper-servers>
<node index="1">
<host>node21</host>
<port>2181</port>
</node>
<node index="2">
<host>node22</host>
<port>2181</port>
</node>
<node index="3">
<host>node23</host>
<port>2181</port>
</node>
</zookeeper-servers>
<clickhouse_compression>
<case>
<min_part_size>10000000000</min_part_size>
<min_part_size_ratio>0.01</min_part_size_ratio>
<method>lz4</method>
</case>
</clickhouse_compression>
</yandex>
用于配置集群、数据副本、Zookeeper等。如果使用方案一，此处配置需修改。
config.d/macros.xml（在每个节点中的配置不同）
<yandex>
<macros>
<cluster>cluster_1</cluster>
<shard1>01</shard1>
<shard2>02</shard2>
<replica>node21</replica>
</macros>
</yandex>
宏定义，后面创建本地表时会引用到。比如：
- cluster 用于定义集群标识，一类数据表定义为一个集群
- shard1 用于定义分片标识
- shard2 用于定义分片标识，与shard1交叉开
- replica 用于定义副本标识，建议使用节点名称
五 创建本地Replicated表
创建主副本的本地复制表
CREATE TABLE warehouse_local ON CLUSTER cluster_1
(
warehouse_id Int64,
product_id Int64,
product_name String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard1}/warehouse_local', '{replica}')
PARTITION BY warehouse_id
ORDER BY product_id
创建副副本的本地复制表
CREATE TABLE warehouse_local_rep ON CLUSTER cluster_1
(
warehouse_id Int64,
product_id Int64,
product_name String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard2}/warehouse_local', '{replica}')
PARTITION BY warehouse_id
ORDER BY product_id
六 创建Distributed表
创建主副本的分布表
CREATE TABLE warehouse_dist ON CLUSTER cluster_1
(
warehouse_id Int64,
product_id Int64,
product_name String
)
ENGINE = Distributed(cluster_1, default, warehouse_local, warehouse_id)
创建副副本的分布表
CREATE TABLE warehouse_dist_rep ON CLUSTER cluster_1
(
warehouse_id Int64,
product_id Int64,
product_name String
)
ENGINE = Distributed(cluster_1, default, warehouse_local_rep, warehouse_id)
七 测试验证
准备测试数据集 warehouse_dataset.csv
1,30007,apple
2,41392,banana
3,96324,cherry
4,33309,coconut
5,28871,dates
6,10240,durian
7,53712,grape
8,11596,lemon
导入测试数据
clickhouse-client --host=192.168.167.21 --query "INSERT INTO warehouse_dist FORMAT CSV" < warehouse_dataset.csv
查看数据写入情况
查看数据表：
查看数据表
主副本的分布表：
主副本的分布表
副副本的分布表：
副副本的分布表
node21节点主副本的本地表：
node21节点主副本的本地表
node23节点副副本的本地表：
node23节点副副本的本地表
