本文为您介绍在阿里云E-MapReduce的ClickHouse集群上，如何通过OSS进行数据的冷热分离。通过本文操作，您既可以在保证集群读写性能的基础上，自动维护集群上的冷热数据，又可以充分利用计算和存储资源，以降低成本。
前提条件
已在EMR控制台上创建EMR-5.7.0及以上版本的ClickHouse集群，详情请参见创建ClickHouse集群。
使用限制
本文操作仅适用于EMR-5.7.0及以上版本的ClickHouse集群。
操作流程
步骤一：在EMR控制台添加磁盘
进入ClickHouse配置页面。
在顶部菜单栏处，根据实际情况选择地域和资源组。
在EMR on ECS页面，单击目标集群操作列的集群服务。
在集群服务页面，单击ClickHouse服务区域的配置。
在配置页面，单击server-metrika页签。
修改storage_configuration的参数值。
在disks中添加一个磁盘。
详细信息如下。
<disk_oss> <type>s3</type> <endpoint>http(s)://${yourBucketName}.${yourEndpoint}/${yourFlieName}</endpoint> <access_key_id>${YOUR_ACCESS_KEY_ID}</access_key_id> <secret_access_key>${YOUR_ACCESS_KEY_SECRET}</secret_access_key> <send_metadata>false</send_metadata> <metadata_path>${yourMetadataPath}</metadata_path> <cache_enabled>true</cache_enabled> <cache_path>${yourCachePath}</cache_path> <skip_access_check>false</skip_access_check> <min_bytes_for_seek>1048576</min_bytes_for_seek> <thread_pool_size>16</thread_pool_size> <list_object_keys_size>1000</list_object_keys_size> </disk_oss>相关参数描述如下。
参数
是否必填
描述
disk_oss
是
磁盘的名称，您可以自定义。
type
是
磁盘的类型，固定值为s3。
endpoint
是
OSS服务的地址。格式为http(s)://${yourBucketName}.${yourEndpoint}/${yourFlieName}。
说明endpoint参数值必须以HTTP或HTTPS开头，其中，
${yourBucketName}为OSS的Bucket名称，${yourEndpoint}为OSS的访问域名，{yourFlieName}为OSS上的文件名称。例如http://clickhouse.oss-cn-hangzhou-internal.aliyuncs.com/test。access_key_id
是
阿里云账号的AccessKey ID。
获取方法请参见获取AccessKey。
secret_access_key
是
阿里云账号的AccessKey Secret。
用于加密签名字符串和OSS，用来验证签名字符串的密钥。获取方法请参见获取AccessKey。
send_metadata
否
在操作OSS文件时，是否添加元数据信息。参数取值如下：
true：添加元数据信息。
false（默认值）：不添加元数据信息。
metadata_path
否
用于存放本地文件与OSS文件的映射关系。
默认值为${path}/disks/<disk_name>/。
说明<disk_name>是磁盘的名称，对应参数disk_oss。cache_enabled
否
是否开启缓存。参数取值如下：
true（默认值）：开启缓存。
false：不开启缓存。
Cache具体作用如下：
OSS目前所使用的Cache仅用于本地缓存以.idx、.mrk、.mrk2、.mrk3、.txt和.dat为后缀的文件。除了这些文件外，仍然会直接读OSS而非读缓存。
本地Cache没有容量限制，最大容量即为存储的磁盘容量。
本地Cache不会以LRU（Least Recently Used）算法之类的策略清理缓存，而是随着文件的生命周期而存在。
数据第一次被读取时，如果在本地Cache中不存在，则会从OSS中将文件下载至Cache中。
第一次写入数据时，仅会先写入本地Cache，之后才会从本地Cache写入至OSS中。
如果一个文件在OSS中被删除，则也会将本地Cache清除；如果一个文件在OSS中被重命名，则也会在本地Cache中重命名。
cache_path
否
缓存路径。
默认值为${path}/disks/<disk_name>/cache/。
skip_access_check
否
在加载磁盘时，是否检查具有对磁盘的读写权限。参数取值如下：
true（默认值）：检查。
false：不检查。
min_bytes_for_seek
否
最小使用Seek的Byte数量，低于该值时会用Skip代替Seek。默认值为1048576。
thread_pool_size
否
磁盘用于执行
restore命令时所使用的线程池的大小。默认值为16。list_object_keys_size
否
在某一个key下，单次能够列出的对象最大数目。默认值为1000。
在policies中添加一个新的策略。
策略内容如下。
<oss_ttl> <volumes> <local> <!-- 包含默认存储策略下所有的磁盘 --> <disk>disk1</disk> <disk>disk2</disk> <disk>disk3</disk> <disk>disk4</disk> </local> <remote> <disk>disk_oss</disk> </remote> </volumes> <move_factor>0.2</move_factor> </oss_ttl>说明该部分内容也可以直接添加在default策略中。
部署客户端配置。
在ClickHouse服务的配置页面，单击部署客户端配置。
在部署CLICKHOUSE客户端配置对话框中，输入执行原因，单击确定。
在确认对话框中，单击确定。
部署客户端配置。
在ClickHouse服务的配置页面，单击部署客户端配置。
在部署CLICKHOUSE客户端配置对话框中，输入执行原因，单击确定。
在确认对话框中，单击确定。
步骤二：验证配置
使用SSH方式登录ClickHouse集群，详情请参见登录集群。
执行如下命令，启动ClickHouse客户端。
clickhouse-client -h core-1-1 -m说明本示例登录core-1-1节点，如果您有多个Core节点，可以登录任意一个节点。
执行如下命令，查看磁盘信息。
select * from system.disks;返回信息如下所示。
┌─name─────┬─path────────────────────────────────┬───────────free_space─┬──────────total_space─┬─keep_free_space─┬─type──┐ │ default │ /var/lib/clickhouse/ │ 83868921856 │ 84014424064 │ 0 │ local │ │ disk1 │ /mnt/disk1/clickhouse/ │ 83858436096 │ 84003938304 │ 10485760 │ local │ │ disk2 │ /mnt/disk2/clickhouse/ │ 83928215552 │ 84003938304 │ 10485760 │ local │ │ disk3 │ /mnt/disk3/clickhouse/ │ 83928301568 │ 84003938304 │ 10485760 │ local │ │ disk4 │ /mnt/disk4/clickhouse/ │ 83928301568 │ 84003938304 │ 10485760 │ local │ │ disk_oss │ /var/lib/clickhouse/disks/disk_oss/ │ 18446744073709551615 │ 18446744073709551615 │ 0 │ oss │ └──────────┴─────────────────────────────────────┴──────────────────────┴──────────────────────┴─────────────────┴───────┘执行如下命令，查看磁盘存储策略。
select * from system.storage_policies;返回信息如下所示。
┌─policy_name─┬─volume_name─┬─volume_priority─┬─disks─────────────────────────────┬─volume_type─┬─max_data_part_size─┬─move_factor─┬─prefer_not_to_merge─┐ │ default │ single │ 1 │ ['disk1','disk2','disk3','disk4'] │JBOD │ 0 │ 0 │ 0 │ │ oss_ttl │ local │ 1 │ ['disk1','disk2','disk3','disk4'] │JBOD │ 0 │ 0.2 │ 0 │ │ oss_ttl │ remote │ 2 │ ['disk_oss'] │JBOD │ 0 │ 0.2 │ 0 │ └─────────────┴─────────────┴─────────────────┴───────────────────────────────────┴─────────────┴────────────────────┴─────────────┴─────────────────────┘当回显信息如上文所示时，表示磁盘扩容操作完成。
步骤三：进行冷热分离
对已有的表进行改造
在ClickHouse客户端执行如下命令，查看当前的存储策略。
SELECT storage_policy FROM system.tables WHERE database='<yourDatabaseName>' AND name='<yourTableName>';本文示例中命令中的
<yourDataName>为数据库名，<yourTableName>为表名。如果返回信息如下所示，则需要参见下一步骤添加一个volume。
<default> <volumes> <single> <disk>disk1</disk> <disk>disk2</disk> <disk>disk3</disk> <disk>disk4</disk> </single> </volumes> </default>扩展当前的存储策略。
在EMR控制台ClickHouse服务的配置页签，增加volume内容，详细信息如下。
<default> <volumes> <single> <disk>disk1</disk> <disk>disk2</disk> <disk>disk3</disk> <disk>disk4</disk> </single> <!-- 以下是新增的volume remote --> <remote> <disk>disk_oss</disk> </remote> </volumes> <!-- 多个volume时需要指定move_factor --> <move_factor>0.2</move_factor> </default>执行以下命令，修改TTL。
ALTER TABLE <yourDataName>.<yourTableName> MODIFY TTL toStartOfMinute(addMinutes(t, 5)) TO VOLUME 'remote';执行以下命令，查看各个part的分布。
select partition,name,path from system.parts where database='<yourDataName>' and table='<yourTableName>' and active=1返回信息如下。
┌─partition───────────┬─name─────────────────────┬─path──────────────────────────────────────────────────────────────────────────────────────────────────────┐ │ 2022-01-11 19:55:00 │ 1641902100_1_90_3_193 │ /var/lib/clickhouse/disks/disk_oss/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902100_1_90_3_193/ │ │ 2022-01-11 19:55:00 │ 1641902100_91_96_1_193 │ /var/lib/clickhouse/disks/disk_oss/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902100_91_96_1_193/ │ │ 2022-01-11 20:00:00 │ 1641902400_97_124_2_193 │ /mnt/disk3/clickhouse/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902400_97_124_2_193/ │ │ 2022-01-11 20:00:00 │ 1641902400_125_152_2_193 │ /mnt/disk2/clickhouse/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902400_125_152_2_193/ │ │ 2022-01-11 20:00:00 │ 1641902400_153_180_2_193 │ /mnt/disk4/clickhouse/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902400_153_180_2_193/ │ │ 2022-01-11 20:00:00 │ 1641902400_181_186_1_193 │ /mnt/disk3/clickhouse/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902400_181_186_1_193/ │ │ 2022-01-11 20:00:00 │ 1641902400_187_192_1_193 │ /mnt/disk4/clickhouse/store/fc5/fc50a391-4c16-406b-a396-6e1104873f68/1641902400_187_192_1_193/ │ └─────────────────────┴──────────────────────────┴───────────────────────────────────────────────────────────────────────────────────────────────────────────┘ 7 rows in set. Elapsed: 0.002 sec.说明如果结果类似上所示，则表明数据根据时间做了冷热分离。热数据存放在本地盘中，冷数据存放在OSS中。
其中，/var/lib/clickhouse/disks/disk_oss是disk_oss的metadata_path的默认值。/mnt/disk{1..4}/clickhouse是本地盘路径。
创建新的表
创建语法
CREATE TABLE <yourDataName>.<yourTableName> [ON CLUSTER cluster_emr] ( column1 Type1, column2 Type2, ... ) Engine = MergeTree() -- or Replicated*MergeTree() PARTITION BY <yourPartitionKey> ORDER BY <yourPartitionKey> TTL <yourTtlKey> TO VOLUME 'remote' SETTINGS storage_policy='oss_ttl';说明命令中的<yourPartitionKey>为ClickHouse的分区键。<yourTtlKey>为您设置的TTL信息。
示例
CREATE TABLE test.test ( `id` UInt32, `t` DateTime ) ENGINE = MergeTree() PARTITION BY toStartOfFiveMinute(t) ORDER BY id TTL toStartOfMinute(addMinutes(t, 5)) TO VOLUME 'remote' SETTINGS storage_policy='oss_ttl';说明本示例中，表格会将5分钟内的数据存放在本地，过了5分钟后，数据会被移动到remote volume中，也就是OSS中。
相关配置
server-config
merge_tree.allow_remote_fs_zero_copy_replication：设置为true，以在Replicated*MergeTree使用DiskOSS等远程存储时利用OSS的多副本进行备份，ClickHouse的一个Shard下的多个副本中的数据仅会备份元数据。
server-users
profile.${your-profile-name}.s3_min_upload_part_size：Write Buffer中的数据量高于该参数值时，会将数据写到OSS中。
profile.${your-profile-name}.s3_max_single_part_upload_size}：Write Buffer中的数据量高于该参数值时，使用MultipartUpload，详情请参见分片上传（MultipartUpload） 。