doris Cumulative Compaction 版本堆积解决

问题描述

grafana doris overview 监控显示BE Compaction Score 分数递增，不稳定，正常应该是平稳为主

解决问题

分析思路：应该是数据导入任务频率过高导致doris 后台数据写入放大，既合并跟不上写入速度
所以考虑三点
1、导入job优化，提高batch数据量，减少commit频率；
2、提高合并线程数量；
3、优化单个cc task作业时长；
以上思路同样可以解决clickhouse datapart too many 300问题

优化参数

• compaction_task_num_per_disk 每个磁盘（HDD）可以并发执行的compaction任务数量，默认4，调整为8
• max_cumu_compaction_threads Cumulative Compaction线程池中线程数量的最大值，默认10，调整为数据盘总数*8 *1.1
• cumulative_compaction_max_deltas cumulative compaction策略：最大增量文件的数量，默认1000，减少到500，减少单次cc tack数据文件量，来促进单次cc作业快速执行

参考官方文档

• https://doris.apache.org/zh-CN/docs/dev/admin-manual/config/be-config#compaction