12人参与 • 2026-03-28 • CPU
最近团队遇到了一个棘手的问题:我们的实时数据处理系统在峰值流量下出现了写入瓶颈,cpu 利用率飙升到 90%+,写入延迟从毫秒级变成了秒级。作为一个不信"玄学调优"的技术人,我决定深入剖析 clickhouse 的写入机制,找出问题的根源。
我首先查看了 clickhouse 的系统表,重点关注 system.metrics 和 system.events:
select * from system.metrics where metric like '%write%' or metric like '%insert%'; select * from system.events where event like '%write%' or event like '%insert%' order by value desc limit 20;
通过分析,我发现了几个关键指标异常:
writebufferfromfiledescriptorwritebytes 增长速度异常insertedrows 与 insertedbytes 的比例不符合预期mergetreedatawriter 相关指标波动较大「源码之下,没有秘密。」我决定查看 clickhouse 的写入相关源码,特别是 mergetreedatawriter 和 writebufferfromfile 部分。
在 mergetreedatawriter.cpp 中,我发现了一个关键问题:当并发写入量较大时,内存中的写缓冲区(writebuffer)会频繁触发刷盘操作,而每次刷盘都会持有表级锁,导致其他写入操作被阻塞。
// 简化后的关键代码逻辑
void mergetreedatawriter::writetemppart(...) {
// 获取表级锁
auto lock = table->lockforshare();
// 写入数据到临时分区
// ...
// 刷盘操作
writer->flush();
// 释放锁
}
基于源码分析,我制定了以下优化方案:
<!-- config.xml 配置 -->
<profiles>
<default>
<max_insert_block_size>1048576</max_insert_block_size>
<min_insert_block_size_rows>10000</min_insert_block_size_rows>
<min_insert_block_size_bytes>10485760</min_insert_block_size_bytes>
</default>
</profiles>
<merge_tree>
<max_part_loading_threads>4</max_part_loading_threads>
<number_of_free_threads_in_pool_to_lower_max_size_of_merge>4</number_of_free_threads_in_pool_to_lower_max_size_of_merge>
</merge_tree>
根据业务特点,将原来的按天分区改为按小时分区,减少单个分区的数据量:
create table events (
event_time datetime,
user_id uint64,
event_type string,
data string
) engine = mergetree()
partition by tohour(event_time)
order by (event_time, user_id);
「show me the benchmark, then we talk.」我搭建了一个压测环境,使用 clickhouse-client 进行并发写入测试:
# 压测命令
for i in {1..100}; do
clickhouse-client --query "insert into events values (now(), $i, 'test', 'data')" &
done
| 指标 | 优化前 | 优化后 | 提升比例 |
|---|---|---|---|
| 峰值 qps | 5 万 | 15 万 | 200% |
| 平均写入延迟 | 800ms | 120ms | 85% |
| cpu 使用率 | 90%+ | 60% | 33% |
| 内存使用 | 4gb | 4.2gb | -5% |
在测试环境验证通过后,我们在生产环境进行了灰度发布。部署策略:
到此这篇关于clickhouse在高并发写入场景下的性能优化实践(cpu利用率飙升)的文章就介绍到这了,更多相关clickhouse高并发性能优化内容请搜索代码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持代码网!
您想发表意见!!点此发布评论
版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。
发表评论