Redis中大key处理的问题解决

# 使用 hscan 每次扫描 100 个字段，然后删除它们
cursor=0
while true; do
    # 使用 hscan 命令，每次获取 100 个字段
    redis-cli hscan big_hash $cursor count 100 > /tmp/hscan_output.txt
    # 读取输出，第一行是下一个游标，第二行是字段列表
    cursor=$(head -1 /tmp/hscan_output.txt)
    fields=$(tail -1 /tmp/hscan_output.txt)
    # 将字段转换为数组，然后逐个删除
    # 注意：这里假设字段之间用空格分隔，但实际上 hscan 输出的字段是每行一个，所以需要根据实际情况调整
    # 以下是一个简单的处理方式，但可能不适用于所有情况
    for field in $fields; do
        redis-cli hdel big_hash $field
    done
    # 如果游标为0，表示扫描结束
    if [ $cursor -eq 0 ]; then
        break
    fi
done

# 原始大 key
hset user:1_data field1 value1 ... field10000 value10000

# 拆分成多个 key
hset user:1:part1 field1 value1 ... field1000 value1000
hset user:1:part2 field1001 value1001 ... field2000 value2000
————————————————
版权声明：本文为csdn博主「困知勉行1985」的原创文章，遵循cc 4.0 by-sa版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/wdquan19851029/article/details/156572934

# redis 自带命令
redis-cli --bigkeys

# 扫描模式
redis-cli --bigkeys -i 0.1  # 每100毫秒扫描一次，减少对业务影响

# rdb 分析工具
redis-rdb-tools  # 分析 rdb 文件找出大 key

# 编写脚本定期扫描
eval "
local cursor = 0
repeat
    local result = redis.call('scan', cursor, 'count', 100)
    cursor = tonumber(result[1])
    local keys = result[2]
    
    for i, key in ipairs(keys) do
        local type = redis.call('type', key)
        local size = 0
        
        if type == 'string' then
            size = redis.call('strlen', key)
        elseif type == 'hash' then
            size = redis.call('hlen', key)
        elseif type == 'list' then
            size = redis.call('llen', key)
        elseif type == 'set' then
            size = redis.call('scard', key)
        elseif type == 'zset' then
            size = redis.call('zcard', key)
        end
        
        if size > 10000 then  -- 设置阈值
            print(key, type, size)
        end
    end
until cursor == 0
" 0

# 对于大 hash - 使用 hscan + hdel
cursor=0
while true; do
    result=$(redis-cli hscan big_hash $cursor count 100)
    cursor=$(echo "$result" | head -1)
    fields=$(echo "$result" | tail -n +2 | awk '{print $1}')
    
    for field in $fields; do
        redis-cli hdel big_hash $field
    done
    
    if [[ $cursor -eq "0" ]]; then
        break
    fi
done

# 对于大 set - 使用 sscan + srem
# 对于大 zset - 使用 zscan + zrem
# 对于大 list - 分批次 ltrim
redis-cli ltrim big_list 0 99  # 保留前100个元素

# 使用 unlink 替代 del（异步删除）
redis-cli unlink big_key

# 配置异步删除参数（redis.conf）
lazyfree-lazy-eviction yes
lazyfree-lazy-expire yes
lazyfree-lazy-server-del yes
replica-lazy-flush yes

# 监控告警
# 设置内存使用阈值
maxmemory 4gb
maxmemory-policy allkeys-lru

# 客户端缓冲区限制
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit replica 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60

# 将数据分散到不同节点
# 大 key 会自动分布到不同实例
redis-cli --cluster create node1:6379 node2:6379 ...