Redis中BigKey的隐患问题小结

redis-cli -h <host> -p <port> --bigkeys -i 0.01

rdb --command bigkeys /path/to/dump.rdb
# 或者生成 json 格式报告进行更详细分析
rdb -c json /path/to/dump.rdb > dump.json

<dependency>
    <groupid>redis.clients</groupid>
    <artifactid>jedis</artifactid>
    <version>5.1.0</version> 
</dependency>

import redis.clients.jedis.jedis;
import redis.clients.jedis.params.scanparams;
import redis.clients.jedis.resps.scanresult;
import java.util.set;
public class redisbigkeyscanner {
    private static final string redis_host = "localhost";
    private static final int redis_port = 6379;
    private static final string redis_password = null; // 如果有密码则填写
    // 定义 bigkey 的阈值
    // 字符串 10mb
    private static final long big_string_threshold_bytes = 10 * 1024 * 1024; 
    // 集合类型 10万元素
    private static final long big_collection_threshold_elements = 100000;  
    public static void main(string[] args) {
        // 使用 try-with-resources 确保 jedis 连接被正确关闭
        try (jedis jedis = new jedis(redis_host, redis_port)) {
            // 如果 redis 服务器有密码，进行认证
            if (redis_password != null && !redis_password.isempty()) {
                jedis.auth(redis_password);
            }
            system.out.println("scanning for bigkeys...");
            // 初始化 scan 命令的游标，从头开始扫描
            string cursor = scanparams.scan_pointer_start;
            // 设置每次 scan 命令返回的 key 数量
            scanparams scanparams = new scanparams().count(1000);
            // 循环执行 scan 命令，直到游标回到起点（表示所有 key 都已遍历）
            do {
                scanresult<string> scanresult = jedis.scan(cursor, scanparams);
                // 更新游标
                cursor = scanresult.getcursor();
                // 获取当前批次扫描到的 key 集合
                set<string> keys = scanresult.getresult();
                // 遍历当前批次获取到的所有 key
                for (string key : keys) {
                    string keytype = jedis.type(key);
                    // 根据 key 类型，使用不同的命令来判断是否是 bigkey
                    switch (keytype) {
                        case "string":
                            // 获取字符串的长度（字节数）
                            long stringsize = jedis.strlen(key);
                            if (stringsize > big_string_threshold_bytes) {
                                system.out.printf("  [big key] string: %s (size: %.2f mb)%n", key, (double) stringsize / (1024 * 1024));
                            }
                            break;
                        case "list":
                            // 获取列表的元素数量
                            long listlength = jedis.llen(key);
                            if (listlength > big_collection_threshold_elements) {
                                system.out.printf("  [big key] list: %s (elements: %d)%n", key, listlength);
                            }
                            break;
                        case "hash":
                            // 获取哈希表的字段数量
                            long hashfields = jedis.hlen(key);
                            if (hashfields > big_collection_threshold_elements) {
                                system.out.printf("  [big key] hash: %s (fields: %d)%n", key, hashfields);
                            }
                            break;
                        case "set":
                            // 获取集合的成员数量
                            long setmembers = jedis.scard(key);
                            if (setmembers > big_collection_threshold_elements) {
                                system.out.printf("  [big key] set: %s (members: %d)%n", key, setmembers);
                            }
                            break;
                        case "zset":
                            // 获取有序集合的成员数量
                            long zsetmembers = jedis.zcard(key);
                            if (zsetmembers > big_collection_threshold_elements) {
                                system.out.printf("  [big key] zset: %s (members: %d)%n", key, zsetmembers);
                            }
                            break;
                        // 可以根据需要添加其他 redis 数据类型的判断或跳过
                        default:
                            break;
                    }
                }
            // 当游标回到起始点 "0" 时，表示遍历完成
            } while (!cursor.equals(scanparams.scan_pointer_start));
            system.out.println("bigkey scan complete.");
        } catch (exception e) {
            system.err.println("error connecting to redis or during scan: " + e.getmessage());
            e.printstacktrace();
        }
    }
}