Node-redis: 패턴으로 키를 삭제하는 효율적인 방법

당신이 링크 한 방법은 그것에 대해 꽤 끔찍한 방법입니다. KEYS 는 프로덕션에 사용할 수 없으며 DEL도 상당히 비효율적입니다. SCAN 및 UNLINK 를 사용하여 확인합니다. 이렇게 하면 Redis를 연결하지 않고도 한 번에 소수의 키를 삭제할 수 있습니다.

즉, 해당 유형의 스크립트는 클라이언트 라이브러리의 범위를 벗어나는 사용자에게 달려 있습니다. 문제를 종료하겠습니다.

@MohammedAl-Mahdawi 내 프로젝트 중 하나에 비슷한 사용 사례가 있으며 ioredis에서 제공하는 scanStream 구현을 사용합니다. 이것은 기본적으로 scan 명령을 사용하는 더 쉬운 방법입니다: https://github.com/luin/ioredis#streamify -scanning

이미 언급한 @stockholmux 와 같이 SCAN 및 UNLINK 를 사용하는 경우 Redis를 차단하지 않고 원하는 수의 키를 제거할 수 있어야 합니다.

@dirkbonhomme 도와 주셔서 정말 감사합니다. 정말 감사합니다.

나는 당신의 조언을 따르고 ioredis를 사용하여 다음 기능을 만들었습니다. 큰 프로젝트에 대해 다음과 같이 가장 효율적인 방법인지 알려주시겠습니까?

//key example "prefix*"
function getKeysByPattern(key) {
    return new Promise((resolve, reject) => {
        var stream = redis.scanStream({
            // only returns keys following the pattern of "key"
            match: key,
            // returns approximately 100 elements per call
            count: 100
        });

        var keys = [];
        stream.on('data', function (resultKeys) {
            // `resultKeys` is an array of strings representing key names
            for (var i = 0; i < resultKeys.length; i++) {
                keys.push(resultKeys[i]);
            }
        });
        stream.on('end', function () {
            resolve(keys)
        });
    })
}

//key example "prefix*"
function deleteKeysByPattern(key) {
    var stream = redis.scanStream({
        // only returns keys following the pattern of "key"
        match: key,
        // returns approximately 100 elements per call
        count: 100
    });

    var keys = [];
    stream.on('data', function (resultKeys) {
        // `resultKeys` is an array of strings representing key names
        for (var i = 0; i < resultKeys.length; i++) {
            keys.push(resultKeys[i]);
        }
    });
    stream.on('end', function () {
        redis.unlink(keys)
    });
}

@MohammedAl-Mahdawi는 나에게 좋아 보인다. 가능한 문제는 일치하는 모든 키를 한 번에 메모리에 로드한다는 것입니다. 그것이 문제라면, 그것들이 들어오는 즉시 일괄적으로 제거할 수 있습니다:

stream.on('data', function (resultKeys) {
        if (resultKeys.length) {
              redis.unlink(resultKeys);
        }
    });

@dirkbonhomme 및 @MohammedAl-Mahdawi 이 방법에는 프로덕션에서 사용자를 물릴 수 있는 원자성 문제가 있습니다.

@stockholmux 도움을 주셔서 감사합니다. 이 문제에 대한 올바른 해결책은 무엇입니까?

우리가 지금까지 도달한 최종 결과를 찾고 그것이 가장 효율적인 방법이라고 믿는 사람을 위해 다음은 다음과 같습니다.

//key example "prefix*"
function getKeysByPattern(key) {
    return new Promise((resolve, reject) => {
        var stream = redis.scanStream({
            // only returns keys following the pattern of "key"
            match: key,
            // returns approximately 100 elements per call
            count: 100
        });

        var keys = [];
        stream.on('data', function (resultKeys) {
            // `resultKeys` is an array of strings representing key names
            for (var i = 0; i < resultKeys.length; i++) {
                keys.push(resultKeys[i]);
            }
        });
        stream.on('end', function () {
            resolve(keys)
        });
    })
}

//key example "prefix*"
function deleteKeysByPattern(key) {
    var stream = redis.scanStream({
        // only returns keys following the pattern of "key"
        match: key,
        // returns approximately 100 elements per call
        count: 100
    });

    var keys = [];
    stream.on('data', function (resultKeys) {
        // `resultKeys` is an array of strings representing key names
        for (var i = 0; i < resultKeys.length; i++) {
            keys.push(resultKeys[i]);
        }
    });
    stream.on('end', function () {
        redis.unlink(keys)
    });
}

//key example "prefix*"
function batchDeletionKeysByPattern(key) {
    var stream = redis.scanStream({
        // only returns keys following the pattern of "key"
        match: key,
        // returns approximately 100 elements per call
        count: 100
    });

    stream.on('data', function (resultKeys) {
        if (resultKeys.length) {
            redis.unlink(resultKeys);
        }
    });
}

위의 코드는 ioredis용 입니다.
더 나은 방법을 알고 계신 분이 계시다면 주저하지 말고 공유해 주십시오.

@MohammedAl-Mahdawi ,
나는이 오류가 발생합니다. 같은 아이디어
코드베이스:

let redisDel = () => {
    var key="employees*"

    return new Promise((resolve, reject) => {

        var stream = redis.scanStream({
            // only returns keys following the pattern of "key"
            match: key,
            // returns approximately 100 elements per call
            count: 100
        });

        stream.on('data', function (resultKeys) {
            if (resultKeys.length) {
                console.log(resultKeys)
                redis.unlink(resultKeys);
            }
        });
        stream.on('end', function (resultKeys) {
            resolve()
        })

    })
}

아무도 여기에 완벽한 솔루션을 제공합니까?

@siddhkadam1881 링크 해제 명령은 Redis 4 https://redis.io/commands/unlink 이후로만 사용할 수 있습니다.
아마도 이전 버전을 실행 중일 것입니다. 대신 del 를) 시도하십시오.

스캔이 어떻게 수행되는지 이해하고 싶습니다. 삭제가 일괄 처리로 발생하는 경우 @MohammedAl-Mahdawi의 솔루션에서 삭제하고 싶지 않은 새 키가 그 시간에 추가되면 스캔 및 삭제될 가능성이 있다고 생각합니다. 루아 스크립트는 어떻습니까?

이 솔루션이 매우 간단한 1 인스턴스 ElastiCache 서버에서는 작동하지 않지만 로컬에서는 작동하는 이유를 아는 사람이 있습니까? 정상적으로 키를 지울 수 있지만 스트림 구현을 사용하려고 하면 ElastiCache에서 키를 반환하지 않습니다.