Groupcache: 캐시 항목을 자주 업데이트하기 위한 모범 사례

안녕하세요 @orcaman입니다. 저는 또 다른 Groupcache 사용자지만 귀하의 질문에 답변할 수 있기를 바랍니다.

우선, 기억해야 할 가장 중요한 두 가지 사항은 Groupcache가 읽기 전용 캐시라는 점입니다. 즉, 그 안에 있는 키를 업데이트할 수 없습니다. 둘째, 해당 데이터는 변경 불가능하고 만료되지 않는 것으로 간주됩니다. 기본적으로 분산 LRU입니다. 따라서 키를 자주 업데이트해야 하는 경우 GC는 좋은 옵션이 아닙니다.

그러나 키 조작으로 기존 데이터의 만료 또는 변경을 에뮬레이트할 수 있습니다.

제 경우에는 키에 대해 약 1시간의 만료가 필요했습니다. 내가 한 것은 내가 얻으려는 모든 키에 다음 라운드 시간의 타임 스탬프를 추가하는 것입니다. 따라서 한 시간이 지나면 내 앱에서 키의 이 부분이 변경을 요청하고 Groupcache의 관점에서 새 키를 요청하는 것입니다. 이전 것은 더 이상 아무도 건드리지 않기 때문에 LRU 메커니즘을 통해 제거됩니다.

그러나 지속적으로 키를 작성해야 하고 두 번째 해결 방법으로 만료되어야 하는 경우 redis 또는 memcache를 사용하는 것이 더 나을 수 있습니다. 더 많은 서버로 확장하기 쉽기 때문에 Memcache를 선택하겠습니다.

@dvirsky 감사
나는 그림을 얻는다고 생각한다.

문제는 없지만 이스라엘 현장에서 Groupcache를 더 많이 채택하기를 바랐습니다. 다른 회사에서 사용하는 것을 알고 있습니까? :)

올바른 사용 사례를 기다리면서 계속 사용할 수 있습니다. :-)
나는 이스라엘 현장에서 많은 고퍼를 알지 못하므로 Groupcache 사용자에 대해 알지 못할 것입니다. 다가오는 go 모임에서 여러분을 만나기를 기대합니다.

멋있는. 우리는 그것을 나가는 HTTP 캐시로 사용하고 있습니다(즉, 우리가 제3자에게 만드는 캐시 요청). 우리는 언젠가 이 구현을 열 수 있습니다.
Go 모임에 대해 확신이 서지 않습니다. 성공할 수 있기를 바랍니다.

@dvirsky 및 @bradfitz - 제 사용 사례에서는 TTL[현재 시간 타임스탬프를 키에 추가할 계획]을 처리하고 싶습니다. 다음과 같은 질문이 있습니다.

1. LRU 메커니즘은 어떻게 키를 제거합니까? 키가 [만료된 것으로 표시하기 위해] 사용되지 않는 최소 기간을 설정할 수 있습니까?
2. 그렇지 않은 경우 캐시에 할당된 메모리에 따라 다릅니다. 할당된 데이터를 초과하면 가장 최근에 사용한 데이터가 제거됩니까? 이 경우 현재 시간 데이터를 제거하지 않도록 메모리 균형을 어떻게 처리할 수 있습니까?

이에 대해 몇 가지 제안을 해주시겠습니까?

@dvirsky 좋은 답변 감사합니다. 그러나 항목이 동시에 "제거"될 때 매시간 CPU 및 메모리가 약간 스파이크하는 것을 볼 수 있습니까?

@qbig 만료를 구현한 방법에 따라 다릅니다. 내가 한 일은 다음과 같습니다.

// turn a ttl into an expiration timestamp, using discrete time windows.
// i.e. ask for an hour and get the nearest hour end as the expiration point.
//
// We pad these discrete boundaries  pseudo random margin (based on hashing the key)
// to avoid hitting the cache too hard if all requests expire at once
//
// This can be seconds from now even if you cache for days :)
func calcExpiration(ttl int64, key string, now int64) int64 {
    //we calculate the non discrete expiration, relative to current time
    expires := now

    var padding int64 = 0
    if ttl > 0 {
        // now we want to pad it so we'll no expire all reqeusts for a given time window at once
        // to be consistent, the seed of the padding is a hash on the url
        h := fnv.New32a()
        h.Write([]byte(key))
        padding = int64(h.Sum32()) % ttl

               // not sure this is correct - I wrote it long ago :)
        expires += (ttl - (expires % ttl)) - padding
        if expires < now {
            expires += ttl
        }

    }

    return expires

}

@orcaman 은 https://tarantool.org/를 살펴보십시오.