Data.table: GForce는 `:=`에서도 작동할 수 있어야 합니다.

오늘 SO 에 문제에 부딪쳤습니다.

actions = data.table(User_id = c("Carl","Carl","Carl","Lisa","Moe"),
                     category = c(1,1,2,2,1),
                     value= c(10,20,30,40,50))
users = actions[, other_var := 1, by=User_id]

# verbose says: the following is not optimized
users[, value_one := 0 ]
users[actions[category==1], value_one := sum(value), on="User_id", by=.EACHI, verbose=TRUE]

# verbose says: the following is optimized
rbind( 
    actions[category==1], 
    unique(actions[,"User_id", with=FALSE])[, value := 0 ],
fill=TRUE)[, sum(value), by=User_id, verbose=TRUE]

변수가 결국 users 로 끝나야 한다는 점을 고려할 때 첫 번째 방법은 관용적으로 보입니다.

기타: https://stackoverflow.com/a/47338118/ (gtail)

또 다른 https://stackoverflow.com/a/51569126/ 은 DT[, mx := max(pt), by=Subject][, diff := mx - pt][] 해야 합니다.

메모리 성능에 특히 관심이 있는 또 다른 항목: https://stackoverflow.com/q/52189712 "data.table 참조 의미: 모든 열을 통한 반복의 메모리 사용"

다른 하나는 scale /demean 다중 변수를 원합니다: https://stackoverflow.com/q/52528123

하위 집합 조건으로 그룹별로 최대값을 취하고 :=(akrun의 답변 참조) https://stackoverflow.com/a/54911855/를 추가하는 것도 #971의 이미 완료된 부분과 관련이 있습니다.

이 기능을 활성화하면 약간의 작업이 필요하더라도 복잡한 표현에 GForce를 효과적으로 사용할 수 있다는 점을 강조하고 싶었습니다. 예를 들어 이 게시물에서 다음 을 위해 활성화하는 방법을

slope <- function(x, y) {
  x_ux <- x - mean(x)
  uy <- mean(y)
  sum(x_ux * (y - uy)) / sum(x_ux ^ 2)
}

함으로써:

DT <- data.table(grp, x, y)
setkey(DT, grp)
DTsum <- DT[, .(ux=mean(x), uy=mean(y)), keyby=grp]
DT[DTsum, `:=`(x_ux=x - ux, y_uy=y - uy)]
DT[, `:=`(x_ux.y_uy=x_ux * y_uy, x_ux2=x_ux^2)]
DTsum <- DT[, .(x_ux.y_uy=sum(x_ux.y_uy), x_ux2=sum(x_ux2)), keyby=grp]
res.slope.dt2 <- DTsum[, .(grp, V1=x_ux.y_uy / x_ux2)]

반면에 GForce가 := 에서 지원된다면 우리는 다음을 할 수 있습니다:

DT <- data.table(grp, x, y)
DT[, `:=`(ux=mean(x), uy=mean(y)), keyby=grp]
DT[, `:=`(x_ux=x - ux, y_uy=y - uy)]
DT[, `:=`(x_ux.y_uy=x_ux * y_uy, x_ux2=x_ux^2)]
DTsum <- DT[, .(x_ux.y_uy=sum(x_ux.y_uy), x_ux2=sum(x_ux2)), keyby=grp]
res.slope.dt3 <- DTsum[, .(grp, x_ux.y_uy/x_ux2)]

더 깨끗해 보이고 더 빨라야 합니다.

@MichaelChirico와의 토론을 통해 이 문제와 매우 가까운 사촌이 다음과

>   DT <- data.table(x, y, grp)
>   DT[, .(x, mean(x)), keyby=grp]
Detected that j uses these columns: x 
Finding groups using forderv ... 1.049s elapsed (0.946s cpu) 
Finding group sizes from the positions (can be avoided to save RAM) ... 0.011s elapsed (0.011s cpu) 
lapply optimization is on, j unchanged as 'list(x, mean(x))'
GForce is on, left j unchanged
Old mean optimization changed j from 'list(x, mean(x))' to 'list(x, .External(Cfastmean, x, FALSE))'
Making each group and running j (GForce FALSE) ... 
  collecting discontiguous groups took 1.293s for 999953 groups
  eval(j) took 1.860s for 999953 calls
5.517s elapsed (3.862s cpu) 
              grp         x        V2
       1:       1 0.2151365 0.5512966
       2:       1 0.5358256 0.5512966
       3:       1 0.8496598 0.5512966
       4:       1 0.8480730 0.5512966
       5:       1 0.3464458 0.5512966
      ---                            
 9999996: 1000000 0.2601940 0.5474986
 9999997: 1000000 0.7940921 0.5474986
 9999998: 1000000 0.3825493 0.5474986
 9999999: 1000000 0.1786861 0.5474986
10000000: 1000000 0.9179119 0.5474986

#523과의 교차 링크.