Data.table: डेटा में शिफ्ट ()। तालिका v1.9.6 कई समूहों के लिए धीमा है

यह आश्चर्य की बात नहीं है। gforce को := लिए अनुकूलित किए जाने पर यह समाप्त हो जाएगा। यह इस रिलीज की सूची में है, मुझे विश्वास है।

इस प्रदर्शन वृद्धि के लिए +1। shift() मेरे बहुत सारे कोड में मुख्य बाधा है। ऐसा लगता है कि पंक्तियों की एक निश्चित संख्या के लिए, shift() को चलाने में लगने वाला समय डेटा में समूहों की संख्या के समानुपाती होता है।

library(data.table)

# Build table to store timings
timings <- CJ(RowCount = 10^7, Groups = 10^c(0:7))
timings[, SizePerGroup := RowCount/Groups]

# Loop through each experiment
for(i in 1:nrow(dt)){
  print(paste0("Iteration: ", i))

  # Build dataset
  timings_i <- timings[i]
  dt <- data.table(Grp = rep(seq_len(timings_i$Groups), each = timings_i$SizePerGroup))
  dt[, Value := sample(100, size = .N, replace = T)]

  # Measure the time it takes to insert a column indicating the previous value by group
  elapsed <- system.time(dt[, PrevValueByGrp := shift(Value, type = "lag"), by = Grp])["elapsed"]
  timings[i, Elapsed := elapsed]
}

library(ggplot2)
ggplot(timings, aes(x = Groups, y = Elapsed))+geom_line()+geom_point()

@ ben519 Fyi , जब आपका कोड ऐसा दिखता है, तो विशेष मामले के लिए, एक शॉर्टकट है:

library(data.table)
dt <- data.table(Grp = rep(seq_len(1e6), each=10L))
dt[, Value := sample(100L, size = .N, replace = TRUE)]

system.time(dt[, PrevValueByGrp := shift(Value, type = "lag"), by = Grp][])
#    user  system elapsed 
#   19.50    0.80   20.34
system.time(dt[, v := shift(Value, type = "lag")][rowid(Grp)==1L, v := NA][])
#    user  system elapsed 
#    1.00    0.87    1.25 

dt[, all.equal(v, PrevValueByGrp)]
# [1] TRUE