Data.table: يعد shift () في data.table v1.9.6 بطيئًا للعديد من المجموعات

هذا ليس مفاجئًا. سيختفي هذا عندما يتم تحسين gforce لـ := . إنه على قائمة هذا الإصدار ، على ما أعتقد.

+1 لتحسين الأداء هذا. shift() هو عنق الزجاجة الرئيسي في الكثير من التعليمات البرمجية الخاصة بي. يبدو أنه بالنسبة لعدد ثابت من الصفوف ، فإن الوقت المستغرق لتشغيل shift() يتناسب مع عدد المجموعات في البيانات.

library(data.table)

# Build table to store timings
timings <- CJ(RowCount = 10^7, Groups = 10^c(0:7))
timings[, SizePerGroup := RowCount/Groups]

# Loop through each experiment
for(i in 1:nrow(dt)){
  print(paste0("Iteration: ", i))

  # Build dataset
  timings_i <- timings[i]
  dt <- data.table(Grp = rep(seq_len(timings_i$Groups), each = timings_i$SizePerGroup))
  dt[, Value := sample(100, size = .N, replace = T)]

  # Measure the time it takes to insert a column indicating the previous value by group
  elapsed <- system.time(dt[, PrevValueByGrp := shift(Value, type = "lag"), by = Grp])["elapsed"]
  timings[i, Elapsed := elapsed]
}

library(ggplot2)
ggplot(timings, aes(x = Groups, y = Elapsed))+geom_line()+geom_point()

@ ben519 Fyi ، للحالة الخاصة عندما يبدو الرمز الخاص بك هكذا ، هناك اختصار:

library(data.table)
dt <- data.table(Grp = rep(seq_len(1e6), each=10L))
dt[, Value := sample(100L, size = .N, replace = TRUE)]

system.time(dt[, PrevValueByGrp := shift(Value, type = "lag"), by = Grp][])
#    user  system elapsed 
#   19.50    0.80   20.34
system.time(dt[, v := shift(Value, type = "lag")][rowid(Grp)==1L, v := NA][])
#    user  system elapsed 
#    1.00    0.87    1.25 

dt[, all.equal(v, PrevValueByGrp)]
# [1] TRUE