Data.table: По ключу / не возвращая уникальные группы с подмножеством

Согласитесь, это баг.

Для записи рекомендуемый код в этом случае:

dat[Group == "All", lapply(.SD, sum, na.rm = TRUE), .SDcols= c("count"), keyby = ID]

Это дает правильный ответ, поскольку эта версия активирует GForce и в этом случае ошибки нет.

Конечно, это не поможет, если ваш реальный код не может быть подобным образом запутан.

Интересно, что если мы передадим строки подмножества напрямую, код будет работать:

dat[c(1, 3, 5, 7),
    lapply(.SD, function(x) sum(x, na.rm = TRUE)),
    .SDcols= "count", keyby = ID, verbose = TRUE]
# i clause present and columns used in by detected, only these subset: ID 
# Finding groups using forderv ... 0.000sec 
# Finding group sizes from the positions (can be avoided to save RAM) ... 0.000sec 
# lapply optimization changed j from 'lapply(.SD, function(x) sum(x, na.rm = TRUE))' to 'list(..FUN1(count))'
# GForce is on, left j unchanged
# Old mean optimization is on, left j unchanged.
# Making each group and running j (GForce FALSE) ... 
#   collecting discontiguous groups took 0.000s for 2 groups
#   eval(j) took 0.000s for 2 calls
# 0.000sec 
#    ID count
# 1:  1     4
# 2:  2    12

Я вижу следующую разницу в выводе verbose :

Оптимизированное подмножество с индексом "Группа"

Это привело меня к установке из CRAN; код работает без ошибок на 1.10.4-3 .

Полагаю, это что-то из работы @MarkusBonsch по оптимизации подмножества?

Я также вижу ту же ошибку, если мы сделаем соединение явным:

dat[.('All'), on = 'Group',
    lapply(.SD, function(x) sum(x, na.rm = TRUE)),
    .SDcols= "count", keyby = ID]
#    ID count
# 1:  1     4
# 2:  1    12

Но версия с ключом в порядке:

setkey(dat, Group)
dat[.('All'), 
    lapply(.SD, function(x) sum(x, na.rm = TRUE)),
    .SDcols= "count", keyby = ID]#    ID count
# 1:  1     4
# 2:  2    12

Спасибо @cathine за сообщение и @MichaelChirico за расследование.
Основная причина - ошибочное поведение версии соединения, как указал Майкл:
dat[.('All'), on = 'Group', lapply(.SD, function(x) sum(x, na.rm = TRUE)), .SDcols= "count", keyby = ID]

Я, вероятно, решу, когда будет решена проблема №2591.
В новой оптимизации подмножества подмножества перенаправляются в часть соединения data.table , поэтому эта ошибка теперь влияет на подмножества, а также на соединения. Я постараюсь как можно скорее разобраться, смогу ли я решить проблему.
А пока вы можете прибегнуть к
Например, dat[Group == "All"][ ,lapply(.SD, function(x) sum(x, na.rm = TRUE)), .SDcols= c("count"), keyby = ID, verbose = TRUE] .
Извините за причиненные неудобства.

Спасибо, @cathine! Подтверждено, что это только для разработчиков и может быть решено с помощью options(datatable.optimize=2) поскольку проблема, похоже, связана с оптимизацией уровня 3. Интересно, как это удалось проскользнуть через тесты!
Еще более простые примеры из другого контакта, который тоже сообщил:

> DT = data.table(
    id = c("a","a","a","b","b","c","c","d","d"),
    group = c(1,1,1,1,1,2,2,2,2),
    num = 1)
> DT[, uniqueN(id), by=group]          # ok 
   group    V1
   <num> <int>
1:     1     2
2:     2     2
> DT[num==1, uniqueN(id), by=group]    # group column wrong
   group    V1
   <num> <int>
1:     1     2
2:     1     2
> options(datatable.optimize=2)
> DT[num==1, uniqueN(id), by=group]    # ok
   group    V1
   <num> <int>
1:     1     2
2:     2     2
> options(datatable.optimize=3)        # not ok
> DT[num==1, uniqueN(id), by=group]
   group    V1
   <num> <int>
1:     1     2
2:     1     2
> DT[num==1, sum(num), by=group]       # ok
   group    V1
   <num> <num>
1:     1     7
2:     2     4
> DT[num==1, length(num), by=group]    # not ok
   group    V1
   <num> <int>
1:     1     7
2:     1     4
> options(datatable.optimize=2)        # ok
> DT[num==1, length(num), by=group]
   group    V1
   <num> <int>
1:     1     7
2:     2     4
> 

Почему он не прошел тесты? Потому что это происходит только в том случае, если столбец группировки отсортирован (см. Код ниже)! Группировку по отсортированным столбцам специально не проверял.

library(data.table)
DT = data.table(
  id = c("a","a","a","b","b","c","c","d","d"),
  group = c(1,1,1,1,1,2,2,2,2),
  group2 = c(1,1,1,1,1,2,2,2,1),
  num = 1)
DT[, uniqueN(id), by=group]          # ok 
# group    V1
# <num> <int>
# 1:     1     2
# 2:     2     2
DT[num==1, uniqueN(id), by=group]    # group column wrong
# group    V1
# <num> <int>
# 1:     1     2
# 2:     1     2
DT[num==1, uniqueN(id), by=group2]    # ok with other group column that is not sorted
# group2 V1
# 1:      1  3
# 2:      2  2

setkey(DT, group2)
DT[num==1, uniqueN(id), by=group2]    # not ok anymore since the group column is sorted now
# group2 V1
# 1:      1  3
# 2:      1  2