Tidyr: Feature Request: Machen Sie ordentlichere Funktionen mit data.table

Ich wäre bereit, Pull-Requests zu überprüfen, um dies zu tun, aber ich habe nicht die Zeit (oder das Wissen über data.table), um dies selbst zu tun.

@mindymallory , Was Sie beschreiben, ist kein Problem mit der Funktion tidyr oder einer neuen zu implementierenden Funktion. Es kommt vielmehr darauf an, wie Sie tidyr Funktionen mit data.table .

Bei den Tests, die Sie mit dt[, year := fill(year)] durchgeführt haben, sind nur wenige Fehler

• Zuerst nimmt fill 2 Argumente, zuerst ein data (data.frame, data.table oder tbl) und dann einen bloßen Spaltennamen. In Ihrem Test geben Sie den Spaltennamen als erstes Argument an, damit fill nicht unabhängig von data.table funktioniert.
• Dann gibt fill nicht die von Ihnen angegebene Spalte zurück, sondern alle Daten, auf die Sie fill angewendet haben. Aus diesem Grund können Sie year durch das Ergebnis der Funktion fill in dt[, year := fill(year)] ersetzen. Bei LHS:=RHS muss RHS ein Vektor von Ersatzwerten sein, was bei year := fill(year) nicht der Fall ist.

Der Code, den Sie ausprobiert haben, hat diese Probleme unabhängig von der Kompatibilität von tidyr mit data.table .

Hier sind einige Möglichkeiten, fill innerhalb von data.table . Es könnte auch anderen Benutzern helfen.

library(data.table)
library(tidyr)
dt <- data.table(
  year = c(2015, NA, NA, NA), 
  trt = c("A", NA, "B", NA)
)
tracemem(dt)
#> [1] "<0000000019B796C8>"

Wenn Sie fill möchten, müssen Sie zuerst Daten und dann eine Spalte angeben. Verwenden Sie in einem data.table .SD und sehen Sie, dass fill alle Spalten von dt return

dt[, fill(.SD, year)]
#>    year trt
#> 1: 2015   A
#> 2: 2015  NA
#> 3: 2015   B
#> 4: 2015  NA

Sie können dann beispielsweise eine Spalte mit $ auswählen, die einen Vektor zurückgibt.

dt[, fill(.SD, year)$year]
#> [1] 2015 2015 2015 2015

Wenn Sie mehrere Spalten zum Füllen angeben, werden diese Spalten gefüllt zurückgegeben.

dt[, fill(.SD, year, trt)]
#>    year trt
#> 1: 2015   A
#> 2: 2015   A
#> 3: 2015   B
#> 4: 2015   B

Also, wie wenden Sie fill an, um Spalten in einem data.table zu ersetzen.

Sie könnten den gewünschten Vektor extrahieren und := . Und wiederholen Sie es für die andere Spalte.

dt[, year := fill(.SD, year)$year]
dt
#>    year trt
#> 1: 2015   A
#> 2: 2015  NA
#> 3: 2015   B
#> 4: 2015  NA
dt[, trt := fill(.SD, trt)$trt]
dt
#>    year trt
#> 1: 2015   A
#> 2: 2015   A
#> 3: 2015   B
#> 4: 2015   B

Sie können die Änderung auch sofort mit der Syntax data.table anwenden.

dt <- data.table(
  year = c(2015, NA, NA, NA), 
  trt = c("A", NA, "B", NA)
)
tracemem(dt)
#> [1] "<0000000006104428>"
dt[, c("year", "trt") := .(fill(.SD, year)$year, fill(.SD, trt)$trt)]
dt
#>    year trt
#> 1: 2015   A
#> 2: 2015   A
#> 3: 2015   B
#> 4: 2015   B

Da fill jedoch alle Spalten des Arguments data zurückgibt, können Sie auf das Extrahieren der Spalte mit $

dt <- data.table(
  year = c(2015, NA, NA, NA), 
  trt = c("A", NA, "B", NA)
)
tracemem(dt)
#> [1] "<0000000005B57B98>"
dt[, c("year", "trt") := fill(.SD, year, trt)]
dt
#>    year trt
#> 1: 2015   A
#> 2: 2015   A
#> 3: 2015   B
#> 4: 2015   B

Schließlich könnten Sie einen Ansatz verwenden, der besser für die Programmierung geeignet ist.

dt <- data.table(
  year = c(2015, NA, NA, NA), 
  trt = c("A", NA, "B", NA)
)
tracemem(dt)
#> [1] "<00000000187CF230>"
cols <- c("year", "trt")
dt
#>    year trt
#> 1: 2015   A
#> 2:   NA  NA
#> 3:   NA   B
#> 4:   NA  NA
dt[, (cols) := fill_(.SD, cols), .SDcols = cols]
dt
#>    year trt
#> 1: 2015   A
#> 2: 2015   A
#> 3: 2015   B
#> 4: 2015   B

Beachten Sie, dass Sie auf diese Weise fill leicht auf eine Teilmenge von Spalten anwenden können

dt <- data.table(
  year = c(2015, NA, NA, NA), 
  trt = c("A", NA, "B", NA),
  trt2 = c(NA, "C", NA, "D")
)
tracemem(dt)
#> [1] "<00000000049EFD30>"
cols <- c("year", "trt")
dt
#>    year trt trt2
#> 1: 2015   A   NA
#> 2:   NA  NA    C
#> 3:   NA   B   NA
#> 4:   NA  NA    D
dt[, (cols) := fill_(.SD, cols), .SDcols = cols]
dt
#>    year trt trt2
#> 1: 2015   A   NA
#> 2: 2015   A    C
#> 3: 2015   B   NA
#> 4: 2015   B    D

Ich hoffe, dies beantwortet Ihre Frage und die gewünschte Funktionsanforderung. Beachten Sie, dass ich tracemem zu zeigen, dass es keine Kopien gibt und dass tidyr mit dem data.table Konzept kompatibel ist, da die Syntax und das Konzept von data.table korrekt verwendet werden.

@hadley , ich denke, Sie haben keine PR zu diesem Thema.

@cderv Danke für diese ausführliche Erklärung! Sie haben mir viel Speicher gespart!