Dplyr: 길이가 0인 그룹 유지

이 호를 열어주셔서 감사합니다. Hadley.

:+1: 오늘 같은 문제가 발생했습니다. drop = FALSE 는 저에게 큰 도움이 될 것입니다!

.drop = FALSE를 dplyr에 넣는 시간 프레임에 대한 아이디어가 있습니까? 특정 rCharts가 올바르게 렌더링하려면 이것이 필요합니다.

그 동안 나는 작동하는 링크에서 답을 얻었습니다.
http://stackoverflow.com/questions/22523131

두 개의 변수로 그룹화했습니다.

빈 그룹을 삭제하지 않는 옵션에 대해 +1

#486 및 #413과 일부 중복될 수 있습니다.

빈 그룹을 삭제하지 않으면 매우 유용합니다. 요약 테이블을 생성할 때 종종 필요합니다.

+1 - 이것은 많은 분석에 대한 거래 차단기입니다.

나는 위의 모든 것에 동의합니다. 매우 유용할 것입니다.

@romainfrancois 현재 build_index_cpp() 는 drop 속성을 존중하지 않습니다.

t1 <- data_frame(
  x = runif(10),
  g1 = rep(1:2, each = 5),
  g2 = factor(g1, 1:3)
)
g1 <- grouped_df(t1, list(quote(g2)), drop = FALSE)
attr(g1, "group_size")
# should be c(5L, 5L, 0L)
attr(g1, "indices")
# shoud be list(0:4, 5:9, integer(0))

drop 속성은 요인별로 그룹화할 때만 적용되며, 이 경우 수준이 실제로 데이터에 적용되는지 여부에 관계없이 요인 수준당 하나의 그룹이 필요합니다.

이는 다음과 같은 방식으로 단일 테이블 동사에도 영향을 미칩니다.

• select() : 효과 없음
• arrange() : 효과 없음
• summarise() : 0 행 그룹에 적용되는 함수에는 0 수준 정수가 주어져야 합니다. n() 는 0을 반환해야 하고, mean(x) 는 NaN을 반환해야 합니다.
• filter() : 일부 그룹에 행이 없는 경우에도 그룹 집합은 일정하게 유지되어야 합니다.
• mutate() : 빈 그룹에 대한 표현식을 평가할 필요가 없습니다.

결국 drop = FALSE 가 기본값이 되며 drop = FALSE 와 drop = TRUE 브랜치를 모두 작성하는 것이 번거롭다면 기꺼이 drop = FALSE 지원을 중단하겠습니다( 항상 요소의 레벨을 직접 조정하거나 대신 문자형 벡터를 사용할 수 있기 때문입니다.

말이 돼? 작업이 많은 경우 0.4로 미룰 수 있습니다.

@statwonk , @wsurles , @jennybc , @slackline , @mcfrank , @eipi10 도움이 된다면 가장 좋은 방법은 다양한 동사가 상호 작용할 수 있는 모든 방식을 연습하는 테스트 케이스 세트에서 작업하는 것입니다. 길이가 0인 그룹이 있습니다.

아. drop 가 무엇을 해야 하는지 몰랐던 것 같습니다. 그것은 분명해집니다. 나는 그것이 많은 일이라고 생각하지 않는다.

위의 단일 테이블 동사가 길이가 0인 그룹을 올바르게 처리하는지 테스트하는 pull 요청 #833을 열었습니다. 물론 dplyr이 현재 테스트에 실패하기 때문에 대부분의 테스트는 주석 처리되어 있습니다.

+1, 여기에 상태 업데이트가 있습니까? 사랑 요약, 빈 수준을 유지해야합니다!

@ebergelson , 길이가 0인 그룹을 얻기 위한 현재 해킹은 다음과 같습니다. 내 막대 차트가 쌓일 수 있도록 종종 필요합니다.

여기서 df에는 이름, 그룹 및 측정항목의 3개 열이 있습니다.

df2 <- expand.grid(name = unique(df$name), group = unique(df$group)) %>%
    left_join(df, by=c("name","group")) %>%
    mutate(metric = ifelse(is.na(metric),0,metric))

비슷한 작업을 수행합니다. 누락된 그룹이 있는지 확인한 다음 모든 조합이 있으면 left_join 생성합니다.

불행히도, 이 문제가 많은 사랑을 받고 있는 것 같지는 않습니다. 아마도 이 간단한 해결 방법이 있기 때문일 것입니다.

@wsurles , @bpbond 감사합니다. 예, 귀하가 제안한 것과 유사한 해결 방법을 사용했습니다! .drop과 같은 내장 수정 프로그램을 보고 싶습니다.

위의 모든 사람을 추가하고 동의하기 위해 이것은 많은 분석에서 매우 중요한 측면입니다. 구현을 보고 싶습니다.

여기에 필요한 몇 가지 추가 정보:

내가 이것을 가지고 있다면 :

> df <- data_frame( x = c(1,1,1,2,2), f = factor( c(1,2,3,1,1) ) )
> df
Source: local data frame [5 x 2]

  x f
1 1 1
2 1 2
3 1 3
4 2 1
5 2 1

그리고 x 다음 f 그룹화하면 (2, 2) 및 (2,3) 이 비어 있는 6(2x3) 그룹으로 끝납니다. 괜찮아. 나는 내가 생각하는 것을 실행할 수 있다.

이제 내가 이것을 가지고 있다면 어떻게 될까요?

> df <- data_frame( f = factor( c(1,1,2,2), levels = 1:3), x = c(1,2,1,4) )
> df
Source: local data frame [4 x 2]

  f x
1 1 1
2 1 2
3 2 1
4 2 4

f 다음 x 로 그룹화하고 싶습니다. 그룹은 무엇입니까? @해들리

stats::aggregate 및 plyr::ddply 는 모두 이 경우 4개의 그룹(1,1; 1,2; 2,1; 및 2,4)을 반환하므로 다음을 준수해야 합니다. .

대신 table() 동의해야 하지 않습니까? 즉, 9개의 그룹을 반환해야 합니까?

> table(df$f, df$x)
  1 2 4
1 1 1 0
2 1 0 1
3 0 0 0

df %>% group_by(f, x) %>% tally 는 기본적으로 with(df, as.data.frame(table(f, x))) 및 ddply(df, .(f, x), nrow, .drop=FALSE) 와 동일한 결과를 제공할 것으로 예상합니다.

우리가 원하는 동작은 길이가 0인 그룹을 요소(예: plyr의 .drop)로 유지하는 것이라고 생각했기 때문에 @huftis 의 제안을 원한다고 상상할 수 있습니다. 기본 동작이 변경되지 않도록 기본값을 drop = TRUE로 제안합니다. @bpbond 의 제안입니다.

흠, 정확히 어떤 행동을 취해야 하는지 머리를 감싸기가 어렵습니다. 이 매우 간단한 사고 실험이 정확해 보입니까?

df <- data_frame(x = 1, y = factor(1, levels = 2))
df %>% group_by(x) %>% summarise(n())
#> x n
#> 1 1  

df %>% group_by(y) %>% summarise(n())
#> y n
#> 1 1
#> 2 0

df %>% group_by(x, y) %>% summarise(n()
#> x y n
#> 1 1 1
#> 1 2 0

하지만 x 에 여러 값이 있으면 어떻게 될까요? 이런 식으로 작동해야 합니까?

df <- data_frame(x = 1:2, y = factor(1, levels = 2))
df %>% group_by(x, y) %>% summarise(n()
#> x y n
#> 1 1 1
#> 2 1 1
#> 1 1 0
#> 2 2 0

빈 그룹을 유지하는 것은 단일 변수로 그룹화할 때만 의미가 있을까요? 예를 들어 data_frame(age_group = c(40, 60), sex = factor(M, levels = c("F", "M")) 와 같이 좀 더 현실적으로 구도를 잡으면 여성의 수를 계산하시겠습니까? 그럴 때도 있고 안 할 때도 있을 것 같아요. 모든 조합을 확장하는 것은 나에게 다소 다른 작업처럼 보입니다(그리고 요인의 사용과는 별개로).

group_by 에는 drop 및 expand 인수가 모두 필요할까요? drop = FALSE 는 데이터에 나타나지 않는 요인 수준에 의해 생성된 모든 크기 0 그룹을 유지합니다. expand = TRUE 는 데이터에 표시되지 않는 값 조합으로 생성된 모든 크기 0 그룹을 유지합니다.

@hadley 귀하의 예는 나에게 옳습니다 ( levels = 1:2 가 아닌 levels = 2 levels = 1:2 를 의미한다고 가정). 그리고 여러 변수로 그룹화할 때도 빈 그룹을 유지하는 것이 합리적이라고 생각합니다. 예를 들어, 변수가 sex ( male 및 female ) 및 answer (질문에서 disagree , neutral , agree ), 각 성별에 대한 각 답변의 빈도를 계산하려는 경우(예: 테이블 또는 나중에 플로팅하기 위해) 여성이 대답하지 않았기 때문입니다.

또한 요인 변수가 결과 data_frame (문자열로 변환되지 않음) 및 _원래 수준_에서 요인 변수로 남을 것으로 예상합니다. (따라서 데이터를 그릴 때 답변 범주는 알파벳 agree , disagree , neutral 아닌 올바른 순서로 정렬됩니다.)

마지막 예의 경우 sex 변수를 _어떤 경우에는_ 삭제하는 것이 자연스럽습니다(예: _의도적으로_ 여성을 조사하지 않은 경우). 다른 경우에는_ 그렇지 않습니다(예: 성별(그리고 아마도 연도)). 그러나 이것은 _after_ 데이터 집계로 쉽게 처리될 수 있습니다. (다른 해결책은 _vector-valued_ .drop 인수를 받아들이는 것입니다. 그러면 좋겠지만 상황이 복잡해질 수 있습니다.)

(다른 해결책은 벡터 값 .drop 인수를 받아들이는 것입니다. 그러면 좋겠지만 문제가 복잡해질 수 있습니다.)

예, 아마도 너무 복잡합니다. 그렇지 않으면 @huftis 의 의견에 동의합니다.

@해들리
제 생각에는
YES는 값의 모든 조합이 데이터에 있는 경우 group_by로 확장됩니다.
NO는 존재하지 않는 요인 수준에서 확장하지 않습니다.

가장 자주 사용하는 사용 사례는 차트에 대한 요약 데이터 세트를 준비하는 것입니다(탐색 중). 그리고 차트에는 모든 값 조합이 있어야 합니다. 그러나 모든 그룹에 대해 0인 요인 수준을 가질 필요는 없습니다. 예를 들어 모든 조합 없이 막대 차트를 쌓을 수 없습니다. 그러나 데이터에 존재하지 않는 요소 값은 필요하지 않습니다. 쌓이면 0이고 범례에는 빈 값이 됩니다.

모든 값을 group_by로 확장하는 것이 기본값이어야 한다고 생각합니다. 필요한 경우 그룹 다음에 0개의 케이스를 필터링하는 것이 훨씬 쉽고(훨씬 더 직관적이기 때문입니다.) 나는 .drop 인수가 필요하지 않다고 생각합니다. 왜냐하면 이후에 0개의 경우를 필터링하기에 충분히 쉽기 때문입니다. 우리는 다른 함수에 추가 인수를 사용하지 않으므로 이것이 틀을 깨뜨릴 것입니다. 기본값은 group_by를 기반으로 하는 기존 값의 모든 콤보에 대한 결과를 표시하는 것이어야 합니다.

이것이 올바른 기본 동작이라고 생각합니다. 여기서 고유 항목은 모든 요소 수준이 아니라 요소의 기존 값에서만 확장됩니다. (이것은 0 값을 떨어 뜨리는 group_by를 실행 한 후 실행하는 것입니다)

## Expand data so plot groups works correctly
  df2 <- expand.grid(name = unique(df$name), group = unique(df$group)) %>%
    left_join(df, by=c("name","group")) %>%
    mutate(
      measure = ifelse(is.na(measure),0,measure)
    )

모든 그룹에 0이 있더라도 값을 원하는 위치를 알 수 있는 유일한 경우는 시간 데이터입니다. 중간에 데이터가 누락된 날이 있을 수 있습니다. 여기에서 날짜 범위에 대한 확장 및 조인은 여전히 ​​필요합니다. 요인 수준의 경우는 적용되지 않습니다. 데이터 크런처가 누락된 날짜를 자체적으로 처리하는 것이 공정하다고 생각합니다.

이 라이브러리에 대한 모든 훌륭한 작업에 감사드립니다. 제 직업의 90%는 dplyr를 사용하고 있습니다. : )

@huftis에 적극 동의합니다.

나는 수준의 하락이나 수준의 조합이 데이터와 관련이 없어야 한다고 생각하지 않습니다. 작은 샘플을 사용하여 함수나 그림을 프로토타이핑할 수 있습니다. 또는 split-apply-combine 작업을 수행하는 경우 각 그룹의 출력이 나머지 모든 항목과 일치하도록 보장해야 합니다.

내 입장을 부드럽게 하기: 그룹화 변수가 이미 적절한 요소일 때와 요소로 강제될 때 기본 동작이 달라야 하는지 여부를 고려해 볼 가치가 있다고 생각합니다. 사용하지 않은 수준을 유지해야 하는 의무가 강제의 경우에 더 적을 수 있음을 알 수 있습니다. 하지만 내가 뭔가를 요인으로 설정하고 레벨을 제어하기 위해 수고를 했다면 ... 일반적으로 그럴만한 이유가 있고 그것을 유지하기 위해 끊임없이 싸우고 싶지 않습니다.

참고로 저도 이 기능을 보고 싶습니다. @huftis가 설명한 것과 유사한 시나리오가 있으며 필요한 결과를 얻으려면 후프를

SO에서 여기로 왔습니다. 이것이 "tidyr"의 complete 이(가) 도와야 하는 것 아닙니까?

네, 그렇습니다. 나는 실제로 최근에 '완전'에 대해 배웠고 사려 깊은 방식으로 이것을 달성하는 것 같습니다.

SQL 백엔드에 대해 이를 구현하는 것은 기본적으로 모든 그룹을 삭제하기 때문에 어려워 보입니다. 우리는 그것을 그대로 두고 아마도 SQL에 대해 Tidyr::complete()를 구현할까요?

이 문제가 이미 존재한다는 사실을 깨닫지 못한 채 문제 #3033을 만들었습니다. 중복된 점에 대해 사과드립니다. 내 자신의 겸손한 제안을 추가하기 위해 현재 이 문제에 대한 해결 방법으로 pull() 및 forcats::fct_count() 를 사용합니다.

fct_count() 는 항상 입력과 동일한 유형인 출력을 만드는 깔끔한 원리를 배반하기 때문에(즉, 이 함수는 벡터에서 티블을 생성합니다) 저는 이 방법의 팬이 아닙니다. 출력의 열 이름을 변경합니다. 이것은 dplyr::count() 가 하나를 덮을 예정인 경우 pull() %>% fct_count() %>% rename() 개의 단계( forcats::fct_count() 와 dplyr::count() 가 어떻게든 합쳐지고 forcats::fct_count() 더 이상 사용하지 않는다면 환상적일 것입니다.

tidyr::complete() 은 요인에 대해 작동합니까?

모든 요인 수준 및 요인 수준 조합은 기본적으로 유지되어야 합니다. 이 동작은 drop , expand 등과 같은 매개변수로 제어할 수 있습니다. 따라서 dplyr::count() 의 기본 동작은 다음과 같아야 합니다.

df <- data.frame(x = 1:2, y = factor(c(1, 1), levels = 1:2))
df %>% dplyr::count(x, y)
#>  # A tibble: 4 x 3
#>       x        y       n
#>     <int>   <fct>    <int>
#> 1     1        1       1
#> 2     2        1       1
#> 3     1        2       0
#> 4     2        2       0

길이가 0인 그룹(그룹 조합)은 나중에 필터링할 수 있습니다. 그러나 탐색적 분석을 위해서는 전체 그림을 봐야 합니다.

1. 이 문제에 대한 솔루션에 대한 상태 업데이트가 있습니까?
2. 이 문제를 완전히 해결할 계획이 있습니까?

2: 네 확실히
1: 이 문제에 대해 기술적인 구현상의 어려움이 있지만 앞으로 몇 주 안에 살펴보겠습니다.

다음과 같이 사실 이후에 데이터를 확장하여 이 문제를 해결할 수 있습니다.

library(tidyverse)

truly_group_by <- function(data, ...){
  dots <- quos(...)
  data <- group_by( data, !!!dots )

  labels <- attr( data, "labels" )
  labnames <- names(labels)
  labels <- mutate( labels, ..index.. =  attr(data, "indices") )

  expanded <- labels %>%
    tidyr::expand( !!!dots ) %>%
    left_join( labels, by = labnames ) %>%
    mutate( ..index.. = map(..index.., ~if(is.null(.x)) integer() else .x ) )

  indices <- pull( expanded, ..index..)
  group_sizes <- map_int( indices, length)
  labels <- select( expanded, -..index..)

  attr(data, "labels")  <- labels
  attr(data, "indices") <- indices
  attr(data, "group_sizes") <- group_sizes

  data
}

df  <- data_frame(
  x = 1:2,
  y = factor(c(1, 1), levels = 1:2)
)
tally( truly_group_by(df, x, y) )
#> # A tibble: 4 x 3
#> # Groups:   x [?]
#>       x y         n
#>   <int> <fct> <int>
#> 1     1 1         1
#> 2     1 2         0
#> 3     2 1         1
#> 4     2 2         0
tally( truly_group_by(df, y, x) )
#> # A tibble: 4 x 3
#> # Groups:   y [?]
#>   y         x     n
#>   <fct> <int> <int>
#> 1 1         1     1
#> 2 1         2     1
#> 3 2         1     0
#> 4 2         2     0

분명히 라인을 따라 이것은 내부적으로 처리될 것입니다.

이것은 원래 질문을 처리하는 것 같습니다.

> df = data.frame(a=rep(1:3,4), b=rep(1:2,6))
> df$b = factor(df$b, levels=1:3)
> df %>%
+   group_by(b) %>%
+   summarise(count_a=length(a), .drop=FALSE)
# A tibble: 2 x 3
  b     count_a .drop
  <fct>   <int> <lgl>
1 1           6 FALSE
2 2           6 FALSE
> df %>%
+   truly_group_by(b) %>%
+   summarise(count_a=length(a), .drop=FALSE)
# A tibble: 3 x 3
  b     count_a .drop
  <fct>   <int> <lgl>
1 1           6 FALSE
2 2           6 FALSE
3 3           0 FALSE

여기서 핵심은 이것이다.

 tidyr::expand( !!!dots ) %>%

변수가 요인인지 아닌지에 관계없이 모든 가능성을 확장하는 것을 의미합니다.

나는 우리가 말할 것입니다 :

• drop=FALSE 일 때 모두 확장 , 잠재적으로 0 길이 그룹이 많이 있을 수 있습니다.
• drop=TRUE 경우 지금 우리가 하는 일을 하십시오

드롭을 토글하는 기능이 있을 수 있습니다.

이것은 메타데이터 조작만 포함하기 때문에 상대적으로 저렴한 작업이므로 R에서 먼저 이 작업을 수행하는 것이 덜 위험할까요?

하셨습니까 crossing() 대신 expand() ?

내부를 살펴보면 build_index_cpp() , 특히 labels 데이터 프레임의 생성을 "만" 변경하면 된다는 데 동의하십니까?

drop = FALSE 요소만 확장하는 것으로 시작할 수 있습니까? 나는 "자연스러운" 구문을 고려했지만, 이것은 결국 너무 혼란스러울 수 있습니다(그리고 아마도 충분히 강력하지 않을 수도 있습니다):

group_by(data, crossing(col1, col2), col3)

의 모든 조합 사용 : 의미 col1 및 col2 , 거기에 조합 기존 col3 .

예, 이것은 build_index_cpp 및 labels , indices 및 group_sizes 속성의 생성에만 영향을 미친다고 말하고 싶습니다. #3489의 일부로 깔끔한 구조

이 논의의 "유일한 확장 요인" 부분은 너무 오래 걸렸습니다.

결과는 다음과 같습니다.

library(dplyr)

d <- data_frame(
  f1 = factor( rep( c("a", "b"), each = 4 ), levels = c("a", "b", "c") ),
  f2 = factor( rep( c("d", "e", "f", "g"), each = 2 ), levels = c("d", "e", "f", "g", "h") ),
  x  = 1:8,
  y  = rep( 1:4, each = 2)
)

f <- function(data, ...){
  group_by(data, !!!quos(...))  %>%
    tally()
}
f(d, f1, f2, x)
f(d, x, f1, f2)

f(d, f1, f2, x, y)
f(d, x, f1, f2, y)

행 순서가 무시되면 f(d, f1, f2, x) f(d, x, f1, f2) 와 동일한 결과를 제공해야 한다고 생각합니다. 다른 두 사람도 마찬가지입니다.

또한 흥미로운 점:

f(d, f2, x, f1, y)
d %>% sample_frac(0.3) %>% f(...)

요소에 대해서만 전체 확장을 구현한다는 아이디어가 마음에 듭니다. 문자가 아닌 데이터(논리적 포함)의 경우 해당 데이터 유형을 상속하는 factor-like 클래스를 정의/사용할 수 있습니다. 아마도 forcats에서 제공합니까? 이것은 발에 총을 쏘는 것을 더 어렵게 만듭니다.

#3492에서 구현 진행 중

library(dplyr)
#> 
#> Attaching package: 'dplyr'
#> The following objects are masked from 'package:stats':
#> 
#>     filter, lag
#> The following objects are masked from 'package:base':
#> 
#>     intersect, setdiff, setequal, union
df <- data_frame( f = factor( c(1,1,2,2), levels = 1:3), x = c(1,2,1,4) )

( res1 <- tally(group_by(df,f,x, drop = FALSE)) )
#> # A tibble: 9 x 3
#> # Groups:   f [?]
#>   f         x     n
#>   <fct> <dbl> <int>
#> 1 1        1.     1
#> 2 1        2.     1
#> 3 1        4.     0
#> 4 2        1.     1
#> 5 2        2.     0
#> 6 2        4.     1
#> 7 3        1.     0
#> 8 3        2.     0
#> 9 3        4.     0
( res2 <- tally(group_by(df,x,f, drop = FALSE)) )
#> # A tibble: 9 x 3
#> # Groups:   x [?]
#>       x f         n
#>   <dbl> <fct> <int>
#> 1    1. 1         1
#> 2    1. 2         1
#> 3    1. 3         0
#> 4    2. 1         1
#> 5    2. 2         0
#> 6    2. 3         0
#> 7    4. 1         0
#> 8    4. 2         1
#> 9    4. 3         0

all.equal( res1, arrange(res2, f, x) )
#> [1] TRUE

all.equal( filter(res1, n>0), tally(group_by(df, f, x)) )
#> [1] TRUE
all.equal( filter(res2, n>0), tally(group_by(df, x, f)) )
#> [1] TRUE

2018-04-10에 reprex 패키지 (v0.2.0)에 의해 생성되었습니다.

complete() 가 문제를 해결하는지 여부에 관해서는 - 아니요, 그렇지 않습니다. 어떤 요약이 계산되든 빈 벡터에 대한 행동은 사실 이후에 패치되지 않고 보존되어야 합니다. 예를 들어:

data.frame(x=factor(1, levels=1:2), y=4:5) %>%
     group_by(x) %>%
     summarize(min=min(y), sum=sum(y), prod=prod(y))
# Should be:
#> x       min   sum  prod
#> 1         4     9    20
#> 2       Inf     0     1

sum 및 prod (그리고 더 적은 범위로 min ) (및 기타 다양한 함수)는 빈 벡터에 대해 매우 잘 정의된 의미를 가지고 있으며, 나중에 complete() 와 함께 와서 이러한 동작을 재정의하십시오.

@kenahoo 이해가 잘 min() 의 경고입니다.

library(dplyr)

data.frame(x=factor(1, levels=1:2), y=4:5) %>%
  group_by(x) %>%
  summarize(min=min(y), sum=sum(y), prod=prod(y))
#> # A tibble: 2 x 4
#>   x       min   sum  prod
#>   <fct> <dbl> <int> <dbl>
#> 1 1         4     9    20
#> 2 2       Inf     0     1

min(integer())
#> Warning in min(integer()): no non-missing arguments to min; returning Inf
#> [1] Inf
sum(integer())
#> [1] 0
prod(integer())
#> [1] 1

2018-05-15에 reprex 패키지 (v0.2.0)에 의해 생성되었습니다.

@romainfrancois 오

이 오래된 문제는 자동으로 잠겼습니다. 관련 문제를 발견했다고 생각되면 새 문제(reprex 포함)를 제출하고 이 문제에 대한 링크를 작성하십시오. https://reprex.tidyverse.org/