다음을 실행했습니다.

# run_join_time.sh
echo 'hash,time' > 'join_timings.csv'

for HASH in $(git rev-list --ancestry-path 1.10.0..1.12.4 | awk 'NR == 1 || NR % 10 == 0');
do git checkout $HASH && R CMD INSTALL . && Rscript time_join.R $HASH;
done

# time_join.R
library(data.table)
library(microbenchmark)

hash = commandArgs(trailingOnly = TRUE)

aa = data.table(a = seq(1,100), b = rep(0, 100))
bb = data.table(a = seq(1,100), b = rep(1, 100))

fwrite(data.table(
  hash = hash,
  time = microbenchmark(times = 1000L, aa[bb, b := i.b, on=.(a)])$time
), 'join_timings.csv', append = TRUE)

그런 다음이 플롯을 만들기 위해 다음을 수행했습니다.

library(data.table)
times = fread('join_timings.csv')

times[ , date := as.POSIXct(system(sprintf("git show --no-patch --no-notes --pretty='%%cd' %s", .BY$hash), intern = TRUE), by = hash]
times[ , date := as.POSIXct(date, format = '%a %b %d %T %Y %z', tz = 'UTC')]
times[ , date := as.IDate(date)]
setorder(times, date)

tags = system('
for TAG in $(git tag);
  do git show --no-patch --no-notes --pretty="$TAG\t%cd" $TAG;
done
', intern = TRUE)

tags = setDT(tstrsplit(tags, '\t'))
setnames(tags, c('tag', 'date'))
tags[ , date := as.POSIXct(date, format = '%a %b %d %T %Y %z', tz = 'UTC')]
tags[ , date := as.IDate(date)]

times[ , {
  par(mar = c(7.1, 4.1, 2.1, 2.1))
  y = boxplot(I(time/1e6) ~ date, log = 'y', notch = TRUE, pch = '.',
              las = 2L, xlab = '', ylab = 'Execution time (ms)', cex.axis = .8)
  x = unique(date)
  idx = findInterval(tags$date, x)
  abline(v = idx[idx>0L], lty = 2L, col = 'red')
  text(idx[idx>0L], .7*10^(par('usr')[4L]), tags$tag[idx>0L], 
       col = 'red', srt = 90)
  NULL
}]

시작한 후 다음을 사용하여 이것을 조금 간소화할 수 있다는 것을 깨달았습니다.

echo 'hash,time,date' > 'join_timings.csv'

for HASH in $(git rev-list --ancestry-path 1.10.0..1.12.4 | awk 'NR == 1 || NR % 10 == 0');
do git checkout $HASH && R CMD INSTALL . --preclean && Rscript time_join.R $HASH $(git show --no-patch --no-notes --pretty='%cd' $HASH);
done

library(data.table)
library(microbenchmark)

args = commandArgs(trailingOnly = TRUE)
hash = args[1L]
date = as.POSIXct(args[2L], format = '%a %b %d %T %Y %z', tz = 'UTC'))

aa = data.table(a = seq(1,100), b = rep(0, 100))
bb = data.table(a = seq(1,100), b = rep(1, 100))

fwrite(data.table(
  hash = hash,
  date = date,
  time = microbenchmark(times = 1000L, aa[bb, b := i.b, on=.(a)])$time
), 'join_timings.csv', append = TRUE)

커밋 시간을 벤치마크에 직접 추가하려면

Join_timings.txt

안녕 MichaelChirico, 나는 두 번 읽었습니다
그러나 2016년부터 2019년까지의 타임라인은 정확히 무엇을 의미합니까? 데이터 테이블 버전입니까?

버전뿐만 아니라 특정 커밋. 내가 추가하는 것을 잊은 좋은 생각인 버전의 경계를 추가해 보겠습니다.

@MichaelChirico 귀하의 그래프는 매우 멋져 보입니다. 누락된 것은 이에 대한 해석이었습니다. :) 추측하여 새로운 병렬 포더는 길이 100의 입력에 대해 이전보다 느립니다. 아직 마이크로초이기 때문에 어느 IMO가 좋습니다. 물론 오버헤드를 줄이는 것은 가치가 있지만 가장 일반적인 사용 시나리오에서 우선 순위는 리소스를 줄이는 것이어야 합니다. 길이 100 입력에 대해 10000번 반복하는 것은 확실히 그 중 하나가 아닙니다.

그것은 1.12.0 NEWS를 보고 나도 추측했다. 단일 스레드를 다시 실행하려고 합니다.

@jangorecki , 간단한 수학을 수행하면 수천 마이크로초, 즉 밀리초입니다.
이 테스트의 영감은 40,000행이 있는 7-8배 테이블을 조인하는 현재 프로젝트였습니다.
18초가 걸리기 전, 40초 후에
내 테스트에는 문자 키도 포함되어 있습니다.
3.6+1.12를 설치한 다음 3.4+1.10으로 롤백했습니다.
나는 이것이 정상적인 상황이 아니라고 생각하여이 문제가 여기에 있습니다.

네, 그래프는 정말 굉장합니다. 우리는 이것을 더 많이 하고 자동화해야 합니다.

그러나 원래 보고서는 R 3.4와 R 3.6을 비교했는데 R 3.5가 중간에 있습니다. 우리는 R 3.5가 ALTREP의 REAL(), INTEGER() 매크로에서 (약간 더 무거운) 함수로 변경을 통해 data.table에 영향을 미쳤다는 것을 알고 있습니다.

@vk111 지금 CRAN에서 v1.12.4로 테스트를 다시 실행해 주시겠습니까? 더 나은? 우리는 R 3.5+에 대처하기 위해 루프 외부에서 R API를 가져왔습니다. 다음 단계로 v1.12.4를 찾는 방법을 아는 것이 좋습니다. 당신은 또한 당신의 기계에 대한 더 많은 정보를 포함할 수 있습니까? 예: 운영 체제, RAM 및 CPU 수.

@matt 할거야

안녕하세요 @mattdowle ,

Ive는 1.12.4(+R 3.6.1)로 업데이트했습니다. 기본적으로 단위 테스트와 내 기능에 대해 동일한 숫자가 있습니다.
여기서는 인덱싱 없이 문자가 있는 조인만 벤치마크로 고려할 것입니다.
단위 테스트(첫 번째 게시물에서 언급한 대로)
3.6.1: 인덱스 없이 6.87초
3.4.0: 3.02초(인덱스 없음)

프로젝트의 내 기능은 동일하게 유지됩니다: 20초 대 40초
~14개의 dt 조인으로만 구성됩니다.
2개의 테이블 30,000행(dt1) 및 366,000행(dt2)
각각 15열
키는 2개의 문자와 1개의 숫자입니다.
조인 중에 7개의 필드(dt1에서 dt2까지)를 할당했습니다.

내 PC:
승리 10 64비트
AMD A8 2.2GHz
8GB RAM

cmd: wmic cpu get NumberOfCores, NumberOfLogicalProcessors/ 형식: 목록
코어 수=4
NumberOfLogicalProcessors=4

분석해주셔서 감사합니다

안녕 @mattdowle 그래서 당신은 이것을 고려하고 있습니까?

방금 다시 실행한 git bisect 에 따르면 이 커밋은 속도 저하에 대한 "유죄"이며 Matt가 루트를 파악하는 데 도움이 될 수 있기를 바랍니다. forder 와 관련되어 있다는 사실은 우리가 그것을 올바르게 고정시켰다는 것을 상대적으로 확신하게 합니다.

https://github.com/Rdatatable/data.table/commit/e59ba149f21bb35098ed0b527505d5ed6c5cb0db

더 정확하게:

# run_join_time.sh
R CMD INSTALL . && Rscript time_join.R

# time_join.R
library(data.table)
library(microbenchmark)

aa = data.table(a = seq(1,100), b = rep(0, 100))
bb = data.table(a = seq(1,100), b = rep(1, 100))

summary(microbenchmark(times = 1000L, aa[bb, b := i.b, on=.(a)])$time/1e6)

master/HEAD 에서 다음 두 스크립트를 사용합니다.

git checkout 1.12.0
git bisect start
git bisect bad
git bisect good 1.11.8

그런 다음 각 반복에서 sh run_join_time.sh 를 실행하고 결과를 확인합니다. bad 커밋은 내 컴퓨터에서 반복당 대략 .9초가 걸렸고 good 커밋은 약 0.7초였습니다.

안녕하세요 Michael, 감사합니다. 하지만 특히 성능이 크게 떨어졌습니다.
첫 번째 게시물에서 단위 테스트와 함께 제공된 문자 키에 대해
어쨌든 문제가 해결되었는지 Matt의 확인을 기다려야 한다고 생각합니다.
새 버전이든 아니든

2019년 12월 26일 목요일 15:02, Michael Chirico [email protected]
썼다:

방금 다시 실행한 git bisect에 따르면 이 커밋은
천천히, 잘하면 Matt가 루트를 고정하는 데 도움이 될 수 있습니다. 그것은
forder와 관련된 것은 우리가 그것을 고정시켰다는 것을 상대적으로 확신하게 만듭니다.
바르게.

e59ba14
https://github.com/Rdatatable/data.table/commit/e59ba149f21bb35098ed0b527505d5ed6c5cb0db

더 정확하게:

run_join_time.sh

R CMD 설치 . && R스크립트 time_join.R

time_join.R

라이브러리(data.table)
라이브러리(마이크로벤치마크)

aa = data.table(a = seq(1,100), b = rep(0, 100))
bb = data.table(a = seq(1,100), b = rep(1, 100))

summary(microbenchmark(times = 1000L, aa[bb, b := ib, on=.(a)])$time/1e6)

마스터/HEAD에서 다음 두 스크립트를 사용합니다.

자식 체크 아웃 1.12.0
자식 이등분 시작
자식 이등분 나쁜
자식 이등분 좋은 1.11.8

그런 다음 각 반복에서 sh run_join_time.sh를 실행하고 결과를 확인합니다. 그만큼
나쁜 커밋은 내 컴퓨터에서 반복당 대략 0.9초가 걸렸습니다.
좋은 커밋 약 .7.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/Rdatatable/data.table/issues/3928?email_source=notifications&email_token=ABRM7MJQITNUZDNYV7NTIX3Q2S2ORA5CNFSM4I4ZPREKYY6HTRKY6EPNVWWK3TUL52HS4DFVREXG43VMVBW63
또는 구독 취소
https://github.com/notifications/unsubscribe-auth/ABRM7MOTZRFFM2QKVFUHT6LQ2S2ORANCNFSM4I4ZPREA
.

>

친애하는,
바실리 쿠즈네초프

@vk111 이 문제가 해결되지 않은 경우 문제가 아직 해결되지 않았다고 안전하게 가정할 수 있습니다. 우리는 무언가를 고칠 때마다 관련 문제를 닫습니다.

@vk111 setindex setkey 를 사용하여 약간의 조정으로 완화할 수 있습니다. 이렇게 하면 내 컴퓨터에서 테스트가 절반 이상 줄어듭니다.

aa = data.table(a = seq(1,100), b = rep(0, 100))
bb = data.table(a = seq(1,100), b = rep(1, 100))

aa[,  a1 := as.character(a)]
bb[,  a1 := as.character(a)]

tic()
for(i in c(1:1000)) {
  aa[bb, b := i.b, on=.(a, a1)] # test1 without key
}
toc()
## 4 sec elapsed

tic()
setkey(aa, a, a1)
setkey(bb, a, a1)

for(i in c(1:1000)) {
  aa[bb, b := i.b] # test2 without key
}
toc()
## 1.46 sec elapsed

library(microbenchmark)
library(data.table)

aa = data.table(a = seq(1,100), b = rep(0, 100))
bb = data.table(a = seq(1,100), b = rep(1, 100))

aa[,  a1 := as.character(a)]
bb[,  a1 := as.character(a)]

aa_nokey = copy(aa)
bb_nokey = copy(bb)

tic()
aa_int_key = setkey(copy(aa), a)
bb_int_key = setkey(copy(bb), a)
toc()

tic()
aa_int_char = setkey(copy(aa), a, a1)
bb_int_char = setkey(copy(bb), a, a1)
toc()
int_nokey = function(dt1, dt2){
  dt1[dt2, b := i.b, on=.(a)]
}

int_key = function(dt1, dt2){
  dt1[dt2, b := i.b]
}

int_char_nokey = function(dt1, dt2){
  dt1[dt2, b := i.b, on=.(a, a1)]
}

int_char_key = function(dt1, dt2){
  dt1[dt2, b := i.b]
}

int_char_key_on = function(dt1, dt2){
  dt1[dt2, b := i.b, on=.(a, a1)]
}

boxplot(
  microbenchmark(
    a_no_key = int_nokey(aa, bb),
    a_key = int_key(aa_int_key, bb_int_key),
    a_a1_no_key = int_char_nokey(aa, bb),
    a_a1_key = int_char_key(aa_int_char, bb_int_char),
    a_a1_key_on = int_char_key_on(aa_int_char, bb_int_char)
  )
)

안녕하세요 Cole, 예, setkey에 대해 알고 있습니다. 위에서 간단한 설명을 제공했습니다.
내 프로젝트에 1000개 조인의 목적이 없습니다. 10-20개 정도 있습니다.
조인하고 문제는 내 문자열이 매우 동적이고
20번 setkey와 20번처럼 조인하기 전에 매번 setkey를 만들어야 합니다.
시간이 결합하므로 시간의 이득은 2배 미만입니다.
이 상황에 대한 일반적인 해결 방법으로 잠시 동안 3.4.0을 사용합니다.
특히 다음과 같은 경우 새 버전에서 수정하는 것이 큰 문제는 아닐 것입니다.
유죄 커밋이 발견되었습니다
그런데 사과와 사과를 비교하면 3.4(1.10)가 될 것이라고 생각합니다.
setkey와 동일한 단위 테스트를 사용하는 경우 3.6(1.12)보다 여전히 빠릅니다.
두 버전 모두
즐거운 휴일 보내세요

2019년 12월 29일 일요일 14:48 Cole Miller, [email protected] 쓴:

@vk111 https://github.com/vk111 일부로 완화할 수 있습니다.
setindex 대신 setkey를 사용하여 약간의 조정. 이렇게 하면 테스트가 줄어듭니다.
내 컴퓨터의 절반 이상:

aa = data.table(a = seq(1,100), b = rep(0, 100))
bb = data.table(a = seq(1,100), b = rep(1, 100))

aa[, a1 := as.character(a)]
bb[, a1 := as.character(a)]

안면 경련()
for(i in c(1:1000)) {
aa[bb, b := ib, on=.(a, a1)] # 키가 없는 test1
}
목차()

4초 경과

안면 경련()
세트키(aa, a, a1)
세트키(bb, a, a1)

for(i in c(1:1000)) {
aa[bb, b := ib] # 키가 없는 test2
}
목차()

1.46초 경과

[이미지: 이미지]
https://user-images.githubusercontent.com/57992489/71557665-126d7880-2a17-11ea-8664-21a10deb47ca.png

라이브러리(마이크로벤치마크)
라이브러리(data.table)

aa = data.table(a = seq(1,100), b = rep(0, 100))
bb = data.table(a = seq(1,100), b = rep(1, 100))

aa[, a1 := as.character(a)]
bb[, a1 := as.character(a)]

aa_nokey = 복사(aa)
bb_nokey = 복사(bb)

안면 경련()
aa_int_key = setkey(복사(aa), a)
bb_int_key = setkey(복사(bb), a)
목차()

안면 경련()
aa_int_char = setkey(복사(aa), a, a1)
bb_int_char = setkey(복사(bb), a, a1)
목차()
int_nokey = 함수(dt1, dt2){
dt1[dt2, b := ib, on=.(a)]
}

int_key = 함수(dt1, dt2){
dt1[dt2, b := ib]
}

int_char_nokey = 함수(dt1, dt2){
dt1[dt2, b := ib, on=.(a, a1)]
}

int_char_key = 함수(dt1, dt2){
dt1[dt2, b := ib]
}

int_char_key_on = 함수(dt1, dt2){
dt1[dt2, b := ib, on=.(a, a1)]
}

상자 그림(
마이크로 벤치마크(
a_no_key = int_nokey(aa, bb),
a_key = int_key(aa_int_key, bb_int_key),
a_a1_no_key = int_char_nokey(aa, bb),
a_a1_key = int_char_key(aa_int_char, bb_int_char),
a_a1_key_on = int_char_key_on(aa_int_char, bb_int_char)
)
)

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/Rdatatable/data.table/issues/3928?email_source=notifications&email_token=ABRM7MPU64YBK7UNT3O3OYDQ3CTBRA5CNFSM4I4ZPREKYY3PNVWWK3TUL52HS4DFVEXG43VMVBW
또는 구독 취소
https://github.com/notifications/unsubscribe-auth/ABRM7MKSP6LCUJD2HOAG7D3Q3CTBRANCNFSM4I4ZPREA
.

관련하여 보류 중인 PR #4370이 있습니다. [ 가 일반적으로 부과하는 더 적은 오버헤드로 조인을 만들 수 있습니다. 예제의 타이밍을 2배로 줄입니다. 데이터가 클수록 개선 사항은 작아지지만 반대로 반복이 많을수록 개선 사항이 더 좋습니다. 조인 중에는 열을 업데이트할 수 있는 방법이 없습니다. 기본적으로 조인 중에 열을 추가한 다음 fcoalesce 와 같은 것을 사용해야 하지만 성능이 좋아야 합니다.
#4386도 병합되면 속도가 좀 더 빨라질 것입니다.

library(data.table)
aa = data.table(a = seq(1,100), b = rep(0, 100))
bb = data.table(a = seq(1,100), b = rep(1, 100))
setindex(aa, a)
setindex(bb, a)
p = proc.time()[[3L]]
for (i in c(1:1000)) {
  aa[bb, b := i.b, on=.(a)]
}
proc.time()[[3L]]-p
#[1] 1.1

병합자 #4370

library(data.table)
aa = data.table(a = seq(1,100), b = rep(0, 100))
bb = data.table(a = seq(1,100), b = rep(1, 100))
setindex(aa, a)
setindex(bb, a)
p = proc.time()[[3L]]
for (i in c(1:1000)) {
  mergelist(list(aa, bb), on="a")
}
proc.time()[[3L]]-p
#[1] 0.696

안녕 Jan, 알았어 고마워

데이터가 클수록 개선은 작지만 반면에
더 많은 반복, 더 나은 개선
실제 문제는 빅 데이터 및 몇 가지 반복과 관련이 있습니다.
~ 위에

2020년 5월 4일 월요일, 00:33 Jan Gorecki, [email protected] 쓴:

보류 중인 PR #4370이 있습니다.
https://github.com/Rdatatable/data.table/pull/4370 관련되어 있습니다. 그것
일반적으로 부과하는 더 적은 오버헤드로 조인을 만들 수 있습니다. 그것은 감소
2의 요소로 예제의 타이밍. 데이터가 클수록 작아집니다.
개선되지만 반면에 반복이 많을수록 더 좋습니다.
개선. 조인 중에는 열을 업데이트할 수 있는 방법이 없습니다. 너
기본적으로 조인 중에 열을 추가한 다음 다음과 같은 것을 사용해야 합니다.
fcoalesce지만 성능이 좋아야 합니다.
한 번 더 속도를 올려야 합니다. #4386
https://github.com/Rdatatable/data.table/pull/4386 도 병합됩니다.

라이브러리(data.table)aa = data.table(a = seq(1,100), b = rep(0, 100))bb = data.table(a = seq(1,100), b = rep(1, 100))
세트 인덱스(aa, a)
setindex(bb, a)p = proc.time()[[3L]]for (i in c(1:1000)) {
aa[bb, b := ib, on=.(a)]
}
proc.time()[[3L]]-p#[1] 1.1

병합 목록 #4370 https://github.com/Rdatatable/data.table/pull/4370

라이브러리(data.table)aa = data.table(a = seq(1,100), b = rep(0, 100))bb = data.table(a = seq(1,100), b = rep(1, 100))
세트 인덱스(aa, a)
setindex(bb, a)p = proc.time()[[3L]]for (i in c(1:1000)) {
병합 목록(목록(aa, bb), on="a")
}
proc.time()[[3L]]-p#[1] 0.696

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/Rdatatable/data.table/issues/3928#issuecomment-623193573 ,
또는 구독 취소
https://github.com/notifications/unsubscribe-auth/ABRM7MJR5THRHE3FIXXV3YTRPXWNNANCNFSM4I4ZPREA
.

#4440(어제 병합됨)이 이 문제를 해결하는지 확인했지만 해결되지 않은 것 같습니다. 내가 여기에 오는 타이밍은 @vk111 이 보고한 타이밍과 상당히 다르지만 최신 개발 버전을 테스트할 수 있다면 도움이 될 워크플로에 어떤 차이가 있는지 확인하십시오.
Windows를 사용 중이므로 결국 #4558에 도움이 될 수 있는 또 다른 보류 중인 PR이 있습니다.

이것은 각 환경에서 실행하는 공통 스크립트입니다.

library(data.table)
setDTthreads(2) ## vk111 has 4 cores
aa = data.table(a = seq(1,100), b = rep(0, 100))[,  a1 := as.character(a)]
bb = data.table(a = seq(1,100), b = rep(1, 100))[,  a1 := as.character(a)]
setindex(aa, a); setindex(bb, a)
cat("test1\n")
system.time({
for(i in c(1:1000)) {
  aa[bb, b := i.b, on=.(a, a1)] # test1
}})
cat("test2\n")
system.time({
for(i in c(1:1000)) {
  aa[bb, b := i.b, on=.(a)] # test2
}})

다음은 환경입니다.

docker run -it --rm r-base:3.4.0
install.packages("https://cran.r-project.org/src/contrib/Archive/data.table/data.table_1.10.4-3.tar.gz", repos=NULL)
test1
   user  system elapsed 
  0.949   0.007   0.957 
test2
   user  system elapsed 
  0.864   0.000   0.864 

docker run -it --rm r-base:3.6.1
install.packages("https://cran.r-project.org/src/contrib/Archive/data.table/data.table_1.12.2.tar.gz", repos=NULL)
test1
   user  system elapsed 
  2.598   0.047   1.350 
test2
   user  system elapsed 
  2.092   0.016   1.062 



md5-e82041eef8382e88332d077bb608b87c



docker run -it --rm r-base:3.6.1
install.packages("data.table", repos="https://Rdatatable.gitlab.io/data.table")
test1
   user  system elapsed 
  1.174   0.045   1.219 
test2
   user  system elapsed 
  0.981   0.024   1.004 

안녕하세요, 저는 Windows에 있습니다.

2020년 6월 26일 금요일 13:19 Jan Gorecki, 알림 @github.com이 작성했습니다.

#4440 https://github.com/Rdatatable/data.table/pull/4440 인지 확인했습니다.
이 문제를 해결했지만 해결되지 않은 것 같습니다. 비록 내가 얻는 타이밍
@vk111이 보고한 타이밍과 상당히 다릅니다.
https://github.com/vk111 , 그래서 최근 개발을 테스트할 수 있다면
버전을 확인하고 워크플로에 어떤 차이가 있는지 확인합니다.
도움이되는.
이것은 각 환경에서 실행하는 공통 스크립트입니다.

라이브러리(data.table)
setDTthreads(2) ## vk111에는 4개의 코어가 있습니다.saa = data.table(a = seq(1,100), b = rep(0, 100))[, a1 := as.character(a)]bb = data.table(a = seq(1,100), b = rep(1, 100))[, a1 := as.character(a)]
세트 인덱스(aa, a); 세트 인덱스(bb, a)
고양이("test1n")
system.time({for(i in c(1:1000)) {
aa[bb, b := ib, on=.(a, a1)] # test1
}})
고양이("test2n")
system.time({for(i in c(1:1000)) {
aa[bb, b := ib, on=.(a)] # test2
}})

다음은 환경입니다.

도커 실행 -it --rm r- base:3.4.0
install.packages("https://cran.r-project.org/src/contrib/Archive/data.table/data.table_1.10.4-3.tar.gz", repos=NULL)
테스트1
사용자 시스템 경과
0.949 0.007 0.957
테스트2
사용자 시스템 경과
0.864 0.000 0.864

도커 실행 -it --rm r- 베이스:3.6.1
install.packages("https://cran.r-project.org/src/contrib/Archive/data.table/data.table_1.12.2.tar.gz", repos=NULL)
테스트1
사용자 시스템 경과
2.598 0.047 1.350
테스트2
사용자 시스템 경과
2.092 0.016 1.062

도커 실행 -it --rm r- 베이스:3.6.1
install.packages("data.table", repos="https://Rdatatable.gitlab.io/data.table")
테스트1
사용자 시스템 경과
1.174 0.045 1.219
테스트2
사용자 시스템 경과
0.981 0.024 1.004

Windows를 사용 중이므로 결국에는 보류 중인 또 다른 PR이 있습니다.
도움말 #4558 https://github.com/Rdatatable/data.table/pull/4558 .

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/Rdatatable/data.table/issues/3928#issuecomment-650126662 ,
또는 구독 취소
https://github.com/notifications/unsubscribe-auth/ABRM7MJLU3XRN5YN37ZVLALRYR727ANCNFSM4I4ZPREA
.

@vk111 예, 정확히 제가 질문한 내용입니다. Windows 시스템에서 해당 3개의 구성을 확인하고 진행 상황이 있는지 확인할 수 있다면.

그러나 Windows용 pr이 아직 병합되지 않은 것으로 알고 있습니다.

2020년 6월 26일 금요일 20:07 Jan Gorecki, 알림 @github.com 작성:

@vk111 https://github.com/vk111 예, 정확히 제가 질문한 내용입니다.
Windows 시스템에서 해당 3개의 구성을 확인할 수 있다면
당신을 위한 진전이 있다면.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/Rdatatable/data.table/issues/3928#issuecomment-650320224 ,
또는 구독 취소
https://github.com/notifications/unsubscribe-auth/ABRM7MMDOCNAWARCCDRSU23RYTPVFANCNFSM4I4ZPREA
.

4440은 이미 병합되어 모든 OS에 도움이 됩니다. #4558은 아직 병합 대기 중입니다.

@vk111 #4558도 이미 병합되었습니다.

안녕하세요 Jan, 최근에 조언을 받았습니다 - #4419
내 문제와 관련된 https://github.com/Rdatatable/data.table/issues/4419
그래서 나는 문자가 결합 된이 정확한 코드를 가지고 있지 않습니다.
하지만 어쨌든 이 개선 사항에 대해 감사드립니다. 많은 도움이 될 것이라고 확신합니다.
미래의 사람들은 그것이 더 나은 성능을 가지고 있다고 믿는다면 나보다
그냥 병합해야 할 것 같아요
감사합니다

пт, 26 июн. 2020년 в 20:29, 얀 고레키 알림 @github.com :

4440 https://github.com/Rdatatable/data.table/pull/4440 은 이미

모든 OS에 대한 병합 및 도움말. #4558
https://github.com/Rdatatable/data.table/pull/4558 은 아직 보류 중입니다.
병합.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/Rdatatable/data.table/issues/3928#issuecomment-650330154 ,
또는 구독 취소
https://github.com/notifications/unsubscribe-auth/ABRM7MIN2P7BXMKG74Z7EKTRYTSIJANCNFSM4I4ZPREA
.

--
친애하는,
바실리 쿠즈네초프

@vk111 언급한 PR은 이미 병합되었습니다. 문제는 이 문제가 해결되었거나 최소한 개선되었는지 여부를 아는 것입니다. 병합된 PR은 이 문제를 해결하려고 시도하지 않았지만 관련이 있으므로 도움이 될 수 있습니다.

처음에 보고된 최소한의 예가 문제를 제대로 드러내지 않았습니다. @vk111 https://github.com/Rdatatable/data.table/issues/3928#issuecomment -538681316을 기반으로 여기에 문제가 있음을 분명히 보여주는 예제를 구성했습니다.

install.packages("https://cran.r-project.org/src/contrib/Archive/data.table/data.table_1.10.4-3.tar.gz", repos=NULL)
install.packages("https://cran.r-project.org/src/contrib/Archive/data.table/data.table_1.12.2.tar.gz", repos=NULL)
install.packages("data.table", repos="https://Rdatatable.gitlab.io/data.table")

library(data.table)
setDTthreads(2L)
set.seed(108)
n2 = 1:366000
n1 = sample(n2, 30000)
d1=data.table(id1=paste0("id",sample(n1)), id2=paste0("id",sample(n1)), v1=n1)
d2=data.table(id1=paste0("id",sample(n2)), id2=paste0("id",sample(n2)), v2=n2)
system.time(d2[d1, v1 := i.v1, on=c("id1","id2")])



md5-e82041eef8382e88332d077bb608b87c



# 3.4.0: 1.10.4-3
   user  system elapsed 
  0.144   0.000   0.144 
# 3.4.0: 1.12.2
   user  system elapsed 
  0.611   0.003   0.451 
# 3.4.0: 1.12.9
   user  system elapsed 
  0.611   0.000   0.452 



md5-e82041eef8382e88332d077bb608b87c



# 4.0.0: 1.10.4-3
   user  system elapsed 
  0.203   0.008   0.211 
# 4.0.0: 1.12.9
   user  system elapsed 
  0.812   0.004   0.644 

verbose는 bmerge forderv 에 대한 호출인 Calculated ad hoc index in 0.611s elapsed (0.769s cpu) 에 대부분의 시간을 소비했음을 보여줍니다.

예, 정확히
그런데 이 테스트에서 개선이 없는 것 같습니까?

2020년 6월 30일 화요일 00:45 Jan Gorecki, 알림 @github.com 작성:

처음에 보고된 최소한의 예제가 제대로 노출되지 않는 경우가 발생합니다.
문제. @vk111 https://github.com/vk111 #3928(댓글) 기준
https://github.com/Rdatatable/data.table/issues/3928#issuecomment-538681316
여기에 문제가 있음을 분명히 보여주는 예를 구성했습니다.

라이브러리(data.table)
setDTthreads(2L)
set.seed(108)n2 = 1:366000n1 = sample(n2, 30000)d1=data.table(id1=paste0("id",sample(n1)), id2=paste0("id",sample(n1)) ), v1=n1)d2=data.table(id1=paste0("id",sample(n2)), id2=paste0("id",sample(n2)), v2=n2)
system.time(d2[d1, v1 := i.v1, on=c("id1","id2")])

3.4.0: 1.10.4-3

사용자 시스템 경과
0.144 0.000 0.144

3.4.0: 1.12.2

사용자 시스템 경과
0.611 0.003 0.451

3.4.0: 1.12.9

사용자 시스템 경과
0.611 0.000 0.452

4.0.0: 1.12.9

사용자 시스템 경과
0.812 0.004 0.644

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/Rdatatable/data.table/issues/3928#issuecomment-651408089 ,
또는 구독 취소
https://github.com/notifications/unsubscribe-auth/ABRM7MPQHSOEGLXS625BU3TRZEKSBANCNFSM4I4ZPREA
.

개선되지 않았으며 여전히 문제입니다.
파기 후 병목 현상이 발견되었습니다.
https://github.com/Rdatatable/data.table/blob/ba32f3cba38ec270587e395f6e6c26a80be36be6/src/forder.c#L282
더 나아가...
이 루프는 60%를 담당합니다.
https://github.com/Rdatatable/data.table/blob/ba32f3cba38ec270587e395f6e6c26a80be36be6/src/forder.c#L242 -L245
그리고 30%
https://github.com/Rdatatable/data.table/blob/ba32f3cba38ec270587e395f6e6c26a80be36be6/src/forder.c#L252 -L258

R 내부(함수가 아닌 매크로 CHAR() )를 사용하는 것이 도움이 되는지 확인하려고 시도했지만 도움이 되지 않습니다.

훨씬 더 최소한의 예, forderv 타이밍만, R 4.0에서만

install.packages("https://cran.r-project.org/src/contrib/Archive/data.table/data.table_1.10.4-3.tar.gz", repos=NULL)
library(data.table)
setDTthreads(1L)
set.seed(108)
n2 = 1:366000
d2=data.table(id1=paste0("id",sample(n2)), id2=paste0("id",sample(n2)), v2=n2)
system.time(data.table:::forderv(d2, c("id1","id2")))

install.packages("data.table", repos="https://Rdatatable.gitlab.io/data.table")
library(data.table)
setDTthreads(1L)
set.seed(108)
n2 = 1:366000
d2=data.table(id1=paste0("id",sample(n2)), id2=paste0("id",sample(n2)), v2=n2)
system.time(data.table:::forderv(d2, c("id1","id2")))



md5-e82041eef8382e88332d077bb608b87c



# 4.0.2: 1.10.4-3
   user  system elapsed 
  0.198   0.000   0.198 
# 4.0.2: 1.12.9
   user  system elapsed 
  0.393   0.000   0.392 

여기에서 R 내부(함수가 아닌 매크로인 CHAR())를 사용하는 것이 도움이 되는지 확인하려고 시도했지만 도움이 되지 않습니다.

R이 더 이상 그렇게하지 않기 때문입니다. USE_RINTERNALS를 사용하면 INTEGER, REAL 및 CHAR도 여전히 인라인 함수라고 가정합니다. 다시 말해서, ALTREP를 허용하기 위해 최신 버전의 R에서 USE_RINTERNALS의 이점(즉, 기능 대신 매크로)이 제거되었습니다. 나는 그것이 매크로인지, 함수인지, 인라인 함수인지 그 자체로 차이를 만든다고 생각하지 않습니다. 작업 단위 내에서 R이 수행하는 작업입니다. 예전에는 USE_RINTERNALS가 이를 매크로로 만들고 직접적인 메모리 조회(벡터의 헤더를 고려한 배열 역참조)였기 때문에 속도가 더 빨랐습니다. 그것은 매우 가벼운 작업 단위였습니다. 요즘 R에는 ALTREP를 검사할 분기가 하나 이상 있으며 분기 예측을 사용하더라도 추가 작업이 추가되거나 프리페치를 방지합니다. 다시 말해, R은 이제 이러한 인라인 함수 내부에 코드가 조금 더 많습니다. 나는 벤치마크 증거가 없고 단지 그것을 보는 것에 기초한 이론일 뿐입니다.

근본 원인은 cradix_r 에서 다음 분기를 제거하는 것일 수 있습니다.
https://github.com/Rdatatable/data.table/blob/76bb569fd7736b5f89471a35357e6a971ae1d424/src/forder.c#L780 -L783
이제 길이 2의 입력에는 단락이 없습니다.
기능이 작동 방식 측면에서 많이 변경되었기 때문에 지금 해당 분기를 배치하는 방법이 명확하지 않습니다.