Xgboost: python xgboost의 높은 메모리 소비

@pplonski 히스토그램 알고리즘에 대한 복사를 제거하려고 합니다. 진행중인 작업입니다. GPU의 경우 대부분 완료됩니다. https://github.com/dmlc/xgboost/pull/5420 https://github.com/dmlc/xgboost/pull/5465

CPU는 아직 할 일이 더 있습니다.

@pplonski , 우리는 이 PR https://github.com/dmlc/xgboost/pull/5334 에서도 CPU의 메모리 소비를 줄이는 것을 구현했지만 'hist' 방법에만 해당합니다. 지금은 마스터에 포함되어 있지만 향후 릴리스의 일부가 되기를 바랍니다.

메모리, Kb | 항공사 | 힉스1m |
-- | -- | -- |
이전 | 28311860 | 1907812 |
https://github.com/dmlc/xgboost/pull/5334 | 16218404 | 1155156 |
감소: | 1.75 | 1.65 |

@trivialfis 에 동의하십시오. 이 지역에는 할 일이 많습니다.

안녕하세요, 저는 최근에 xgboost와 유사한 높은 메모리 문제에 직면했습니다. 나는 훈련을 위해 'gpu_hist'를 사용하고 있습니다.

train() 메서드가 실행될 때 큰 시스템 메모리 스파이크가 발생하여 jupyter 커널이 충돌하는 것을 확인했습니다.

1. Xgboost가 시스템 RAM에 내 데이터의 복사본을 만들고 있다고 말하는 것이 맞습니까('gpu_hist'를 사용하는 경우에도)?
2. xgboost가 전체 훈련 데이터를 GPU에 로드한다고 가정했습니다. 그것도 잘못된건가요?