Scikit-learn: GridSearchCV.fit(...,n_job=-1) 병렬 처리에 버그가 포함될 수 있습니다.

버그를 제출하기 전에 과거 문제를 검색하여 문제가 이미 해결되지 않았는지 확인하십시오.

버그 설명

호출 GridSearchCV.fit() 가진 n_jobs=-1 예외 ': [errno를 22] 잘못된 인수 OSError'를 발생시킵니다.
호출 GridSearchCV.fit() 와 n_jobs=None 완벽하게 작동

n_jobs=None 의 경우 출력은 n_jobs=1을 해결하는 것으로 표시됩니다(내 다른 프로그램에서는 GridSearchCV를 성공적으로 실행하면 동일한 시스템에서 n_jobs=6이 해결되지만 이는 큰 문제가 아닐 수 있습니다. 참고로).

아래 역추적에서 볼 수 있듯이 문제는 (1) lib\site-packages\joblib\parallel.py 또는 _parallel_backends.py 또는 (2) lib\concurrent\futures_base.py에 있을 수 있습니다.

재현할 단계/코드

search = GridSearchCV(RandomForestClassifier(), param_grid, cv=3, n_jobs=-1, return_train_score=True, verbose=2)
search.fit(feature_matrix, labels)

예상 결과

오류가 발생하지 않습니다.

실제 결과

OSError: [Errno 22] 잘못된 인수

자세한 트랙백은 아래와 같습니다.

_RemoteTraceback Traceback(가장 최근 호출 마지막)
_원격추적:
""
역추적(가장 최근 호출 마지막):
파일 "C:Users\tlbh9\Anaconda3\lib\site-packages\joblib\externals\loky\process_executor.py", 431행, _process_worker
r = call_item()
파일 "C:Users\tlbh9\Anaconda3\lib\site-packages\joblib\externals\loky\process_executor.py", 라인 285, __call__
return self.fn( self.args, * self.kwargs)
파일 "C:Users\tlbh9\Anaconda3\lib\site-packages\joblib_parallel_backends.py", 라인 595, __call__
반환 self.func( args, * kwargs)
파일 "C:Users\tlbh9\Anaconda3\lib\site-packages\joblib\parallel.py", 라인 252, __call__
반환 [func( args, * kwargs)
파일 "C:Users\tlbh9\Anaconda3\lib\site-packages\joblib\parallel.py", 라인 252,
반환 [func( args, * kwargs)
파일 "C:Users\tlbh9\Anaconda3\lib\site-packages\sklearn\model_selection_validation.py", 505행, _fit_and_score
print("[CV] %s %s" % (msg, (64 - len(msg)) * '.'))
OSError: [Errno 22] 잘못된 인수
""

위의 예외는 다음 예외의 직접적인 원인이었습니다.

OSError 추적(가장 최근 호출 마지막)
~에
.......
212 검색 = GridSearchCV(RandomForestClassifier(), param_grid, cv=3, n_jobs=-1, return_train_score=True, 자세한 정보=2)
--> 213 search.fit(feature_matrix, 레이블)
.......

inner_f(*args, kwargs)의 ~\Anaconda3\lib\site-packages\sklearn\utils\validation.py71 미래경고)72 kwargs.update({k: k의 경우 인수, zip의 인수(sig.parameters, args)})---> 73 반환 f( kwargs)
74화
75

~\Anaconda3\lib\site-packages\sklearn\model_selection_search.py ​​in fit(self, X, y, groups, **fit_params)
734 반환 결과
735
--> 736 self._run_search(evaluate_candidates)
737
738 # 다중 메트릭 평가를 위해 best_index_, best_params_ 및

~\Anaconda3\lib\site-packages\sklearn\model_selection_search.py ​​_run_search(자체, 평가 후보)
1186화
1187 """param_grid에서 모든 후보 검색"""
-> 1188 평가_후보(ParameterGrid(self.param_grid))
1189
1190

~\Anaconda3\lib\site-packages\sklearn\model_selection_search.py에 평가_candidates(candidate_params)
706 n_splits, n_candidates, n_candidates * n_splits))
707
--> 708 출력 = 병렬(지연(_fit_and_score)(복제(base_estimator),
709 X, Y,
710 기차=기차, 테스트=테스트,

~\Anaconda3\lib\site-packages\joblib\parallel.py in __call__ (자체, 반복 가능)
1040
1041 self._backend.retrieval_context() 사용:
-> 1042 self.retrieve()
1043 # 우리가 끝났다는 마지막 메시지를 받았는지 확인하십시오
1044화

검색(자체)의 ~\Anaconda3\lib\site-packages\joblib\parallel.py
919 시도:
920 if getattr(self._backend, 'supports_timeout', False):
--> 921
922 기타:
923

~\Anaconda3\lib\site-packages\joblib_parallel_backends.py in wrap_future_result(미래, 시간 초과)
540 AsyncResults.get 멀티프로세싱."""
541 시도:
--> 542 return future.result(timeout=timeout)
543 CfTimeoutError를 제외하고 e:
544 e에서 TimeoutError 발생

~\Anaconda3\lib\concurrent\futures_base.py in result(self, timeout)
430화
431화
--> 432 반환 self.__get_result()
433
434화

__get_result(self)의 ~\Anaconda3\lib\concurrent\futures_base.py
386화
387 if self._exception:
--> 388 자기 자신을 올립니다._예외
389 기타:
390 반환 self._result

OSError: [Errno 22] 잘못된 인수

버전

체계:
파이썬: 3.8.3(기본값, 2020년 7월 2일, 17:30:36) [MSC v.1916 64비트(AMD64)]
실행 파일: C:Users\tlbh9\Anaconda3\python.exe
기계: Windows-10-10.0.18362-SP0

파이썬 종속성:
핍: 20.1.1
설정 도구: 49.2.0.post20200714
스켈런: 0.23.1
숫자: 1.18.5
사이피: 1.5.0
사이썬: 0.29.21
팬더: 1.0.5
매트플롯립: 3.2.2
작업 라이브러리: 0.16.0
threadpoolctl: 2.1.0

OpenMP로 구축: True