Scikit-learn: GridSearchCV는 멀티 스레딩이 활성화 된 상태에서 무기한 정지됩니다 (예 : w / n_jobs! = 1).

해당 플랫폼에 지속적으로 문제가 있습니까 ??

멀티 스레딩과 관련하여 : 멀티 스레딩이 상당한 이득을 줄 가능성이있는 추정자가 있으며, 대부분의 작업이 GIL없이 numpy 또는 Cython 작업으로 수행되는 추정기가 있습니다. 정말, 나는 이것이 많이 평가되었다고 생각하지 않습니다. backend='threading' 은 꽤 최근의 것입니다.

진짜 질문은 문제가 무엇인지 확인하기 위해 무엇을 더 할 수 있는가입니다.

우선, 어떤 기본 견적을 고려 했습니까?

@jnothman 플랫폼별로 OSX 10.9.5입니까? 그렇다면 그 문제가 처음이 아닙니다.

이전에 생략 한 주요 세부 사항 중 하나는 문제가있을 때 항상 IPython 노트북을 사용한다는 것입니다. n_jobs! = 1로 "scoring"인수를 추가하면 GridSearchCV가 영원히 중단되지만 해당 인수를 제거하면 모두 괜찮습니다. 내가 제공하는 점수 매기기 함수가 상수 부동 값을 반환하는 것 외에는 작동하지 않더라도 여전히 멈 춥니 다 (하지만 n_jobs = 1로 예상하는 것과 정확히 일치 함).

Re : 듣기 좋은 스레딩이므로 GridSearchCV에 대한 해당 옵션이 실제로 의미가있을 수 있습니다.

내가 문제가있는 견적가에 관한 한 나는 그것을 많이 좁힐 수 있는지 확신하지 못합니다. 나는 일반적으로 여기에서 유용한 정보를 얻기 위해 내가 관리 할 수있는 한 많이 시도합니다. 나는 방금 위에서 언급 한 조건을 어떤 추정기로 재현 할 수 있는지 확인했으며 모든 경우에 가능하다는 것을 발견했습니다 (또는 적어도 시도했습니다 LogisticRegression, SGDClassifier, GBRT 및 RF).

이와 같은 멀티 스레딩 문제에 대해 일반적으로 어떤 컨텍스트가 가장 도움이되는지 잘 모르지만 계속 진행할 수있는 더 많은 것을 제공하기 위해 할 수있는 모든 작업을하고 싶습니다. 나에게 어떤 제안이 있습니까?

가속 프레임 워크에 대해 연결된 numpy를 사용합니까?

아니, 내가 뭔가 빠진 게 아니라면. 나는 당신이 그렇게 할 때 설치된 numpy 버전이 변경되거나 적어도 가속 패키지가 존재할 것이라고 생각했습니다.

(research3.4) eczech $ pip 동결 | grep numpy
numpy == 1.9.2
(research3.4) eczech $ conda 업데이트 가속화
오류 : '가속'패키지가 /Users/eczech/anaconda/envs/research3.4에 설치되지 않았습니다.

100 % 확신을 가지고 대답 할 수 없다는 나의 무지를 용서하십시오. 그러나 나는 확실히 그것을 설치하기 위해 의도적으로 아무것도하지 않았습니다.

conda 가속은 사과 가속과 동일하지 않습니다.
http://docs.continuum.io/accelerate/index
https://developer.apple.com/library/mac/documentation/Accelerate/Reference/AccelerateFWRef/

conda 가속은 패키지의 MKL 가속 버전이며, 사과 가속은 MKL의 대안입니다.

numpy.__config__.show() 을 주실 수 있습니까?

다중 처리는 가속 IIRC에서 작동하지 않습니다. 핑 @ogrisel

확실히:

np. config .show ()
atlas_3_10_blas_threads_info :
사용할 수 없습니다
atlas_info :
사용할 수 없습니다
atlas_3_10_info :
사용할 수 없습니다
atlas_threads_info :
사용할 수 없습니다
atlas_3_10_blas_info :
사용할 수 없습니다
blas_opt_info :
extra_compile_args = [ '-msse3', '-DAPPLE_ACCELERATE_SGEMV_PATCH', '-I / System / Library / Frameworks / vecLib.framework / Headers']
extra_link_args = [ '-Wl, -framework', '-Wl, Accelerate']
define_macros = [( 'NO_ATLAS_INFO', 3)]
lapack_mkl_info :
사용할 수 없습니다
atlas_blas_info :
사용할 수 없습니다
mkl_info :
사용할 수 없습니다
lapack_opt_info :
extra_compile_args = [ '-msse3', '-DAPPLE_ACCELERATE_SGEMV_PATCH']
extra_link_args = [ '-Wl, -framework', '-Wl, Accelerate']
define_macros = [( 'NO_ATLAS_INFO', 3)]
blas_mkl_info :
사용할 수 없습니다
atlas_3_10_threads_info :
사용할 수 없습니다
openblas_info :
사용할 수 없습니다
openblas_lapack_info :
사용할 수 없습니다
atlas_blas_threads_info :
사용할 수 없습니다

예, 문제 추적기에서 찾을 수없는 알려진 문제입니다. 가속은 다중 처리에서 작동하지 않습니다.

약간 혼란 스러워요. 스레딩 백엔드는 GIL이 릴리스 될 때만 작업을 수행합니다. 그렇죠?

Gotcha, 그럼 numpy를 어떻게 재 구축해야하는지 알아? conda 패키지를 사용하는 대신 pip를 설치해야합니까? 아니면 소스에서 빌드하고 애플 가속 인수가 없는지 확인하는 것이 더 나을까요?

이것이 문제의 시작이 아닌 것처럼 들립니다. 죽은 말을 치고 있다면 가까이 가십시오.

콘다 가속을 얻을 수 있다면 작동합니다.)

joblib 로 보석금을 낼 수 있을까요?

아 좋아요, 연속체는 그 하하를하기 위해 사과를 지불했을 것입니다.

$ 0 제안이 있습니까? 그리고 어느 쪽이든 통찰력에 감사드립니다.

아, 그리고 이것이 이전에 요청 된 적이 있다는 것을 알고 있지만, 사용자 지정 점수 기능을 사용할 때 현재 플랫폼에서만이 문제가 발생한다는 사실이 계속 될까요? 내 인생 동안 나는 grid_search.py ​​소스 코드가 주어지면 문제가 될 수있는 것이 무엇인지 알 수 없지만 사용자 정의 함수의 산세와 관련이있을 수 있습니까?

그리고 그것과는 다소 관련이없는, 나는 또한 이전에 IPython 병렬 백엔드를 사용하는 수정 된 버전의 GridSearchCV를 만들어서이 문제를 해결하려고 시도했음을 기억했습니다. 그래서 그 솔루션을 다시 방문했다고 가정하면 어떤 식 으로든 공유 할 가치가 있을까요? 이 솔루션은 잘 작동했지만 노트북 자체가 아닌 pythonpath에서 사용자 정의 클래스와 함수를 사용할 수 있어야했지만 다른 더 나은 옵션이 없다면 다리가있을 수 있기 때문에 사용하기가 약간 고통 스러웠습니다.

아틀라스에 연결할 수 있지만 속도가 느려질 것입니다.
아마도 OS X에 대한 무료 MKL 링크 numpy가 있습니까? 창문 용이 하나 있습니다.

[학술자인 경우 연속 가속은 무료입니다.]

나는 이것이 사용자 지정 점수 기능을 사용하는 것과 전혀 관련이 없다고 확신합니다.
사용자 지정 점수 기능으로 중단되지만 없이는없는 자체 포함 된 스니 플릿을 제공 할 수 있습니까?

커스텀 스코어링 기능의 사실이 관련이있을 수 있습니다 (예 : 피클 링 문제 또는 중첩 된 병렬 처리가 적절할 수 있음). 코드를 볼 수 있을까요?

아니면 make_scorer 있는 표준 메트릭을 의미합니까?

확실히, 여기 관련 부분이 있으며 make_scorer에서는 문제가 없지만 사용자 정의 함수에서는 문제가없는 것처럼 보입니다.

from sklearn.linear_model import LogisticRegression
from sklearn.grid_search import GridSearchCV
from sklearn.cross_validation import StratifiedKFold
from sklearn.metrics import average_precision_score, make_scorer
import functools

res = []
clfs = []

for response in responses:
    X, y = d_in[features], d_in[response]
    for i, (train, test) in enumerate(StratifiedKFold(y, 5)):
        X_train, y_train, X_test, y_test = X.iloc[train], y.iloc[train], X.iloc[test], y.iloc[test]
        clf = LogisticRegression(penalty='l1')
        grid = {
            'class_weight': [{0: 1, 1: 10}, {0: 1, 1: 100}, {0: 1, 1: 1000}],
            'C': np.logspace(-3, 0, num=4)
        }

        # Using make_scorer doesn't cause any issues
        # clf = GridSearchCV(clf, grid, cv=StratifiedKFold(y_train, 3),  
        #                    scoring=make_scorer(average_precision_score), n_jobs=-1)

        # This however is a problem:
        def avg_prec_score(estimator, X, y):
            return average_precision_score(y, estimator.predict_proba(X)[:, 1])
        clf = GridSearchCV(clf, grid, cv=StratifiedKFold(y_train, 5),  
                           scoring=avg_prec_score, n_jobs=-1)

        clf = clf.fit(X_train, y_train)
        print('Best parameters for response {} inferred in fold {}: {}'.format(response, i, clf.best_params_))

        y_pred = clf.predict(X_test)
        y_proba = clf.predict_proba(X_test)

        clfs.append((response, i, clf))
        res.append(pd.DataFrame({
            'y_pred': y_pred, 
            'y_actual': y_test, 
            'y_proba': y_proba[:,1],
            'response': np.repeat(response, len(y_pred))
        }))

res = functools.reduce(pd.DataFrame.append, res)
res.head()

필자는 사용중인 데이터의 일부 버전을 포함하는 자체 포함 버전으로 작업 할 것입니다 (하지만 시간이 더 오래 걸립니다). 하지만 그 동안 사용자 정의 함수의 피클 링은 좋은 리드처럼 들립니다. 확인하기 위해 여러 번 시도해 보았고 사용자 정의 함수에서는 100 %, make_scorer를 사용할 때는 0 %가 중단됩니다. 일부 알려진 가져온 메트릭 함수입니다.

그리고 그것은 main (즉, 해석되는 최상위 스크립트) 또는
가져온 모듈?

2015 년 8 월 15 일 23:37에 Eric Czech [email protected] 은 다음과 같이 썼습니다.

물론 여기에 관련 부분이 있으며 괜찮은 것 같습니다.
make_scorer를 사용하지만 사용자 정의 함수는 사용하지 않습니다.

from sklearn.linear_model import LogisticRegressionfrom sklearn.grid_search import GridSearchCV from sklearn.cross_validation import StratifiedKFoldfrom sklearn.metrics import average_precision_score, make_scorerimport functools

res = []
clfs = []
응답에 대한 응답 :
X, y = d_in [기능], d_in [응답]
i의 경우 (train, test) enumerate (StratifiedKFold (y, 5)) :
X_train, y_train, X_test, y_test = X.iloc [train], y.iloc [train], X.iloc [test], y.iloc [test]
clf = LogisticRegression (penalty = 'l1')
그리드 = {
'class_weight': [{0 : 1, 1 : 10}, {0 : 1, 1 : 100}, {0 : 1, 1 : 1000}],
'C': np.logspace (-3, 0, num = 4)
}

    # Using make_scorer doesn't cause any issues
    # clf = GridSearchCV(clf, grid, cv=StratifiedKFold(y_train, 3),
    #                    scoring=make_scorer(average_precision_score), n_jobs=-1)

    # This however is a problem:
    def avg_prec_score(estimator, X, y):
        return average_precision_score(y, estimator.predict_proba(X)[:, 1])
    clf = GridSearchCV(clf, grid, cv=StratifiedKFold(y_train, 5),
                       scoring=avg_prec_score, n_jobs=-1)

    clf = clf.fit(X_train, y_train)
    print('Best parameters for response {} inferred in fold {}: {}'.format(response, i, clf.best_params_))

    y_pred = clf.predict(X_test)
    y_proba = clf.predict_proba(X_test)

    clfs.append((response, i, clf))
    res.append(pd.DataFrame({
        'y_pred': y_pred,
        'y_actual': y_test,
        'y_proba': y_proba[:,1],
        'response': np.repeat(response, len(y_pred))
    }))

res = functools.reduce (pd.DataFrame.append, res)
res.head ()

일부 버전의 독립형 버전을 작업하겠습니다.
내가 사용하고있는 데이터 (하지만 시간이 더 오래 걸립니다). 그동안
이러한 사용자 지정 함수의 피클 링은 좋은 리드처럼 들립니다.
여러 번 다시 확인하고 사용자 정의로 100 % 매달립니다.
일부 알려진 것과 함께 make_scorer를 사용할 때의 0 %,
가져온 메트릭 기능.

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment -131376298
.

아, ipynb입니다. 흥미 롭군요. 예, 절임이 문제가 될 수 있습니다 ..?

2015 년 8 월 15 일 23:51, Joel Nothman joel. [email protected] 작성 :

그리고 그것이 메인 (즉, 해석되는 최상위 스크립트) 또는
가져온 모듈?

2015 년 8 월 15 일 23:37에 Eric Czech [email protected] 은 다음과 같이 썼습니다.

물론 여기에 관련 부분이 있으며 괜찮은 것 같습니다.
make_scorer를 사용하지만 사용자 정의 함수는 사용하지 않습니다.

from sklearn.linear_model import LogisticRegressionfrom sklearn.grid_search import GridSearchCV from sklearn.cross_validation import StratifiedKFoldfrom sklearn.metrics import average_precision_score, make_scorerimport functools

res = []
clfs = []
응답에 대한 응답 :
X, y = d_in [기능], d_in [응답]
i의 경우 (train, test) enumerate (StratifiedKFold (y, 5)) :
X_train, y_train, X_test, y_test = X.iloc [train], y.iloc [train], X.iloc [test], y.iloc [test]
clf = LogisticRegression (penalty = 'l1')
그리드 = {
'class_weight': [{0 : 1, 1 : 10}, {0 : 1, 1 : 100}, {0 : 1, 1 : 1000}],
'C': np.logspace (-3, 0, num = 4)
}

    # Using make_scorer doesn't cause any issues
    # clf = GridSearchCV(clf, grid, cv=StratifiedKFold(y_train, 3),
    #                    scoring=make_scorer(average_precision_score), n_jobs=-1)

    # This however is a problem:
    def avg_prec_score(estimator, X, y):
        return average_precision_score(y, estimator.predict_proba(X)[:, 1])
    clf = GridSearchCV(clf, grid, cv=StratifiedKFold(y_train, 5),
                       scoring=avg_prec_score, n_jobs=-1)

    clf = clf.fit(X_train, y_train)
    print('Best parameters for response {} inferred in fold {}: {}'.format(response, i, clf.best_params_))

    y_pred = clf.predict(X_test)
    y_proba = clf.predict_proba(X_test)

    clfs.append((response, i, clf))
    res.append(pd.DataFrame({
        'y_pred': y_pred,
        'y_actual': y_test,
        'y_proba': y_proba[:,1],
        'response': np.repeat(response, len(y_pred))
    }))

res = functools.reduce (pd.DataFrame.append, res)
res.head ()

일부 버전의 독립형 버전을 작업하겠습니다.
내가 사용하고있는 데이터 (하지만 시간이 더 오래 걸립니다). 그동안
이러한 사용자 지정 함수의 피클 링은 좋은 리드처럼 들립니다.
여러 번 다시 확인하고 사용자 정의로 100 % 매달립니다.
일부 알려진 것과 함께 make_scorer를 사용할 때의 0 %,
가져온 메트릭 기능.

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment -131376298
.

그것은 노트북에

대신 모듈에서 가져 와서 어떻게 진행되는지 살펴 보겠습니다.

아시다시피 노트북 외부에서 정의하면 잘 작동합니다.

나는 본질적으로 파이썬 2.7에서 실행되는 동일한 코드 (나는 더 오래된 lib가 필요함)와 파이썬 3.4 에서이 코드를 가지고 있으며 사용자 정의 함수인지 여부에 관계없이 2.7에서 중단 문제가 있지만 make_scorer를 사용하여 새 버전의 모든 문제가 해결되어 이전 버전의 해결 방법으로 살 수 있다고 생각합니다.

노트북에 정의 된 산세 함수가 왜 문제가 될 수 있는지 추적하기 위해 내가 할 수있는 다른 일이 있습니까?

글쎄, 우리는 다음을 이해하고 싶습니다.

• 피클 링과 언 피클 링은 일반적으로 해당 플랫폼의 로컬 정의 함수에 대한 문제입니까, 아니면 특정 문제에 부딪 히고 있습니까?
• 왜 산세가 문제라면 예외를 일으키지 않고 매 달리나요? pickle.dumps(function) 확인 https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/externals/joblib/parallel. py # L150 with pickle.loads(pickle.dumps(function)) 결과 오류가 발생합니까? (설명하기 위해 이것은 다중 처리를 실행하기 전에 피클 가능성을 확인하기위한 안전 점검입니다.)

@ogrisel 이 관심을

내가 윈도우에서 본 것에서 노트북은 멀티 프로세싱과 이상한 상호 작용을한다.

동일한 노트북에 정의 된 함수를 피클 링 및 언 피클 링 해 보셨습니까?

오늘 나는 우연히 https://pythonhosted.org/joblib/parallel.html#bad -interaction-of-multiprocessing-and-third-party-libraries를 보았습니다. 관련이 없습니까?
파이썬 3.4 이상으로 업그레이드해야할까요?

긴 휴가를 보내서 죄송합니다. 그래도 질문에 대답하려면 :

1. re @jnothman : pickle.loads(pickle.dumps(function)) 를 parallel.py에 넣고 그 뒤에 인쇄 문을 넣어 깔끔하게 실행되고 있는지 확인하고 거기에 문제가 없는지 확인했습니다. 명확히하기 위해 노트북에서 호출 된 GridSearchCV.fit은 변경없이 이전과 마찬가지로 여전히 멈춰 있습니다 (n_jobs = -1로 16 번 표시되는 인쇄 문 제외).
2. re @amueller : 내가 당신을 올바르게 이해하고 있다면 문제없이 노트북에서 다음과 같은 것을 실행했습니다.

def test_function(x):
    return x**2
pickle.loads(pickle.dumps(test_function))(3)
# 9

1. re @olologin : 나는 3.4.3에 있습니다. 또는 더 구체적으로 : '3.4.3 | Continuum Analytics, Inc. | (기본값, 2015 년 3 월 6 일, 12:07:41) \ n [GCC 4.2.1 (Apple Inc. 빌드 5577)] '

위의 대화를 읽지 않았지만이 최소한의 테스트는 travis의 Python 2.6 빌드에서 실패했지만 내 PC에서 유사한 구성으로 통과했습니다 ... ( n_jobs = -1 때 실패한다고 제안합니다. 이전 python / joblib / scipy 버전의 단일 코어 머신에 설정되어 있습니까?)

def test_cross_val_score_n_jobs():
    # n_jobs = -1 seems to hang in older versions of joblib/python2.6
    # See issue 5115
    cross_val_score(LinearSVC(), digits.data, digits.target, cv=KFold(3),
                    scoring="precision_macro", n_jobs=-1)

이 문제가 발생한 경우 +1, 도움이 될 경우 세부 정보를 제공해주세요.

@ eric-czech Python 3.4 또는 3.5 미만인 경우 다음 환경 변수를 설정 한 다음 Python 프로그램을 다시 시작하십시오.

export JOBLIB_START_METHOD="forkserver"

joblib 문서에 설명 된대로. forkserver is mode는 대화식으로 정의 된 기능을 중단하므로 기본적으로 활성화되지 않습니다.

최신 소프트웨어가 설치된 OS X 10.11.4 및 Ubuntu 14.04 모두에서 동일한 문제가 발생합니다.

# Metrics
B_R = 10.0

def raw_TPR(y_true, y_pred):
    return np.sum((y_true == 1) & (y_pred == y_true))

def raw_FPR(y_true, y_pred):
    return np.sum((y_true == 0) & (y_pred != y_true))

def AMS(y_true, y_pred):
    print("Hello")
    tpr = raw_TPR(y_true, y_pred)
    fpr = raw_FPR(y_true, y_pred)
    score = np.sqrt(2 * ((tpr + fpr + B_R) * np.log(1 + tpr / (fpr + B_R))) - tpr)
    return score


# Grid search

param_grid = {
    "max_depth":[6, 10],
    "learning_rate":[0.01, 0.5],
    "subsample":[0, 1],
    "min_child_weight":[0.1, 1],
    "colsample_bytree":[0.1, 1],
    "base_score":[0.1, 1],
    "gamma":[0.5, 3.5]
}

scorer = make_scorer(AMS, greater_is_better=True)


clf = XGBClassifier()
gridclf = GridSearchCV(clf, param_grid, scorer, n_jobs=-1, verbose=2)
gridclf.fit(X_train, y_train)

실제로이 코드는 n_jobs=1 경우에만 고정되지 않습니다.

이것은 이제 기본적으로 파이썬 3에서 작동하고 파이썬 2에서 wontfix , 맞습니다

경고 나 오류 ( "n_jobs> 1 not supported on Python 2")없이 Python 2에서 자동으로 중단되는 경우 허용되지 않습니다. 오류를 던질 수 있습니까?

@amueller on Python 3에서는 https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment -187683383을 팔로우하여 문제를 해결할 수 있습니다. 즉, Python 3에서도 기본적으로 작동하지 않습니다.

원래 OP가 joblib start_method를 forkserver로 설정하는 것이 항상 작동하지 않는다고 말하는 것처럼 보였기 때문에 닫아야할지 여부는 확실하지 않습니다 ...

BTW xgboost 하나는 알려진 것입니다. https://github.com/scikit-learn/scikit-learn/issues/6627#issuecomment -206351138을 참조

편집 : 아래 변경 사항은 실제로 문제를 해결하지 못할 수 있습니다. 내가 실제로 수정했을 수도있는 Pathos로 멀티 프로세싱을 처리하는 방법에도 관련없는 변경이있었습니다.

빠른 수정:
np.random.seed(0)

설명:
나는 auto_ml 에 대한 테스트 스위트에서 가장 심각 직면했습니다 . GridSearchCV를 처음 (2?) 번 실행했지만 괜찮 았지만 후속 실행은 오류없이 중단됩니다.

재현성을 보장하면서 무작위성을 훼손하지 않고 시간이 지남에 따라 테스트를 재정렬 할 수있는 유연성을 제공하기 위해 각 테스트에 np.random.seed(0) 설정했습니다. 그렇게하자마자 GSCV 오류에 걸린 모든 테스트가 다시 작동하기 시작했습니다.

def test_name():
    np.random.seed(0)
    test_code_involving_gscv_here

이것이 디버깅에 도움이되기를 바랍니다!

개발 환경 :
Mac OS X (Sierra)
파이썬 2.7
라이브러리의 최신 버전.

@ClimbsRocks 글쎄, 그것은 아마도 당신의 추정기에서 약간의 오류 일 것입니다. 재현 가능한 예가 있으면 알려주십시오.)

@amueller : 좋은 전화입니다. 나는 여러분들이 이것을 재현 할 수 있도록 나뭇 가지를 자르기 위해 달려 갔지만 이번에는 모든 것이 올바르게 실행되었습니다.

프로그램의 다른 부분에서도 Pathos의 병렬화를 사용할 때 GSCV의 병렬화를 사용하는 것이 아마도 문제라고 생각합니다. 지난주에 내가 변경 한 유일한 다른 관련 사항입니다.

나는 그 이후로 그들의 다중 처리 풀을 더 철저히 닫고 열도록 리팩토링했습니다.

나를 만드는 것은 추정기 중 하나의 버그가 아니라 테스트 스위트를 빌드 할 때 각 테스트가 개별적으로 실행되고 통과되었다는 것입니다. 동일한 패스에서 여러 테스트를 실행했을 때만 GSCV에 의존하여 중단되기 시작했습니다.

이 불확실성을 언급하기 위해 이전 주석을 편집했습니다.

joblib를 다른 병렬화와 결합하면 충돌이 발생할 가능성이 높으므로 시도해서는 안됩니다.

이 스레드에 대해 죄송하지만이 문제도 발생합니다.
Python 3.5 커널을 만들고 forkserver에 대한 작업 lib 시작 방법을 정의했지만 여전히 문제가 있습니다.

실제로 n_jobs = 1에서도 작동하지 않습니다. 마지막 매개 변수를 제외하고 계산하는 것을 봅니다.

뉴스가 있습니까?

실제로 n_jobs = 1에서도 작동하지 않습니다. 마지막 매개 변수를 제외하고 계산하는 것을 봅니다.

이것은 이상하고이 문제와 관련이 없을 가능성이 매우 높습니다 (약 n_jobs != 1 ). 좋은 피드백을 얻는 가장 좋은 방법은 문제를 재현하는 독립 실행 형 스 니펫으로 별도의 문제를 여는 것입니다.

이 문제를 직접 접하고 있다고 확신합니다. 많은 조합을 시도한 후 n_jobs> 1로 수행하는 모든 작업은 몇 번 접은 후에 멈 춥니 다. 나는 sklearn = 0.19.0의 Ubuntu Linux 랩탑을 사용하고 있으므로 이것은 내가 읽은 다른 구성과 다릅니다. 다음은 "불쾌감을주는"코드입니다.

import xgboost as xgb
from sklearn.model_selection import GridSearchCV
cv_params = {'max_depth': [3,5,7], 'min_child_weight': [1,3,5]}

ind_params = {'learning_rate': 0.1, 'n_estimators': 1000, 'seed':0, 'subsample': 0.8, 'colsample_bytree': 0.8,  'objective': 'binary:logistic'}
optimized_XGB = GridSearchCV(xgb.XGBClassifier(**ind_params), 
                            cv_params, scoring = 'roc_auc', cv = 5, n_jobs = 1, verbose=2) 
optimized_XGB.fit(xgboost_train, label_train,eval_metric='auc')

흥미로운 점 중 하나는 xgboost를 가져올 때 model_selection에서 가져 오지 않은 것처럼 GridSearchCV에서 사용 중단 경고가 표시된다는 것입니다. 그러나 나는 xgboost 0.62에 있으며 저장소를 보면 올바른 GridSearchCV를 가져 오는 것처럼 보입니다. 명확하게 말하면, 지원 중단 경고는 저와 관련된 문제가 아니라 당면한 문제입니다. n_jobs> 1로 실행이 중단되는 것입니다. 도움이 될 수있는 경우를 지적하십시오.

문제를 재현하는 데 도움이되는 데이터를 제공 할 수 있습니까?

2017 년 8 월 24 일 20:29, Xavier Amatriain [email protected]
썼다 :

이 문제를 직접 접하고 있다고 확신합니다. 많은 시도 후
조합, 내가 n_jobs> 1로하는 모든 작업은
주름. 저는 sklearn = 0.19.0의 Ubuntu Linux 랩탑을 사용 중이므로
내가 읽은 다른 구성과 다른 구성. 여기에
"불법"코드 :

`xgboost를 xgb로 가져 오기
sklearn.model_selection에서 가져 오기 GridSearchCV
cv_params = { 'max_depth': [3,5,7], 'min_child_weight': [1,3,5]}

ind_params = { '학습 _ 속도': 0.1, 'n_estimators': 1000, '씨앗': 0,
'subsample': 0.8, 'colsample_bytree': 0.8, 'objective': ' binary : logistic '}
optimize_XGB = GridSearchCV (xgb.XGBClassifier (** ind_params),
cv_params, 점수 = 'roc_auc', cv = 5, n_jobs = 1, verbose = 2)
optimize_XGB.fit (xgboost_train, label_train, eval_metric = 'auc')`

흥미로운 점 중 하나는 xgboost를 가져올 때
GridSearchCV에서 가져 오지 않은 것처럼 사용 중단 경고
model_selection. 그러나 나는 xgboost 0.62를 사용하고 있으며
저장소는 올바른 GridSearchCV를 가져 오는 것처럼 보입니다. 되려고
분명한 것은 지원 중단 경고가 저와 관련된 문제가 아니라
손에 하나 : n_jobs> 1로 실행 중지. 그냥 지적
도움이 될 수있는 경우.

—
당신이 언급 되었기 때문에 이것을 받고 있습니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment-324597686 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AAEz66DbfTlnU_-dcxLKa5zkrcZ-0qVOks5sbVCmgaJpZM4FqYlN
.

물론입니다. 다음에서 사용중인 정확한 파일을 다운로드 할 수 있습니다.
https://xamat.github.io/xgboost_train.csv
https://xamat.github.io/label_train.csv

HTTP404

죄송합니다. 첫 번째 링크에 오류가 있습니다. 이제 수정되어야합니다. 두 번째도 괜찮을 것입니다. 방금 확인했습니다.

xgboost의 알려진 문제는 https://github.com/scikit-learn/scikit-learn/issues/6627#issuecomment -206351138을 참조

참고로 joblib 의

여전히 버그입니까? 80 개의 매개 변수 조합과 ShuffleSplit CV (n = 20)를 사용하여 RandomForestClassifier 사용하는 pre_dispatch = 1뿐만 아니라 기본값 (n_jobs = 1)에서도 동일한 문제가 발생합니다.

또한 파이프 라인 ( SelectKBest(score_func=mutual_info_classif, k=10) 다음에 RandomForestClassifier )에 대해 중단됩니다. 둘 다 최신 릴리스와 개발 버전에서 모두 중단됩니다.

해결 방법이나 안정적으로 작동하는 다른 모델 선택 방법을 찾았다면 알려주세요. scikit-optimize 시도를 고려 중입니다.

n_jobs = 1을 의미합니까 아니면 오타입니까? 이 문제는 n_jobs! = 1에 관한 것입니다.

품질 피드백을 얻는 가장 좋은 방법은 문제를 재현하는 방법을 제공하는 것입니다. 보고있는 문제가 실제로 n_jobs = 1에있는 경우이 경우 별도의 문제를여십시오.

"멀티 스레딩 가능"이라는 뜻을 썼습니다.
n_jobs! = 1은 '1과 같지 않음'과 같습니다. 마찬가지로 n_jobs> 1입니다. 예 : n_jobs = 4

n_jobs = 4에 대한 동결을 재현 할 수 없다는 말입니까?

그렇다면 한 달 이내에 테스트 케이스를 제공 할 것입니다 (새로운 머신으로 변경합니다).

2017 년 9 월 12 일 오전 7시 10 분에 Loïc Estève < [email protected] [email protected] >이 작성했습니다.

n_jobs = 1을 의미합니까 아니면 오타입니까? 이 문제는 n_jobs! = 1에 관한 것입니다.

품질 피드백을 얻는 가장 좋은 방법은 문제를 재현하는 방법을 제공하는 것입니다. 보고있는 문제가 실제로 n_jobs = 1에있는 경우이 경우 별도의 문제를여십시오.

—
당신이 언급 되었기 때문에 이것을 받고 있습니다.
이 이메일에 직접 답장하거나 GitHub https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment-328864498 에서 보거나 https://github.com/notifications/unsubscribe- 스레드를 음소거합니다.

@smcinerney @raamana입니까? 나는 @lesteve 가 n_jobs=1 를 쓴 @raamana 에게 답장을했다고 생각 하는데 , 이것은이 문제와 관련이없는 것 같습니다.

아 죄송합니다. 저는 @raamana가 아닙니다. 예 @raamana의 문제는 다릅니다 (하지만 동일한 코드 때문일 수 있음)

2017 년 9 월 12 일 오전 9시 23 분에 Andreas Mueller < [email protected] [email protected] >이 작성했습니다.

@smcinerney https://github.com/smcinerney @raamana https://github.com/raamana 입니까? 나는 @lesteve https://github.com/lesteve 가 n_jobs = 1을 작성한 @raamana https://github.com/raamana 에게 회신했다고 생각합니다.이 문제와 관련이없는 것 같습니다.

—
당신이 언급 되었기 때문에 이것을 받고 있습니다.
이 이메일에 직접 답장하거나 GitHub https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment-328905819 에서 보거나 https://github.com/notifications/unsubscribe- 스레드를 음소거합니다.

내 잘못이야, 나는 물건을 섞을 의도가 없었습니다. 나는 다른 문제를 열 ​​것입니다 (최소한의 코드로 재현), 기본 n_jobs = 1로도 중단되지 않는 GridSearchCV는 n_jobs> 1보다 더 큰 관심사입니다 (기본값이고 작동해야 함).

@raamana 예, 더 큰 문제이지만 관련 문제로 인해 발생할 가능성도 적습니다.

@ eric-czech @jnothman
따라서 backend = 'threading'을 사용하기로 결정한 경우. sklearn 코드를 변경하지 않고 쉬운 방법 중 하나는 GSV의 fit 방법을 변경하지 않고 parallel_backend 컨텍스트 관리자를 사용하는 것입니다.

from sklearn.externals.joblib import parallel_backend

clf = GridSearchCV()
with parallel_backend('threading'):
    clf.fit(x_train, y_train)

추신 : "스레딩"이 모든 견적 자에게 작동하는지 확실하지 않습니다. 그러나 GSV njob> 1을 사용하는 내 견적 기와 동일한 문제가 있었고 라이브러리를 변경하지 않고 예상대로 작동합니다.

시스템 시도 :
MAC OS : 10.12.6
파이썬 : 3.6
numpy == 1.13.3
판다 == 0.21.0
scikit-learn == 0.19.1

흠 ... 스레딩 백엔드를 사용하는 데 동시성 문제가있을 수 있습니다.
그리드 검색, 예를 들어 # 10329의 버그는 경쟁 조건을 만듭니다 ...

2017 년 12 월 22 일 03:59에 Trideep Rath [email protected] 은 다음과 같이 썼습니다.

@ eric-czech https://github.com/eric-czech @jnothman
https://github.com/jnothman
따라서 backend = 'threading'을 사용하기로 결정한 경우. 없는 쉬운 방법
sklearn 코드를 변경하는 것은 parallel_backend 컨텍스트 관리자를 사용하는 것입니다.
GSV의 적합 방법은 변경되지 않습니다.

sklearn.externals.joblib에서 import parallel_backend

clf = GridSearchCV ()
parallel_backend ( 'threading') 사용 :
clf.fit (x_train, y_train)

추신 : "스레딩"이 모든 견적 자에게 작동하는지 확실하지 않습니다. 하지만 나는
GSV njob> 1을 사용하는 내 추정기와 동일한 문제가 있고 이것을 사용하여
라이브러리를 변경하지 않고 예상대로 작동합니다.

시스템 시도 :
MAC OS : 10.12.6
파이썬 : 3.6
numpy == 1.13.3
판다 == 0.21.0
scikit-learn == 0.19.1

—
당신이 언급 되었기 때문에 이것을 받고 있습니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment-353402474 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AAEz64SfwYpjLU1JK0vukBRXJvWYs3LKks5tCo51gaJpZM4FqYlN
.

사례 : 백엔드를 "스레딩"으로 사용하고 BaseEstimator 및 ClassifierMixin을 확장하는 Estimator를 사용합니다. 경쟁 조건이 어디에서 발생하는지 잘 모르겠습니다. 자세히 설명해 주시겠습니까?

내 이해와 실험에 따르면 경쟁 조건을 관찰하지 못했습니다.

out = Parallel(
    n_jobs=self.n_jobs, verbose=self.verbose,
    pre_dispatch=pre_dispatch
)(delayed(_fit_and_score)(clone(base_estimator), X, y, scorers, train,
                          test, self.verbose, parameters,
                          fit_params=fit_params,
                          return_train_score=self.return_train_score,
                          return_n_test_samples=True,
                          return_times=True, return_parameters=False,
                          error_score=self.error_score)
  for parameters, (train, test) in product(candidate_params,
                                           cv.split(X, y, groups)))

_fit_and_score는 clone (base_estimator)에서 호출됩니다. 이것은 deep_copy를 수행하고 자체 데이터의 사본을 가지고 있습니다.

out은 _fit_and_score 메서드의 출력입니다. 그래서이 후 모든 쓰레드는 추정기의 fit 방법 실행을 완료하고 결과를보고합니다.

결과는 GCV_clf.cv_results_에서 얻은 것입니다.

이 특정 경우에 왜 경쟁 조건이 발생하는지 설명해 주시겠습니까?

경쟁 조건은 중첩 된 매개 변수를 설정하는 경우 발생합니다.
변경된 하나의 매개 변수는 추정기이고 다른 하나는 그 매개 변수입니다.
평가자.

최신 버전의 Win 7에서 make_scorer 와 GridSearchCv 및 n_jobs=-1 함께 사용하면 동일한 문제가 발생합니다.

Windows-7-6.1.7601-SP1
Python 3.6.4 |Anaconda, Inc.| (default, Jan 16 2018, 10:22:32) [MSC v.1900 64 bit (AMD64)]
NumPy 1.12.1
SciPy 1.0.0
Scikit-Learn 0.19.1

@mansenfranzen 버전과 플랫폼을 게시 https://stackoverflow.com/help/mcve 를 참조하십시오.

사용자 지정 전처리 단계로 Win7에서 동일한 문제가 발생합니다.
툴체인 :

Python 3.6.2
NumPy 1.13.1, 1.14.2 (under both)
SciPy 1.0.0
SkLearn 0.19.1

MCVE :

from sklearn.pipeline import Pipeline, make_pipeline
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score
import numpy as np

class CustomTransformer:
    def fit(self, X, y):
        return self

    def transform(self, X):
        return X

pipeline = make_pipeline(CustomTransformer(),
                         SVC())

X_train = np.array([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0], [7.0, 8.0]])
y_train = np.array([1.0, 0.0, 0.0, 1.0])

print(cross_val_score(pipeline, X_train, y_train, cv=2, n_jobs=-1))

파이썬 다중 처리가 if __name__ == '__main__' 없이 Windows에서 작동하지 않는다는 것을 알고 있습니까?

네, 그렇습니다. 죄송합니다. Jupyter를 사용하고 있다는 사실을 잊어 버렸습니다.
if __name__ == '__main__' 가 포함 된 독립 실행 형 스크립트는 다음 추적을 인쇄 한 다음 여전히 정지됩니다.

Process SpawnPoolWorker-1:
Traceback (most recent call last):
  File "C:\Python\Python36\lib\multiprocessing\process.py", line 249, in _bootstrap
    self.run()
  File "C:\Python\Python36\lib\multiprocessing\process.py", line 93, in run
    self._target(*self._args, **self._kwargs)
  File "C:\Python\Python36\lib\multiprocessing\pool.py", line 108, in worker
    task = get()
  File "C:\Python\Python36\lib\site-packages\sklearn\externals\joblib\pool.py", line 362, in get
    return recv()
  File "C:\Python\Python36\lib\multiprocessing\connection.py", line 251, in recv
    return _ForkingPickler.loads(buf.getbuffer())
AttributeError: Can't get attribute 'CustomTransformer' on <module '__mp_main__' from 'C:\\projects\\Python\\Sandbox\\test.py'>
< same for SpawnPoolWorker-3 here >

오, 흥미 롭군요. 평범한 게으름으로 전체 스크립트를 if __name__ == '__main__' 아래에 놓고 이전 주석에서 결과를 얻었습니다.

이제 pipeline = make_pipeline... 만 배치했고 성공적으로 실행되었습니다. Jupyter의 원인일까요?

어쨌든 이전 댓글의 동작이 유효하고 if __name__ == '__main__' 의 부적절한 사용으로 인한 것인지 아니면 SkLearn의 잘못인지 알 수 없습니다.

라이브러리에 문제가 아닌 것 같지만 실행에 대해서는
Windows에서 다중 처리를위한 컨텍스트 ...

저건 더럽다. 그리고 실제로 모든 것의 동일한 버전으로 Ubuntu에서 문제를 재현 할 수 없었습니다. 도와 주셔서 감사합니다!

이 버그가 살아 있고 잘 있는지 확인할 수 있습니다.

jupyter 노트북, Python3, Sklearn 0.19.1의 Windows 10에서 실행

Linux Mint (Ubuntu 16.10) Python 3.5에서 동일한 문제

모든 것이 각 코어의 첫 번째 Epoch에서 멈추고 CPU가 중간에 있기 때문에 작업이 수행되지 않습니다.

@MrLobs 는 산세 오류처럼 들리 죠? CustomTransformer를 별도의 파이썬 파일에 넣습니다.

@ Chrisjw42 @avatsaev 더 많은 컨텍스트가 없으면 우리는 실제로 많이 할 수 없습니다.
@avatsaev 가

@amueller 예, 텐서 플로우입니다

@avatsaev 는 아직 정보가 충분하지 않습니다. 재현 할 최소한의 예가 있습니까? 어떤 blas를 사용하고 있습니까, GPU를 사용하고 있습니까, scikit-learn의 어떤 버전을 사용하고 있습니까 ....

Ok 그것은 내가 TF GPU를 사용하고 있기 때문에 n_jobs를> 1로 설정하는 것이 실제로 작동하지 않습니다. 이것은 GPU가 하나뿐이기 때문에 정상입니다.

네, TF와 함께 n_jobs를 실제로 사용해서는 안됩니다.

왜 안돼?

@amueller , 예, 사용자 정의 변환기를 별도의 파일에 넣으면 해결됩니다.

n_jobs! = 1이 중단 될 환경에서 오류 (또는 최소한 경고)를 던질 수 있습니까? 방금 jupyter 노트북에서이 문제가 발생했습니다. 만약 제가 더 초보자 인 경우 (나머지 학급처럼) 왜 gridsearchcv가 계속 매달리는 지 알 수 없었을 것입니다. 사실 우리 선생님은 n_jobs =- 1. 여기에서 문제가 알려진 경우 패키지 (keras 또는 sklearn 중 어느 것)에서 문제가 발생할 것이라고 경고하고 중단을 방지 할 수 있습니까?

나는 이것이 어떤 환경에 처하게 될지 아무도 모른다고 생각한다. 나는 누구도이 버그를 신뢰할 수있는 방식으로 재현 할 수 있다고 믿지 않는다.

하지만 우리는 다중 처리 인프라를 개선하기 위해 노력하고 있습니다.
이것이 그러한 모든 문제를 해결할 수 있을지 확실하지 않습니다.

@jnothman 👍

듣기 좋습니다!

왜 이것이 0.21 태그인지 잘 모르겠습니다. 이것은 대부분의 경우 0.20에서 해결됩니다. 저는 우리가 이것을 닫고 사람들이 새로운 문제를 열도록해야한다고 생각합니다. 이것은 너무 길고 구체적이지 않습니다.

jupyter를 사용하여 AWS Ubuntu에서 방금 동일한 문제를 만났습니다.

parallel_backend 사용이 작동하는 것 같습니다 ...

from sklearn.externals.joblib import parallel_backend

clf = GridSearchCV(...)
with parallel_backend('threading'):
    clf.fit(x_train, y_train)

@morienor scikit-learn 0.20.1로이 문제를 재현 할 수있는 경우 다른 사람이 문제를 재현 할 수 있도록 필요한 모든 세부 정보가 포함 된 새 문제를 엽니 다 (가짜 임의 데이터 세트에 대한 import 문이 포함 된 전체 스크립트). python, scikit-learn, numpy, scipy 및 운영 체제의 모든 버전 번호와 함께.

jupyter를 사용하여 AWS Ubuntu에서 방금 동일한 문제를 만났습니다.

parallel_backend 사용이 작동하는 것 같습니다 ...

from sklearn.externals.joblib import parallel_backend

clf = GridSearchCV(...)
with parallel_backend('threading'):
    clf.fit(x_train, y_train)

그것은 나를 위해 작동합니다! 감사합니다!

@ jmq19950824 @morienor 예,하지만 GIL로 인해 threading 백엔드를 사용하는 것은 의미가 없습니다.

jupyter를 사용하여 AWS Ubuntu에서 방금 동일한 문제를 만났습니다.

parallel_backend 사용이 작동하는 것 같습니다 ...

from sklearn.externals.joblib import parallel_backend

clf = GridSearchCV(...)
with parallel_backend('threading'):
    clf.fit(x_train, y_train)

천재는 나를 위해 일한다