Scikit-learn: Gower 유사성 계수 구현

감사 해요.

R의 daisy 대한 이 문서는 https://stat.ethz.ch/R-manual/R-devel/library/cluster/html/daisy.html 에 대한 인기 있는 사용 사례이므로 관련이 있을 수 있습니다. 가워 계수.

어디 제안? 어떤 맥락에서?

@agramfort gitter에서 제안했습니다. 이 계수의 주요 관심사는 변수에 혼합 유형(즉, 범주형, 숫자형, 순서형)이 있는 경우입니다. 한 가지 인기 있는 사용 사례는 혼합 유형으로 데이터를 클러스터링할 때 앞에서 언급한 R 패키지 daisy() 입니다(https://cran.r-project.org/web/packages/cluster/cluster.pdf의 27페이지 참조). . 보다 일반적으로 http://www.clustan.talktalk.net/gower_similarity.html 은 "Gower의 일반 유사성 계수는 ​​혼합 데이터 유형에 대한 가장 인기 있는 근접도 측정 중 하나"라고 주장합니다. 그럴듯한 주장처럼 보입니다.

이에 동기를 부여할 벤치마크 또는 설득력 있는 예가 있습니까?

@agramfort 현재 혼합 데이터 유형에 대한 비유사성 계수를 계산하는 다른 방법이 없고 이것이 표준인 것 같습니다. 사람들이 Gower 계수가 무엇인지 설명하거나 혼합 데이터 유형에 대한 사용을 제안하는 온라인에서 많은 예와 질문/답변을 찾을 수 있지만 아직 벤치마크라고 부를 수 있는 것은 없습니다. Google 학자에 따르면 원본 논문은 2298회 인용되었습니다.

좋아, 나는 확신한다 :)

@agramfort 이 변경은 나무에 대한 기본 범주형 변수 지원을 도입하는 https://github.com/scikit-learn/scikit-learn/pull/4899를 훌륭하게 보완합니다.

그렇긴 하지만, 나는 이제 scikit-learn이 현재 서수에 대한 기본 지원이 전혀 없다는 것을 깨달았습니다. 서수적 특징을 지원하는 첫 번째 단계로 긍정적으로 생각할 수 있다고 생각합니다.

@amueller [New Feature] 태그 지정 예정 ...

안녕하세요,

어떻게든 기여하기 위해 원본 문서에 따라 Gower 함수를 구현했고 pdist 모듈에 필요한 각 수정 사항을 구현했습니다. pdist는 내부적으로 혼합 데이터가 있는 행렬을 사용하는 경우 실패할 여러 수치 변환을 수행하기 때문입니다.

지금까지 이것으로 얻은 결과는 R의 데이지 함수에서와 동일합니다.

소스 코드는 다음 jupyter 노트북에서 사용할 수 있습니다. https://sourceforge.net/projects/gower-distance-4python/files/

마음껏 사용하세요

이것에 대한 업데이트가 있는지 궁금합니다. 또한 @marcelobeckmann이 언급한 문제가 여전히 관련성이 있습니까?

@ ashimb9 우리가 @marcelobeckmann에서 코드를 통합 할 사람이 필요 보인다

@agramfort 흠,

안녕하세요, 기본 데이터가 완전히 숫자라고 가정하는 pdist의 일부 비공개 함수(예: _convert_to_double, _copy_array_if_base_present)가 있습니다. 이는 범주형 데이터가 있는 데이터 프레임이 있는 경우 사실이 아닙니다.

저는 이 코드를 통합하고 포크에서 사용할 수 있도록 자원합니다. 이 티켓을 저에게 할당할 수 있습니다.

github 할당 기능은 팀 구성원에게만 작동합니다.

2017년 7월 17일 오후 7시 32분에 "marcelobeckmann" [email protected]이 작성했습니다.

안녕하세요, 몇 가지 개인 기능이 있습니다(예: _convert_to_double,
기본 데이터가 다음과 같다고 가정하는 pdist의 _copy_array_if_base_present)
데이터 프레임이 있는 경우에는 사실이 아닌 완전히 숫자입니다.
범주형 데이터.

이 코드를 통합하고 포크에서 사용할 수 있도록 자원합니다.
이 티켓을 나에게 할당할 수 있습니다.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인
https://github.com/scikit-learn/scikit-learn/issues/5884#issuecomment-315707830 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AAEz62L3HHzGsSerW5G3n-Z8rrNoV6mwks5sOyoTgaJpZM4Glm0p
.

걱정하지 마세요. 내가 그것을 포크할 것이고 당신은 나중에 코드를 얻을 수 있습니다. 저에게 중요한 것은 기여하는 것입니다. 완료되면 알려 드리겠습니다.

이것을 받아 주신 @marcelobeckmann 에게 감사드립니다. 당신이 그것에있는 동안 (그리고 그것이 가능한 경우) R의 데이지 패키지에서 구현 된 것처럼 NaN 값이있는 데이터에 대한 gower 계산에 대한 지원을 추가하는 것을 고려할 것인지 궁금합니다 (위에서도 참조) ?

Gower를 sklearn.metrics.pairwise에 통합했습니다(NaN 값 처리도 관찰). 분기된 코드를 제출하기 전에 몇 가지 단위 테스트를 준비할 것입니다.

@marcelobeckmann 특히 NaN 지원을 포함해 주셔서 감사합니다! :)

추신: 제가 제안할 수 있는 경우, 단위 테스트 등을 수행하는 동안 검토자가 코드를 볼 수 있도록 풀 요청을 시작하는 것을 고려할 수 있습니다.

며칠 전에 b5884로 풀 리퀘스트를 했습니다.

예, 검토 대기 중입니다.

2017년 8월 17일 23:40, Marcelo Beckmann 알림 @github.com
썼다:

며칠 전에 b5884로 풀 리퀘스트를 했습니다.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인
https://github.com/scikit-learn/scikit-learn/issues/5884#issuecomment-323076581 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AAEz69uMu0XsoAUfvwWikkadjGCk5yvKks5sZELKgaJpZM4Glm0p
.

CI에서 요구하는 사항을 변경했으며 모든 검사를 통과했습니다.

@marcelobeckmann 수고하셨습니다 ! 행 659를 다음과 같이 변경할 수 있습니다.
ranges_of_numeric[col] = (1 - min / max, 0)[max == 0] if (max!=0) else 0.0

그렇지 않으면 두 번째 테스트 케이스에서 제로 경고로 나눕니다.

안녕하세요, Pierre Wessman이 제안한 대로 경고를 피하기 위해 코드를 변경했으며 CI는 녹색입니다. 내 코드를 검토할 사람이 필요합니다.

@marcelobeckmann 및 잠재적으로 다른 사람.

안녕 Marcelo(또는 잠재적으로 다른 사람), 여기에 배치한 gower 계수 구현과 관련하여 몇 가지 간단한 질문이 있습니다: https://sourceforge.net/projects/gower-distance-4python/files/.

1. 원래 데이터를 함수에 공급하기 위해 팬더 dataFrame이 필요합니까 아니면 numpy 배열도 사용할 수 있습니까?

2. 내 데이터를 numpy 배열로 가져오고 있습니다. 고유 ID인 첫 번째 열을 제외한 모든 열은 숫자 실수입니다. 두 가지 문제가 발생합니다.

• 첫째, 함수를 실행할 때 dtype U7이 객체로 변환되었다는 데이터 변환 경고를 반환합니다!!. 어떤 이유로 배열 항목이 따옴표로 묶여 문자열이기 때문이라고 가정했습니다. 그래서 예를 들어 배열 항목의 유형을 int32로 캐스팅했는데 여전히 int32가 객체로 변환되었다는 변환 오류가 발생합니다.

• 두 번째로, 아마도 위에 링크되었을 것입니다. 함수를 실행하고 결과를 플로팅할 때마다 다른 시각화(포인트의 다른 퍼짐)를 받습니다.

위 내용에 대해 조언 부탁드려도 될까요?

매우 감사합니다

안녕 알리,

Gower 거리 구현에 관심을 가져주셔서 감사합니다.

내가 풀 리퀘스트를 한 코드는 scikit Learn 커미터에 의해 승인되지 않았지만(CI는 녹색이고 검토를 기다리고 있습니다), 저는 이 최신의 안정적인 구현을 https://sourceforge.net/projects/gower-distance로 푸시했습니다.

귀하의 질문에 대해 알아보겠습니다.

1. 원래 데이터를 함수에 공급하기 위해 Panda DataFrame이 필요합니까 아니면 numpy 배열도 사용할 수 있습니까?

답변: 이 새 버전 3에서는 DataFrame 또는 Numpy를 사용할 수 있습니다. 희소 행렬도 지원됩니다.

1. . 내 데이터를 numpy 배열로 가져오고 있습니다. 고유 ID인 첫 번째 열을 제외한 모든 열은 숫자 실수입니다. 두 가지 문제가 발생합니다.

• 첫째, 함수를 실행할 때 dtype U7이 객체로 변환되었다는 데이터 변환 경고를 반환합니다!!. 어떤 이유로 배열 항목이 따옴표로 묶여 문자열이기 때문이라고 가정했습니다. 그래서 예를 들어 배열 항목의 유형을 int32로 캐스팅했는데 여전히 int32가 객체로 변환되었다는 변환 오류가 발생합니다.

답변: 이 새 버전은 숫자 범주 속성을 지원합니다. 추가 매개변수 categorical_features가 있습니다. 배열을 false(숫자 속성의 경우) 또는 true(범주 속성의 경우)로 설정할 수 있습니다.

• 두 번째로, 아마도 위에 링크되었을 것입니다. 함수를 실행하고 결과를 플로팅할 때마다 다른 시각화(포인트의 다른 퍼짐)를 받습니다.

답변: 내가 푸시한 새 버전은 이 문제를 해결했습니다.

이 PR을 검토할 예정이지만 그다지 높지는 않습니다.
우선 ATM

안녕 알리,

1. 최신 것은 gower_function-v3.ipynb이며, 네, nan을 처리합니다.
   번식

2. 범주형 att가 아닌 경우에만 gower_distance(X)를 사용할 수 있습니다.
   숫자 또는 gower_distance(X, categorical_features=[False, True,
   False,...]), cat attr이 숫자로 표시되는 경우.

이 구현 때문에 문제가 있으면 개인적으로 알려주십시오.
나는 인터넷에 밀어붙여서 scikit Learn의 관심사가 되어서는 안 됩니다.
할 일이 많으며 여기에 대해 논의하기에 가장 좋은 곳은 아닙니다.

2017년 11월 30일 11시 51분에 "Ali-ry" [email protected]에서 다음과 같이 썼습니다.

@marcelobeckmann https://github.com/marcelobeckmann

안녕하세요 Marcelo(또는 잠재적으로 다른 사람), 귀하의
여기에 배치한 gower 계수의 구현:
https://sourceforge.net/projects/gower-distance-4python/files/

1.

gower_single_function-v2.ipynb는 최종 버전이며 다음을 처리합니다.
NaN도요?
2.

더 중요한 것은 이 구현을 통해
하나의 단일 샘플 데이터 내 유사성? 왜냐하면 대부분의 경우 당신이
필요한 것은 내에서 각 관찰 쌍 사이의 고어 거리를 얻는 것입니다.
두 개의 다른 샘플 데이터를 비교하는 것과는 대조적으로 하나의 단일 샘플 데이터.

매우 감사합니다

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인
https://github.com/scikit-learn/scikit-learn/issues/5884#issuecomment-348166596 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AA3G79jWVbpBNdAFOAim7wJS92-QGl0dks5s7pa8gaJpZM4Glm0p
.

안녕 알리,

1. 최신 버전은 gower_function-v3.ipynb이며 scikit learn에 푸시한 것의 복사본입니다. 예, nan 전파를 다룹니다.

2. 범주 속성이 숫자가 아닌 경우 gower_distance(X)만 사용할 수 있고 범주 속성이 숫자로 표시되는 경우 gower_distance(X, categorical_features=[False, True, False,...])를 사용할 수 있습니다.

문제가 있으면 개인적으로 알려주십시오. 내가 인터넷에 푸시한 이 구현은 scikit Learn의 관심사가 아니어야 하고, 할 일이 많으며 여기가 scikit 외부에 있는 것을 논의하기에 가장 좋은 곳이 아니기 때문입니다. 프로젝트를 배우십시오.

@marcelobeckmann 안녕하세요 Marcelo,
범주형 변수가 숫자 형식으로 인코딩된 경우 categorical_features 매개변수의 값이 True 또는 False여야 합니까?

또한 다음 오류가 발생합니다.
ValueError: 0 샘플(모양=(0, 0))이 있는 배열을 찾았지만 check_pairwise_arrays에는 최소 1이 필요합니다.

이전에는 동일한 데이터에서 성공적으로 작동했지만 이제는 이러한 오류가 발생합니다. 왜 그럴 수 있습니까?

안녕하세요 @bendiste 입니다 .

True와 False를 1과 0으로 나타내면 동일한 결과를 얻을 수 있습니다.

최신 노트북 gower_function-v6.4.ipynb를 사용 중입니까?
https://sourceforge.net/projects/gower-distance-4python/files/
?

기사 작성을 마치며 이번 달에 scikit-learn 마스터에서 내 구현을 승인하도록 요청한 변경 사항을 적용할 수 있기를 바랍니다.

안녕하세요 @marcelobeckmann님 , 답변해주셔서 감사합니다. 그리고 네, 알려주신 최신 버전을 사용하고 있습니다. 다시 다운로드했을 때 성공적으로 작동했습니다. 저는 기계 학습의 초보자이기 때문에 몇 가지 질문을 하고 싶습니다.
1- KPCA를 사용하여 계층적 클러스터링 알고리즘에 대한 입력으로 차원을 줄일 수 있습니까?
2- 아니면 계층적 클러스터링에 대한 입력으로 차원이 높은 전체 데이터 세트를 사용해야 합니까?

안녕하세요 @marcelobeckmann ,
구현해 주셔서 감사합니다!

gower_function-v6.4 버전을 시도했습니다.
범주형 열을 지정하든 지정하지 않든 단위 테스트의 거리는 동일하다는 것을 알 수 있습니다. 나는 또한 결과에 영향을 미치지 않는 내 자신의 데이터로 시도했습니다.

이 올바른지?

감사합니다!

안녕하세요 @annelaura ,

답변이 늦어 죄송합니다. 네 맞습니다. 해당 테스트는 categorical_features=[0, 1] 매개변수가 결과에 영향을 미치지 않는지 확인하기 위한 것이었습니다. 숫자가 아닌 열도 개체로 식별할 수 있는 경우입니다. 입력 데이터가 동일하므로 결과가 동일해야 합니다.

몇 가지 논문을 마친 후 scikit master 브랜치에 대한 구현을 마침내 제안하기 위해 다시 일합니다! :)

@marcelobeckmann 이에 관한 소식이 있습니까? :)

안녕 Alex, 나는 풀 리퀘스트에서 검토자들이 지금까지 요청한 모든 수정을 완료했고 CI는 녹색입니다. 또한 리뷰어가 만족하는지 확인하기 위해 핑을 보냈습니다. 그러면 이 풀 리퀘스트를 닫고 푸시하여 릴리스할 수 있습니다.

업데이트가 있습니까? @marcelobeckmann

검토 후 작업을 진행합니다.

PR이 승인되었습니까? @marcelobeckmann

아직, 최근 코드 검토를 거쳐 작업이 진행 중입니다.

필요해서 아쉽네요.

기능만 어딘가에서 사용할 수 있습니까? 혼자 사용할 수 있도록 (연구 목적으로)

감사 해요

이 PR에서 이 기능의 최신 커밋을 수행할 수 있습니다.
https://github.com/scikit-learn/scikit-learn/pull/9555

나는 그것을 로컬에서 작동시키는 데 성공했다. 감사 해요!

이 티켓을 빠르게 +1하세요! 모든 작업에 감사드립니다.

충돌. 이것은 훌륭한 추가 사항이 될 것입니다. 비교적 간단한 계산으로 sklearn으로 만드는 데 4년이 걸렸다는 것이 믿기지 않습니다!!

또는 다음과 같이 말할 수 있습니다.
자발적인 노력!

또는 다음과 같이 말할 수 있습니다. 4년 동안 자원 봉사를 위해 헌신적으로 끈기 있게 노력해 주셔서 감사합니다!

당신 말이 맞아, 미안. 무례하게 보이려는 의도는 아니었습니다. 노력에 감사드립니다. 나는 이것을 잠시 동안 로컬에서 사용해 왔으며 추가되는 것을 보는 것이 좋을 것입니다. 혼합 데이터 유형에 대해 내가 아는 유일한 거리 측정법입니다.

자원 봉사 노력을 제외하고 핵심 개발자가 고려하지 않은
이 긴급한 상황에서 실제로 혼합 유형을 처리하는 방법에 대한 문제가 있습니다.
그리고 훈련 테스트 설정에서 스케일링을 수행하는 방법에 대해 설명합니다.

sklearn에서 기대하겠습니다.

이 스레드에서 " 아이디어를 빌렸다 "고 주장하는 누군가가 Gower 거리(기술적으로 유사성)를 계산하기 위해 github 에 패키지를 출시했습니다. 거리와 유사성에 대해 말하자면 @marcelobeckmann의 예시와 동일합니다. 지금까지 코드만 훑어보았지만 다음과 같습니다.

@marcelobeckmann 의 노트북에서:

    # This is to normalize the numeric values between 0 and 1.
    X_num = np.divide(X_num ,max_of_numeric,out=np.zeros_like(X_num), where=max_of_numeric!=0)

"마이클 얀"에서:

    # This is to normalize the numeric values between 0 and 1.
    Z_num = np.divide(Z_num ,num_max,out=np.zeros_like(Z_num), where=num_max!=0)

안녕하세요 여러분, 이것에 관심을 가져 주셔서 감사합니다.

나는 사람들이 코드를 사용하고 그것을 개선하기 위해 노력하고 있다는 것을 기쁘게 생각합니다. 약간의 공로가 인정되기는 하지만 그것이 오픈 소스의 목적입니다.

이 PR #9555 가 승인된다면 이 코드가 scikit-learn의 일부가 되기를 바랍니다.

친애하는,

마르셀로 베크만

그 과정에서 행운을 빕니다!!