Hdbscan: 다른 기능에 대해 다른 거리 측정법을 사용합니다.

에 만든 2017년 03월 10일 · 8코멘트 · 출처: scikit-learn-contrib/hdbscan

각 샘플에 위도/경도와 특정 지점의 속도가 포함된 데이터 세트가 있습니다. Haversine 거리를 메트릭으로 사용하여 위치를 기반으로 포인트를 클러스터링하는 것은 간단합니다. 그러나 나는 속도를 기능으로 포함할 것입니다. 이는 다른 측정항목을 사용함을 의미합니다. 예를 들어, 가까이에 있는 모든 포인트를 포함할 수 있지만 클러스터의 다른 포인트와 주어진 속도 차이 내에서도 마찬가지입니다.

각 기능에 대한 메트릭을 지정할 수 있다면 이 문제를 해결할 수 있습니다. 내가 어떻게 할 수 있는지에 대한 다른 제안이 있습니까? 다른 메트릭을 가진 ball_tree를 사용하여 각 기능을 기반으로 이웃을 추출할 수 있습니다. 그 후 클러스터를 생성하는 수동 코드를 작성했지만 hdbscan에 비해 정말 느립니다. 물론 거리 메트릭을 계산하고 미리 계산된 것으로 제공할 수 있지만 데이터 세트가 크기 때문에 메모리를 너무 많이 차지합니다.

모든 입력에 감사드립니다.

출처

thomasht86

👍2

가장 유용한 댓글

불행히도 정확한 코드를 공유할 수는 없지만 도움을 드릴 수는 있습니다.

이러한 알고리즘이 거리 메트릭을 사용할 때 거리 메트릭이 너무 자주 호출되기 때문에 Cython을 사용하여 최적화됩니다. Python을 사용하고 Cython 코드가 속도를 위해 C 코드로 컴파일될 수 있도록 정적 타이핑을 추가하는 언어입니다. 여전히 Python 코드에서 직접 호출됩니다.

scikit-learn에는 scikit-learn/sklearn/neighbors/dist_metrics.pyx에 dist_metrics.pyx 모듈(cython을 나타내는 .pyx 대 일반 파이썬 코드의 경우 .py)이 있습니다. 이 모듈은 lmcinnes가 자신의 HDBSCAN 저장소에 효과적으로 복사했습니다. . 이 dist_metrics.pyx는 나중에 C로 컴파일되는 Cython 코드가 있는 곳입니다. 내가 설명한 것의 1단계는 Cython 거리 측정법을 만드는 것입니다(속도를 위해 Cython 사용). 다음은 기존 dist_metrics.pyx 파일의 예입니다.

#------------------------------------------------------------
# SEuclidean Distance
#  d = sqrt(sum((x_i - y_i2)^2 / v_i))
cdef class SEuclideanDistance(DistanceMetric):
    r"""Standardized Euclidean Distance metric
    .. math::
       D(x, y) = \sqrt{ \sum_i \frac{ (x_i - y_i) ^ 2}{V_i} }
    """
    def __init__(self, V):
        self.vec = np.asarray(V, dtype=DTYPE)
        self.vec_ptr = get_vec_ptr(self.vec)
        self.size = self.vec.shape[0]
        self.p = 2

    cdef inline DTYPE_t rdist(self, DTYPE_t* x1, DTYPE_t* x2,
                              ITYPE_t size) nogil except -1:
        if size != self.size:
            with gil:
                raise ValueError('SEuclidean dist: size of V does not match')
        cdef DTYPE_t tmp, d=0
        cdef np.intp_t j
        for j in range(size):
            tmp = x1[j] - x2[j]
            d += tmp * tmp / self.vec_ptr[j]
        return d

    cdef inline DTYPE_t dist(self, DTYPE_t* x1, DTYPE_t* x2,
                             ITYPE_t size) nogil except -1:
        return sqrt(self.rdist(x1, x2, size))

    cdef inline DTYPE_t _rdist_to_dist(self, DTYPE_t rdist) nogil except -1:
        return sqrt(rdist)

    cdef inline DTYPE_t _dist_to_rdist(self, DTYPE_t dist) nogil except -1:
        return dist * dist

    def rdist_to_dist(self, rdist):
        return np.sqrt(rdist)

    def dist_to_rdist(self, dist):
        return dist ** 2

따라서 1단계는 위에서 구현한 이미 존재하는 SEuclideanDistance와 유사한 cdef 클래스 MyMetric(DistanceMetric) 및 모든 속성을 구현하는 것입니다. 또한 새 메트릭에 대해 dist_metrics.pyx의 68행 주위에 METRIC_MAPPING 개체에 string-to-class 항목을 추가합니다. 궁극적으로 이 코드는 실제 거리 계산을 수행합니다. Cython 클래스를 구현했으면 컴파일하는 것을 잊지 마십시오. Python과 달리 Cython은 컴파일해야 합니다. (이 모든 Cython 내용을 이미 알고 계시다면 죄송합니다. 저는 철저하게 하려고 합니다.)

2단계 - @lmcinnes 에 실제로 보고한 것은 그가 다양한 트리 유형에서 사용하고 있는 API입니다. 그의 API 호출이 약간 벗어났습니다. 내가 한 일을 복제하고 dist_metrics.pyx 파일로 작동하게 하고 고유한 특정 키워드 매개변수가 Cython 거리 측정법에 올바르게 전달되도록 하려면 hdbscan/hdbscan_.py를 수정해야 합니다. lmcinnes는 hdbscan_.py에 다양한 트리 유형을 작성했습니다.
_hdbscan_prims_kdtree(171행)
_hdbscan_prims_balltree(204행)
_hdbscan_boruvka_kdtree(235행)
등등.
이러한 각 트리 유형 내에서 그는 실제로 'kwargs'에서 'metric_params' 개체를 팝업해야 할 때 'kwargs' 개체를 사용하여 BallTree 및 KDTree 및 DistanceMetric과 같은 특정 scikit-learn 유형에 키워드 매개변수를 전달합니다. 개체를 만들고 대신 metric_params를 이러한 개체에 전달합니다. 따라서 이를 수행하기 위해 코드 블록을 추가하면 모두 잘 작동합니다. 또는 이것이 lmcinnes의 우선 순위 목록에 충분히 올라갈 때까지 기다리면 언젠가 당신을 위해 그것을 할 것입니다 :)

도움이 되기를 바랍니다.

QuiteAFoxtrot 에 2018년 04월 30일

👍2

모든 8 댓글

실제로 사용자 정의 측정항목이 필요하며 실제로는
천천히 하는 것. 원칙적으로 balltrees는 호출 가능한 메트릭을 지원하므로 다음을 수행할 수 있습니다.
python 함수를 메트릭으로 작성하고 이를 balltree에 전달합니다.
약간의 작업을 통해 끝까지 밀어붙일 수 있습니다.
알고리즘(또는 대신 함수를 전달하면 지금 작동할 수도 있습니다.
문자열을 메트릭으로 사용하고 특히 algorithm='boruvka_balltree'를 사용).
문제는 계산 비용이 많이 드는 것이 Cython에 있고
각 거리 호출에 대해 C에서 파이썬으로 왕복해야 하는 것은
매우 비쌀 것입니다.당신을 거기에 데려가기에 충분할 것입니다.

장기적으로 필요한 것은 공간에 포인트를 삽입하는 수단입니다.
메트릭을 효과적으로 결합합니다. 나는 실제로 건물을 짓는 일을 하고 있다.
하지만 아직 사용할 수 있는 코드는 없습니다(이론적 결과일 뿐입니다).
더 이상 도와드릴 수 없어 죄송합니다.

2017년 3월 10일 금요일 오전 3시 1분, thomasht86 [email protected]
썼다:

각 샘플에 위도/경도와 속도가 포함된 데이터 세트가 있습니다.
주어진 점. 그냥 기반으로 포인트를 클러스터링하는 것은 간단합니다.
하버사인 거리를 미터법으로 사용하는 위치에 있습니다. 나는 할 것이다, 그러나
속도를 기능으로 포함합니다. 이것은 다른 다른
미터법. 예를 들어 둘 다 가까이에 있는 모든 점을 포함할 수 있습니다.
그러나 또한 주어진 속도 차이 내에서 다른 지점과
무리.
각 기능에 대한 메트릭을 지정할 수 있는 경우
해결. 내가 어떻게 할 수 있는지에 대한 다른 제안이 있습니까? 나는 -하는 것이 가능하다
서로 다른 ball_tree를 사용하여 각 기능을 기반으로 이웃을 추출합니다.
메트릭. 그 후 클러스터를 생성하는 수동 코드를 작성했지만
hdbscan에 비해 정말 느립니다. 물론 거리를 계산할 수 있습니다.
메트릭을 만들고 미리 계산된 것으로 제공하지만 큰 데이터 세트가 있으므로 이
너무 많은 메모리를 차지할 것입니다.
모든 입력에 감사드립니다.
—
이 스레드에 가입했기 때문에 이 메시지를 받고 있습니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/scikit-learn-contrib/hdbscan/issues/91 , 또는 음소거
실
https://github.com/notifications/unsubscribe-auth/ALaKBYaCK6hJ9LrJdrwAm9H0c25hC1uBks5rkQNwgaJpZM4MZFTK
.

lmcinnes 에 2017년 03월 10일

👍1

입력해 주셔서 감사합니다!
ball_tree와 잘 작동하는 사용자 지정 메트릭 함수를 만들었습니다.
자체이지만 hdbscan에 전달하려고 할 때 다음 오류가 발생합니다.
메시지: 이 측정항목에 대해 BallTree와 함께 Boruvka를 사용할 수 없습니다!

ball_tree가 이 메트릭을 사용할 수 있다면 왜 hdbscan을 사용할 수 없습니까?

2017-03-10 14:19 GMT+01:00 Leland McInnes [email protected] :

실제로 사용자 정의 측정항목이 필요하며 실제로는
천천히 하는 것. 원칙적으로 balltrees는 호출 가능한 메트릭을 지원하므로 다음을 수행할 수 있습니다.
python 함수를 메트릭으로 작성하고 이를 balltree에 전달합니다.
약간의 작업을 통해 끝까지 밀어붙일 수 있습니다.
알고리즘(또는 대신 함수를 전달하면 지금 작동할 수도 있습니다.
문자열을 메트릭으로 사용하고 특히 algorithm='boruvka_balltree'를 사용).
문제는 계산 비용이 많이 드는 것이 Cython에 있고
각 거리 호출에 대해 C에서 파이썬으로 왕복해야 하는 것은
매우 비쌀 것입니다.당신을 거기에 데려가기에 충분할 것입니다.
장기적으로 필요한 것은 공간에 포인트를 삽입하는 수단입니다.
메트릭을 효과적으로 결합합니다. 나는 실제로 건물을 짓는 일을 하고 있다.
하지만 아직 사용할 수 있는 코드는 없습니다(이론적 결과일 뿐입니다).
더 이상 도와드릴 수 없어 죄송합니다.
2017년 3월 10일 금요일 오전 3시 1분, thomasht86 [email protected]
썼다:
각 샘플에 위도/경도와 속도가 포함된 데이터 세트가 있습니다.
ㅏ
주어진 점. 포인트를 클러스터링하는 것은 간단합니다.
기반을 둔
하버사인 거리를 미터법으로 사용하는 위치에 있습니다. 나는 할 것이다, 그러나
속도를 기능으로 포함합니다. 이것은 다른 다른
미터법. 예를 들어 둘 다 위치한 모든 포인트를 포함할 수 있습니다.
닫다,
그러나 또한 주어진 속도 차이 내에서 다른 지점과
무리.
각 기능에 대한 메트릭을 지정할 수 있는 경우
be
해결. 내가 어떻게 할 수 있는지에 대한 다른 제안이 있습니까? 나는 -하는 것이 가능하다
ball_tree를 사용하여 각 기능을 기반으로 이웃을 추출합니다.
다른
메트릭. 그 후 클러스터를 생성하는 수동 코드를 작성했지만
그것
hdbscan에 비해 정말 느립니다. 나는 당연히 계산할 수 있었다
거리
메트릭을 만들고 미리 계산된 것으로 제공하지만 큰 데이터 세트가 있으므로 이
너무 많은 메모리를 차지할 것입니다.
모든 입력에 감사드립니다.
—
이 스레드에 가입했기 때문에 이 메시지를 받고 있습니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/scikit-learn-contrib/hdbscan/issues/91 , 또는 음소거
실
ALaKBYaCK6hJ9LrJdrwAm9H0c25hC1uBks5rkQNwgaJpZM4MZFTK>
.
—
스레드를 작성했기 때문에 이 메시지를 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/scikit-learn-contrib/hdbscan/issues/91#issuecomment-285666973 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AXbP8MIOO7inlKJIDNmDHXIoSq_fWm1uks5rkU3XgaJpZM4MZFTK
.

thomasht86 에 2017년 03월 13일

그것에 대해 조사하고 다시 연락을 드려야겠습니다. 가능해야 한다
사용자 정의 측정항목을 통과할 수 있는지 확인하십시오.
고치기 어렵다.

2017년 3월 13일 월요일 오전 4시 24분, thomasht86 [email protected]
썼다:

입력해 주셔서 감사합니다!
ball_tree와 잘 작동하는 사용자 지정 메트릭 함수를 만들었습니다.
자체이지만 hdbscan에 전달하려고 할 때 다음 오류가 발생합니다.
메시지: 이 측정항목에 대해 BallTree와 함께 Boruvka를 사용할 수 없습니다!
ball_tree가 이 메트릭을 사용할 수 있다면 왜 hdbscan을 사용할 수 없습니까?
2017-03-10 14:19 GMT+01:00 Leland McInnes [email protected] :
실제로 사용자 지정 측정항목이 필요하며 실제로는
be
천천히 하는 것. 원칙적으로 볼트리는 호출 가능한 메트릭을 지원하므로
~ 할 수있다
python 함수를 메트릭으로 작성하고 이를 balltree에 전달합니다.
약간의 작업을 통해 끝까지 밀어붙일 수 있습니다.
알고리즘(또는 대신 함수를 전달하면 지금 작동할 수도 있습니다.
문자열을 메트릭으로 사용하고 특히 algorithm='boruvka_balltree'를 사용).
문제는 계산 비용이 많이 드는 것이 Cython에 있고
각 거리 호출에 대해 C에서 파이썬으로 왕복해야 하는 것은
매우 비쌀 것입니다.당신을 거기에 데려가기에 충분할 것입니다.
장기적으로 필요한 것은 공간에 포인트를 삽입하는 수단입니다.
메트릭을 효과적으로 결합합니다. 나는 실제로 건물을 짓는 일을 하고 있다.
그런 것이지만 아직 사용할 수 있는 코드가 없습니다(이론적
결과).
더 이상 도와드릴 수 없어 죄송합니다.
2017년 3월 10일 금요일 오전 3시 1분, thomasht86 [email protected]
썼다:
각 샘플에 위도/경도와 속도가 포함된 데이터 세트가 있습니다.
~을위한
ㅏ
주어진 점. 포인트를 클러스터링하는 것은 간단합니다.
기반을 둔
하버사인 거리를 미터법으로 사용하는 위치에 있습니다. 나는 할 것이다, 그러나
속도를 기능으로 포함합니다. 이것은 다른
다른
미터법. 예를 들어 둘 다 위치한 모든 포인트를 포함할 수 있습니다.
닫다,
그러나 또한 주어진 속도 차이 내에서 다른 지점과
무리.
각 기능에 대한 메트릭을 지정할 수 있는 경우
be
해결. 내가 어떻게 할 수 있는지에 대한 다른 제안이 있습니까? 나는 수 있어요
에게
ball_tree를 사용하여 각 기능을 기반으로 이웃을 추출합니다.
다른
메트릭. 그 후 클러스터를 생성하는 수동 코드를 작성했습니다.
하지만
그것
hdbscan에 비해 정말 느립니다. 나는 당연히 계산할 수 있었다
거리
측정항목을 미리 계산하여 제공하지만 데이터세트가 크기 때문에
이것
너무 많은 메모리를 차지할 것입니다.
모든 입력에 감사드립니다.
—
이 스레드에 가입했기 때문에 이 메시지를 받고 있습니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/scikit-learn-contrib/hdbscan/issues/91 또는 음소거
그만큼
실
ALaKBYaCK6hJ9LrJdrwAm9H0c25hC1uBks5rkQNwgaJpZM4MZFTK>
.
—
스레드를 작성했기 때문에 이 메시지를 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
91#이슈댓글-285666973>,
또는 스레드 음소거
AXbP8MIOO7inlKJIDNmDHXIoSq_fWm1uks5rkU3XgaJpZM4MZFTK>
.
—
당신이 댓글을 달았기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/scikit-learn-contrib/hdbscan/issues/91#issuecomment-286042146 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/ALaKBU0fC8JSdexhCyYDi5yPkD2_EMO7ks5rlP1OgaJpZM4MZFTK
.

lmcinnes 에 2017년 03월 13일

안녕 얘들아!

먼저 말하고 싶었습니다 - 이것에 대한 멋진 작업. 새로운 이슈를 열어야 할지 말아야 할지 확신이 서지 않았지만, 이 이슈에 관해 여러분이 이야기하고 있는 커스텀 메트릭은 제가 실제로 한 일입니다. scikit-learn 배포판을 분기하고 dist_metrics.pyx Cython 코드에 사용자 지정 메트릭을 추가하고 일부 항목에서 테스트했습니다. 그러나 해당 패턴을 따르려고 하면 hdbscan_.py 메서드가 dist_metrics.pyx API를 약간 잘못 호출하고 있음을 알 수 있습니다. 현재 다음과 같은 방법으로

_hdbscan_prims_balltree

예를 들어 다음과 같이 Ball_Tree를 호출합니다.
트리 = BallTree(X, metric=metric, leaf_size=leaf_size, **kwargs)

그러나 메트릭 키워드 매개변수를 적절하게 전달하려면 다음과 같이 실제 키워드를 표시해야 합니다.

if 'metric_params' in kwargs:
        metric_params = kwargs.pop('metric_params')
else:
        metric_params = None

tree = BallTree(X, metric=metric, leaf_size=leaf_size, **metric_params)

사용자 지정 거리를 적절하게 지원하려면 각 _hdbscan_METHOD_TREETYPE 함수에서 이 작업을 수행해야 한다고 생각합니다. 이 몇 줄을 변경하면 사용자 지정 거리 측정법을 사용할 수 있게 되었고 꽤 간단한 수정이라고 생각합니다. 도움이 되기를 바랍니다.

QuiteAFoxtrot 에 2017년 09월 06일

👍1

감사합니다. 나는 이것을 (포함) 하기 위해 많은 리팩토링이 있다고 생각하는데, 지금은 바쁘게 진행하고 있습니다. 곧 도착할 수 있기를 바랍니다.

lmcinnes 에 2017년 09월 11일

@QuiteAFoxtrot 코드의 더 큰 부분을 공유해 주시겠습니까? 나는 약간 혼란스럽다.
감사 해요

bitasd 에 2018년 04월 30일

불행히도 정확한 코드를 공유할 수는 없지만 도움을 드릴 수는 있습니다.

#------------------------------------------------------------
# SEuclidean Distance
#  d = sqrt(sum((x_i - y_i2)^2 / v_i))
cdef class SEuclideanDistance(DistanceMetric):
    r"""Standardized Euclidean Distance metric
    .. math::
       D(x, y) = \sqrt{ \sum_i \frac{ (x_i - y_i) ^ 2}{V_i} }
    """
    def __init__(self, V):
        self.vec = np.asarray(V, dtype=DTYPE)
        self.vec_ptr = get_vec_ptr(self.vec)
        self.size = self.vec.shape[0]
        self.p = 2

    cdef inline DTYPE_t rdist(self, DTYPE_t* x1, DTYPE_t* x2,
                              ITYPE_t size) nogil except -1:
        if size != self.size:
            with gil:
                raise ValueError('SEuclidean dist: size of V does not match')
        cdef DTYPE_t tmp, d=0
        cdef np.intp_t j
        for j in range(size):
            tmp = x1[j] - x2[j]
            d += tmp * tmp / self.vec_ptr[j]
        return d

    cdef inline DTYPE_t dist(self, DTYPE_t* x1, DTYPE_t* x2,
                             ITYPE_t size) nogil except -1:
        return sqrt(self.rdist(x1, x2, size))

    cdef inline DTYPE_t _rdist_to_dist(self, DTYPE_t rdist) nogil except -1:
        return sqrt(rdist)

    cdef inline DTYPE_t _dist_to_rdist(self, DTYPE_t dist) nogil except -1:
        return dist * dist

    def rdist_to_dist(self, rdist):
        return np.sqrt(rdist)

    def dist_to_rdist(self, dist):
        return dist ** 2

도움이 되기를 바랍니다.

QuiteAFoxtrot 에 2018년 04월 30일

👍2

@QuiteAFoxtrot 답변 감사합니다. EuclideanDistance 클래스의 기능과 다음을 달성하기 위해 어떻게 변경해야 하는지 알려주시겠습니까?

def calculate distance():
        d = euclideanDistance(tens1, tens2)
        #normalize in between [0, 1]
        mn = np.min(d)
        sqz = np.max(d) - mn
        d = (d - mn) / sqz
        d[d[:]<=0.001] = 0.001
        d[d[:]>=1.0] = 1.0
        return d

미리 감사드립니다

uhotspot4 에 2018년 06월 11일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Hdbscan: 다른 기능에 대해 다른 거리 측정법을 사용합니다.

가장 유용한 댓글

모든 8 댓글

관련 문제