저도 이 문제를 겪고 있습니다. cluster_selection_method='eom' 를 사용할 때만 발생합니다.

._hdbscan_tree.pyx에서 root 노드의 모든 자식이 자식 크기 == 1이기 때문에 cluster_tree는 비어 있습니다. 'leaf' 메서드는 'leaf'도 비어 있도록 설정되어 있기 때문에 이 문제를 해결할 수 있습니다.

그러나 'eom_clusters'는 루트 노드를 포함하고 epsilon_search()는 자식 노드를 검색하는 cluster_tree에만 의존합니다. 루트 노드가 'eom_clusters' 목록에 포함되지 않도록 하고 싶습니까?

@danielzgtg 문제에 대한 가능한 수정 사항에 대한 내 풀 리퀘스트를 참조하십시오. 나는 그것이 기본 알고리즘에 영향을 미치지 않는다고 확신하지 않지만 해결책을 찾기 위해 최선을 다했고 꽤 자신합니다.

따라서 Malzer와 Baum의 HDBSCAN* 논문을 읽은 후 370에 대한 수정 사항이 알고리즘적으로 정확하지 않은 것 같습니다. 수정 사항을 통해 해당 매개변수로 실행할 수 있지만 실제로 알고리즘이 정확히 하나의 단일 클러스터를 반환하는 것을 허용하지 않습니다.

섹션 4.3의 설명은 "루트에 도달하기 전에 하나를 찾으면 클러스터로 선택하고 모든 하위 항목을 선택 취소"하는 엡실론 기반 병합을 설명합니다.

@lmcinnes 또는 @cmalzer 가 "allow_single_cluster"와 "cluster_selection_epsilon"의 조합에 대해 계층의 상향 순회 동안 _루트 노드에 도달하는 것을 허용하기를 원한다는 것을 확인할 수 있습니까? 또는 의도하지 않은 결과가 발생한다면? 이것은 올바른 움직임처럼 보입니다.

나는 그것을 올바르게 구현하고 내가보고 있던 몇 가지 잘못된 동작을 수정한다고 생각하는 새로운 커밋을 만들었습니다. 첫 커밋을 하기 전에 더 철저한 조사를 하지 못한 점에 대해 사과드립니다.

안녕하세요, 지적해 주셔서 감사합니다. "allow_single_cluster" 옵션에 대해 cluster_selection_epsilon을 구현하는 것을 잊었습니다. (논문에 설명된 알고리즘은 데이터 세트를 분할하려는 경우에만 고려됨)

그러나 최신 커밋을 살펴보고 allow_single_cluster가 True로 설정된 경우 "traverse_upwards"에서 루트를 반환하면 실제로 문제가 해결됩니다. 감사합니다!

빠른 답변과 이 알고리즘 설계 작업에 감사드립니다!

@lmcinnes 안타깝게도 이 문제는 해결되지 않았습니다.

내가 만든 두 번째 pull 요청은 내가 사용하던 단위 테스트를 통과했고 대부분의 경우 단일 클러스터를 허용하지만 @danielzgtg에서 제공한 코드에는 예외적인 경우가 있습니다.

디버깅을 시도했는데 _hdbscan_tree에서 cluster_tree['lambda_val] 가 비어 있을 때 문제가 있는 것으로 보입니다. pyx:638 . 그래도 cython을 디버깅하는 데 문제가 있습니다(여전히 cython에 매우 익숙하지 않음). 누군가 이 조사를 도울 시간이 있다면 대단히 감사하겠습니다.

나는 방금 그것을 보았다. 문제는 실제로 이 시점에서 cluster_tree가 비어 있다는 것입니다. 따라서 cluster_tree['lambda_val'][cluster_tree['child'] == leaf] 는 빈 배열이며 첫 번째 요소([0])에 액세스하려고 하면 IndexError가 발생합니다.

cluster_tree가 비어 있는 이유는 "cluster_tree = tree[tree['child_size'] > 1]" 행 때문입니다. 트리에는 크기가 1인 자식이 있는 부모 노드만 포함됩니다.

이 코드는 리프 목록이 비어 있기 때문에 cluster_selection_method="leaf"에 대해 작동합니다. "eom"의 경우 상위 클러스터는 "리프"로 전달됩니다.

이것은 epsilon_search를 수행하기 전에 cluster_tree가 비어 있는지 확인하여 해결할 수 있습니다. 예를 들어, "만약 cluster_selection_epsilon != 0.0 and cluster_tree.shape[0] > 0: ... "

조건부 cluster_tree.shape[0] > 0 제안으로 테스트했지만 실패했습니다. 약간의 printf 디버깅을 수행한 후 cluster_tree에는 ~26개의 요소가 있었고 eom_clusters에는 루트 노드인 정확히 하나의 요소가 있습니다. 따라서 637행에서 cluster_tree['child'] == leaf 를 평가할 때 리프는 루트 노드이고 하위 항목과 일치하지 않습니다.

이건 어때요?

cpdef set epsilon_search(set leaves, np.ndarray cluster_tree, np.double_t cluster_sel\
ection_epsilon, np.intp_t allow_single_cluster):                                      

    selected_clusters = list()                                                        
    processed = list()                                                                
    root_node = cluster_tree['parent'].min()                                          

    for leaf in leaves:                                                               
        if leaf == root_node:                                                         
            if allow_single_cluster:                                                  
                selected_clusters.append(leaf)                                        
                break                                                                 
            continue                                                                  
        eps = 1/cluster_tree['lambda_val'][cluster_tree['child'] == leaf][0]          
        if eps < cluster_selection_epsilon:                                           
            if leaf not in processed:                                                 

솔직히 좀 헷갈립니다. 단일 클러스터를 허용하려는 경우 노이즈 클러스터만 허용해야 합니까? 이 경우 다음과 같습니다.

cpdef set epsilon_search(set leaves, np.ndarray cluster_tree, np.double_t cluster_sel\
ection_epsilon, np.intp_t allow_single_cluster):                                      

    selected_clusters = list()                                                        
    processed = list()                                                                
    root_node = cluster_tree['parent'].min()                                          

    for leaf in leaves:                                                               
        if leaf == root_node:                                                         
            if not allow_single_cluster:                                              
                selected_clusters.append(leaf)                                        
            break                                                                     
        eps = 1/cluster_tree['lambda_val'][cluster_tree['child'] == leaf][0]          
        if eps < cluster_selection_epsilon:  

잘못된 수의 임의 데이터 포인트로 테스트한 다음 동일한 오류가 발생했지만 원인은 다른 것 같습니다.
이 문제를 해결하는 방법에는 여러 가지가 있습니다. 예를 들어 다음과 같이 epsilon_search 외부에서 검사를 수행하는 것이 실제로 조금 더 빠를 수 있습니다.

if cluster_selection_epsilon != 0.0 and cluster_tree.shape[0] > 0:

            eom_clusters = [c for c in is_cluster if is_cluster[c]]
            if not (len(eom_clusters) == 1 and eom_clusters[0] == cluster_tree['parent'].min()):
                selected_clusters = epsilon_search(set(eom_clusters), cluster_tree, cluster_selection_epsilon, allow_single_cluster)

(수정이 많아 죄송합니다)

빠른 응답에 감사드립니다! 그거 좋은 생각이야. 오늘 밤에 풀 리퀘스트를 할게요.

@cmalzer

나는 당신의 제안으로 풀 리퀘스트를 올렸습니다.

epsilon_search() 메서드 내부에서 확인을 한 이유는 루트 노드가 eom_clusters 에 있을 때 해당 목록의 유일한 항목이라는 것을 보장할 수 있는지 확신할 수 없었기 때문입니다. 그렇지 않고 한 가지 경우만 확인하면 루트 노드가 eom_clusters 목록에 다른 잎이 혼합되어 있는 경우 epsilon_search() 에서 여전히 오류가 발생합니다.

우리가 그 가정을 할 수 없다면 나는 조건부를 다음으로 변경할 것입니다.

if (cluster_tree['parent'].min() in eom_clusters)

루트가 목록에 전혀 존재하지 않고 이를 출력으로 허용하면 기본적으로 검색에서 반환되는 유일한 엡실론 자식이 되기 때문입니다.

HDBSCAN이 클러스터를 선택하면 모든 하위 항목도 선택 취소합니다. 따라서 실제로 루트 클러스터와 다른 클러스터가 목록에 있는 경우는 발생하지 않아야 합니다. 그러나 "if .... in eom_clusters"에 대한 귀하의 제안은 제 버전보다 훨씬 읽기 쉽기 때문에 실제로 해당 코드 행을 선호합니다. 드문 경우지만 엡실론 매개변수를 사용할 때마다 루트 노드에 대한 전체 클러스터 목록입니다. 하지만 성능 차이가 얼마나 되는지 잘 모르겠습니다... (어쨌든 길이를 확인하는 데 시간이 오래 걸리나요?) 저는 어느 쪽이든 괜찮습니다.

설명해주셔서 감사합니다! 아마도 중간 지점으로 성능을 위해 그대로두고 위에 주석을 달 것이라고 생각합니다.