Numpy: 고유 및 NaN 항목 (Trac # 1514)

_trac 사용자 rspringuel이 작성했습니다. 2010-06-18_

위의 코드 블록을 사용해야합니다. 이것은 패치 오버 코드에만 실제로 영향을 미치므로 다시 게시하겠습니다.

def nanunique(x):
    a = numpy.unique(x)
    r = []
    for i in a:
        if i in r or (numpy.isnan(i) and numpy.any(numpy.isnan(r))):
            continue
        else:
            r.append(i)
    return numpy.array(r)

결정된.

최신 마스터에서 여전히이 문제가 발생합니다. 어떤 커밋을 수정 했어야하나요? 내가 뭔가를 놓친 것이 아니라면이 문제를 다시 여는 것이 좋습니다.

이것은 수레에 대해 쉽게 고칠 수 있지만 복잡하거나 구조화 된 dtype에 대한 쉬운 방법은 보이지 않습니다. 간단한 PR을 함께하고 거기에서 옵션에 대해 논의 할 수 있습니다.

@jaimefrio 고유 사용을 위해 수정했습니다.

    if issubclass(aux.dtype.type, np.inexact):
        # nans always compare unequal, so encode as integers
        tmp = aux.searchsorted(aux)
    else:
        tmp = aux
    flag = np.concatenate(([True], tmp[1:] != tmp[:-1]))

하지만 다른 모든 작업에도 문제가있는 것 같습니다. nan_equal, nan_not_equal ufuncs 또는 nanfuntions가 필요할 수 있습니다.

aux 자체를 정렬하는 것은 현명한 트릭입니다! 모든 항목을 정렬하는 것은 약간 낭비이지만 이상적으로는 aux 및 flag 를 지금 당장 생성 한 후 nan이있는 첫 번째 항목을 찾을 수 있습니다. :

if not aux[-1] == aux[-1]:
    nanidx = np.argmin(aux == aux)
    nanaux = aux[nanidx:].searchsorted(aux[nanidx:])
    flag[nanidx+1:] = nanaux[1:] != nanaux[:-1]

또는 내가 거기에 도입했을 가능성이있는 하나의 오류로 모든 오프를 수정 한 후 비슷한 것.

이 마지막 접근 방식은 float 및 복합 유형에는 작동하지만 부동 소수점 필드가있는 구조화 된 dtype에는 실패합니다. 그러나 나는 모든 유형에 대해 작동하더라도 검색 정렬 트릭이 너무 낭비라고 생각합니다. 몇 가지 타이밍 :

In [10]: a = np.random.randn(1000)

In [11]: %timeit np.unique(a)
10000 loops, best of 3: 69.5 us per loop

In [12]: b = np.sort(a)

In [13]: %timeit b.searchsorted(b)
10000 loops, best of 3: 28.1 us per loop

이는 40 % 성능 저하가 될 것입니다. nanunique 함수에서는 괜찮을 수 있지만 일반적인 경우에는 그렇지 않을 수 있습니다.

2019 년에 OP 문제는 여전히 유효하며 코드는 재현 가능합니다.

@jaimefrio 왜 우리는 기본적으로 거짓 옵션을 가질 수 없습니까?

내 말은,이 행동은 기껏해야 혼란스럽고 성능은 변명이 아닙니다.

@ Demetrio92 이 문제를 해결하려는 시도에 감사 드리지만, 인터넷상의 아이러니 / 비꼬는 사람마다 다르게 해석 될 수 있습니다. 친절하게 유지해주세요. 우리 중 일부에게는 성능이 매우 중요하며 작업 속도를 늦추는 코드를 자연스럽게 추가하지 않습니다.

PR # 5487은 앞으로 나아갈 방법에 대해 의견을 말하거나 제안하기에 더 좋은 곳일 수 있습니다.

편집 : PR 번호 수정

이 문제는 8 년 동안 열려있는 것으로 보이지만, numpy.unique 의 기본 동작이 빠르지 않고 정확하도록 +1을하려고합니다. 이것은 내 코드를 깨뜨 렸고 다른 사람들이 그것으로 고통받을 것이라고 확신합니다. 선택적 "fast = False"를 가질 수 있으며 fast 및 nans에 대한 nan 동작을 문서화 할 수 있습니다. np.unique가 시간이 중요한 응용 프로그램에서 성능 병목 현상이 자주 발생한다면 놀랄 것입니다.

오늘도 같은 문제가 발생했습니다. np.unique 루틴의 핵심은 numpy / lib / arraysetops.py의 unraveled 정렬 된 배열에서 마스크를 계산하여 해당 정렬 된 배열에서 값이 변경되는시기를 찾는 것입니다.

mask = np.empty(aux.shape, dtype=np.bool_)
mask[:1] = True
mask[1:] = aux[1:] != aux[:-1]

이것은 다음과 같은 것으로 대체 될 수 있습니다. 이것은 약 5 년 전의 jaimefrio의 의견과 거의 비슷하지만 argmin 호출을 피합니다.

mask = np.empty(aux.shape, dtype=np.bool_)
mask[:1] = True
if (aux.shape[0] > 0 and isinstance(aux[-1], (float, np.float16,
                                              np.float32, np.float64))
    and np.isnan(aux[-1])):
    aux_firstnan = np.searchsorted(aux, np.nan, side='left')
    mask[1:aux_firstnan] = (aux[1:aux_firstnan] != aux[:aux_firstnan-1])
    mask[aux_firstnan] = True
    mask[aux_firstnan+1:] = False
else:
    mask[1:] = aux[1:] != aux[:-1]

몇 가지 % timeit 실험을 실행하면 어레이가 크고 NaN이 매우 적은 경우 (1 백만 개 중 10 NaN) 최대 <10 % 런타임 패널티가 관찰되었으며, 이러한 대형 어레이의 경우 실제로 많은 경우 더 빠르게 실행됩니다. NaN의.

반면에 배열이 작은 경우 (예 : 10 개 항목) float 및 NaN에 대한 검사가 상대적으로 비싸고 런타임이 배수로 올라갈 수 있기 때문에 상당한 성능 저하가 있습니다. 느린 수표이기 때문에 NaN이 없어도 적용됩니다.

배열에 NaN이있는 경우 NaN을 결합하여 다른 결과를 생성합니다. 따라서이 경우에는 원하는 결과 (모든 NaN이 단일 값 그룹으로 결합 됨)를 약간 더 느리게 얻는 것과 원하지 않는 결과 (자체 값 그룹의 각 NaN)를 약간 더 빠르게 얻는 것이 실제로 문제입니다.

마지막으로,이 패치는 다음 예제와 같이 NaN을 포함하는 복합 객체와 관련된 고유 값 찾기를 수정하지 않습니다.

a = np.array([[0,1],[np.nan, 1], [np.nan, 1]])
np.unique(a, axis=0)

여전히 돌아올 것입니다

array([[ 0.,  1.],
       [nan,  1.],
       [nan,  1.]])

"어레이에 NaN이있는 경우 NaN을 결합하여 다른 결과를 생성합니다. 이것이 모두의 요점입니다."

+1

반복되는 요소를 포함하는 목록을 반환하는 함수 (예 : NaN이 1 개 이상인 목록)는 "고유"라고 부르지 않아야합니다. NaN의 경우 반복되는 요소가 필요한 경우 기본적으로 비활성화되는 특수한 경우 (예 numpy.unique(..., keep_NaN=False) 여야합니다.

@ufmayer PR 제출!

+1
NaN 반환도 한 번만 지원합니다.