Numpy: python3 : 항목 유형이 다양한 dtype = object 배열에서 고유 한 회귀 분석 (Trac # 2188)

이 문제에 대한 새로운 아이디어가 있습니까?

unique 구현을위한 유일한 옵션은 다음과 같습니다.

• 배열 정렬
• 모든 것을 해시 테이블에 넣기
• 모든 개체에 대해 모든 개체에 대해 무차별 대입 == 비교 수행

정렬 및 해싱 전략 만이 합리적인 속도를 가지며, 정렬 및 모든 전략 만이 대규모 배열에 대해 합리적인 메모리 오버 헤드를 갖습니다. 그래서 정렬이 작동하지 않으면 다른 전략 중 하나를 시도하는 고유 한 위치에 폴백 옵션을 추가 할 수 있다고 생각합니다. 그러나 OTOH는 어떤 입력을 제공하는지에 따라 갑자기 더 많은 CPU 또는 메모리를 갑자기 차지하는 기능을 갖는 것은 좋지 않습니다.

나는 np.unique에 전략 = { "sort", "hash", "bruteforce"} 옵션을 추가하는 패치에 +1이 될 것 같아서 이상한 데이터를 가진 사용자가 자신의 상황에 맞는 것을 결정할 수 있습니다. 그런 것을 쓰고 싶다면 :-)

처음에는 정렬 할 수없는 항목에 대해 + 해시 테이블을 정렬 할 수 있는지 궁금했습니다 (dtype 개체 배열의 요소를 정렬 할 때 요소의 cmp 가 사용되는지 확인하지 않음) 그래서 __cmp__ 정렬하면 '선착순 -첫 번째 주문?
그러나 int와 str의 혼합과 같이 비교할 수없는 유형에 대해서는 일반적으로 완화를 제공하지 않는다는 것을 깨달았습니다. 그래서 dtype = object에 대해 처음 참여하는 dtype과 'unique'를 추론하는 것이 가능할 수 있는지 궁금했습니다. '(아마도 정렬을 통해) __cmp__ 없이 dtype에 대한 해시 테이블에 의존하는 각 dtype 내에서?

해결 방법이 필요한 사람들을 위해 다음은 내 경우에 내장 된 세트를 통해 '해싱'을 통해 수행하는 방법입니다.

$> python3.3 -c 'import numpy as np; print(np.array(list(set([1,2,"str", None])), dtype=object))' 
[None 1 2 'str']

방금 말한 내용이 확실하지 않습니다. :-)

그러나 더 생각하면 정렬은 실제로 dtype = object에 대해 신뢰할 수 없습니다.
어쨌든. 아마도 eq 를 재정의하는 수십 개의 클래스를 작성했지만
기본 lt를 유지합니다. 즉, 정렬 기반 고유의
조용히 오답을 돌려줍니다. 이것은 내가 생각하기에 매우 불쾌한 버그입니다.

객체가 해시 가능하면 set (arr)을 수행하여 고유 한
요소이지만 일반적으로 해시 가능하다는 보장은 없습니다. (하지만 적어도
해시 가능한 객체의 경우 이것이 사실이 아닌 _work_해야합니다.
정렬을 위해.) 아마도 이것이 더 나은 기본 구현이 될 것입니다.
객체 배열에 대한 np.unique.

2013 년 9 월 17 일 화요일 오후 5:40, Yaroslav Halchenko <
[email protected]> 작성 :

처음에는 정렬 + 해시 테이블이 정렬되지 않았는지 궁금했습니다.
항목 (요소를 정렬 할 때 _cmp_ 요소가 사용되는지 확인하지 않음)
dtype 객체 배열) 그래서 cmp를 정렬하면
'선착순'주문?
그러나 일반적으로 안도감을 제공하지 않는다는 것을 깨달았습니다.
비교할 수없는 유형, 예를 들어 int와 str이 혼합 된 경우 ...
dtype = object의 경우 첫 번째 참여를 추론 할 수 있습니다.
각 dtype 내에서 dtypes 및 'unique'(아마도 정렬을 통해)
cmp가 없는 dtypes에 대한 해시 테이블에서?

—
이 이메일에 직접 답장하거나 Gi tHub에서 확인 하세요.
.

gy ... ok-파이썬의 잔인한 설명 :

def bucketed_unique(a):
    buckets = {}
    for x in a:
        t = type(x)
        if not (t in buckets):
            buckets[t] = bucket = []
        else:
            bucket = buckets[t]
        bucket.append(x)
    out = []
    for bucket in buckets.itervalues():
        # here could be actually set of conditions instead of blind try/except
        try:
            out.append(np.unique(bucket))
        except:
            out.append(np.array(list(set(bucket)), dtype=object))
    return np.hstack(out)

print bucketed_unique([1, 2, 'str', None, np.nan, None, np.inf, int])
[1 2 'str' None <type 'int'> nan inf]

확실한 것-비 객체 ndarray에 대해 '버킷 팅'을 수행해서는 안됩니다.

그 알고리즘은 고유성의 정의로 ==를 사용하지 않습니다. 대상
다른 유형은 == 일 수 있습니다. (쉬운 예 : 1, 1.0). 그 정의는
표준 파이썬 개념에 해당합니다.
2013 년 9 월 17 일 18:01에 "Yaroslav Halchenko" [email protected]이 작성했습니다.

확실한 것-비 객체 ndarray에 대해 '버킷 팅'을 수행해서는 안됩니다.

—
이 이메일에 직접 회신하거나 Gi tHub에서 확인하십시오.
.

과연! 확실하지는 않지만 버킷에 대한 사후 분석이 의미가있을 수 있습니다 ... btw atm 문제는 복소수와의 비교에서도 스스로를 드러냅니다.

$> python3.3 -c 'import numpy as np; print(np.unique(np.array([1, 1.0, 1+0j], dtype=object)))'  
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "/usr/lib/python3/dist-packages/numpy/lib/arraysetops.py", line 194, in unique
    ar.sort()
TypeError: unorderable types: float() > complex()

$> python -c 'import numpy as np; print(np.unique(np.array([1, 1.0, 1+0j], dtype=object)))' 
[1]

두 번째 생각에서- '고유 한'값 dtype은 사용 가능한 모든 선택 (int / float / complex) 중 무엇이어야합니까? 비 객체 배열을 사용하면 명확합니다 ... 이기종 객체 배열을 사용하면 그렇지 않습니다. 다른 dtype도 유지해야 할 수 있습니다 ...

py3에서 혼합 된 int / str에서 폭발하는 argsort 해결 한 방법은 다음과 같습니다. https://github.com/pydata/pandas/pull/6222/files

개체 dtypes의 문자열 앞에 int 순서
해시 테이블을 사용하여 위치를 매핑하여 인덱서를 가져옵니다.
꽤 빠르다고 생각합니다

pandas 해시 테이블 구현을 사용하지만 쉽게 교체 / C 코드에 맞게 조정할 수 있습니다.

누구든지 이것에 스윙하고 싶어? 레코드 dtype에 대해 무엇을해야할지 모르겠습니다.

이것에 대한 업데이트가 있습니까? dtype "object"및 누락 된 값이있는 pandas DataFrame 열에서 scikit-learn의 LabelEncoder 를 사용하려고 할 때이 버그가 발생했습니다.

이것은 정말 오래되었습니다. 여전히 관련이 있습니까?

데비안에서 1.15.4 이상인 것 같습니다.

$> python3 --version
Python 3.6.5

$> PYTHONPATH=.. python3 -c 'import numpy as np; print(np.__version__); print(repr(repr(np.unique(np.array([1,2,None, "str"])))))'                                                                                   
1.15.4
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "/usr/lib/python3/dist-packages/numpy/lib/arraysetops.py", line 233, in unique
    ret = _unique1d(ar, return_index, return_inverse, return_counts)
  File "/usr/lib/python3/dist-packages/numpy/lib/arraysetops.py", line 281, in _unique1d
    ar.sort()
TypeError: '<' not supported between instances of 'NoneType' and 'int'

확실히 여전히 관련이 있습니다. 객체 배열에서 np.unique(x, return_inverse=True) 를 호출하려고 시도하면서 이것을 발견했습니다.

이 작업을 수행하는 _how_의 질문과 관련하여 정렬이 정의되지 않은 경우 : 오류를 발생시키는 현상 유지보다 느린 알고리즘을 선호합니다. (내 경험상, 종종 성능이 좋은 알고리즘이 필요한 경우 처음부터 객체 배열을 사용해서는 안됩니다.)

나는 이것이 버그가 아니라 기능 요청이라고 생각합니다. 문서에는 다음과 같이 명시되어 있습니다.

배열의 _sorted_ 고유 요소를 반환합니다.

[1, None] 와 같은 배열의 경우 정렬이 더 이상 잘 정의되지 않았으므로 Python 3에는 이러한 정렬 된 배열이 없습니다.

정렬 된 배열을 반환하지 _not_하는 옵션이 있으면 좋을 것입니다. 일부 최적화를 허용합니다.