Numpy: BUG : numpy.percentile 출력이 정렬되지 않습니다.

왜 정렬 될 것으로 예상합니까? 백분위 수는 요소 별이며 출력은 입력 순서입니다.

안녕하세요 !
사실, 백분위 수는 elmenet-wise입니다. q 고려할 때 우리의 경우는
np.arange(0, 1, 0.01) * 100
q 가 정렬 되었기 때문에 출력이 정렬 될 것으로 예상합니다.

단일 ULP 내에는 동일한 출력 값을 가진 다른 입력에 대해 다른 몇 가지 숫자 오류가 있습니다. 나는 그것에 대해 할 일이 없을 것입니다.

실패 사례가 약간 감소했습니다.

In [40]: np.percentile(np.array([0, 1, 1, 2, 2, 3, 3 , 4, 5, 5, 1, 1, 9, 9 ,9, 8, 8, 7]) * 0.1, [89, 90, 95, 96, 98, 99])
Out[40]: array([0.9, 0.9, 0.9, 0.9, 0.9, 0.9])

In [41]: np.diff(_)
Out[41]:
array([-1.11022302e-16,  2.22044605e-16, -1.11022302e-16,  1.11022302e-16,
       -1.11022302e-16])

여기 diff를 통해 정렬되지 않음을 보여줍니다.

우리가 할 수있는 일이있을 것 같습니다. 나는 이것이 lerp 연산 (본질적으로 add(v_below*weights_below, v_above*weights_above) )을 수행하는 다음 라인의 안정성 때문이라고 생각합니다.

https://github.com/numpy/numpy/blob/b9fa88eec62e34e906689408096beb2450830d9a/numpy/lib/function_base.py#L3907 -L3908

https://github.com/numpy/numpy/blob/b9fa88eec62e34e906689408096beb2450830d9a/numpy/lib/function_base.py#L3928 -L3929

https://github.com/numpy/numpy/blob/b9fa88eec62e34e906689408096beb2450830d9a/numpy/lib/function_base.py#L3939 -L3942

부동 소수점 값을 선형으로 보간 할 때 여러 가지 절충안이 있지만 여기에 "올바른"선택이 있다고 생각하고 우리는 그것을 만들지 않았습니다.

더 많은 배경 정보 : https://math.stackexchange.com/questions/907327/accurate-floating-point-linear-interpolation

네, 동의합니다. 작업을 재구성하는 것에 +1하여 엄격하게 단조롭습니다 (숫자). 더 나쁘지 않거나 적어도 거의 동일한 정밀도가 현명하다면 좋을 것입니다. 여기에서 몇 가지 추가 작업 / 속도에 대해 걱정할 필요가 없다고 확신합니다.

편집 : 좋은 첫 번째 문제로 표시되었습니다. 그러나 그 후에는 아마도 파이썬 코드 내에서 상당히 간단한 재구성 일 것입니다.

이 문제에 관심이 있습니다. 실패한 사례 중 일부를 살펴보고 모두 동일한 숫자 사이에 선형 보간이 포함되어 있음을 알았습니다. 즉, Eric의 예에서 그가 나열한 모든 백분위 수는 2 개의 9 사이에 있습니다. 따라서 나는 그들 사이의 선형 보간이 정확히 9가되어야한다고 생각합니다. 동일한 두 숫자 사이의 선형 보간 문제를 수정하면이 버그에 제시된 문제를 처리하고 성능에 눈에 띄는 타격을주지 않는 것처럼 보입니다. 그러나 선형 보간이 항상 단조롭도록 보장하려면 그렇게 할 수 있지만 성능을 저하시킬 부분 함수가 필요합니다.

@ ngonzo95 이를 달성하기 위해 보간 산술을 다르게 철자하는 방법이 있어야합니다. 부분적으로 계산할 필요가 없습니다.

부분적으로 계산할 필요가 없습니다.

lerp 에 대한 요구 사항에 따라 다릅니다. 우리가 관심을 가질 수도 있고 그렇지 않을 수도있는 일부 :

• 단조로운 ( (lerp(a, b, t1) - lerp(a, b, t0)) * (b - a) * (t1 - t0) >= 0 )
• 제한됨 ( a <= lerp(a, b, t) <= b )
• 대칭 ( lerp(a, b, t) == lerp(b, a, 1-t) )

( 0 <= t <= 1 )

오 그래, 나는 조각이 필요하다고 생각하지 않았지만 이것의 내 재성을 충분히 알지 못한다.

더 자세히 살펴보면 함수 a + (ba) * t가 단조 (위에 언급 된 정의)와 일관성 (lerp (a, a, t) = a)이라는 속성을 모두 가지고 있음을 발견했습니다. 나는 이것이 기능 요구 사항에 충분하다고 생각합니다. 이 함수의 주요 단점 중 하나는 lerp (a, b, 1)! = b입니다. 그러나 나는 우리가 가중치를 계산하는 방식이 0 <= t <1을 보장한다고 생각합니다.

이 함수의 주요 단점 중 하나는 lerp (a, b, 1)! = b입니다. 그러나 나는 우리가 가중치를 계산하는 방식이 0 <= t <1을 보장한다고 생각합니다.

불행히도 lerp(a, b. 1-eps) > b) 는 해당 공식으로 가능합니다.

오픈 소스가 처음입니다.
이것을 나의 좋은 첫 번째 문제로 해결하고 싶었습니다. 어떻게 기여할 수 있습니까? 전제 조건이 있습니까?

몇 가지 실패한 경우를 살펴 보았는데 모두 동일한 숫자 사이에 선형 보간이 포함되어 있음을 발견했습니다.

scikit-learn에서 우리는 최근이 문제를 발견했습니다 : https://github.com/scikit-learn/scikit-learn/issues/15733

q 가 엄격하게 증가 할 것으로 예상하므로 np.maximum.accumulate 배열을 재정렬 할 수 있습니다. 그러나 NumPy에서 직접 문제를 해결할 수 있다면 좋을 것입니다. 좋은 해결책을 찾기 위해 파헤칠 수있는 곳이 있습니까?

@glemaitre : numpy의 모든 관련 줄은 위의 내 의견 ( https://github.com/numpy/numpy/issues/14685#issuecomment -541467915)에 링크되어 있습니다.

안녕하세요, @ eric-wieser가 제공 한 stackexchange 답변 중 하나에 좋은 대체 보간법이있는 업데이트가있는 것 같습니다.
스레드에는 단조로운 증거가 포함되어 있으며 제안 된 수정은 언급 된 모든 문제를 해결하는 것으로 보입니다.
이것이 문제에 대해 의미가 있다면, 이것을 첫 번째 커밋으로 구현하거나 다른 사람이 시도해 볼 수 있습니다.

quantile() lerp에 또 다른 문제가 있습니다. inf 값이 올바르게 처리되지 않습니다. # 12282를 참조하십시오.