Numpy: 백분위 수 방법 재구성

이미 존재한다고 생각합니까? 위키 백과 예제 사용 :

>>> np.percentile(15, 20, 35, 40, 50], [5, 30, 40, 50, 100], interpolation='lower')
array([15, 20, 20, 35, 50])

그렇지 않습니다. 위키 백과 페이지의 예제 2를보십시오.

>>> np.percentile([3, 6, 7, 8, 8, 10, 13, 15, 16, 20], [25,50,75,100], interpolation='lower')
array([ 7,  8, 13, 20])

[7,8,15,20] 이어야하는 경우

세 번째 예에서도 마찬가지로 실패합니다.

가장 가까운 소리가 "가장 가까운"것 같나요? 경계가 정확히 어떻게 작동하는지에 대한 또 다른 요점이 항상 있지만.
편집 : 즉, 정확히 0과 100이 데이터 포인트에서 또는 데이터 포인트 이전으로 간주되는 곳입니까? (그것은 IIRC입니다, 어쨌든 여기에는 많은 성가신 복잡성이 있습니다)

읽고 싶지 않다면, 그 차이가 더 아래에있는 C 매개 변수 일 수 있다고 생각합니다. 그래서 이것을 아는 사람이 이것을 추가하고 싶다면 ....

솔직히 C 매개 변수를 추가하면 정말 좋을 것 같습니다. 그러나 대체로 더 나은 문서가 좋을 것이고, 이것을 정말로 아는 사람이 필요합니다 ....

이것이 C- 파라미터와 관련이 있는지는 모르겠지만, 선택하는 옵션이 바람직 할 수 있다는 데 동의합니다.

우연히이 문제를 제기 한 다른 스레드 를 찾았습니다 (2016 년 12 월). 내가 찾고있는 알고리즘 (그리고 wikipedia에서 가장 가까운 순위라고 부르는 알고리즘)은 Hyndman-Fan (H & F) 이 일반적으로 인용 한이

다음은 직관적으로 유사한 것을 계산하는 것처럼 보이는 numpy가 제공하는 다른 옵션 (예 : 'lower', 'nearest')과 비교하여 어떻게 보이는지 보여줍니다.

나에게 그것은 첫눈에 C 매개 변수와 똑같이 보입니다. 가장 가까운 곡선은 H & F 곡선보다 더 늘어납니다 .numpy는 1을 사용하고 H & F는 0을 사용하기 때문에 예상됩니다.

증거를 원한다면. 동일한 값을 1000 번 반복하여 전체를 반복하면 수렴 할 것 같습니다.
편집 : 아니면 그렇지 않을 수도 있고, 인내심이나 시간이 없어서 생각할 시간이 없습니다. 하지만 여전히 위키피디아에서 언급 한 C 매개 변수라고 생각하므로 틀렸다는 것을 증명 해주세요 :)

이와 같은 그래프는 백분위 수 문서에 큰 도움이 될 것입니다.

편집 : 바람직하게는 불연속의 개방 / 폐쇄를 보여주는 것

독자 참고 사항 : 이 스레드를 관리하기 쉽게 유지하기 위해이 그래프를 문서에 추가하는 방법에 대한 모든 토론을 "해결됨"으로 표시했습니다. 이제 그래프는 https://numpy.org/devdocs/reference/generated/numpy.percentile.html 의 하단에

@ eric-wieser 나는 그 그래프를 만드는 데 신경 쓰지 않습니다. 오늘 늦게 다시 올게요, 여기에 올릴까요?

@seberg 솔직히 말해서 C- 파라미터를 기반으로 보간이 어떻게 계산되는지 모르겠습니다. 이것이 관련이 없다고 생각하게 만드는 것은 C- 파라미터가 선형 보간 섹션 (Wikipedia)에서만 논의되고 Wikipedia와 Hyndmand & Fan 논문에서 내가 요청한 알고리즘에 대해 보간과는 별개의 섹션에서 논의한다는 것입니다.

관심있는 알고리즘과 항상 동일한 결과를 제공하는 보간 매개 변수가 있는지 모르겠습니다.

존재하더라도,이 방법으로 접근해야합니까? 가장 일반적인 백분위 수 정의를 얻기 위해 '이상한'매개 변수를 변경하는 것은이를 구현하는 가장 좋은 방법이 아닌 것 같습니다.

@ ricardoV94 일 수도 있지만 아무리 나쁘더라도 기본값을 변경할 수는 없습니다. method = "H & K"와 같은 것을 노출하여 두 매개 변수를 한 번에 재정의 할 수 있습니다.

C 매개 변수는 데이터 포인트에 대해 0 % 및 100 %를 정의하는 곳입니다 (데이터 포인트에 대한 여부 등). 위키피디아의 매개 변수 C 로 보간에만 해당 될 수 있지만 동일한 문제로 인해 차이가 발생합니다. C 는 당연히 모호합니다. 적절한 이름은 range = 'min-max'또는 range = 'extrapolated'또는 완전히 다른 것일 수 있습니다. 내가 말했듯이, 많은 데이터 포인트 (아마도 작은 노이즈)가있는 플롯을 다시 실행하면 범위 정의가 덜 명확 해지기 때문에 이들이 수렴하는 것을 볼 수있을 것이라고 생각합니다.

@seberg 나는 method = "H & K"또는 method = "classic"으로 괜찮습니다. Interpolation = "none"도 의미가 있습니다.

문서에 이미지를 포함하는 메커니즘이 무엇인지 또는이를 수행하는 선례가 있는지 잘 모르겠습니다.

문서 내에서 matplotlib 코드를 실행할 수 있다는 것을 알고 있습니다. 이는 다른 곳에서 수행하는 방식입니다. 이는 또한 현실과 동기화 된 상태로 유지되도록합니다.

좋아요,이 경우 최고의 코드 이미지를 생각하겠습니다.

가장 문제가되는 부분은 불연속성에 대한 개방형, 폐쇄 형 마커입니다. matplotlib에는 해당 기능 (afaik)이 내장되어 있지 않기 때문입니다. 이 경우 하드 코딩은 의미가 없습니다.

지금은 건너 뛸 수 있습니다. matplotlib에 자동 지원이 있으면 좋을 것입니다.

누군가가 더 나은 제안을 할 수 있기를 바랍니다. 그것은 불연속성에 대해 여전히 우아합니다.

import matplotlib.pyplot as plt

a = [0,1,2,3]
p = np.arange(101)

plt.step(p, np.percentile(a, p, interpolation='linear'), label='linear')
plt.step(p, np.percentile(a, p, interpolation='higher'), label='higher', linestyle='--')
plt.step(p, np.percentile(a, p, interpolation='lower'), label='lower', linestyle='--')
plt.step(p, np.percentile(a, p, interpolation='nearest'), label='nearest', linestyle='-.',)
plt.step(p, np.percentile(a, p, interpolation='midpoint'), label='midpoint', linestyle='-.',)

plt.title('Interpolation methods for list: ' + str(a))
plt.xlabel('Percentile')
plt.ylabel('List item returned')
plt.yticks(a)
plt.legend()

나는 interpolation = 'linear' 이 단차가 아닌 규칙적인 선이어야한다고 생각하지만 그렇지 않으면 좋아 보인다. 문서에 추가하여 PR을 할 수 있습니까?

사실, step 은 일반적으로 오해의 소지가있는 인공물을 유발하므로 피하고 싶습니다. linspace(0, 100, 60) 도 더 정확한 중간 좌표를 생성합니다.

PR을 만드는 방법을 모릅니다.

귀하의 계정으로 자유롭게 변경 제안을 추가하거나 논의하십시오.

나는 당신이 C 를 이와 같은 것으로 바꿀 수 있다고 생각합니다 (무언가에서 그것을 테스트하십시오). 백분위 수에 대한 함수를 호출 한 다음 numpy 버전에 연결합니다 (C = 1을 사용합니다. 지금은 경계를 벗어난 백분위 수를 수정하는 것을 제외하고는 작동하지 않습니다).

def scale_percentiles(p, num, C=0):
     """
     p : float
          percentiles to be used (within 0 and 100 inclusive)
     num : int
         number of data points.
     C : float
         parameter C, should be 0, 0.5 or 1. Numpy uses 1, matlab 0.5, H&K is 0.
     """
     p = np.asarray(p)
     fact = (num-1.+2*C)/(num-1)
     p *= fact
     p -= 0.5 * (fact-1) * 100
     p[p < 0] = 0
     p[p > 100] = 100
     return p

그리고 짜잔, "가까운"으로 "H & F"를 얻고 선형으로 Wikipedia에서 플롯을 얻을 수 있습니다. (내가 잘못된 것을 얻었을 때까지 기다리고 있지만 내가 옳았다 고 확신합니다).

앞서 말했듯이 차이점은 마지막 포인트에 대해 0-100 (균등하게)의 데이터 포인트를 배치하는 위치입니다. C = 1의 경우 min (data)을 0 번째 백분위 수 등에 넣습니다. "무엇이 더 타당한 지"에 대한 단서가 없습니다. 아마도 일반적인 관점에서 약간 중요 할 것입니다. 1을 포함하고 0을 제외하는 이름은 약간 의미가 있습니다 (배타적 가능한 범위가 데이터 범위 밖에 있기 때문에 백분위 수의 전체 범위를 생각할 때). C = 1 / 2도 그런 의미에서 배타적입니다.

나는 C 매개 변수를 추가 할 것이지만, 가능하다면 누군가가 설명적인 이름을 제시하기를 원합니다. 또한 최선의 기본값을 명확하게 만들기 위해 "방법"과 같은 것을 신경 쓰지 않을 것입니다 (보간 + C 조합). 또는 기본적으로 대부분의 조합이 사용되지 않고 유용하지 않다고 결정합니다.

결국 내 문제는 다음과 같습니다. 통계학자가 어떤 방법에 합의가 있는지 알려주기를 원합니다 (R에는 몇 가지 내용이 있지만 마지막으로 누군가가 여기에 왔을 때 R 문서 또는 유사한 내용을 numpy 컨텍스트로 설정하지 않고 복사 한 것입니다. 말할 필요도없이, 일반 청중에게는 쓸모가 없었으며 논문을 인용하는 것이 더 도움이되었을 것입니다).

나는 그 H & F 논문을 읽고 싶지 않지만 (솔직히 읽기에도 매우 매끄럽게 보이지 않는다), 당신도지지의 관점에서 볼 수 있다고 생각한다. numpy "가장 가까운"(또는 기타) 버전은 각 데이터 포인트에 대해 동일한 지원 (백분위 수)을 갖지 않으며, H & F는 "가장 가까운"에 대해 동일한 지원을 제공하며 중간 포인트에 대해 C = 1 / 2 일 수 있습니다. 확실하지 않습니다.
나는 계속 반복한다. 그런지지 주장 (numpy와 같은 C = 1에 대한 반대)이 실제로 진짜 이유인지 모르겠다.

편집 : 중간 점은 numpy에서 동일한 지원 (데이터 점 자체가 아닌 데이터 점 사이의 영역에 대해)이 있으므로 "C = 1"

@seberg 나와 함께 작동하지 않는 것 같습니다. 작동하는 코드를 게시 할 수 있습니까?

글쎄, 나는 거기에있는 코드에서 잘못된 부호를 얻었으므로 반대였습니다 (C = 0이 아니라 C = 1).

def scale_percentiles(p, num, C=0):
     """
     p : float
          percentiles to be used (within 0 and 100 inclusive)
     num : int
         number of data points.
     C : float
         parameter C, should be 0, 0.5 or 1. Numpy uses 1, matlab 0.5, H&F is 0.
     """
     p = np.asarray(p)
     fact = (num+1.-2*C)/(num-1)
     p *= fact
     p -= 0.5 * (fact-1) * 100
     p[p < 0] = 0
     p[p > 100] = 100
     return p
plt.figure()
plt.plot(np.percentile([0, 1, 2, 3], scale_percentiles(np.linspace(0, 100, 101), 5, C=0), interpolation='nearest'))
plt.plot(np.percentile([0, 1, 2, 3], scale_percentiles(np.linspace(0, 100, 101), 5, C=1), interpolation='nearest'))
plt.figure()
plt.plot(np.percentile([15, 20, 35, 40, 50], scale_percentiles(np.linspace(0, 100, 101), 5, C=1), interpolation='linear'))
plt.plot(np.percentile([15, 20, 35, 40, 50], scale_percentiles(np.linspace(0, 100, 101), 5, C=0.5), interpolation='linear'))
plt.plot(np.percentile([15, 20, 35, 40, 50], scale_percentiles(np.linspace(0, 100, 101), 5, C=0), interpolation='linear'))

@seberg 닫지 만 아직 없습니다. 를 들어 a = [0,1,2,3] 및 percentiles = [25, 50, 75, 100] , np.percentile (a, scale_percentiles(percentiles, len(a), C=0), interpolation='nearest) 반환 [0, 2, 3, 3] , 그것은 반환해야하는 경우 [0,1,2,3] .

목록 백분위 수를 dtype=np.float 로 만들어야했습니다. 그렇지 않으면 함수에서 오류가 발생하지만 그게 문제라고 생각하지 않습니다.

고전적인 방법의 기능은 간단합니다.
백분위 수 / 100 * N-> 지수 인 정수인 경우, 그렇지 않은 경우 상한선을 지수로 사용합니다.

그럼에도 불구하고 C 인수는 예상대로 작동하는 것처럼 보이므로 사람들이 보간에 사용하고 싶다면 구현할 수 있습니다. 나는 여전히 위키피디아처럼 작동하는 method = 'classic'또는 interpolation = 'none'을 원합니다.

디버깅을 위해 이것은 고전적인 방법의 추악한 비 numpy 구현입니다.

def percentile (arr, p):
    arr = sorted(arr)

    index = p /100 * len(arr)

    # If index is a whole number, and larger than zero, subtract one unit (due to 0-based indexing)
    if index%1 < 0.0001 and index//1 > 0:
        index -= 1

    return arr[int(index)]

그리고 더 numpythonic 하나 :

def indexes_classic(percentiles, set_size):
    percentiles = np.asarray(percentiles)

    indexes = percentiles / 100* set_size
    indexes[np.isclose(indexes%1, 0)] -= 1
    indexes = np.asarray(indexes, dtype=np.int)
    indexes[indexes < 0] = 0
    indexes[indexes > 100] = 100

    return indexes

이러한 차이점은 부동 소수점 / 반올림 문제처럼 들립니다.
알고있는 것 같음), 아마도 C = 0에 대한 내 추측이 잘못되었고 당신은
C = 0.5.
내 요점은 차이점이 어디에서 오는지 말하는 것이 었습니다 ( "C 매개 변수"
IMO, 많은 것을 싫어할만한 이유가 있지만
조합). 해결 방법을 제공 / 구현하기위한 것이 아닙니다.

"고전적인"방법에 관해서는 솔직히 어떤 고전적인
있어야합니다. 내가 아는 모든 클래식은 "상당히
사람들이 그것을 사용합니다. "

솔루션 현명한 내 첫인상은 "클래식"또는
이름이 명확하지 않은 다른 혼란스러운 옵션을 추가합니다. 나는 희망
이 토론은 실제로 모든 것을 만드는 방향으로 갈 수 있습니다.
사용자가 깨끗하고 투명하게 사용할 수있는 좋은 (공통) 옵션
방법. 사람들이 실제로 이해할 수있는 가장 좋은 방법입니다.

방법을 하나 더 추가 할 수 있지만 솔직히 절반 정도만 좋아합니다. 언제 우리가
마지막으로 더 많은 방법을 추가했습니다 (정확하게 변경된 내용이 기억 나지 않음).
이미 지연되었고 누군가가 뛰쳐 나와
우리가 가져야 할 것. 말할 필요도없이 그것은 실제로 일어난 적이 없습니다. 그리고 지금
나는 차이점을 지적하고 그것이 어떻게 맞는지 보려고 노력하고 있습니다.
현재 가지고있는 것입니다.

그래서 내 인상은 (반올림과 정확한
백분위 수 일치) 많은 "보간"옵션이 있습니다 (아마도 너무).
"C 매개 변수"또는이를 호출하려는 모든 것이 필요합니다.
거의 모든 것을 할 수 있습니다.
그리고 누군가가 어떻게 모든 것을 말해 줄 수 있다면 정말 기쁠 것입니다.
(공통) "방법"은 이러한 범주에 속합니다.
그 이상으로 C = 0,0.5,1은 심지어 존재하고 어쩌면 그 밖의 일부는
옵션 ....

잘못된 차선으로 가고 있지만 "Method1"을
누구에게도 그것이 어떻게 다른지 말하지 않는 불명확 한 이름
다른 방법은 도움이되지 않는 것 같습니다 (
"Method1"이라는 이름을 이미 알고 있으며 찾고 있습니다. 과
"클래식"이 하나의 명백한 것이라고 말하지 마십시오.
구현에 너무 많은 차이가 있습니다.

또 다른 방법은 더 이상 사용되지 않는 "보간법"이지만 목록을 갖는 것입니다.
of methods는 "선형 보간"을 암시하는 것보다 훨씬 덜 좋습니다.
그것은 단계적인 행동이 아니라고 말하는 것입니다 ... 그리고 우리가 그렇게한다면,
나는 여전히 합리적인 개요를 원합니다.

그렇게 할 필요는 없지만 새 메서드를 추가하려면
더 많은 사람들을 혼란스럽게하지 않고 명확하게 추가하는 방법!

그럼 요약하겠습니다.

1) 현재 numpy는 보간 = '선형'이라는 유용한 방법 하나만 제공하고 다른 방법은 실제로 아무도 사용하지 않는 것처럼 보이는 작은 변형입니다. 다른 패키지에는 더 많은 관련 옵션이 있습니다.

2) C = 0 또는 C = 0.5에 대한 다른 값을 추가하면 이해가됩니다. 모든 보간 방법은 함께 작동 할 수 있지만 다시는 사용되지 않을 것입니다.

3) 보간 방법과 C 인수 사이의 콤보 중 하나가 고전적인 방법을 복제 할 수 있다면 (참조 및 위키피디아와 내 개인적인 경험이 이것이 가장 일반적으로 가르치는 방법이라는 데 동의 함), 나는 그것에 만족합니다. 이러한 콤보가 고전적인 비보 간 방법을 생성한다고 문서에 명시되어 있습니다. 플로트 정밀도 문제 때문인지 확실하지 않지만보다 통합 된 방식으로 문제를 해결하기위한 귀하의 노력에 감사드립니다!

4) 어떤 콤보도 동일한 결과를 얻지 못하면 다른 방법이 의미가 있다고 생각합니다. 아마도 interpolation = 'none'이라고 부르는 것이 덜 혼란 스러울 것입니다.

요약하면, numpy.percentile의 현재 옵션은 다소 혼란스럽고 제한적으로 보입니다. 위에서 언급 한 문서는 다른 유용한 방법에 대한 좋은 개요를 제공합니다. 위키 백과 페이지와 함께 numpy.percentile에 대한보다 포괄적이고 유용한 옵션 세트를 디자인하기위한 시작점으로 작동 할 수 있습니다. 누군가가이 작업을 수행하고 싶어하기를 바랍니다.

현재의 "가장 가까운"이 일부 / 어떤 경우에도 의미가 있습니까? 간격 방법 ( "C") 또는 어떤 것이 선형 보간 / 분수 항목에 대해 그렇게 큰 차이를 만드는 경우, 아무도 비 분수 근사를 위해 그렇게하지 않았는지 놀랍습니까?! 상수 지원이이 모든 것이 중요하고 보간 방법에 대해 CDF 역 인수를 덤프하는 이유가 있습니까?

콤보는 이해할 수 있고 일반적으로 사용되는 것이 찾기 쉬운 경우가 아니면 쓸모가 없습니다. 보간을 위해 많은 옵션이 존재하는 것 같습니다 (예 : http://mathworld.wolfram.com/Quantile.html Q4 ~ Q9, R 문서는 거의 동일하다고 생각하지만 matlab과 같이 완전하지 않을 가능성이 높습니다 ...) 실제로 모두 이해가된다면 단서가 없습니다.).

문제는 정확히 정의 된 포인트 사이에서 무엇을해야하는지에 대한 "보간"포인트입니다.하지만 최소한 "선형 보간"을 사용할 때 이러한 포인트를 배치하는 방법은 여러 가지 (이상하게도 많음)가 있으므로 추가하는 것은 잘못된 접근 방식으로 보입니다. 많이 들리는 "가장 가까운 순위"보간 = "가장 가까운"을 원했지만 정확한 "플로팅 위치"의 선택은 "비표준"으로 보이므로 추측하기가 불가능합니다. 잘못된 선택입니다.

그런 다음 나는 모든 것을 공격적으로 비난하는 것을 선호합니다 (아마도 선형을 제외하고).

우리는 더 이상 사용하지만, 나는 그것을 100 %의 권리를 얻으려면, 그것은 어떤 존재해야하고 무엇의 definetly 존재하지 않아야 존재 무엇인지에 좀 더 명확해야 할 수도 있습니다.

전적으로 동의합니다

@ ricardoV94 : # 9211에서 제안 된 가중 분위수 케이스에 대한 linear 의 정의에 대한 의견이 있습니까? 같은 스타일의 그래프가 몇 개 있습니다.

아마도 @ ricardoV94 가 그것에 대해 논평 할 수 있을지도 모르지만 (

또한 해당 PR에 대해 josef-pkt를 핑 (ping) 할 수 있으며 그가 좋은 생각 / 옳다고 생각하는지에 대한 빠른 의견을 제공하기를 바랍니다.

누군가 여기에서 가져오고 싶다면 다음을 계산하는 최적화되지 않은 함수를 작성했습니다.
Hyndman and Fan (1996)에 의해 설명되고 R 에서도 사용되는 9 백분위 수 / 사 분위수 추정 방법.

방법 1은 Wikipedia 에서 논의 된 '고전적인 가장 가까운 순위 방법'에 해당합니다. 방법 7은 현재 Numpy 구현과 동일합니다 (보간 = '선형'). Numpy 보간의 나머지 방법은 포함되어 있지 않습니다 (어쨌든 유용하지 않은 것 같습니다).

def percentile(x, p, method=7):
    '''
    Compute the qth percentile of the data.

    Returns the qth percentile(s) of the array elements.

    Parameters
    ----------
    x : array_like
        Input array or object that can be converted to an array.
    p : float in range of [0,100] (or sequence of floats)
        Percentile to compute, which must be between 0 and 100 inclusive.
    method : integer in range of [1,9]
        This optional parameter specifies one of the nine sampling methods 
        discussed in Hyndman and Fan (1996). 

        Methods 1 to 3 are discontinuous:
        * Method 1: Inverse of empirical distribution function (oldest
        and most studied method).
        * Method 2: Similar to type 1 but with averaging at discontinuities.
        * Method 3: SAS definition: nearest even order statistic.

        Methods 4 to 9 are continuous and equivalent to a linear interpolation 
        between the points (pk,xk) where xk is the kth order statistic. 
        Specific expressions for pk are given below:
        * Method 4: pk=kn. Linear interpolation of the empirical cdf.
        * Method 5: pk=(k−0.5)/n. Piecewise linear function where the knots 
        are the values midway through the steps of the empirical cdf 
        (Popular amongst hydrologists, used by Mathematica?).
        * Method 6: pk=k/(n+1), thus pk=E[F(xk)]. The sample space is divided
        in n+1 regions, each with probability of 1/(n+1) on average
        (Used by Minitab and SPSS).
        * Method 7: pk=(k−1)/(n−1), thus pk=mode[F(xk)]. The sample space
        is divided into n-1 regions (This is the default method of 
        Numpy, R, S, and MS Excell).
        * Method 8: pk=(k−1/3)/(n+1/3), thus pk≈median[F(xk)]. The resulting
        estimates are approximately median-unbiased regardless of the
        distribution of x (Recommended by Hyndman and Fan (1996)).
        * Method 9: k=(k−3/8)/(n+1/4), thus pk≈F[E(xk)]if x is normal (?).
        The resulting estimates are approximately unbiased for the expected 
        order statistics if x is normally distributed (Used for normal QQ plots).

        References:
        Hyndman, R. J. and Fan, Y. (1996) Sample quantiles in statistical packages, 
        American Statistician 50, 361--365.
        Schoonjans, F., De Bacquer, D., & Schmid, P. (2011). Estimation of population
        percentiles. Epidemiology (Cambridge, Mass.), 22(5), 750.

        '''

    method = method-1    
    x = np.asarray(x)
    x.sort()
    p = np.array(p)/100

    n = x.size  
    m = [0, 0, -0.5, 0, 0.5, p, 1-p, (p+1)/3, p/4+3/8][method]

    npm = n*p+m
    j = np.floor(npm).astype(np.int)
    g = npm-j

    # Discontinuous functions
    if method < 3:
        yg0 = [0, 0.5, 0][method]
        y = np.ones(p.size)
        if method < 2:
            y[g==0] = yg0
        else:
            y[(g==0) & (j%2 == 0)] = yg0      
    # Continuous functions
    else:
        y = g

    # Adjust indexes to work with Python
    j_ = j.copy()
    j[j<=0] = 1
    j[j > n] = n
    j_[j_ < 0] = 0
    j_[j_ >= n] = n-1 

    return (1-y)* x[j-1] + y*x[j_]

연속 메서드도 이와 같이보다 효율적으로 구현할 수 있습니다.

def percentile_continuous(x, p, method=7):
    '''
    Compute the qth percentile of the data.

    Returns the qth percentile(s) of the array elements.

    Parameters
    ----------
    x : array_like
        Input array or object that can be converted to an array.
    p : float in range of [0,100] (or sequence of floats)
        Percentile to compute, which must be between 0 and 100 inclusive.
    method : integer in range of [4,9]
        This optional parameter specifies one of the 5 continuous sampling
        methods discussed in Hyndman and Fan (1996). 
        '''

    x = np.asarray(x)
    x.sort()
    p = np.asarray(p)/100
    n = x.size

    if method == 4:
        r = p * n
    elif method == 5:
        r = p * n + .5
    elif method == 6:
        r = p * (n+1)
    elif method == 7:
        r = p * (n-1) + 1
    elif method == 8:
        r = p * (n+1/3) + 1/3
    elif method == 9:
        r = p * (n+1/4) + 3/8

    index = np.floor(r).astype(np.int)

    # Adjust indexes to work with Python
    index_ = index.copy()
    index[index_ <= 0] = 1
    index[index_  > n] = n
    index_[index_ < 0] = 0
    index_[index_ >= n] = n-1

    i = x[index - 1]
    j = x[index_]

    return i + r%1* (j-i)

누구든지 여기에서 가져갈 사람이 있습니까? 나는 그렇게 할 자격이 없습니다.

이전 게시물에서 언급했듯이 numpy의 현재 기본 Quantile 구현은 R 것과 일치하는 것으로 보입니다.

R :

> quantile(c(15, 20, 35, 40, 50), probs=c(0.05, 0.3, 0.4, 0.5, 1))
  5%  30%  40%  50% 100% 
  16   23   29   35   50 
> quantile(c(3, 6, 7, 8, 8, 10, 13, 15, 16, 20), probs=c(0.25, 0.5, 0.75, 1))
  25%   50%   75%  100% 
 7.25  9.00 14.50 20.00
> quantile(c(3, 6, 7, 8, 8, 9, 10, 13, 15, 16, 20), probs=c(0.25, 0.5, 0.75, 1))
 25%  50%  75% 100% 
 7.5  9.0 14.0 20.0 

np.quantile :

>>> np.quantile([15, 20, 35, 40, 50], q=[0.05, 0.3, 0.4, 0.5, 1])
array([16., 23., 29., 35., 50.])
>>> np.quantile([3, 6, 7, 8, 8, 10, 13, 15, 16, 20], q=[0.25, 0.5, 0.75, 1])
array([ 7.25,  9.  , 14.5 , 20.  ])
>>> np.quantile([3, 6, 7, 8, 8, 9, 10, 13, 15, 16, 20], q=[0.25, 0.5, 0.75, 1])
array([ 7.5,  9. , 14. , 20. ])

물론 Wikipedia에 제공된 예제를 재현하지 않습니다.
https://en.wikipedia.org/wiki/Percentile

실제로 quantile https://www.rdocumentation.org/packages/stats/versions/3.5.0/topics/quantile에 대한 R 도움말 페이지로 이동하면
R 기본 방법 (유형 7)이 np.quantile 설정 방법과 동일한 경계 조건을 설정하는 것을 볼 수 있습니다. p_k = (k-1) / (n-1) , 여기서 n은 샘플 크기이고 k = 1은 가장 작은 값을 나타냅니다. 값, k = n이 가장 큽니다. 즉, 정렬 된 배열에서 가장 작은 값은 quantile = 0에 고정되고 가장 큰 값은 quantile = 1에 고정됩니다.

또한 이전 게시물에서 언급했듯이 유형 1을 사용하여 Wikipedia의 3 가지 예제를 재현 할 수 있습니다.

> quantile(c(15, 20, 35, 40, 50), probs=c(0.05, 0.3, 0.4, 0.5, 1), type=1)
  5%  30%  40%  50% 100% 
  15   20   20   35   50 
> quantile(c(3, 6, 7, 8, 8, 10, 13, 15, 16, 20), probs=c(0.25, 0.5, 0.75, 1), type=1)
 25%  50%  75% 100% 
   7    8   15   20 
> quantile(c(3, 6, 7, 8, 8, 9, 10, 13, 15, 16, 20), probs=c(0.25, 0.5, 0.75, 1), type=1)
 25%  50%  75% 100% 
   7    9   15   20 

이는 몇 가지 흥미로운 질문을 제기합니다.

1.) np.quantile의 기본이 R.quantile의 기본을 추적해야합니까?
2.) np.quantile이 유형 1 알고리즘으로 전환해야합니까?

Wikipedia 자체조차도 백분위 수에 대한 표준 정의가 없다는 데 동의하기 때문에 알고리즘이 건전하고 사용자가 작동 방식을 알고있는 한 (1) 또는 (2) 그다지 중요하지 않다고 생각합니다. Python과 R은 가장 인기있는 데이터 분석 플랫폼 중 하나이기 때문에 (1)을 더 선호합니다. 서로를 검증 할 수 있다면 좋을 것입니다. 그래서 (2)는 불필요하다고 생각합니다.

예, R과 Numpy 모두 기본적으로 방법 7을 사용하므로 그대로 유지해야합니다. 문제는 다른 방법을 추가하는지 여부입니다.

관심이있는 사람이 있다면 여기에 9 개의 백분위 수 방법이있는 독립 모듈을 작성했습니다. 방법을 알고 있다면 자유롭게 사용하거나 Numpy에 적응하십시오.

@ ricardoV94 감사합니다.

그래서 그냥 킥을 위해 R 사용자를 대상으로 설문 조사를 실시했습니다. 응답 한 20 명 중 20 명은 quantile 의 기본 방법 만 사용합니다. 그들은 공중 보건 석사 과정에서 통계학 박사 연구원까지 다양합니다.

개인적으로 numpy가 분위수를 계산하는 9 가지 방법을 지원하기 위해 노력할 가치가 있는지 잘 모르겠습니다. 대부분의 사용자는 기본값을 사용합니다.

그만한 가치가있는 것은 9 개의 메소드 중 6 개 (연속적인 메소드)를 지원하는 scipy.stats.mstats.mquantiles 함수이며 문서는 R 구현과의 링크를 매우 명시 적으로 설명합니다.

@albertcthomas 아, 잘 알고 있습니다. 비록 이상적으로는 우리가이 복잡성을 numpy로 숨길 것이라고 생각합니다. 그리고 우리는 대부분 연속되지 않은 IIRC 버전을 수정해야합니다. 그것들은 기본적으로 가장 일반적인 방법을 제공하지 않기 때문입니다.

예, numpy는 scipy stats 모듈에서 구현 된 경우 이러한 메서드를 반드시 지원할 필요는 없습니다.

개인적으로 나는 누적 분포 함수의 일반화 된 역으로부터 분위수를 계산하는 방법을 선호합니다. 그러한 방법을 사용할 수 없다는 사실이 나를이 문제로 이끌었습니다. :).

@albertcthomas에 대한 힌트 / 지식이 있으면 그렇게 말 해주세요! 우리는 실제로 좋은 기본값이 무엇인지 명확하지 않기 때문에 약간 갇혀 있습니다. 그리고 그것은 꽤 성가신 문제라고 생각합니다.

가장 중요한 것은 몇 가지 좋은 기본값이 필요합니다. 그리고 그것은 아마도 2-3 개의 메서드를 구현하는 것을 의미 할 것입니다 (연속되지 않은 메서드를 완전히 수정). 좀 더 복잡한 것을 지원하는 것은 괜찮지 만 "전형적이고 좋은"것을 몇 가지 결정할 수 있다면 좋겠습니다.

선형 방법 (현재 기본값)과 누적 분포 함수의 역 (이 문제를 만들 때 찾던 역)이 ​​충분 하다고 말하고 싶습니다 . 기본적으로 보간을 원하는지 여부를 선택할 수 있습니다.

그리고 현재 구현 된 다른 대안은 확실히 제거되어야합니다.

누적 분포 함수의 역함수를 확실히 추가해야합니다. 통계에서 주어진 관측 샘플에서 가장 많이 사용되는 분위수 추정치 중 하나입니다.

그리고 현재 구현 된 다른 대안은 확실히 제거되어야합니다.

@ ricardoV94 는 대안이 Wikipedia 나 Hyndman과 Fan의 논문에서 언급되지 않았기 때문에 이것을 말하는 것입니까?

예, 다른 패키지에서는 구현되지 않습니다.

나는 왜 누군가가 그 방법을 사용하고 싶어하는지 알지 못하며 그들의 이름은
또한 오해의 소지가 있습니다.

Albert Thomas [email protected] escreveu no dia quarta, 2019 년 2 월 1 일
à (s) 14:18 :

그리고 현재 구현 된 다른 대안은 확실히
제거되었습니다.

@ ricardoV94 https://github.com/ricardoV94 당신이 이것을 말하는 이유는
대안은 Wikipedia 나 Hyndman에서 참조되지 않으며
팬의 종이?

—
당신이 언급 되었기 때문에 이것을 받고 있습니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/numpy/numpy/issues/10736#issuecomment-450861068 또는 음소거
실
https://github.com/notifications/unsubscribe-auth/AbpAmfUoJNk3YHOSHNeVN03Va5wtvkHQks5u_LGugaJpZM4SnVpE
.

감사! np.percentile에서 사용할 수있는 방법으로 누적 분포의 역수를 추가하기 위해 PR을 열어 보는 것은 어떨까요? 대안에 대해 계속 논의하려는 경우이 문제를 열어 두는 동안 (기본값으로 유지해야하는 현재 기본값 제외). numpy에서 지원 중단은 어떻게 처리됩니까?

여기에 더 많은 정보-Python 3.8에서 statistics.quantiles 추가- np.quantile 동등한 모드를 추가하는 방법을 살펴 봐야합니다.

여기서 앞으로 나아가는 방법은 statistics 하나를 미러링하는 method kwarg를 추가하고 0-2 개를 더 추가 할 수 있습니다 (이 경우 원래 작성자를 python에서 ping하는 것이 좋습니다). .

기본값이 우리와 그들의 것 사이에 일치하는지 확실하지 않습니다. 그렇지 않으면 부끄러 울 것입니다.하지만 여전히 최선의 아이디어 인 것 같습니다 (그리고 우리가 염두에 두었던 거의 대부분). 0-2 개의 새로운 "방법"도 추가 할 수 있습니다. 어떤 경우에는 실제 이름에 대해 파이썬 통계 사람들에게 핑을 보내는 것이 좋습니다.

PR은 매우 환영합니다. 앞으로 나아가고 싶지만 조만간 그렇게하지 않겠습니다.

@ eric-wieser 관련 PR이 몇 개 있습니다.

나는 이것을 1.19로 밀어서 차단제가 아닙니다. 하지만 그렇다고 1.18에서 고칠 수 없다는 의미는 아닙니다. :)

@charris : 어떤 PR을 염두에두고 계십니까?

안타깝게도 아직이 방향에는 없다고 생각합니다.