Requests: 세션의 승인 헤더가 리디렉션시 전송되지 않음

리디렉션은 어디에 있습니까?

아, 다른 도메인. firebase-apiserver03-tah01-iad01.dapi.production.nest.com

네, 그것은 다소 의도적입니다. 우리는 새 호스트로 리디렉션 될 때 인증 헤더를 제거하는 데 매우 공격적입니다. 이것은 오프 호스트 리디렉션에서 헤더를 유지하기 때문에 발생하는 CVE 2014-1829 를 처리하기위한 안전 기능입니다.

그러나 특정 관점에서는 요청이 아닌 Session 에 Authorization 헤더를 설정했기 때문에 여기에 여전히 버그가 있습니다. 원칙적으로 이것이 의미하는 바는 "리디렉션이 어디로 가는지 신경 쓰지 않고 헤더를 추가합니다"입니다. 나는 여전히 _ 생각한다 _ 나는이 접근 방식을 선호한다. 적어도 우리가 어떤 형태의 공격에도 개방되지 않도록 보장한다. 비록이 특정 인스턴스가 다소 까다로워 지더라도 말이다. 그러나 나는 우리가 여기서 너무 편집증 적이라고 확신 할 수 있습니다.

그러나 나는 우리가 여기서 너무 편집증 적이라고 확신 할 수 있습니다.

나는 확신에 덜 개방적이지만 기꺼이 경청합니다.

즉, rebuild_auth 에서 일부 작업을 수행해야하는 _allowed_ 도메인 전체에 이러한 헤더를 유지하기 위해 별도의 인증 메커니즘을 작성할 수 있습니다.

나는 그것이 지금 어떻게 작동하는지의 안전성에 대해 논쟁하지 않을 것입니다. 하지만 "안전하지 않은"동작을 선택할 수있는 메커니즘이 있으면 좋을 것입니다. 해당 헤더를 (이 경우 nest.com)에 유지하도록 기본 도메인을 설정하거나 헤더를 보낼 수있는 도메인 목록을 설정할 수 있습니다.

그래도 요청의 핵심이 제공하는 것보다 훨씬 더 복잡합니다. 그렇기 때문에 별도의 Auth 클래스 / 핸들러가 이러한 종류의 작업에 가장 잘 작동하는지 궁금합니다. 나는 우리가 무조건 prepare_auth 호출하지 않는다고 확신하기 때문에 그것이 작동 할 것이라고 확신하지 않습니다.

무조건 prepare_auth 호출하지 않기 때문에 표준 모델에서는 작동하지 않습니다. 그러나 해당 API를 약간 비정상적으로 사용하더라도 전송 어댑터를 사용하여이 역할을 수행 할 수 있습니다.

나는 TA가 여기서 추천하기에 절대적으로 잘못된 것이라고 생각합니다.

• 세션에 인증이 제공되면 세션이 생성하는 모든 요청에 ​​대해 전송되어야합니다.
• 아마도 우리는 session.auth 제거해야합니다. 특별히 유용하지 않습니다.

세션에 인증이 제공되면 세션이 생성하는 모든 요청에 ​​대해 전송되어야합니다.

나는 근본적으로 동의하지 않습니다. 세션은 단일 도메인에 사용되지 않습니다. 그렇다면 문제가되지 않습니다.

아마도 session.auth를 제거해야 할 것입니다. 특별히 유용하지 않습니다.

유용하다고 생각합니다. 그래도 튜플 할당이 허용되지 않으면 더 좋을 것이라고 생각합니다. 차라리 사용할 도메인을 지정하는 Auth 클래스를보고 싶습니다. 요청을 사용할 때 사람들이 도메인에 대한 자격 증명을 지정할 수 있도록하는 requests-toolbelt에서 AuthHandler 를 채택 할 수 있습니다. 이것은 세션 기반 인증을 처리하는 약간 더 안전한 방법을 제공합니다. 단점은 사용자가 이러한 종류의 인증에 옵트 인해야한다는 것입니다.

또한 리디렉션을 위해 헤더를 유지할 수 있도록이 문제를 해결해야합니다.

@jtherrmann 이것이 인증 헤더 인 경우 문제를 해결하는 가장 쉬운 방법은 요청에 항상 원하는 헤더를 넣는 세션 수준 인증 처리기를 설정하는 것입니다.

이에 대한 진전이나 추가 고려 사항이 있습니까?
나는 같은 문제에 직면하고 있습니다.

@ethanroy 세션 수준 인증 처리기를 사용하는 제안 외에 추가 고려 사항은 없습니다.

관련 : 세션이 인증을 리디렉션하고 제거하는 경우 get 다시 호출하면 인증이 다시 적용되고 캐시 된 리디렉션이 사용됩니다. 그래서 두 번 노크하면 들어갑니다. 의도 된 행동?

>>> s = requests.Session()
>>> s.headers.update({"Authorization": "Token {}".format(API_TOKEN)})
>>> s.get(url)

<Response [403]>

>>> s.get(url)

<Response [200]>

@GregBakker 네, 그렇습니다. 의도 된 행동의 합류점입니다. 그러나이 버그는 원래 403이 발생하지 않아야 함을 나타냅니다.

@Lukasa 가 "문제를 해결하는 가장 쉬운 방법은 세션 수준 인증 처리기를 설정하는 것"이라고 말할 때, 이것이 오늘날 작동하는 것입니까? 내가 코드에서보고있는 것을 바탕으로 대답은 '아니오'이지만 당신의 말은 내가 뭔가를 놓치고 있는지 궁금하게 만듭니다. 세션 인증 속성을 설정하는 것에 대해 이야기하고 있습니까?

그래, 작동해야 돼.

@jwineinger 그래서 어떻게이 문제를 해결하게 되었습니까? 여전히 동일하게 작동하는 것 같습니다.

두 가지 Nest 관련 해결 방법이 있습니다.

하나는 Authorization 헤더를 사용하는 대신 access_token과 함께 auth 매개 변수를 전달하는 것입니다. https://gist.github.com/tylerdave/409ffa08e1d47b1a1e23 에서 찾았습니다.

또 다른 방법은 사용할 헤더로 사전을 저장하고 리디렉션을 따르지 않고 헤더를 다시 전달하는 두 번째 요청을 만드는 것입니다.

    headers = {'Authorization': 'Bearer ' + access_token, 'Content-Type': 'application/json'}
    initial_response = requests.get('https://developer-api.nest.com', headers=headers, allow_redirects=False)
    if initial_response.status_code == 307:
        api_response = requests.get(initial_response.headers['Location'], headers=headers, allow_redirects=False)

이 동일한 문제가 발생하여 사용자 지정 requests.Session 구현에서 rebuild_auth 메서드를 재정 의하여 해결했습니다.

from requests import Session

class CustomSession(Session):
    def rebuild_auth(self, prepared_request, response):
        return

s = CustomSession()
s.get(url, auth=("username", "password"))

@ sigmavirus24 @ gabriel-loo의 솔루션에 어떤 문제가 있습니까? 보안 문제?

@ j08lue 예. 스레드를 읽으십시오. 새 도메인으로 임의 리디렉션을 수행하기 전에 인증을 제거 하지 않는 것과 관련된 CVE가 있습니다. 다음과 같이 문제를 생각해보십시오.

나는 api.github.com 요청을하고 있고 공격자가 자신이 제어하는 another-domain.com 로의 리디렉션을 따르도록 관리하고 내 리포지토리 (요청 포함)에 대한 쓰기 액세스 권한이있는 토큰을 전달합니다. 실제로 그들이 API를 통해 커밋을 할 때 요청에 커밋을하는 것처럼 보일 수 있습니다. 보안 상태를 약화시키고 적극적으로 해를 끼칠 수있는 코드를 요청에 포함 할 수 있습니다. 이는 모든 리디렉션에서 무조건 인증 자격 증명을 보낼 때 발생할 수있는 일입니다.

그래도 리디렉션이 악성이 아니라고 가정 해 보겠습니다. 실제로 서비스에 대한 자격 증명을 다른 회사 나 서비스에 유출하는 것이 편합니까? 원래 서비스는 귀하, 귀하의 고객 또는 다른 것에 대한 기밀 데이터를 저장할 수 있습니다. 리디렉션 된 새 도메인이 사용자의 자격 증명을 사용하지 않지만 잠재적으로 예상치 못한 데이터로 기록하는 경우에도이를 공격하고 해당 로그를 검색 할 수있는 사람은 원래 도메인에 대한 자격 증명을 사용할 수 있습니다. 그들은 속합니다. 정말 그 위험을 감수 하시겠습니까?

@ sigmavirus24 일러스트 주셔서 감사합니다. 이 문제가 궁극적으로 민감한 헤더를 리디렉션에 전달하는 것을 금지한다면이 스레드가 여전히 열려있는 이유는 무엇입니까? 나는 당신이 얻는 것보다 더 적절한 오류를 생각할 수 없었습니다 (403), 여기서 조치를 취할 필요가없는 버그가 있습니까? 아니면 무엇 을 염두 에 두 셨나요, @Lukasa?

최근에 비공개 API로 작업 할 때이 문제가 발생했습니다. 보안 문제는 리디렉션에서 인증을 제거하는 이유로 완전히 이해됩니다. @ gabriel-loo와 같은 솔루션은 사람들이 그렇게 할 수있을만큼 안전한 환경에 있다고 믿는다면 고려할 수있는 것입니다. 또는 세션 레벨 핸들러. 또는 가능하다면 위에서 제안한대로 리디렉션을 완전히 건너 뛰어 해결하는 다른 방법을 찾으십시오. 따라서보기에 따라 이것은 실제로 버그가 아닙니다.

그러나 저는 Python이 아닌 다른 HTTP 클라이언트 _did_가 인증 헤더를 통과하고 그렇지 않은 경우 제대로 작동하는 이유를 혼동하는 데 필요한 것보다 더 많은 시간을 소모했습니다. 한 가지 제안 : 여기에서 warnings 를 통해 경고를 발행하여 헤더가 있고 제거 될 때 호출자에게 더 명확하게 알리는 것이 좋습니다. 나는 이것이 호출자가 경고를 받기를 원하지 않는 것이 드문 일이라고 생각합니다.

@tlantz 일반적으로 꽤 합리적으로 보일 것입니다. 프로젝트 (그 종속성 중 하나 인 urllib3뿐만 아니라)로서의 요청은 경고 모듈을 통해 또는 로깅을 통해 모든 종류의 경고를 발행 할 때 상당한 분노를 일으켰습니다. 또한 경고 모듈은 예를 들어 최신 버전의 OpenSSL에 대해 컴파일 된 Python 버전을 사용하지 않는 등 사람들이 조치를 취해야하는 사항을위한 것입니다.

대부분의 경우이 동작은 TLS 연결에 대한 인증서를 확인할 수없는 것과 같이 문제가되지 않습니다. 이 문제에 대해 진정성 있고 정당한 불만을 표명 한 사용자 나 다른 사람에게는 분명히 도움이되지 않습니다. 이를 염두에두고 DEBUG 수준에서 이것을 기록하는 것이 더 좋지 않을지 궁금합니다. 누군가 로깅 (일반적으로 괜찮은 관행)을 사용하고 있고 해당 수준을 활성화하면 표시됩니다. 학습과, 그 자체가 기록 방법 작은 요청 주어, 이것은 디버그 로그로 상당히 눈에 띄는 것입니다. 공정한 트레이드 오프처럼 보입니까?

네, 완전히 공정한 거래 인 것 같습니다. warnings 대한 추론이 나에게 의미가 있습니다. 나는 30 분 동안 또는 일반적으로 추가 할 수 있도록 의아해 당신이했던 시간으로 생각 logging 어쨌든에서 자신의 물건을 주변에 DEBUG 나는 생각한다, 그래서 DEBUG 메시지를 사람들이 작동하지 않는 것을 알아 내려고 애쓰는 경우의 95 %를 차지합니다.

세션을 사용하여 Authorization 헤더를 보유하지만 리디렉션으로 전송되지 않습니다.
요청 (2.18.4)

동료와 저는이 동작과 직접 관련된 문제를 디버깅하는 데 최소한 몇 시간을 보냈습니다. 내 사용 사례는 API 호출을 api.my-example-site.org 에서 www.api.my-example-site.org 로 리디렉션하는 것입니다. 리디렉션에서 헤더가 제거되었습니다.

이것이 의도 된 동작이라면 (또는 가까운 장래에 변경되지 않을 경우) 적어도 문서에 추가 할 수 있습니까? 나는 내가 뭘 잘못하고 있는지 알아 내기 위해 문서를 읽고 다시 읽었고, Request 클래스의 모든 코드를 읽었습니다. 문서에서이 동작에 대한 경고를 보았다면 몇 분 안에 문제를 해결했을 것입니다 (이 스레드를 찾은 후 걸린 시간입니다). 그러나 아마도 우리는 문서의 잘못된 부분을 읽었을 것입니다.

@ndmeiri 님 , 사용자 지정 헤더 제목 아래의 요청에 대한 빠른 시작 가이드에 이에 대한 설명이 있습니다. 이 글을 넣을 더 좋은 장소가 있다고 생각되면, 우리는 귀하의 제안을 검토하게되어 기쁩니다. 이 티켓과 직접 관련이 없기 때문에 별도의 문제 또는 PR로 옮기는 것이 좋습니다. 감사!

안녕하세요 @nateprewitt , 사용자 정의 헤더 섹션을 지적 해 주셔서 감사합니다! 분명히 나는 ​​문서의 그 부분을 확인할 생각이 없었습니다.

인증 섹션에 콜 아웃 또는 콜 아웃에 대한 참조를 포함하는 것이 도움이 될 것이라고 생각합니다. 나는 현재 상당히 바쁘지만 문서를 업데이트하기 위해 상황이 진정되면 PR을 여는 것을 고려할 것입니다.

이것이 의도 된 동작 인 경우

@ndmeiri 예, 민감한 인증 자격 증명을 잠재적으로 신뢰할 수없는 소스로 유출하지 않도록 의도 된 것입니다. (명확하게)

# 4983의 "신뢰할 수있는 도메인"이 더 이상 sessions.py 구현에없는 것으로 보입니다.

내가 _know_ 특정 다르지만 안전한 URL로 리디렉션하는 URL을 요청하고 Authorization 헤더의 지속성을 사용하여 리디렉션을 활성화하려는 상황에서 어떻게해야합니까?

제발 어떻게 이룰까요?

rebuild_auth 메서드를 패치 할 수 있습니다. 이것은 나를 위해 작동합니다 : https://github.com/DHI-GRAS/earthdata-download/blob/master/earthdata_download/download.py#L27 -L49

@ j08lue 감사합니다! 귀하의 의견이 전달되기 전에 allow_redirects 을 False 로 설정하고 내 사용 사례에서 예상되는 몇 가지 특정 리디렉션을 명시 적으로 따르는 코드를 추가하여 문제를 해결했습니다. 이것은 저에게 단기적인 상황이므로 이것이 적절한 임시 해결책이기를 바라지 만, 필요하다면 장기적으로 더 나은 방법이 있다는 것을 아는 것이 좋습니다.