Azure-docs: Azure DevOps Build Pipeline은 vnet 및 방화벽으로 보호되는 경우 Key Vault에서 비밀을 가져올 수 없습니다.

@ aspnet4you 피드백에 감사드립니다.
현재 조사 중이며 곧 연락 드리겠습니다.

@ KalyanChanumolu-MSFT-문제를 조사해 주셔서 감사합니다. Key Vault는 중요한 인프라 구성 요소이며 비즈니스 특성상 신뢰할 수없는 네트워크에 노출하고 싶지 않습니다. 환기구에 머신을 구축했다면 괜찮 았지만 내 목표는 CI / CD에 Azure DevOps를 사용하는 것입니다. 키와 비밀을 보관하고 안전하게 검색 할 수 있어야합니다.

@ aspnet4you , 쿼리를 공유해 주셔서 감사합니다. IP를 화이트리스트에 올리는 것은 효율적인 방법은 아니지만 확실히 해결 방법입니다. 우리는 제품 팀과 협력하여 Azure Dev Ops를 Azure Key Vault에 대한 신뢰할 수있는 서비스로 제공하고 있으며 이는 모든 측면에서 완전한 수정이 될 것입니다. 언젠가 허용 해 주시면 다음 업데이트를 알려 드리겠습니다.

빌드 정의에 단계를 추가하여 에이전트 IP 주소를 화이트리스트에 추가 한 다음 빌드가 끝날 때 화이트리스트에서 제거 할 수 있습니다. 이것은 솔루션이 아니지만 Azure 제품 팀이 Azure DevOps를 신뢰할 수있는 서비스로 추가하기 전까지는 해결 방법입니다. 아이디어를 제공 한 @ Daniel Mann 에게 감사드립니다.

솔루션은 간단하지만 ipify.org를 REST API 끝점으로 신뢰하여 빌드 에이전트의 IP 주소를 가져 오지 않았습니다. 대신 Azure Function- GetClientIP에서 자체 (및 신뢰할 수있는) 서비스를 만들었습니다. DevOps는 제 일상 업무가 아니며 사용자 정의 변수를 할당하고 사용하는 방법을 파악하고 파이프 라인의 다음 단계 / 작업 / 단계로 전달하는 방법을 파악하는 데 어려움을 겪었습니다! 변수 사용에 대한 Microsoft 문서는 저에게 도움이되지 않았지만 많은 실패한 실행 후에 알아 냈습니다!

내 블로그 ( Azure DevOps Build Pipeline) 에서 전체 솔루션을 확인하세요.

@ aspnet4you , Azure DevOps를 신뢰할 수있는 서비스로 얻는 방법에 대한 이야기가 있습니다. Azure DevOps에는 Key Vault에 액세스하는 ID가 Microsoft가 아닌 고객에게 속한 고유 한 시나리오가 있습니다. 이는 "신뢰할 수있는 서비스"에 대한 확장 성 및 보안 요구 사항을 위반합니다.

현재 유일한 해결 방법은 DevOps 시스템의 IP 주소를 AKV 방화벽에 추가하는 것 같습니다. 이는 Datacenter의 모든 IP보다 작은 하위 집합이며 127 개의 IP 규칙 제한에 맞습니다.

나는 현재 IP를 얻기 위해 노력하고 있으며 곧 스레드를 업데이트 할 것입니다.

@ aspnet4you , 아래 IP에 대한 세부 정보를 찾으십시오.

화이트리스트 AzureDevops 서비스 용 - https://docs.microsoft.com/en-us/azure/devops/organizations/security/allow-list-ip-url?view=azure-devops

- 호스트 에이전트를 허용 목록에 들어 https://docs.microsoft.com/en-us/azure/devops/pipelines/agents/hosted?view=azure-devops&tabs=yaml#agent -ip-범위를

도움이 되었기를 바랍니다.

@ aspnet4you , 이것이 도움이

@ souravmishra-msft 그것은 화이트리스트 azure devops 서비스, 링크의 ip가 충분하지 않다는 것을 솔기합니다.
예를 들어 devops의 변수 그룹을 keyvault의 비밀에 연결하려면 ip : 52.236.xx를 추가해야했습니다 (고의적으로 lat 2 바이트를 숨겼습니다). 이 IP가 어디에 있는지 알고 있습니까? devops 변수 그룹 연결을 위해 전체 범위의 ip를 제공 할 수 있습니까?

@ aspnet4you , 쿼리를 공유해 주셔서 감사합니다. IP를 화이트리스트에 올리는 것은 효율적인 방법은 아니지만 확실히 해결 방법입니다. 우리는 제품 팀과 협력하여 Azure Dev Ops를 Azure Key Vault에 대한 신뢰할 수있는 서비스로 제공하고 있으며 이는 모든 측면에서 완전한 수정이 될 것입니다. 언젠가 허용 해 주시면 다음 업데이트를 알려 드리겠습니다.

이 기능에 대한 업데이트가 있습니까? 'Azure Key Vault에 대한 신뢰할 수있는 서비스로서의 Azure Dev Ops'기능을 추적 할 수있는 링크가 있습니까?

다른 VNET 서비스 엔드 포인트 PAAS 제공에 대한 동일한 요청 - https://feedback.azure.com/forums/217298-storage/suggestions/35850511-make-azuredevops-a-trusted-microsoft-services-to

@ aspnet4you , 관련 Key Vault 액세스 정책없이 비밀 / 키를 얻을 수있을만큼 IP 만 허용 목록에 추가하는 방법은 무엇입니까?

@oviliz- 아주 좋은 질문입니다. IP 화이트리스트는 Vault에 대한 무단 액세스에 대한 마지막 방어 중 하나입니다. 서비스 주체는 키와 암호를 나열하고 가져 오려면 Key Vault 액세스 정책으로 구성되어야합니다. 내 포스트 Azure DevOps Build Pipeline- 키와 비밀 키 볼트의 사용에 명시된 두 번째 요구 사항입니다.

안녕하세요 @ KalyanChanumolu-MSFT 업데이트가 있습니까? 오늘 나는 같은 문제에 직면했습니다. 릴리스 파이프 라인 (Azure DevOps)의 Azure Key Vault 단계에서 내 KV에서 비밀을 검색 할 수 없습니다. 위의 IP와의 링크가 끊어졌습니다. 파이프 라인에서 어떻게 비밀을 검색 할 수 있습니까? 신뢰할 수있는 Microsoft 서비스가이 방화벽을 우회하도록 허용 하시겠습니까? (예)-도움이되지 않았습니다.

나도이 문제에 직면하고 있으며 어떤 IP를 화이트리스트에 추가해야하는지는 분명합니다. 또한 이것은 우리가 제어 할 수없는 서비스에 우리의 금고를 개방하고 있으므로이 솔루션에 매우 만족스럽지 않습니다.

그런데 위에서 언급 한 기사에서는 IP 범위가 매주 변경 될 수 있다고 말합니다. 매주 방화벽을 업데이트하고 변경 사항을 추적하려고 시도하는 것은 우스꽝스러운 일입니다.

나는 같은 문제에 직면하고 있으며 매주 IP를 허용 목록에 추가하는 것은 전혀 옵션이 아닙니다.

VM 내부에 Build Pipeline에 대한 자체 호스팅 에이전트가 있고 VNet 내부에이 VM을 설정 한 다음 Key Vault 내에서 액세스를 허용 할 수 있나요? 나는 어떤 식 으로든 전문가가 아니므로이 접근 방식이 얼마나 어리석은가?

FWIW 저는이 솔루션에서 영감을 얻었습니다 : https://www.visualstudiogeeks.com/DevOps/PrivateAzureAseV2AppServiceVstsDeploymentUsingAzureDtl

목록에 우리를 추가하십시오. ADO가 Key Vault에 대한 신뢰할 수있는 서비스가 아닌 이유는 무엇입니까?

매주 파일에서 devops 또는 호스트 된 에이전트를 검색하면 ips가 강조 표시되지 않습니다. https://www.microsoft.com/en-us/download/confirmation.aspx 에서 어떤 ip를 사용하고 있습니까? id = 56519 ??? 데이터 센터로 검색하면 appservice, devspaces 등이 있지만 devops 및 host 에이전트와 관련되는 것은 무엇입니까?

@ ShaneBala-keyvault, 요청에 따라이 스레드에 추가합니다.

목록에 우리를 추가하십시오. ADO가 Key Vault에 대한 신뢰할 수있는 서비스가 아닌 이유는 무엇입니까?

거기에서 많은 프로젝트를 AZ Devops로 이동하려고하지만 이것은 문제입니다.

+1, 최대한 빨리 수정해야합니다. 릴리스에 비밀 파이프 라인 변수를 사용할 수 있더라도 단일 소스 소스를 갖고 싶습니다. 비밀 파이프 라인 변수 값은 저장 후 다시 볼 수 없으므로 어떤 방식 으로든 정보를 다른 곳에 저장해야합니다.

이 문제에 대한 질문 :

https://stackoverflow.com/q/61411653/3850405

+1 이것은 정말 중요합니다. 이에 대한 Microsoft의 의견이 있습니까?

@ souravmishra-msft 아마도 이것이 다시 열릴까요?

@Ogglas 이것은 확실히 다시 열어야합니다. Azure Keyvault 방화벽을 우회하려면 IP를 나열하거나 서비스에 태그를 지정해야합니다. 그들은 다른 서비스를 위해 그것을 수행합니다.

+1, 여기에 같은 문제

+1

저에게도 큰 문제가 있습니다.

도대체이게 어떻게 가까워 ???? "해결 방법"의 링크 링크도 작동하지 않습니다. :)

@jsburckhardt- 어떤 해결 방법을 언급하고 있는지 확실하지 않지만 내 블로그 게시물을 검토 할 수 있습니다.
https://blogs.aspnet4you.com/2019/09/20/azure-devops-build-pipeline-use-keys-and-secrets-from-key-vault/

이에 대한 새로운 이슈를 생성해야합니까, 아니면 다시 열 수있는 방법을 찾아야합니까? @ souravmishra-msft?

@captainbrown ,이 스레드를 다시 열었습니다. 이 스레드가 처음 열릴 때부터 내부 스레드가 제품 팀과 함께 생성 되었기 때문에 프로그램 관리자를 내부적으로 다시 한 번 업데이트했습니다.

또한이 스레드를 프로그램 관리자에게 할당하고 있습니다. 이 변경 사항이 제품 측에서 요구할 수있는 복잡성에 대해 잘 모르겠 기 때문에이 스레드에서 응답하는 데 시간이 걸릴 수 있습니다.

나는 또한이 github 스레드에 대해 진행되는 내부 스레드를 올렸으며 진행 상황을 계속 업데이트 할 것입니다.

또한이 스레드의 앞부분에있는 내 의견 중 하나에서 언급 한 URL을 수정했음을 알리고 싶습니다. 그동안 한 번도 살펴보고 해당 솔루션이 솔루션에 효과가 있는지, 그렇지 않은 경우에도 업데이트를 해주시기 바랍니다.

@ souravmishra-msft이 문제를 다시 열어 주셔서 대단히 감사합니다. devops 서비스에 대한 범위 허용은 keyvault에 대한 액세스를 허용하는 데 작동하지 않으며 (아마도 웹 사이트에서 범위가 오래 되었음) 가능한 서브넷 목록이 너무 길어서 keyvault의 네트워크 액세스 제어에 추가 할 수 없습니다.

저희 팀과 저는 프로그램 관리자의 소식을 기다릴 것입니다.

다시 열어 주셔서 감사합니다 ...

동의합니다. 다시 열어 주셔서 감사합니다. 이것은 우리가 정말로 해결하고 싶은 문제입니다.

@ souravmishra-msft 감사합니다. 곧 우선 순위가 지정되기를 바랍니다.

+1, 이것은 우리에게도 문제입니다. Key-vault에 대한 Azure DevOps 액세스뿐만 아니라 일부 파일을 생성하고 방화벽으로 보호 된 저장소 계정에 업로드하려면 DevOps 파이프 라인도 필요하지만 Azure DevOps가 신뢰할 수있는 서비스가 아니라는 동일한 문제에 직면합니다. 해결 방법은 매주 ~ 250 개의 IP 주소를 허용 목록에 추가하는 것이므로 매우보기 흉할 것입니다 (또한 스토리지 계정 방화벽에 추가 할 수있는 IP 주소 수에 대한 제한이 있는지도 확실하지 않음). 이것이 해결 될 수 있다면 좋을 것입니다!

현재이 문제에 대한 해결 방법이 있습니다.

자체 호스팅 에이전트를 사용하고 다음 IPv4 범위를 Key Vault 방화벽의 허용 목록에 추가 할 수 있습니다. 세부 정보 : https://docs.microsoft.com/en-us/azure/devops/pipelines/agents/v2-linux?view=azure-devops

(Azure DevOps 팀은이 문제를 알고 있으며 현재 영구 수정 작업이 진행 중입니다.)

이 기능은 현재 미리보기로 제공됩니다.

여기에 또 다른 해결 방법이 있습니다. 확장 집합을 사용하여 고유 한 vnet을 설정할 수 있습니다.

https://docs.microsoft.com/en-us/azure/devops/pipelines/agents/scale-set-agents?view=azure-devops

또 다른 속임수 ... 나는이 속임수를 소유하지 않는다. 누군가 내게 보여 주었다.
엔터프라이즈 devops 계정이있는 경우 devops가 라이브러리의 keyvault 비밀을 읽을 수 있도록 허용하는 방법이 있습니다.
개인 계정이 있으면 작동하지 않습니다.

Azure / 11 네트워크에 대한 방화벽을 열고 keyvault를 사용하여 devops에서 azure 로의 연결을 설정할 수 있습니다. 변수 라이브러리를 설정하고 비밀을 추가합니다. 비밀이 추가되면 방화벽 규칙을 제거하고 비밀을 추가해보십시오. 오류 메시지는 방화벽에 배치 할 수있는 IP를 전달합니다. 한 달 동안 변경되지 않았으며 변경 될 수 있음을 이해합니다. 이 시점에서 우리는 다른 모든 사람들과 같은 해결 방법을 찾고 있습니다. 빌드 및 릴리스에 대한 추가 테스트를 수행 할 예정이지만이를 통해 Native Devops GUI가 Keyvault와 직접 상호 작용할 수 있습니다.

다시 말하지만 이것은 개인 계정에서는 작동하지 않습니다.

+1 우리는 Private link / endpoint를 통해 AzDO를 SQL 서버로 사용하는 것과 비슷한 문제가 있습니다.

+1 비슷한 문제가 여기에 있습니다.

여기에 해결 방법이 제공됩니다. 문서 자체의 문제가 아닙니다. https://docs.microsoft.com/en-us/azure/devops/pipelines/agents/v2-linux?view=azure-devops # please-close 여기에 기능 요청을 게시 할 수도 있습니다. https : // developercommunity.visualstudio.com/spaces/21/index.html

여기에 기능 요청 :

https://developercommunity.visualstudio.com/idea/1152209/azure-devops-build-pipeline-cant-get-secrets-from-1.html

+1, 오늘이 호를 누르세요.

Microsoft가 Azure DevOps 용 서비스 태그를 사용하도록 설정하려는 경우 Keyvault 방화벽에서 어떻게 든 사용할 수 있습니까? https://devblogs.microsoft.com/devops/new-ip-address-ranges-with-service-tags-for-azure-devops-services/

@ JQUINONES82 호스팅 에이전트가 아닌 것이 두렵습니다. 링크에서 :

서비스 태그는 Microsoft Hosted Agent에 적용되지 않습니다.

+1, 지난 2 년 동안이 수치를 기록했습니다.

+1, 오늘이 호를 누르세요.

마감되었습니다. 어떻게 수정해야합니까?

보안은 기능 요청이 아니라 모든 클라우드 구성 요소의 필수 요소입니다. 이 문제가 해결되지 않은 경우 다시 열 수 있습니까? 미리보기에있는 항목에 대해 언급 한 것을 보았습니다. 미리보기 기능을 사용하겠습니다. 이 작업을 수행하기 위해 azure에서 VM을 회전하는 데 더 많은 비용을 지출하고 싶지 않기 때문에 배포를 보류 할 것입니다.

@jsburckhardt- 어떤 해결 방법을 언급하고 있는지 확실하지 않지만 내 블로그 게시물을 검토 할 수 있습니다.
https://blogs.aspnet4you.com/2019/09/20/azure-devops-build-pipeline-use-keys-and-secrets-from-key-vault/

안녕 친구, 좋은 해결 방법입니다. 보안 제한으로 인해 불편합니다. 팀은 KV / vNet 화이트리스트 IP를 제어 할 수 없습니다.