Gsutil: CommandException: stdin에서 rm으로 URL을 전달할 때 일치하는 URL이 없습니다.

아니요, 나는 당신이 뭔가를 놓치고 있다고 생각하지 않습니다. 저도 이것을 재현할 수 있습니다. -DD ​​플래그와 함께 위의 gsutil rm 명령을 실행하면 gsutil이 해당 객체를 확인하기 위해 API를 호출하지도 않는다는 것을 알 수 있습니다.

name_expansion.py를 살펴보면 stdin(_phew_)에서 줄을 읽어야 하는 생성기를 래핑하는 또 다른 PluralityCheckableIterator 객체를 래핑하는 NameExpansionIterator를 래핑하는 PluralityCheckableIterator를 만들고 있습니다. 어쨌든, 나는 몇 가지 디버깅 인쇄 문을 multiple_checkable_iterator.py의 _PopulateHead() 메서드에 던졌고 기본 생성기가 StopIteration 예외를 던지고 있음을 발견했습니다. 이유는 아직 확실하지 않습니다. 곧 계속 조사하겠습니다.

자신에 대한 참고 사항:

• 돌아가서 최근 커밋을 통해 이진 검색을 수행하고 이것이 발생하기 시작한 시점을 확인하십시오.
• 테스트에서 이것을 포착하지 못한 이유는 무엇입니까?
• 이 동일한 접근 방식은 cp 명령에 대해 작동하지만 rm에는 작동하지 않습니다.

오늘(gsutil 버전 4.28)에도 이 문제가 발생했습니다. 알려진 해결 방법이 있습니까?

제 머리로는 다음 중 하나만 생각할 수 있습니다. xargs 와 같은 것을 사용하여 인수를 gsutil에 직접 전달하는 얇은 래퍼 스크립트를 작성할 수 있습니다.$ARG_MAX 값>_ 개체.

저도 똑같은거 보고..
CommandException: No URLs matched

내 버킷에 tar 파일을 복사하는 동안 동일한 예외가 표시됩니다. CommandException: No URLs matched

같은 문제를 보고 있습니다. 제안된 솔루션이 있습니까?

해결 방법이 있는지 확실하지 않음:
나는 달리고 있다 --
gsutil version: 4.34

그리고 이것을 얻으십시오

CommandException: Destination URL must name a directory, bucket, or bucket
subdirectory for the multiple source form of the cp command.

실행하려고 할 때:

gsutil cp -n -R gs://hail-common/vep/vep/GRCh37/loftee_data /vep/loftee_data_grch37

이 글을 다른 곳에 올려야 하는지 알려주세요.
감사 해요

나는 같은 문제가 있었고 파일 이름을 변경했고 작동했습니다 :).

이것에 대한 소식이 있습니까?

gsutil v4.59에서도 동일한 문제가 발생했습니다. 버킷을 제거하려고 하면 콘솔에서 볼 때 버킷이 분명히 존재하는데도 동일한 오류가 발생합니다.

답변이 늦어 죄송합니다. 우리 팀은 현재 다른 우선순위에 몰두하고 있으며 현재 이 문제를 해결할 대역폭이 없습니다. 그러나 나중에 참조할 수 있도록 조사를 했습니다.

이것은 url_strs 한 번 여기에 두 번 반복됩니다 때문에 발생하는 것 같다 https://github.com/GoogleCloudPlatform/gsutil/blob/d8626ae0ec4b4dc9fd729f115cdeefced4680cb5/gslib/commands/rm.py#L269 재귀가 요청하는 경우, 그것은 전달됩니다 옆에 NameExpansionIterator https://github.com/GoogleCloudPlatform/gsutil/blob/d8626ae0ec4b4dc9fd729f115cdeefced4680cb5/gslib/commands/rm.py#L288

따라서 본질적으로 반복자를 두 번 반복하려고 하므로 두 번째 인스턴스에서 빈 반복자를 얻습니다.

쉬운 수정 즉 변경, 목록에 반복자를 변환하는 것입니다 https://github.com/GoogleCloudPlatform/gsutil/blob/d8626ae0ec4b4dc9fd729f115cdeefced4680cb5/gslib/commands/rm.py#L252을 에

url_strs = [url for url in StdinIterator()]

그러나 이것은 stdin에서 오는 정말 긴 목록을 가진 사용자나 파이프라인에서 이미 이 기능을 사용하고 -r을 -I와 함께 사용하지 않는 사용자에게 영향을 줄 수 있습니다. 이것은 -r과 -I를 함께 사용하는 경우에만 영향을 미칩니다.

이상적인 수정은 재귀 특수 사례를 제거하고 대신 NameExpansionIterator 결과 자체를 기반으로 버킷 삭제를 처리하는 것입니다.

해결 방법은 https://github.com/GoogleCloudPlatform/gsutil/issues/490#issuecomment -364611242에서 제안하는 것입니다.

또는 재귀(-r 옵션) 사용을 피하고 목록을 전달할 수 있습니다.

gsutil ls gs://my_bucket/** | gsutil -m rm -I

위의 명령은 버킷을 비우지만 버킷을 제거하지 않으며 제거하려면 별도의 명령을 실행해야 합니다.