Azure-sdk-for-java: [バグ] blobListに対する無限の反復

こんにちは、@ asm0dey。 これはかなり予期しない動作のように聞こえます。 リストの結果がこのようにループすることを意図していないことを保証できます！ PagedIterableが繰り返し要求を発行しているか、単に重複したキャッシュ値を発行しているかを確認できるように、ネットワークトレースをキャプチャすることはできますか？ そして、あなたはあなたのコンテナにそれらの3つのブロブだけを持っていますか？ それとも、あなたが見ていないより多くの期待される結果がありますか？

PSきちんとしたプラグインのように聞こえます:)

絶対にできますが、リクエストとレスポンスの本文がログに記録されない理由がわかりません。

しかし、繰り返しになりますが、クリーンな環境ではこの動作を再現できないため、これが本当のバグであるとは思いません。クラスパス/クラスローダーなどの問題です。

PSそして、はい、あなたは間違いなくこのプラグインを好きになるでしょう、それはhttps://plugins.jetbrains.com/plugin/12494-big-data-toolsです
6日以降の次のEAPリリースでAzureが実装されることを期待しています

それは素晴らしいことです。 ありがとう！ リクエストとレスポンスの本文は非常に大きくなる可能性があるため、通常はログに記録されるとは思いません。

ある種のクラスパスエラーが疑われる場合は、mvn d ependency：treeから始めて、何が起こっているのかを確認できますか？ 何か奇妙なことを引き起こすいくつかの衝突があるかもしれません。

うわー、それは素晴らしいことだ！ そのプロジェクトに取り組んでいただきありがとうございます。何らかの形でサポートできる場合は、お知らせください。 私たちは、一般的にストレージとAzureの周りのツールを構築するコミュニティの他の人々に会うのが大好きです！

Mavenやgradleのような従来のビルドシステムがないため、それほど簡単ではありません。IDEA自体を使用して（およびCIサーバー上でも）プロジェクトをビルドしています。

ただし、ここで依存関係のUML図を見つけてください。

私はここで矛盾するものを実際に見つけることはできませんが、私はリアクターの経験があまりなく、何がそれを間違った方法で機能させることができるか想像さえできません。

ロギングについて：ヘッダーと本文をログに記録するオプションがありますが、本文のサイズがヘッダーからわかっている場合は、本文をログに記録できますが、ログによるとヘッダーはありません。

これがログの小さな断片です：

2020-03-25 09:43:08,627 [57159248]   INFO - rvice.listBlobHierarchySegment - --> GET https://pavelfinkelshteynjb.blob.core.windows.net/testcontainer1?prefix=&delimiter=/&marker=REDACTED&restype=REDACTED&comp=REDACTED
Date:Wed, 25 Mar 2020 06:43:08 GMT
Authorization:REDACTED
Content-Length:0
x-ms-version:REDACTED
x-ms-client-request-id:c4016194-f020-45fc-b254-11a04fd65d52
User-Agent:azsdk-java-azure-storage-blob/12.5.0 (11.0.6; Linux 5.5.8-1-MANJARO)
(empty body)
--> END GET

2020-03-25 09:43:08,639 [57159260]   INFO - rvice.listBlobHierarchySegment - <-- 200 https://pavelfinkelshteynjb.blob.core.windows.net/testcontainer1?prefix=&delimiter=/&marker=REDACTED&restype=REDACTED&comp=REDACTED (68 ms, unknown-length body)
Date:Wed, 25 Mar 2020 06:43:07 GMT
Server:Windows-Azure-Blob/1.0 Microsoft-HTTPAPI/2.0
Transfer-Encoding:chunked
x-ms-version:REDACTED
Content-Type:application/xml
x-ms-request-id:REDACTED
x-ms-client-request-id:7836d3ae-cf10-4432-a511-479dbf4ec09d
(body content not logged)
<-- END HTTP 

クラスcom.azure.core.http.policy.HttpLoggingPolicyには、メソッドlogResponseがあります。

                String contentTypeHeader = response.getHeaderValue("Content-Type");
                long contentLength = this.getContentLength(logger, response.getHeaders());
                if (this.shouldBodyBeLogged(contentTypeHeader, contentLength)) {
// snip

                } else {
                    responseLogMessage.append("(body content not logged)").append(System.lineSeparator()).append("<-- END HTTP");
                    return this.logAndReturn(logger, responseLogMessage, response);

そしてメソッドgetContentLength

    private long getContentLength(ClientLogger logger, HttpHeaders headers) {
        long contentLength = 0L;
        String contentLengthString = headers.getValue("Content-Length");
        if (CoreUtils.isNullOrEmpty(contentLengthString)) {
            return contentLength;
// snip

したがって、このAPIはボディのロギングをサポートしていません。

@ asm0dey遅れてすみません。 クライアントビルダーのHttpLogOptionsを更新して、allowedQueryParameterとして「マーカー」を追加できますか？ ログから編集されているようです。おそらく、何かが同じマーカーで何度もリスト呼び出しをトリガーしているのではないかと思います。 偶然にも、ここで行っている開発で同様の動作が見られましたが、それも同じ原因である可能性があります。

UMLダイアグラムには目立つものは何もありませんが、これまで見たことがありません。

絶対。 添付の完全なログを見つけてください：
idea.log
マーカーはずっと空です

grep marker= idea.log | moreは、 GET https://pavelfinkelshteynjb.blob.core.windows.net/testcontainer1?prefix=&delimiter=/&marker=&restype=REDACTED&comp=REDACTEDが常に繰り返されるリクエストがあることを示しています

また、非常に多くのリクエストがあることがわかります：673。クライアント側からの2〜4件のリクエストのようでした。

@ rickle-msftこれに関するアイデアはありますか？

@ rickle-msftはフレンドリーなリマインダーです

こんにちは、@ asm0dey。 遅れてすみません！ GitHubからのメールがしばらくの間正しくフィルタリングされていませんでした。それに気づいて修正したときも、この問題を見逃していたに違いありません。 改めてお詫び申し上げます。リマインダーをありがとうございます。

ええ、すべてのリクエストに空のmarker=クエリパラメータがあるのは興味深いことです。 その特定の動作を再現できる唯一の方法は、継続トークンとして空の文字列を明示的に渡すことです。それでも無限にループすることはありません。

@anuchandy提案されているように、何らかの依存関係の問題がこれを引き起こしている可能性があるかどうかについて、何か感覚がありますか？ 彼はシェーディングされた12.5.0jarを使用しているようですが、私はjarシェーディングと、それがクラスパスおよびクラスローダーとの相互作用にどのように影響するかについてあまり詳しくありません。

実際、私はそれをアンシェードしようとしましたが、文字通り何も変わりません
この振る舞いで。 また、私はパッケージ名やsmthのようなものを変更していません
それ。

私は原子炉プロジェクト開発者の一人にも連絡を取りましたが、彼の唯一のアイデアは
イテレータは呼び出しごとに再作成されているということでした。
20/04/29 10:53 AMに、RickLeyは次のように書いています。

こんにちは、@ asm0dey。 遅れてすみません！ GitHubからのメールがしばらくの間正しくフィルタリングされていませんでした。それに気づいて修正したときも、この問題を見逃していたに違いありません。 改めてお詫び申し上げます。リマインダーをありがとうございます。

ええ、すべてのリクエストに空のmarker=クエリパラメータがあるのは興味深いことです。 その特定の動作を再現できる唯一の方法は、継続トークンとして空の文字列を明示的に渡すことです。それでも無限にループすることはありません。

@anuchandy提案されているように、何らかの依存関係の問題がこれを引き起こしている可能性があるかどうかについて、何か感覚がありますか？ 彼はシェーディングされた12.5.0jarを使用しているようですが、私はjarシェーディングと、それがクラスパスおよびクラスローダーとの相互作用にどのように影響するかについてあまり詳しくありません。

-
あなたが言及されたのであなたはこれを受け取っています。
このメールに直接返信するか、GitHubで表示してください。
https://github.com/Azure/azure-sdk-for-java/issues/9465#issuecomment -621366540

-
よろしく、
パシャ

ビッグデータツール@JetBrains

@ asm0dey

セットアップで次のコードを実行し、出力として表示されるものを共有してください。 はい、それは無限に実行されます。 Processing Page:start 3〜4回表示した後で中断します。

BlobContainerAsyncClient blobContainerClient = new BlobContainerClientBuilder()
        .endpoint("<your-storage-account-url>")
        .sasToken("<your-sasToken>")
        .containerName("mycontainer")
        .buildAsyncClient();

PagedFlux<BlobItem> flux = blobContainerClient.listBlobsByHierarchy(path);
flux.byPage()
        .doOnNext(new Consumer<PagedResponse<BlobItem>>() {
            <strong i="9">@Override</strong>
            public void accept(PagedResponse<BlobItem> response) {
                System.out.println("Processing Page:start");
                List<BlobItem> items = response.getValue();
                for (BlobItem item : items) {
                    System.out.println(item.getName());
                }
                if (response.getContinuationToken() == null) {
                    System.out.println("ContinuationToken: null");
                } else if (response.getContinuationToken().length() == 0) {
                    System.out.println("ContinuationToken: empty");
                } else {
                    System.out.println("ContinuationToken: non-empty:" + response.getContinuationToken());
                }
                System.out.println("Processing Page:end");
            }
        }).blockLast();

ところで、必要に応じてアイテム名を編集してください。continuationTokenのnull | empty | non-empty属性に興味があります。

遅れて申し訳ありませんが、それはTZの違いだと思います。
ここにあります

Processing Page:start
.travis.yml
build.sh
.git/
KateTest12/
KateTest1234/
KateTest12345/
KateTestRenamed/
Test1/
demo/
plugins/
ContinuationToken: empty
Processing Page:end
Processing Page:start
.travis.yml
build.sh
.git/
KateTest12/
KateTest1234/
KateTest12345/
KateTestRenamed/
Test1/
demo/
plugins/
ContinuationToken: empty
Processing Page:end
Processing Page:start
.travis.yml
build.sh
.git/
KateTest12/
KateTest1234/
KateTest12345/
KateTestRenamed/
Test1/
demo/
plugins/
ContinuationToken: empty
Processing Page:end

私はkotlinで書いているので、コードは少し異なります。

    BlobServiceClientBuilder()
      .endpoint(endpoint)
      .apply { authProvider(this) }
      .httpClient(NettyAsyncHttpClientBuilder().build())
      .buildAsyncClient()
      .getBlobContainerAsyncClient(container)
      .listBlobsByHierarchy("")
      .byPage()
      .doOnNext { response ->
        println("Processing Page:start")
        val items = response.value
        for (item in items) {
          println(item.name)
        }
        when {
          response.continuationToken == null -> println("ContinuationToken: null")
          response.continuationToken.isEmpty() -> println("ContinuationToken: empty")
          else -> println("ContinuationToken: non-empty:" + response.continuationToken)
        }
        println("Processing Page:end")
      }
      .blockLast()

また、クラスローダーの問題が原因でhttpクライアントが自動検出されないことについても既に不満を述べているため、手動で作成する必要があります。

何も変わらないことを願っています。

@ asm0deyこれを共有してくれてありがとう！

@ rickle-msft-出力から、最後のページのマーカー（別名continuationToken）がnullではなく""空であるように見えます。 「ページフェッチループ」の終了基準は、 null継続トークンです。
これが無限ループに入っている理由だと思います。

上記のコードをローカルで実行すると、最後のページのマーカープロパティ値は常にnullため、ストレージアカウントで再現できません。 出力は次のようになります。

Processing Page:start
foo.jpeg
ContinuationToken: null. <------  [In Paul's case this is an empty string ""]
Processing Page:end

これを手動で（デバッグモードで）空の文字列""に設定すると、無限ループに陥っていることがわかります。

有線のストレージサービスがmarkerプロパティを空の文字列として返し、それが最後のページであることを示している可能性はありますか？

@anuchandy次のページがない場合、サービスは常に空のxml要素<NextMarker />返すと思います。 残りのドキュメントには、「Prefix、Marker、MaxResults、およびDelimiter要素は、リクエストURIで指定された場合にのみ存在することに注意してください。NextMarker要素には、リストの結果が完全でない場合にのみ値があります。」 これは、NexMarkerが常に存在することを意味すると思いますが、常に価値があるとは限りません。

異なる環境が原因で、デシリアライザーがnullではなく空の文字列を生成する可能性はありますか？ nullだけでなく、nullまたは空のチェックを行うこともできますか？

私たちの環境で「」をnullに置き換えることを再現するための最小限のテストに関するアイデアはありますか？

@ rickle-msft参照していただきありがとうございます。 数人に連絡して戻ってきましょうが、前のランタイムは実際に空の文字列を終了条件refとして扱っていることがわかります。

while (nextPageLink != null && nextPageLink != "") {

完全にはわかりませんが、これはおそらく、次のトークンのタイプがString場合、一部のAzureサービスが完了を示すために空の文字列を使用している可能性があることを示しています。

DataLakeServiceClient.listFileSystemsメソッドによって返されるIterableでも同じ問題が発生しています。 上記の提案のように、非同期クライアントと印刷されたマーカーを使用すると、空の文字列が表示されます。

@rodburgett環境に関する情報を投稿すると役立つと思います。 おそらく、私たちの環境で一般的なものを見つけることができます。

@ asm0dey私たちの環境で唯一一般的な要素はblobストレージjarであり、そこでも異なるバージョンを使用していると思います。 Gradleを使用してWindows10で作業しています。 私は最初に、azure-storage-blobjarのバージョン12.3.0でこの問題に遭遇しました。 最近12.6.0にアップグレードしましたが、引き続き問題が発生します。

@ asm0dey、@rodburgett -チーム内で我々はそれが多くの紺碧-サービスの場合と与えられただけでなく「」ページングを終了させる信号を処理することについて議論しました。 そのドラフトを開きました。 （この問題により、コアレベルで不足している別の機能が特定されます）

あなたは意志に実行している無限ループの問題は、この変更の副作用として消えますが、それは理解することは興味深いですなぜ、あなたの環境の扱いとして空のXMLノード""の代わりにnull 。

アプリケーションのクラスパスにロードされるJacksonのバージョンを共有できますか？

Jackson jarsv2.10.2を使用しています。

@anuchandyは、役立つ場合は私の完全なクラスパスです。

accessors-smart-1.2.jar
aircompressor-0.15.jar
annotations-17.0.0.jar
asm-5.0.4.jar
avro-1.8.0.jar
avro-1.8.2.jar
aws-java-sdk-bundle-1.11.375.jar
azure-core-1.4.0.jar
azure-core-http-netty-1.5.0.jar
azure-storage-blob-12.6.0.jar
azure-storage-common-12.6.0.jar
bigdatatools.jar
commons-beanutils-1.9.3.jar
commons-beanutils-1.9.4.jar
commons-cli-1.2.jar
commons-codec-1.11.jar
commons-codec-1.5.jar
commons-collections-3.2.2.jar
commons-collections4-4.4.jar
commons-compress-1.4.1.jar
commons-compress-1.8.1.jar
commons-configuration2-2.1.1.jar
commons-io-2.5.jar
commons-lang-2.6.jar
commons-lang3-3.7.jar
commons-lang3-3.9.jar
commons-logging-1.1.3.jar
commons-logging-1.2.jar
commons-math3-3.1.1.jar
commons-net-3.6.jar
commons-pool-1.5.4.jar
commons-text-1.4.jar
commons-text-1.8.jar
curator-client-2.12.0.jar
curator-framework-2.12.0.jar
curator-recipes-2.12.0.jar
diff-match-patch-1.2.jar
dnsjava-2.1.7.jar
fastutil-6.5.7.jar
google-cloud-storage-1.105.2.jar
guava-11.0.2.jar
hadoop-annotations-3.2.0.jar
hadoop-auth-3.2.0.jar
hadoop-aws-3.2.0.jar
hadoop-client-3.2.0.jar
hadoop-common-3.2.0.jar
hadoop-distcp-3.2.1.jar
hadoop-hdfs-client-3.2.0.jar
hadoop-mapreduce-client-common-3.2.0.jar
hadoop-mapreduce-client-core-3.2.0.jar
hadoop-mapreduce-client-jobclient-3.2.0.jar
hadoop-yarn-api-3.2.0.jar
hadoop-yarn-client-3.2.0.jar
hadoop-yarn-common-3.2.0.jar
hive-storage-api-2.6.0.jar
htrace-core4-4.1.0-incubating.jar
jackson-annotations-2.10.1.jar
jackson-core-2.10.1.jar
jackson-core-asl-1.9.11.jar
jackson-core-asl-1.9.13.jar
jackson-databind-2.10.1.jar
jackson-dataformat-xml-2.10.1.jar
jackson-datatype-jsr310-2.10.1.jar
jackson-mapper-asl-1.9.11.jar
jackson-mapper-asl-1.9.13.jar
jackson-module-jaxb-annotations-2.10.1.jar
jakarta.activation-api-1.2.1.jar
jakarta.xml.bind-api-2.3.2.jar
javax.servlet-api-3.1.0.jar
jaxb-api-2.2.11.jar
jcip-annotations-1.0-1.jar
jersey-client-1.19.jar
jersey-core-1.19.jar
jersey-servlet-1.19.jar
json-smart-2.3.jar
jsoup-1.12.1.jar
jsp-api-2.1.jar
jsr305-3.0.0.jar
jsr311-api-1.1.1.jar
kerb-admin-1.0.1.jar
kerb-client-1.0.1.jar
kerb-common-1.0.1.jar
kerb-core-1.0.1.jar
kerb-crypto-1.0.1.jar
kerb-identity-1.0.1.jar
kerb-server-1.0.1.jar
kerb-simplekdc-1.0.1.jar
kerb-util-1.0.1.jar
kerby-asn1-1.0.1.jar
kerby-config-1.0.1.jar
kerby-pkix-1.0.1.jar
kerby-util-1.0.1.jar
kerby-xdr-1.0.1.jar
log4j-1.2.17.jar
moshi-1.7.0.jar
moshi-adapters-1.7.0.jar
moshi-kotlin-1.7.0.jar
netty-buffer-4.1.45.Final.jar
netty-codec-4.1.45.Final.jar
netty-codec-http-4.1.45.Final.jar
netty-codec-http2-4.1.45.Final.jar
netty-codec-socks-4.1.45.Final.jar
netty-common-4.1.45.Final.jar
netty-handler-4.1.45.Final.jar
netty-handler-proxy-4.1.45.Final.jar
netty-resolver-4.1.45.Final.jar
netty-tcnative-boringssl-static-2.0.27.Final.jar
netty-transport-4.1.45.Final.jar
netty-transport-native-epoll-4.1.45.Final-linux-x86_64.jar
netty-transport-native-unix-common-4.1.45.Final.jar
nimbus-jose-jwt-4.41.1.jar
nv-websocket-client-2.9.jar
okhttp-2.7.5.jar
okhttp-3.14.7.jar
okio-1.17.2.jar
opencsv-5.1.jar
orc-core-1.6.2.jar
orc-shims-1.6.2.jar
paranamer-2.7.jar
parquet-avro-1.9.0.jar
parquet-column-1.9.0.jar
parquet-common-1.9.0.jar
parquet-encoding-1.9.0.jar
parquet-format-2.3.1.jar
parquet-hadoop-1.9.0.jar
parquet-jackson-1.9.0.jar
protobuf-java-2.5.0.jar
re2j-1.1.jar
reactive-streams-1.0.3.jar
reactor-core-3.3.3.RELEASE.jar
reactor-netty-0.9.5.RELEASE.jar
snappy-java-1.1.1.3.jar
snappy-java-1.1.1.6.jar
snappy-java-1.1.7.3.jar
stax2-api-3.1.4.jar
stax2-api-4.2.jar
token-provider-1.0.1.jar
woodstox-core-5.0.3.jar
woodstox-core-6.0.2.jar
xz-1.0.jar
xz-1.5.jar

重複する依存関係の数を確認できます。 あなたはそれが何かを壊すことができると思いますか？

export.zip

@rodburgett @anuchandyここでは、無限の反復を再現する最小限のプラグインを添付します。 それはgradleで構築でき、バンドルされたアイデアを実行するための実行構成があります

@ asm0dey-プロジェクトをビルドできました、どうすれば実行できますか？「プラグインが指定されていません」を示すエラーが表示されます。「モジュールのクラスパスを使用する」オプションの下にリストがありません。そうでない場合は、ここで正しい構成を使用していますか？詳細な手順を教えていただけますか？

最も簡単な方法は、gradleのrunIdeタスクを呼び出すことです。 アイデアから実行する場合—wull。デバッグ可能

@ asm0deyそのヒントをありがとう、私はプラグインをロードすることができました。

プラグインコードのデバッグに時間を費やしましたが、問題はストレージSDKに固有のものではありません。

IntelliJサンドボックス内で、JacksonはXMLパーサーを見つけることができません。 JacksonはServiceLoaderを使用してXMLパーサーファクトリをロードします。 プラグイン環境の外部では、 WstxInputFactory [com.fasterxmlをロードできます。 woodstox：woodstox-core ]ですが、サンドボックスにはないため、Jacksonはデフォルトの実装Stax2ReaderAdapter切り替えますが、これには空のノードを検出する方法がありません。 @ asm0deyオンデマンドでロードされるこの依存関係を認識するために、プラグインClassLoaderを作成する方法を確認する必要があると思います。

これは、Jacksonの依存関係export-2.zipのみを持つ更新されたプラグインプロジェクトです。

ところで、上記で更新されたプラグインコードでは、次のGradle依存関係を明示的に指定する必要はありません。

group: 'com.fasterxml.woodstox', name: 'woodstox-core', version: '6.0.3'

これは「jackson-dataformat-xml」の推移的な依存関係であるため、削除できます。

それが役立つ場合、私はこの投稿に出くわしました： https ：

上記のIntelliJプラグインスレッドにリストされている手順に従うと、JacksonはServiceLoaderを使用できます。

Thread.currentThread().setContextClassLoader(this.getClass().getClassLoader());

ただし、これがプラグインの最適なソリューションであるかどうかはわかりません。

わお！ 非常に印象的な研究、これをどうもありがとう！ そしてそれは実際に機能します。 クラスローダーについても考えられませんでした。

@anuchandy引数として別のクラスローダーを受け入れるオーバーロードされたメソッドを追加できるという希望はありますか？ SOに関するこの回答は、これが役立つ理由についての洞察を提供します。

単純なJava / Gradleの再現ケースがあります。IDEは必要ありません。 そのwoodstox-core依存関係をbuild.gradleに追加した後、反復中に返される最初の「ContinuationToken」はnullになります。 そして、私の反復ループは期待どおりに終了します。

IDEの外部で実行すると、クラスローダーの問題ではなく、依存関係の問題のように見えます。

ありがとう@anuchandy

@rodburgettは、ブロックが解除されたと聞いてうれしいです。

@ asm0dey-ユーザーがJacksonAdapterを構成できるようにするための進行中の作業がいくつかあります。 これらのモジュールを参照してください。 1 、 2を。 うまくいけば、ライブラリによってユーザーが構成済みのアダプターをすぐに提供できるようになります。これをいくつかの選択されたSDK（cosmosなど）で試験運用しています。

プラグインが競合する依存関係をもたらすことを考えると、探索する別のオプションはシェーディングです。

プラグインフレームワークは、開発者が回避するのではなく、標準のJavaサービスプロバイダーの読み込み機能を処理する方法を提供する必要があると思います。 OSGiプラグイン/バンドラーの世界を見ると、同じケースを処理するためのサービスローダーメディエータースキームが提供されます。これにより、アプリ開発者が変更することなく、サードパーティライブラリでロードを機能させることができます。

IntelliJプラグインがその下でどのように機能するかを調べるために時間を費やし、IntelliJプラグインの再現で問題を開きました： https ：

@anuchandy多くのプラグインと多くのスレッドがあるため、IDEAで正しく動作するClassloaderを導入するのは

はい、OSGiモジュールとJBossモジュールはどちらも、サービスローダーを正しく操作する方法を提供しますが、その方法はそれほど単純ではありません。 IDEをもっと複雑にしたいですか？ :)

私がazライブラリにCCLを設定することを心配している主な理由は、これは1つのケースの回避策かもしれませんが、そのライブラリを考えると、多くの環境で使用されるため、環境の下にあるものを理解せずにCCLを設定するのは危険です。

クラスローダーのサードパーティライブラリを渡すルートをたどりたい場合でも、すべてのサードパーティライブラリがそれをサポートしているわけではありません。 JacksonXMLMapperはその一例です。

ええ、OSGiメディエーターは単純ではありませんが、フレームワークが提供する機能は常に安全であり、何も壊れないことを保証すると思います。 したがって、InteillJプラグインfxでも同様に解決する必要があると考えたため、問題が発生しました。

JackonAdpaterを構成するオプションがあれば（前のコメントで述べたように）、ユーザーはファクトリを提供できるはずなので、CCLの回避策はありません。

または、シェーディングを検討することもできます。関連するスレッドhttps://github.com/Azure/azure-sdk-for-java/issues/11104があり

youtrack.jetbrains.comで実際の問題を作成することもできると思います。

シェーディングは優れた代替手段ですが、シェーディングの責任者（ライブラリまたはプラグイン）を決定する必要があります。 とにかく、シェーディングは非常に洗練されている必要があります。たとえば、リアクターのシェーディングはリアクターチームによって推奨されていないためです。

問題を報告するための正しいリンクをありがとうございます。ここで開いてください： https ：

@ asm0dey @anuchandyこの問題の状況はどうなっていますか？ 追跡のために開いたままにする必要がありますか、それともjetbrainsで問題を開くことに満足していますか？

@ rickle-msft質問と追跡をありがとうございました！ 私は現在の状態に完全に満足しています。

いいですね。 その場合、私はそれを閉じます、そして、ここでさらに議論が必要な場合、私たちはそれを再び開くことができます。 あなたのすべての仕事に感謝します！

カスタムプラグインで同じ問題に直面していますが、回避策は何ですか？ @anuchandy

@ tooptoop4私の場合、それはクラスローダーの問題でした、あなたはチェックしましたか？

listBlobs（）でも同じ問題に直面しています。 クラスローダーを変更する以外の解決策はありますか？

    <dependency>
      <groupId>com.azure</groupId>
      <artifactId>azure-storage-file-datalake</artifactId>
      <version>12.1.1</version>
    </dependency>
    <dependency>
        <groupId>com.fasterxml.jackson.dataformat</groupId>
        <artifactId>jackson-dataformat-xml</artifactId>
        <exclusions>
            <exclusion>
                <groupId>*</groupId>
                <artifactId>*</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>com.fasterxml.woodstox</groupId>
        <artifactId>woodstox-core</artifactId>
        <version>6.2.1</version>
    </dependency>

@nkanala私の回避策は、各blob名をコレクションに追加し、コレクション内にすでにblobが見つかった場合にループを解除することでした。

@ tooptoop4 @nkanalaは、この上のコラボレーションをご意欲をいただき、ありがとうございます。 階層的なリストを作成している場合は、あるブロブ名が別のブロブ名のプレフィックスであるシナリオの周りにテストケースを追加することをお勧めします。 例1：fooおよびfoo / bar。 ケース2：foo /およびfoo / bar。 前者の場合、返されるアイテムはfooとfoo /であり、後者の場合はfoo /のみが返されると思いますが、比較する前に、アプリにこれらの結果を変換する他のロジックがある場合に言及する方がよいと思いました。

参考までに、jackson-databind 2.11.4 （2020年12月）から2.12.0 （2020年11月）にアップグレードするときにこの問題が発生します。https： //mvnrepository.com/artifact/com.fasterxml.jacksonを参照して

したがって、この場合の私の解決策は、 2.11.4です。 :)

同じ問題が発生し、AzureEventHubsとのgraylog統合用のプラグインを作成しました。 クライアントを作成する前に@anuchandyが指摘するようにThread.currentThread().setContextClassLoader(this.getClass().getClassLoader());追加すると、問題が解決しました。

BlobContainerAsyncClientをインスタンス化するコードは次のとおりです。

//Instantiating the BlobContainerAsyncClient
119               BlobContainerAsyncClient blobContainerAsyncClient =
120                   new BlobContainerClientBuilder()
121                       .connectionString(STORAGE_CONNECTION_STRING)
122                       .containerName(STORAGE_CONTAINER_NAME)
123                       .httpClient(httpClient)
124                       .httpLogOptions(new HttpLogOptions().setLogLevel(HttpLogDetailLevel.BODY_AND_HEADERS))
125                       .buildAsyncClient();
// Instantiating the event processor
129               BlobCheckpointStore blobCheckpointStore = new BlobCheckpointStore(blobContainerAsyncClient);
130               EventProcessorClientBuilder eventProcessorClientBuilder =
131                   new EventProcessorClientBuilder()
132                       .connectionString(EH_CONNECTION_STRING)
133                       .consumerGroup(EH_CONSUMER_GROUP)
134                       .processEvent(eventContext -> {
135                         LOG.info(
136                             "Processing event from partition {} with sequence {} %n",
137                             eventContext.getPartitionContext().getPartitionId(),
138                             eventContext.getEventData().getBodyAsString());
139                         if (eventContext.getEventData().getSequenceNumber() % 10 == 0) {
140                         }
141                       })
142                       .processError(errorContext -> {
143                         LOG.error(
144                             "Error occurred in partition processor for partition {}, {}.%n",
145                             errorContext.getPartitionContext().getPartitionId(), errorContext.getThrowable());
146                       })
147                       .checkpointStore(blobCheckpointStore);

出力は無期限に次のようになります。

graylog_1 2021-01-22 23:25:11,690 INFO : com.azure.storage.blob.implementation.ContainersImpl$ContainersService.listBlobFlatSegment - --> GET https://shgraylog.blob.core.windows.net/shgraylog?prefix=REDACTED&marker=REDACTED&include=REDACTED&restype=REDACTED&comp=REDACTEDDate:Fri, 22 Jan 2021 23:25:11 GMTAuthorization:REDACTEDContent-Length:0x-ms-version:REDACTEDx-ms-client-request-id:e94e4822-d575-4172-9967-5f040598af7cUser-Agent:azsdk-java-azure-storage-blob/12.9.0 (1.8.0_265; Linux; 4.19.121-linuxkit)(empty body)--> END GET
graylog_1 2021-01-22 23:25:11,692 INFO : com.azure.storage.blob.implementation.ContainersImpl$ContainersService.listBlobFlatSegment - --> GET https://shgraylog.blob.core.windows.net/shgraylog?prefix=REDACTED&marker=REDACTED&include=REDACTED&restype=REDACTED&comp=REDACTEDDate:Fri, 22 Jan 2021 23:25:11 GMTAuthorization:REDACTEDContent-Length:0x-ms-version:REDACTEDx-ms-client-request-id:3309ac6e-33ef-46f5-b64b-60b1b0a98cd8User-Agent:azsdk-java-azure-storage-blob/12.9.0 (1.8.0_265; Linux; 4.19.121-linuxkit)(empty body)--> END GET
graylog_1 2021-01-22 23:25:11,700 INFO : com.azure.storage.blob.implementation.ContainersImpl$ContainersService.listBlobFlatSegment - <-- 200 https://shgraylog.blob.core.windows.net/shgraylog?prefix=REDACTED&marker=REDACTED&include=REDACTED&restype=REDACTED&comp=REDACTED (19 ms, unknown-length body)Date:Fri, 22 Jan 2021 23:25:11 GMTServer:Windows-Azure-Blob/1.0 Microsoft-HTTPAPI/2.0Transfer-Encoding:chunkedx-ms-version:REDACTEDContent-Type:application/xmlx-ms-request-id:REDACTEDx-ms-client-request-id:fa182abe-03bc-48cd-b981-de7246bb1ee9(body content not logged)<-- END HTTP
graylog_1 2021-01-22 23:25:11,703 INFO : com.azure.storage.blob.implementation.ContainersImpl$ContainersService.listBlobFlatSegment - --> GET https://shgraylog.blob.core.windows.net/shgraylog?prefix=REDACTED&marker=REDACTED&include=REDACTED&restype=REDACTED&comp=REDACTEDDate:Fri, 22 Jan 2021 23:25:11 GMTAuthorization:REDACTEDContent-Length:0x-ms-version:REDACTEDx-ms-client-request-id:88b6b377-092a-4eee-9fdd-6d00a4c07e22User-Agent:azsdk-java-azure-storage-blob/12.9.0 (1.8.0_265; Linux; 4.19.121-linuxkit)(empty body)--> END GET
graylog_1 2021-01-22 23:25:11,713 INFO : com.azure.storage.blob.implementation.ContainersImpl$ContainersService.listBlobFlatSegment - <-- 200 https://shgraylog.blob.core.windows.net/shgraylog?prefix=REDACTED&marker=REDACTED&include=REDACTED&restype=REDACTED&comp=REDACTED (20 ms, unknown-length body)Date:Fri, 22 Jan 2021 23:25:11 GMTServer:Windows-Azure-Blob/1.0 Microsoft-HTTPAPI/2.0Transfer-Encoding:chunkedx-ms-version:REDACTEDContent-Type:application/xmlx-ms-request-id:REDACTEDx-ms-client-request-id:3309ac6e-33ef-46f5-b64b-60b1b0a98cd8(body content not logged)<-- END HTTP

冗長なコメントで申し訳ありませんが、同じ問題に直面している人に役立つことを願っています。

参考までに、jackson-databind 2.11.4（2020年12月）から2.12.0（2020年11月）にアップグレードすると、この問題が発生します。

2.12.0にアップグレードすると、これと同じ問題が発生しました。問題は、そのバージョンのデフォルトの動作が変更されたことにあるようです（https://github.com/FasterXML/jackson-dataformat-xml/issues/411 ）そして空のブロックの場合、 null代わりに空の文字列を返すようになりました。 カスタムSerializerAdapterを注入する方法はないと思います。 JacksonAdapter#JacksonAdapterに実装し、期待どおりに動作するようにパーサーを構成するには、修正はかなり簡単なはずです。