Kafka-backup: Fehler beim Deserialisieren des Werts für den Header 'kafka_replyPartition' zum Thema

Erstellt am 11. Juni 2020  ·  15Kommentare  ·  Quelle: itadventurer/kafka-backup

Es ist ein weiterer Fehler in unserem QA-Cluster aufgetreten (kafka 2.4.0, kafka-backup erstellt aus Commit f30b9ad9).

[2020-06-11 08:39:55,585] WARN Failed to deserialize value for header 'kafka_replyPartition' on topic 'cosmos-cs-reads', so using byte array (org.apache.kafka.connect.storage.SimpleHeaderConverter:68)
java.lang.StringIndexOutOfBoundsException: String index out of range: 0
        at java.base/java.lang.StringLatin1.charAt(Unknown Source)
        at java.base/java.lang.String.charAt(Unknown Source)
        at org.apache.kafka.connect.data.Values.parse(Values.java:822)
        at org.apache.kafka.connect.data.Values.parseString(Values.java:378)
        at org.apache.kafka.connect.storage.SimpleHeaderConverter.toConnectHeader(SimpleHeaderConverter.java:64)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.convertHeadersFor(WorkerSinkTask.java:516)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.lambda$convertAndTransformRecord$3(WorkerSinkTask.java:491)
        at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndRetry(RetryWithToleranceOperator.java:128)
        at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:162)
        at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execute(RetryWithToleranceOperator.java:104)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.convertAndTransformRecord(WorkerSinkTask.java:491)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.convertMessages(WorkerSinkTask.java:465)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:321)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:224)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:192)
        at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:177)
        at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:227)
        at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
        at java.base/java.util.concurrent.FutureTask.run(Unknown Source)
        at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
        at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
        at java.base/java.lang.Thread.run(Unknown Source)
[2020-06-11 08:39:56,295] ERROR WorkerSinkTask{id=chrono_qa-backup-sink-0} Task threw an uncaught and unrecoverable exception. Task is being killed and will not recover until manually restarted. (org.apache.kafka.connect.runtime.WorkerSinkTask:559)
org.apache.kafka.connect.errors.DataException: cosmos-cs-reads error: Not a byte array! cosmos-cs-cmds
        at de.azapps.kafkabackup.common.AlreadyBytesConverter.fromConnectData(AlreadyBytesConverter.java:19)
        at de.azapps.kafkabackup.common.record.RecordSerde.write(RecordSerde.java:121)
        at de.azapps.kafkabackup.common.segment.SegmentWriter.append(SegmentWriter.java:75)
        at de.azapps.kafkabackup.common.partition.PartitionWriter.append(PartitionWriter.java:57)
        at de.azapps.kafkabackup.sink.BackupSinkTask.put(BackupSinkTask.java:68)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:539)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:322)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:224)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:192)
        at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:177)
        at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:227)
        at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
        at java.base/java.util.concurrent.FutureTask.run(Unknown Source)
        at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
        at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
        at java.base/java.lang.Thread.run(Unknown Source)
[2020-06-11 08:39:56,353] ERROR WorkerSinkTask{id=chrono_qa-backup-sink-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:179)
org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception.
        at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:561)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:322)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:224)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:192)
        at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:177)
        at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:227)
        at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
        at java.base/java.util.concurrent.FutureTask.run(Unknown Source)
        at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
        at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
        at java.base/java.lang.Thread.run(Unknown Source)
Caused by: org.apache.kafka.connect.errors.DataException: cosmos-cs-reads error: Not a byte array! cosmos-cs-cmds
        at de.azapps.kafkabackup.common.AlreadyBytesConverter.fromConnectData(AlreadyBytesConverter.java:19)
        at de.azapps.kafkabackup.common.record.RecordSerde.write(RecordSerde.java:121)
        at de.azapps.kafkabackup.common.segment.SegmentWriter.append(SegmentWriter.java:75)
        at de.azapps.kafkabackup.common.partition.PartitionWriter.append(PartitionWriter.java:57)
        at de.azapps.kafkabackup.sink.BackupSinkTask.put(BackupSinkTask.java:68)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:539)
        ... 10 more
[2020-06-11 08:39:56,354] ERROR WorkerSinkTask{id=chrono_qa-backup-sink-0} Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerTask:180)
[2020-06-11 08:39:56,382] INFO Stopped BackupSinkTask (de.azapps.kafkabackup.sink.BackupSinkTask:139)
bug
Quelle
picture jay7x

Alle 15 Kommentare

JFYI, dieses Thema erscheint mir neu. Ich vermute, es wurde erst vor kurzem erstellt.

jay7x picture jay7x am 11. Juni 2020

JFYI 2, Neustart hilft nicht.

jay7x picture jay7x am 11. Juni 2020

Hier die Themenbeschreibung:

Topic: cosmos-cs-reads  PartitionCount: 1       ReplicationFactor: 1    Configs: compression.type=producer,min.insync.replicas=1,cleanup.policy=delete,segment.bytes=1073741824,flush.messages=9223372036854775807,file.delete.delay.ms=60000,max.message.bytes=1000012,min.compaction.lag.ms=0,message.timestamp.type=CreateTime,preallocate=false,index.interval.bytes=4096,min.cleanable.dirty.ratio=0.5,unclean.leader.election.enable=true,retention.bytes=120000000000,delete.retention.ms=86400000,message.timestamp.difference.max.ms=9223372036854775807,segment.index.bytes=10485760
        Topic: cosmos-cs-reads  Partition: 0    Leader: 1       Replicas: 1     Isr: 1
jay7x picture jay7x am 11. Juni 2020

Ich habe versucht, Nachrichten mit kafka-console-consumer zu konsumieren, und es gibt gültiges JSON. jq kann es ohne Probleme analysieren. Einige Felder sind jedoch leere Zeichenfolgen ( "field1":"","field2":"" ).

jay7x picture jay7x am 11. Juni 2020

Scheint ein Problem mit den Headern zu sein. Können Sie überprüfen, wie die Überschriften aussehen?

itadventurer picture itadventurer am 14. Juni 2020

Könnten Sie bitte vorschlagen, wie man vorgeht?

jay7x picture jay7x am 14. Juni 2020

Der einfachste Weg ist die Verwendung von kafkacat: https://stackoverflow.com/questions/55180620/how-to-view-kafka-headers

itadventurer picture itadventurer am 14. Juni 2020

Ja.. habe es gerade mit kafkacat versucht und sehe dies jetzt in den Headern..
kafka_replyTopic=cosmos-cs-cmds,kafka_replyPartition=,kafka_correlationId=���D����� ;X,__TypeId__=eu.chargetime.ocpp.model.core.BootNotificationRequest

Anscheinend machen unsere Entwickler etwas falsch :(

UPD: Sie sagten, es seien Testdaten und es wird erwartet.. :(
UPD2: Sie sagten, dass kafka_* Header vom Spring Cloud Framework hinzugefügt werden.

jay7x picture jay7x am 15. Juni 2020

Ok, danke... Ich muss mir überlegen, wie ich das beheben kann. Ich sehe, dass das ziemlich kritisch ist 😱

itadventurer picture itadventurer am 17. Juni 2020
👍1

JFYI, ich halte dies im "kaputten" Zustand, um Ihre mögliche Lösung zu testen :-D

jay7x picture jay7x am 18. Juni 2020
👍1

Hmm… Ich habe versucht, den Fehler in #97 zu reproduzieren. Das Problem trat nicht auf (auf meinem lokalen Computer – GitHub Pipeline wird ausgeführt)…

Können Sie versuchen, Ihre problematische Header-Nachricht hier hinzuzufügen? https://github.com/itadventurer/kafka-backup/pull/97/files#diff -28c62e6ea255f4a9955c7be8c5d8a1cfR95
(offensichtlich als Hex-codierte Daten)

Ich hoffe, wir können es hier reproduzieren ;)

itadventurer picture itadventurer am 20. Juni 2020
👍1

Dankeschön! Ich werde es diese Woche versuchen!

jay7x picture jay7x am 21. Juni 2020

Ich konnte es auch nicht reproduzieren. Aber mir wurde klar, dass es wenige Commits gab, die die Header-Verarbeitung nach dem Commit f30b9ad berührten (auf dem mein Build basiert). Also muss ich wohl eine Revision durchführen und es in meiner Umgebung erneut versuchen.

jay7x picture jay7x am 2. Juli 2020

Nach Upgrade und Konfigurationsanpassung funktioniert es einwandfrei...
Ich denke, der Hauptgrund war dieser:

 connector.class=de.azapps.kafkabackup.sink.BackupSinkConnector
-key.converter=de.azapps.kafkabackup.common.AlreadyBytesConverter
-value.converter=de.azapps.kafkabackup.common.AlreadyBytesConverter
+key.converter=org.apache.kafka.connect.converters.ByteArrayConverter
+value.converter=org.apache.kafka.connect.converters.ByteArrayConverter
+header.converter=org.apache.kafka.connect.converters.ByteArrayConverter
jay7x picture jay7x am 3. Juli 2020

Schließung dann wie gelöst.

jay7x picture jay7x am 3. Juli 2020
War diese Seite hilfreich?
0 / 5 - 0 Bewertungen

Verwandte Themen

jay7x picture jay7x  ·  18Kommentare
huyngopt1994 picture huyngopt1994  ·  5Kommentare
akamensky picture akamensky  ·  13Kommentare
ipochi picture ipochi  ·  3Kommentare
jay7x picture jay7x  ·  16Kommentare