Kafka-backup: विषय पर हेडर 'kafka_replyPartition' के लिए मान को डीसेरिएलाइज़ करने में विफल

को निर्मित 11 जून 2020 · 15टिप्पणियाँ · स्रोत: itadventurer/kafka-backup

हमारे क्यूए क्लस्टर पर एक और त्रुटि मिली (काफ्का 2.4.0, काफ्का-बैकअप प्रतिबद्ध f30b9ad9 से निर्मित)।

[2020-06-11 08:39:55,585] WARN Failed to deserialize value for header 'kafka_replyPartition' on topic 'cosmos-cs-reads', so using byte array (org.apache.kafka.connect.storage.SimpleHeaderConverter:68)
java.lang.StringIndexOutOfBoundsException: String index out of range: 0
        at java.base/java.lang.StringLatin1.charAt(Unknown Source)
        at java.base/java.lang.String.charAt(Unknown Source)
        at org.apache.kafka.connect.data.Values.parse(Values.java:822)
        at org.apache.kafka.connect.data.Values.parseString(Values.java:378)
        at org.apache.kafka.connect.storage.SimpleHeaderConverter.toConnectHeader(SimpleHeaderConverter.java:64)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.convertHeadersFor(WorkerSinkTask.java:516)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.lambda$convertAndTransformRecord$3(WorkerSinkTask.java:491)
        at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndRetry(RetryWithToleranceOperator.java:128)
        at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:162)
        at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execute(RetryWithToleranceOperator.java:104)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.convertAndTransformRecord(WorkerSinkTask.java:491)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.convertMessages(WorkerSinkTask.java:465)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:321)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:224)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:192)
        at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:177)
        at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:227)
        at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
        at java.base/java.util.concurrent.FutureTask.run(Unknown Source)
        at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
        at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
        at java.base/java.lang.Thread.run(Unknown Source)
[2020-06-11 08:39:56,295] ERROR WorkerSinkTask{id=chrono_qa-backup-sink-0} Task threw an uncaught and unrecoverable exception. Task is being killed and will not recover until manually restarted. (org.apache.kafka.connect.runtime.WorkerSinkTask:559)
org.apache.kafka.connect.errors.DataException: cosmos-cs-reads error: Not a byte array! cosmos-cs-cmds
        at de.azapps.kafkabackup.common.AlreadyBytesConverter.fromConnectData(AlreadyBytesConverter.java:19)
        at de.azapps.kafkabackup.common.record.RecordSerde.write(RecordSerde.java:121)
        at de.azapps.kafkabackup.common.segment.SegmentWriter.append(SegmentWriter.java:75)
        at de.azapps.kafkabackup.common.partition.PartitionWriter.append(PartitionWriter.java:57)
        at de.azapps.kafkabackup.sink.BackupSinkTask.put(BackupSinkTask.java:68)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:539)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:322)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:224)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:192)
        at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:177)
        at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:227)
        at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
        at java.base/java.util.concurrent.FutureTask.run(Unknown Source)
        at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
        at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
        at java.base/java.lang.Thread.run(Unknown Source)
[2020-06-11 08:39:56,353] ERROR WorkerSinkTask{id=chrono_qa-backup-sink-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:179)
org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception.
        at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:561)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:322)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:224)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:192)
        at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:177)
        at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:227)
        at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
        at java.base/java.util.concurrent.FutureTask.run(Unknown Source)
        at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
        at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
        at java.base/java.lang.Thread.run(Unknown Source)
Caused by: org.apache.kafka.connect.errors.DataException: cosmos-cs-reads error: Not a byte array! cosmos-cs-cmds
        at de.azapps.kafkabackup.common.AlreadyBytesConverter.fromConnectData(AlreadyBytesConverter.java:19)
        at de.azapps.kafkabackup.common.record.RecordSerde.write(RecordSerde.java:121)
        at de.azapps.kafkabackup.common.segment.SegmentWriter.append(SegmentWriter.java:75)
        at de.azapps.kafkabackup.common.partition.PartitionWriter.append(PartitionWriter.java:57)
        at de.azapps.kafkabackup.sink.BackupSinkTask.put(BackupSinkTask.java:68)
        at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:539)
        ... 10 more
[2020-06-11 08:39:56,354] ERROR WorkerSinkTask{id=chrono_qa-backup-sink-0} Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerTask:180)
[2020-06-11 08:39:56,382] INFO Stopped BackupSinkTask (de.azapps.kafkabackup.sink.BackupSinkTask:139)

bug

स्रोत

jay7x

सभी 15 टिप्पणियाँ

जेएफवाईआई, यह विषय मेरे लिए नया प्रतीत होता है। मुझे लगता है कि यह अभी हाल ही में बनाया गया था।

jay7x 11 जून 2020

JFYI 2, पुनरारंभ मदद नहीं करता है।

jay7x 11 जून 2020

यहाँ विषय विवरण है:

Topic: cosmos-cs-reads  PartitionCount: 1       ReplicationFactor: 1    Configs: compression.type=producer,min.insync.replicas=1,cleanup.policy=delete,segment.bytes=1073741824,flush.messages=9223372036854775807,file.delete.delay.ms=60000,max.message.bytes=1000012,min.compaction.lag.ms=0,message.timestamp.type=CreateTime,preallocate=false,index.interval.bytes=4096,min.cleanable.dirty.ratio=0.5,unclean.leader.election.enable=true,retention.bytes=120000000000,delete.retention.ms=86400000,message.timestamp.difference.max.ms=9223372036854775807,segment.index.bytes=10485760
        Topic: cosmos-cs-reads  Partition: 0    Leader: 1       Replicas: 1     Isr: 1

jay7x 11 जून 2020

मैंने काफ्का-कंसोल-उपभोक्ता का उपयोग करके संदेशों का उपभोग करने की कोशिश की और अंदर वैध JSON है .. jq इसे w/o मुद्दों को पार्स कर सकता है। हालांकि कुछ फ़ील्ड खाली स्ट्रिंग हैं ( "field1":"","field2":"" )।

jay7x 11 जून 2020

हेडर के साथ एक समस्या की तरह लगता है। क्या आप जांच सकते हैं कि हेडर कैसा दिखता है?

itadventurer 14 जून 2020

क्या आप सुझाव दे सकते हैं कि कृपया कैसे करें?

jay7x 14 जून 2020

काफ्काकैट का उपयोग करने का सबसे आसान तरीका है: https://stackoverflow.com/questions/55180620/how-to-view-kafka-headers

itadventurer 14 जून 2020

हाँ .. बस kafkacat साथ प्रयास किया और इसे अभी हेडर में देखें ..
kafka_replyTopic=cosmos-cs-cmds,kafka_replyPartition=,kafka_correlationId=��D�� ;X,__TypeId__=eu.chargetime.ocpp.model.core.BootNotificationRequest

ऐसा लगता है कि हमारे डेवलपर्स कुछ गलत कर रहे हैं :(

यूपीडी: उन्होंने बताया कि यह परीक्षण डेटा था और इसकी उम्मीद है .. :(
UPD2: उन्होंने बताया कि kafka_* हेडर स्प्रिंग क्लाउड फ्रेमवर्क द्वारा जोड़े जाते हैं।

jay7x 15 जून 2020

ठीक है धन्यवाद... मुझे यह सोचना होगा कि इसे कैसे ठीक किया जाए। मैं देख रहा हूँ कि यह काफी आलोचनात्मक है

itadventurer 17 जून 2020

👍1

जेएफवाईआई, मैं इसे आपके संभावित सुधार का परीक्षण करने के लिए "टूटी हुई" स्थिति में रख रहा हूं :-D

jay7x 18 जून 2020

👍1

हम्म... मैंने #97 में बग को पुन: पेश करने का प्रयास किया है। समस्या प्रकट नहीं हुई (मेरी स्थानीय मशीन पर - गिटहब पाइपलाइन चल रही है) ...

क्या आप यहां अपना समस्याग्रस्त शीर्षलेख संदेश जोड़ने का प्रयास कर सकते हैं? https://github.com/itadventurer/kafka-backup/pull/97/files#diff -28c62e6ea255f4a9955c7be8c5d8a1cfR95
(जाहिर है हेक्स-एन्कोडेड डेटा के रूप में)

आशा है कि हम इसे यहां पुन: पेश करने में सक्षम होंगे;)

itadventurer 20 जून 2020

👍1

शुक्रिया! मैं इस सप्ताह कोशिश करूँगा!

jay7x 21 जून 2020

मैं इसे पुन: पेश करने में भी असमर्थ था। लेकिन मुझे एहसास हुआ कि f30b9ad (जो मेरा निर्माण आधारित है) के बाद हेडर प्रोसेसिंग को छूने वाले कुछ काम थे। इसलिए मुझे लगता है कि मुझे संशोधन को टक्कर देनी चाहिए और अपने वातावरण में फिर से प्रयास करना चाहिए।

jay7x 2 जुल॰ 2020

अपग्रेड और कॉन्फ़िगरेशन समायोजन के बाद यह ठीक काम करता है ...
मुझे लगता है कि मुख्य कारण यह था:

 connector.class=de.azapps.kafkabackup.sink.BackupSinkConnector
-key.converter=de.azapps.kafkabackup.common.AlreadyBytesConverter
-value.converter=de.azapps.kafkabackup.common.AlreadyBytesConverter
+key.converter=org.apache.kafka.connect.converters.ByteArrayConverter
+value.converter=org.apache.kafka.connect.converters.ByteArrayConverter
+header.converter=org.apache.kafka.connect.converters.ByteArrayConverter

jay7x 3 जुल॰ 2020

फिर हल के रूप में बंद करना।

jay7x 3 जुल॰ 2020

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Kafka-backup: विषय पर हेडर 'kafka_replyPartition' के लिए मान को डीसेरिएलाइज़ करने में विफल

सभी 15 टिप्पणियाँ

संबंधित मुद्दों