Zstd: स्ट्रीमिंग प्लेटफॉर्म में Zstd डिक्शनरी कम्प्रेशन

नमस्ते,

मैं यहां लिख रहा हूं, क्योंकि मुझे पता नहीं है कि प्रश्न को और कहां संभाला जा सकता है और शायद यह Zstd की एक सीमा है। मैं पल्सर में Zstd के साथ एक डिक्शनरी कम्प्रेशन पर काम कर रहा हूं जो Netty और the . पर आधारित है
io.netty.buffer.ByteBuf डेटाटाइप।

मुद्दा निम्नलिखित है। स्थानीय रूप से कोड बनाते समय मैं इनपुट के प्रत्यक्ष बफ़र्स तक पहुँच सकता हूँ और शब्दकोश का आकार> 10000 बाइट्स है। नेटवर्क पर, जहां मैं इनपुट का अनुकरण करता हूं और शब्दकोशों का समर्थन करने वाला कोई प्रत्यक्ष बफर नहीं है, शब्दकोश का आकार 500 बाइट्स जितना बड़ा हो जाता है।
क्या कोई मुझे यह समझाने में मदद कर सकता है कि सीमाएँ कहाँ हैं या शायद मैं क्या गलत करता हूँ।

(कोड उदाहरण नीचे हैं)।

स्थानीय:
सार्वजनिक स्थैतिक बाइट [] getZstdDictionaryAsBytesFromList (सूची .)संदेश) {
int inputSize = message.stream().mapToInt(b -> b.readableBytes()).sum();
ZstdDictTrainer ट्रेनर = नया ZstdDictTrainer (इनपुट साइज, DICTIONARY_SIZE);
बाइट [] बाइट डिक्शनरी = शून्य;

    for(ByteBuf buf: messages) {
        trainer.addSample(buf.array());
    }
    byteDictionary = trainer.trainSamples( true);
    return byteDictionary;
}

नेटवर्क:
निजीसंदेश) {
अंतिम पूर्ण करने योग्यभविष्य int inputSize = message.stream().mapToInt(b -> b.readableBytes()).sum();
this.dictionaryService.getDictionaryWorkerPool ()। सबमिट करें (() -> {
ZstdDictTrainer ट्रेनर = नया ZstdDictTrainer (इनपुट साइज, 16*1024);
के लिए (बाइटबफ संदेश: this.messageBuffer) {
बाइट [] संदेशअरे;
अगर (msg.hasArray ()) {
msgArray = msg.array ();
} अन्यथा {
int HowMany = msg.readableBytes ();
msgArray = नया बाइट [कितना];
इंट रीडरइंडेक्स = msg.readerIndex ();
msg.getBytes (रीडरइंडेक्स, msgArray);
}
Trainer.addSample(msgArray);
}
बाइट [] बाइट डिक्शनरी = ट्रेनर। ट्रेन के नमूने (सच);

वास्तव में खेद है अगर मैं अधिक विशिष्ट मुद्दों के लिए एक मंच भर रहा हूँ।
बहुत - बहुत धन्यवाद,
मिलेना