Pegjs: [प्रश्न] {कैश: ट्रू} पर सलाह और उचित आउट-ऑफ-मेमोरी मामले को संभालना

को निर्मित 22 नव॰ 2018 · 3टिप्पणियाँ · स्रोत: pegjs/pegjs

विषय वर्ग

प्रश्न: हाँ

आवश्यक शर्तें

क्या आप इस मुद्दे को पुन: पेश कर सकते हैं ?: हाँ
क्या आपने रिपोजिटरी मुद्दों की खोज की ?: हां, cache देखा, कैश पर कुछ समस्याएं मिलीं लेकिन मैं जो मांग रहा हूं वह नहीं।
क्या आपने फ़ोरम की जाँच की ?: हाँ, googlegroups / कैशे की कोशिश की, कोई संबंधित परिणाम नहीं मिला
क्या आपने वेब खोज की थी (गूगल, याहू, आदि) ?: हाँ

विवरण

मैं ~ 1000 लाइन व्याकरण का उपयोग करके उपयोगकर्ता द्वारा प्रदत्त टेक्स्ट का काफी भारी (500 केबी) टुकड़ा पार्स कर रहा हूं।

{cache: true} ...
- ... और नोड को 3GB हीप ( --max-old-space-size=3000 ) का उपयोग करने के लिए कह रहा है, ढेर 2.5GB तक बढ़ जाता है, और पार्सिंग 12s में सफल हो जाती है।
- ... और नोड 10 को डिफ़ॉल्ट रूप से 800MB ढेर पर छोड़कर, OOM के साथ क्रैश पार्स करना।
उम्मीद के मुताबिक {cache: false} , घड़ियों को 10s (गैर-पैथोलॉजिकल केस) पर थोड़ा तेज़ पार्स करना और स्मृति उपयोग को गुब्बारा नहीं करना।

यह उपयोगकर्ता डेटा है और मेरे सर्वर संसाधन सीमित हैं, इसलिए एक्स जीबी ढेर का उपयोग करने के लिए नोड को टक्कर देना एक विकल्प नहीं है, क्योंकि कल मुझे 1 एमबी उपयोगकर्ता डेटा मिल सकता है जिसके लिए एक्स + 1 जीबी ढेर की आवश्यकता होगी। और निश्चित रूप से मैं "पैथोलॉजिकल मामलों में घातीय पार्सिंग समय से बचने" के लिए संभव होने पर {cache: true} का उपयोग करना जारी रखना चाहता हूं, जो मुझे मिला है।

आप किस दृष्टिकोण की सलाह देते हैं?

जब स्मृति उपयोग महत्वपूर्ण हो जाता है तो क्या PEG.js में जमानत के लिए कुछ भी बनाया गया है?
टाइमआउट के साथ इसे संभालने के मेरे प्रयास बहुत अच्छे नहीं हैं, क्योंकि मेमोरी का उपयोग टाइमआउट की तुलना में तेजी से बढ़ सकता है।
जहां तक मुझे पता है कि नोड ओओएम को रोकना असंभव है।
अंत में, मैं इनपुट के आकार के आधार पर {cache: true} उपयोग को स्विच करने पर विचार कर रहा हूं। इससे मुझे अधिक CPU उपयोग करना होगा, लेकिन कम से कम मैं OOM नहीं करूंगा।
अन्य विचार?

पीईजी.जेएस के लिए धन्यवाद! मैं

सॉफ्टवेयर

खूंटी.जेएस: 0.10.0
Node.js: 10.13.0
एनपीएम या यार्न: एनपीएम 6.4.1
ब्राउज़र: लागू नहीं
ओएस: एडब्ल्यूएस लिनक्स

performance question

स्रोत

ronjouch

सभी 3 टिप्पणियाँ

घातीय पार्सिंग समय ऐसा कुछ है जो बहुत ही रोग संबंधी मामलों में होता है, और मैं वहां व्याकरण को फिर से लिखने की अनुशंसा करता हूं।
https://github.com/sirthias/pegdown/issues/43#issuecomment -18469752 पर विचार
(मैं योगदानकर्ता नहीं हूं)

polkovnikov-ph 23 नव॰ 2018

👍1

जैसा कि @ polkovnikov-ph ने बताया, आपके व्याकरण के कुछ हिस्सों को फिर से लिखना सबसे अच्छा है जो रोग संबंधी मामलों से निपटते हैं, लेकिन यदि आप ओओएम मामलों को मारना जारी रखते हैं, तो यह करना बेहतर हो सकता है कि आपने (@ronjouch) क्या सुझाव दिया है; इनपुट के आकार के आधार पर _cache_ विकल्प को टॉगल करें: cache: input.length >= 250000

इसके बाद (और केवल अगर आपके पास उपयोगकर्ता द्वारा प्रदान किए गए टेक्स्ट तक पहुंच है), मैं किसी भी इनपुट की जांच करने का सुझाव दूंगा जो किसी भी सामान्य रोग संबंधी मामलों का पता लगाने के लिए ओओएम मामलों को हिट करता है और इन्हें स्पष्ट रूप से संभालने के लिए अपने व्याकरण को अपडेट करता है ताकि आप ओओएम मामलों की संख्या को कम कर सकें। अपने ऐप को मार रहा है।

यदि आप अभी भी ओओएम मामलों को अक्सर मार रहे हैं, और न केवल अपने व्याकरण को फिर से लिखना चाहते हैं बल्कि अपने टूलचेन में एक अतिरिक्त पास (या कुछ) भी जोड़ना चाहते हैं, तो मैं इनमें से किसी भी तरीके को आजमाने का सुझाव दूंगा:

बड़े इनपुट को विभाजित करना, और आपके द्वारा पार्स किए जा रहे सिंटैक्स के आंशिक भागों को संभालने के लिए अपने व्याकरण को अपडेट करना, फिर जब सभी इनपुट टुकड़ों को पार्स किया जाता है, तो सब कुछ में शामिल हों (यह सबसे अधिक संभावना केवल तभी व्यवहार्य है जब आपका जेनरेट किया गया पार्सर एएसटी लौटाता है, अन्यथा सुनिश्चित नहीं है)
उपयोगकर्ता द्वारा प्रदान किए गए टेक्स्ट में सिंटैक्स की पहचान करने के लिए रेगेक्स का उपयोग करें जो इसे 2 जेनरेट किए गए पार्सर्स में से एक को भेजने से पहले पैथोलॉजिकल मामलों को जन्म दे सकता है: एक सामान्य पार्सर और दूसरा पैथोलॉजिकल मामलों को संभालने के लिए
आप हमेशा PEG.js व्याकरण का उपयोग एक पार्सर उत्पन्न करने के लिए कर सकते हैं जो टोकननाइज़र की तरह व्यवहार करता है, और एक ऐसा पार्सर बनाता है जो सामान्य इनपुट दोनों को बेहतर तरीके से पार्स कर सकता है, और इनपुट जिसमें सिंटैक्स होता है जो पैथोलॉजिकल मामलों को जन्म दे सकता है (आपको अधिक समय निवेश करने की आवश्यकता होगी पार्सर्स के बारे में सीखना, और एक तरह से एक पार्सर जनरेटर के उद्देश्य को हरा देता है, लेकिन _ लगभग हमेशा एक व्यवहार्य विकल्प होता है यदि आप जानते हैं कि आप क्या कर रहे हैं_)

futagoza 26 नव॰ 2018

👍1

@ polkovnikov-ph @futagoza सलाह के साथ वापस आने के लिए समय निकालने के लिए आप दोनों को धन्यवाद ! यह समझ आता है। मैंने आकार के वर्कअराउंड को तैनात किया है, और अगली बार जब भी समस्या दरवाजे पर दस्तक देगी, तो व्याकरण को फिर से लिखने पर विचार करेंगे। अच्छा दिन; प्रश्न को बंद करना।

ronjouch 26 नव॰ 2018

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स