Quartznet: QRTZ_LOCKS पर क्वेरी के कारण 40% CPU स्पाइक

को निर्मित 8 फ़र॰ 2021 · 14टिप्पणियाँ · स्रोत: quartznet/quartznet

मेरा ऐप .NET Framework 4.7.2 पर चलता है और कम CPU उपयोग के साथ एक वर्ष से अधिक पुराने क्वार्ट्ज संस्करण 3.0.7 चला रहा था, और कुछ हफ्ते पहले हमने क्वार्ट्ज को 3.2.3 में अपग्रेड किया और हमने तत्काल 40% CPU वृद्धि देखी इस क्वेरी को नए संस्करण के साथ अधिक बार निष्पादित किए जाने के कारण।

चुनते हैं *
QRTZ_LOCKS से (UPDLOCK, ROWLOCK)
जहां SCHED_NAME = @schedulerName
और LOCK_NAME = @lockName

इस्तेमाल किया संस्करण

संस्करण: 3.2.3

प्रजनन करना

पुन: पेश करने के लिए कोड नहीं है, लेकिन मेरा ऐप सरल नौकरियां बनाता है और एक निश्चित समय में उनमें से 10 को 4 अलग-अलग वीएम उदाहरणों पर निष्पादित किया जाता है।

अपेक्षित् व्यवहार

सीपीयू वही रहना चाहिए जो पुराने संस्करण के साथ था।

बीटीडब्ल्यू, क्वार्ट्ज या हमारे ऐप द्वारा रिपोर्ट की गई कोई त्रुटि नहीं है, लेकिन यह एकमात्र दुष्प्रभाव है जिसे हम संस्करण 3.2.3 के साथ देखते हैं

स्रोत

ndenkha

सभी 14 टिप्पणियाँ

क्या आप अपना शेड्यूलर फ़ैक्टरी कॉन्फ़िगरेशन (क्रेडेंशियल्स आदि अलग करना) पोस्ट कर सकते हैं?

lahma 8 फ़र॰ 2021

ज़रूर।

==== प्रोसेसर शेड्यूलर ====

<scheduler name="processorScheduler">
<quartz>
  <property key="quartz.scheduler.instanceName" value="ProcessorScheduler" />
  <property key="quartz.scheduler.instanceId" value="AUTO" />
  <property key="quartz.scheduler.idleWaitTime" value="1000" />
  <property key="quartz.scheduler.exporter.type" value="Quartz.Simpl.RemotingSchedulerExporter, Quartz" />
  <property key="quartz.scheduler.exporter.port" value="1111" />
  <property key="quartz.scheduler.exporter.bindName" value="ProcessorScheduler" />
  <property key="quartz.scheduler.exporter.channelType" value="tcp" />
  <property key="quartz.scheduler.exporter.channelName" value="httpQuartz" />
  <property key="quartz.threadPool.type" value="Quartz.Simpl.DefaultThreadPool, Quartz" />
  <property key="quartz.threadPool.threadCount" value="20" />
  <property key="quartz.jobStore.type" value="Quartz.Impl.AdoJobStore.JobStoreTX, Quartz" />
  <property key="quartz.serializer.type" value="binary" />
  <property key="quartz.jobStore.clustered" value="true" />
  <property key="quartz.jobStore.clusterCheckinInterval" value="1000" />
  <property key="quartz.jobStore.misfireThreshold" value="60000" />
  <property key="quartz.jobStore.dataSource" value="default" />
  <property key="quartz.jobStore.driverDelegateType" value="Quartz.Impl.AdoJobStore.SqlServerDelegate, Quartz" />
  <property key="quartz.jobStore.tablePrefix" value="QRTZ_" />
  <property key="quartz.jobStore.useProperties" value="true" />
  <property key="quartz.dataSource.default.connectionString" value="Server=xxx;Database=quartz;user id=xxx;PWD=xxx;" />
  <property key="quartz.dataSource.default.provider" value="SqlServer" />
</quartz>
</scheduler>
<scheduler name="notificationScheduler">
<quartz>
  <property key="quartz.scheduler.instanceName" value="notificationScheduler" />
  <property key="quartz.scheduler.instanceId" value="notificationSchedulerInstance" />
  <property key="quartz.scheduler.proxy" value="true" />
  <property key="quartz.scheduler.proxy.address" value="tcp://xxx:2222/notificationScheduler" />
  <property key="quartz.threadPool.type" value="Quartz.Simpl.DefaultThreadPool, Quartz" />
  <property key="quartz.jobStore.type" value="Quartz.Impl.AdoJobStore.JobStoreTX, Quartz" />
  <property key="quartz.jobStore.misfireThreshold" value="60000" />
  <property key="quartz.jobStore.dataSource" value="default" />
  <property key="quartz.jobStore.driverDelegateType" value="Quartz.Impl.AdoJobStore.SqlServerDelegate, Quartz" />
  <property key="quartz.jobStore.lockHandler.type" value="Quartz.Impl.AdoJobStore.UpdateLockRowSemaphore, Quartz" />
  <property key="quartz.jobStore.tablePrefix" value="QRTZ_" />
  <property key="quartz.jobStore.useProperties" value="true" />
</quartz>
</scheduler>

==== अधिसूचना अनुसूचक ====

<scheduler name="notificationScheduler">
<quartz>
  <property key="quartz.scheduler.instanceName" value="notificationScheduler" />
  <property key="quartz.scheduler.instanceId" value="AUTO" />
  <property key="quartz.scheduler.idleWaitTime" value="1000" />
  <property key="quartz.scheduler.exporter.type" value="Quartz.Simpl.RemotingSchedulerExporter, Quartz" />
  <property key="quartz.scheduler.exporter.port" value="2222" />
  <property key="quartz.scheduler.exporter.bindName" value="notificationScheduler" />
  <property key="quartz.scheduler.exporter.channelType" value="tcp" />
  <property key="quartz.scheduler.exporter.channelName" value="httpQuartz" />
  <property key="quartz.threadPool.type" value="Quartz.Simpl.DefaultThreadPool, Quartz" />
  <property key="quartz.threadPool.threadCount" value="20" />
  <property key="quartz.jobStore.type" value="Quartz.Impl.AdoJobStore.JobStoreTX, Quartz" />
  <property key="quartz.serializer.type" value="binary" />
  <property key="quartz.jobStore.clustered" value="true" />
  <property key="quartz.jobStore.clusterCheckinInterval" value="1000" />
  <property key="quartz.jobStore.misfireThreshold" value="60000" />
  <property key="quartz.jobStore.dataSource" value="default" />
  <property key="quartz.jobStore.driverDelegateType" value="Quartz.Impl.AdoJobStore.SqlServerDelegate, Quartz" />
  <property key="quartz.jobStore.tablePrefix" value="QRTZ_" />
  <property key="quartz.jobStore.useProperties" value="true" />
  <property key="quartz.dataSource.default.connectionString" value="Server=xxx;Database=quartz;user id=xxx;PWD=xxx;" />
  <property key="quartz.dataSource.default.provider" value="SqlServer" />
</quartz>
</scheduler>

ndenkha 8 फ़र॰ 2021

मुझे जांच करने के लिए कुछ समय की आवश्यकता होगी, लेकिन मुझे लगता है कि सबसे बड़ा परिवर्तन यह रहा है कि क्वेरी को पैरामीट्रिज किया गया है जो यह भी दिखता है कि यदि आपके पास दो अलग-अलग शेड्यूलर हैं (पहले प्रत्येक के लिए अलग-अलग SQL स्ट्रिंग थी) उन्हें)।

lahma 8 फ़र॰ 2021

यह सही है, मेरे पास कई अनुसूचक हैं जो सभी के ऊपर के समान विन्यास हैं।
इसे देखने के लिए धन्यवाद।

ndenkha 8 फ़र॰ 2021

हाय मार्को, किसी भी अपडेट के लिए आधार को छूना?

ndenkha 12 फ़र॰ 2021

मुझे उम्मीद है कि इस सप्ताहांत में काम करने के लिए मेरे पास समय होगा। मुझे इस तरह के प्रदर्शन प्रतिगमन के कारण कुछ भी स्पष्ट नहीं मिला है, लेकिन मुझे लगता है कि 2.x और 3.x के बीच कुछ है जिसे सुधारा जा सकता है।

lahma 12 फ़र॰ 2021

👍1

हाय मार्को, क्या आपने इस दोस्त को देखने के लिए बदलाव किया है?

ndenkha 23 फ़र॰ 2021

क्षमा करें, अब तक कोई बड़ी जीत नहीं हुई है। मैंने SQL सर्वर डीबीए के साथ इस पर चर्चा की है और वह परीक्षण के द्वारा कोई स्पष्ट कारण नहीं ढूंढ सका, इसलिए यह डीबी पक्ष पर नहीं होना चाहिए क्योंकि यह उसी डेटाबेस पेज के खिलाफ चलता है जो सुपर फास्ट होना चाहिए (छोटी पंक्ति गणना, दो कॉलम) . यदि आपके पास कुछ स्पष्ट करने के लिए प्रोफ़ाइल करने का समय है जो मुझे याद आ रहा है तो वह सुपर होगा।

lahma 25 फ़र॰ 2021

दुर्भाग्य से, हम प्रोफाइल नहीं कर सकते। लेकिन, मेरे पास आपके साथ साझा करने के लिए कुछ और अंतर्दृष्टि है।
जिस दिन से हमने अपने ऐप को अपग्रेडेड क्वार्ट्ज़ के साथ रिलीज़ किया, उस दिन से इस क्वेरी को दिन में 250k बार निष्पादित किया जा रहा था। क्वार्ट्ज v3.0.7 जारी करने के ठीक बाद, क्वेरी निष्पादन समय बढ़कर 350k बार एक दिन (125k की छलांग) हो गया। हमारा एप्लिकेशन डेटा ट्रैफ़िक थोड़ा नहीं बदला है।

साथ ही, हमने देखा है कि आपकी क्वेरी एक सेलेक्ट स्टेटमेंट पर UPDLOCK, ROWLOCK कर रही है, किसी भी कारण से इसे अपडेट नहीं होने पर इसकी आवश्यकता क्यों है? मुझे लगता है कि अगर आप इसे NOLOCK में बदल दें तो बेहतर होगा।

चुनते हैं *
QRTZ_LOCKS से (UPDLOCK, ROWLOCK)
जहां SCHED_NAME = @schedulerName
और LOCK_NAME = @lockName

v3.0.7 में कुछ इस क्वेरी को अधिक बार चलाने के लिए बना रहा है।

ndenkha 25 फ़र॰ 2021

मैंने अपने डीबीए से फिर से बात की और उसने कुछ और खुदाई की और पुराने संस्करण में पता चला कि इस अद्यतन क्वेरी का उपयोग चलाने के लिए किया गया था, और अपग्रेड के बाद से, यह क्वेरी गायब हो गई और ऊपर नया चयन दिखाया गया।

ध्यान दें, Sched_name एक पाठ के रूप में सामने आ रहा था न कि एक पैरामीटर के रूप में।

( @lockName nvarchar(14))
अद्यतन QRTZ_LOCKS
सेट करें LOCK_NAME = LOCK_NAME
जहां SCHED_NAME = 'रखरखाव शेड्यूलर' और LOCK_NAME = @lockName

और पुराने सेलेक्ट स्टेटमेंट की तुलना नए से की गई थी।

27 जनवरी से पहले
( @lockName nvarchar(14))
चुनें * QRTZ_LOCKS से (UPDLOCK, ROWLOCK)
जहां SCHED_NAME = 'रखरखाव शेड्यूलर'
और LOCK_NAME = @lockName

उम्मीद है की यह मदद करेगा।

ndenkha 25 फ़र॰ 2021

अद्यतन और जानकारी के लिए धन्यवाद।

साथ ही, हमने देखा है कि आपकी क्वेरी एक सेलेक्ट स्टेटमेंट पर UPDLOCK, ROWLOCK कर रही है, किसी भी कारण से इसे अपडेट नहीं होने पर इसकी आवश्यकता क्यों है? मुझे लगता है कि अगर आप इसे NOLOCK में बदल दें तो बेहतर होगा।

इसका मतलब यह होगा कि समवर्ती पहुंच से बचाने के लिए कोई ताले नहीं होंगे, इसलिए मैं वहां नहीं जाऊंगा

ध्यान दें, Sched_name एक पाठ के रूप में सामने आ रहा था न कि एक पैरामीटर के रूप में।

यह ठीक वैसा ही व्यवहार है जिसका इरादा #818 के विलय के बाद किया गया था। यदि आपके पास कई शेड्यूलर हैं, तो आपको इस सटीक SQL के साथ अब बहुत अधिक प्रश्न देखने चाहिए, वे सभी एक ही क्वेरी प्लान का उपयोग करते हैं, शेड्यूलर नाम को क्वेरी में हार्ड-कोडिंग करने के बजाय क्वेरी पैरामीटर का उपयोग करने के लिए धन्यवाद जो विभिन्न योजनाओं का कारण बनता है।

अपने notificationScheduler कॉन्फ़िगरेशन को दोबारा पढ़ना:

<property key="quartz.jobStore.lockHandler.type" value="Quartz.Impl.AdoJobStore.UpdateLockRowSemaphore, Quartz" />

इससे यह SQL सर्वर के लिए अनुकूलित SQL कथन का उपयोग नहीं करने का कारण बनेगा। तर्क के लिए https://github.com/quartznet/quartznet/blob/f612e3f66ab27e221b5632269ef5c25c0fe8bcc5/src/Quartz/Impl/AdoJobStore/JobStoreSupport.cs#L492 -L521 देखें।

lahma 26 फ़र॰ 2021

मैंने इस संपत्ति को हटा दिया है और नवीनतम संस्करण में अपग्रेड भी कर दिया है, मैं आपको बताऊंगा कि यह कैसा व्यवहार करता है।

ndenkha 5 मार्च 2021

👍1

हाय मार्को, बस एक अपडेट। उपरोक्त अद्यतनों के बाद सीपीयू सामान्य व्यवहार में वापस आ गया है।
आपकी मदद के लिए धन्यवाद दोस्त।

ndenkha 25 मार्च 2021

👍1

सुनकर अच्छा लगा, लूप बंद करने के लिए धन्यवाद।

lahma 26 मार्च 2021

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Quartznet: QRTZ_LOCKS पर क्वेरी के कारण 40% CPU स्पाइक

सभी 14 टिप्पणियाँ

संबंधित मुद्दों