Transmission: [सुधार] फ़ाइलें ले जाते समय होशियार रहें

को निर्मित 14 जुल॰ 2019 · 8टिप्पणियाँ · स्रोत: transmission/transmission

विंडोज़ के लिए, tr_sys_path_rename ध्वज का उपयोग MOVEFILE_COPY_ALLOWED बजाय util.c:tr_moveFile

तब लिनक्स संस्करण प्रत्येक पर लूपिंग के बजाय अधिक आधुनिक copy_file_range उपयोग कर सकता था।

शायद कुछ ऐसा:

size_t tr_sys_file_copy(tr_sys_file_t infile, tr_sys_file_t outfile, size_t len, tr_error** error )
{
        TR_ASSERT(outfile != NULL);
        TR_ASSERT(infile != NULL);
        bool ret = false;
        unsigned int flags = 0;
        size_t res;

        res = copy_file_range(infile, NULL, outfile, NULL, &len, flags);
        if (res) {
                return res;
        }      
        else {
                set_system_error(error, errno);  
                return res;
        }
}

और शायद एक:

tr_sys_file_copy_fallback(tr_sys_file_t infile, tr_sys_file_t outfile, size_t len,  tr_error** error ) {
    TR_ASSERT(outfile != NULL);
    TR_ASSERT(infile != NULL);

    uint64_t bytesLeft = len;
    size_t const buflen = 1024 * 128; /* 128 KiB buffer */
    tr_sys_path_info info;
    while (bytesLeft > 0)
    {
        uint64_t const bytesThisPass = MIN(bytesLeft, buflen);
        uint64_t numRead;
        uint64_t bytesWritten;

        if (!tr_sys_file_read(infile, buf, bytesThisPass, &numRead, error))
        {
            break;
        }

        if (!tr_sys_file_write(outfile, buf, numRead, &bytesWritten, error))
        {
            break;
        }

        TR_ASSERT(numRead == bytesWritten);
        TR_ASSERT(bytesWritten <= bytesLeft);
        bytesLeft -= bytesWritten;
    }
    return bytesLeft;
}

core enhancement pr welcome

स्रोत

Spindel

सबसे उपयोगी टिप्पणी

डेटा को अतुल्यकालिक बनाने के लिए +1। फाइल सिस्टम के बीच बड़े टोरेंट को ले जाना पूरे एप्लिकेशन को लॉक कर देता है ।

pyrovski 5 जन॰ 2020

👍7

सभी 8 टिप्पणियाँ

तब लिनक्स संस्करण प्रत्येक पर लूपिंग के बजाय अधिक आधुनिक copy_file_range का उपयोग कर सकता था।

यह केवल एक कॉल (या साधारण लूप में) के साथ नहीं किया जा सकता है:

       If  file_in  is  a  sparse  file, then copy_file_range() may expand any
       holes existing in the requested range.  Users may benefit from  calling
       copy_file_range()  in  a  loop,  and  using  the lseek(2) SEEK_DATA and
       SEEK_HOLE operations to find the locations of data segments.

(आदमी copy_file_range)

आदर्श रूप से हमें यह सुनिश्चित करना चाहिए कि ठीक से लॉक हो और एक अलग थ्रेड में सेंडफाइल () का उपयोग करें।

andreygursky 14 जुल॰ 2019

यह काफी हद तक वर्तमान "मूव फाइल" कोड जैसा ही है जब
rename विफल रहता है। यह विरल वर्गों को भी नहीं रखता है, इसलिए मैंने नहीं किया
इसे बदलते समय एक समस्या पर विचार करें।

सूर्य, 14 जुलाई, 2019 पर 10:41 pm पर andreygursky [email protected] लिखा है:
>

तब लिनक्स संस्करण प्रत्येक पर लूपिंग के बजाय अधिक आधुनिक copy_file_range का उपयोग कर सकता था।
यह केवल एक कॉल (या साधारण लूप में) के साथ नहीं किया जा सकता है:
   If  file_in  is  a  sparse  file, then copy_file_range() may expand any
   holes existing in the requested range.  Users may benefit from  calling
   copy_file_range()  in  a  loop,  and  using  the lseek(2) SEEK_DATA and
   SEEK_HOLE operations to find the locations of data segments.
(आदमी copy_file_range)
आदर्श रूप से हमें यह सुनिश्चित करना चाहिए कि ठीक से लॉक हो और एक अलग थ्रेड में सेंडफाइल () का उपयोग करें।
-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने सूत्र को लिखा है।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें, या थ्रेड को म्यूट करें।

Spindel 14 जुल॰ 2019

वर्तमान "स्थानांतरित फ़ाइल" एक संदर्भ के रूप में जुड़ा हुआ है

वर्तमान कार्य:

https://github.com/transmission/transmission/blob/master/libtransmission/utils.c#L1682

https://github.com/transmission/transmission/blob/master/libtransmission/utils.c#L1744

Spindel 14 जुल॰ 2019

यह विरल वर्गों को भी नहीं रखता है, इसलिए मैंने नहीं किया
इसे बदलते समय एक समस्या पर विचार करें।

और इसमें सामान्य फाइलों के लिए प्रीआलोकेशन गुम है।

andreygursky 15 जुल॰ 2019

हां। ओ भी। "फ़ाइल ले जाएँ" का वर्तमान खराब व्यवहार कुछ सेट अप में बेतुके भार का कारण बनने के लिए पर्याप्त है। यदि संभव हो, तो ऐसा लगता है कि glibc copy_file_range में फ़ॉल-बैक समाधान एक बेहतर कार्यान्वयन भी है।

Spindel 15 जुल॰ 2019

मैंने इसके साथ एक नाटक किया है। क्रॉस प्लेटफ़ॉर्म तरीके से सही होना कठिन है: इन-कर्नेल कॉपी के लिए कोई POSIX इंटरफ़ेस प्रतीत नहीं होता है। लेकिन मुझे लगता है कि यह प्रत्येक ऑपरेटिंग सिस्टम के लिए विशेष आवरण के लायक है क्योंकि जैसे-जैसे फाइल सिस्टम प्रतियों में अधिक कुशल होते हैं हम उन सुविधाओं को स्वचालित रूप से एक्सेस करना चाहते हैं।

मेरे पास मैकोज़क्स और फ्रीबीएसडी पर एक बुनियादी कार्यान्वयन है और चल रहा है लेकिन मुझे इसका परीक्षण करने के लिए कुछ और सिस्टम स्थापित करने की आवश्यकता है।

मुझे लगता है कि यह काम फ़ाइल को अतुल्यकालिक बनाने के लिए ऑर्थोगोनल है। एक को दूसरे के रास्ते में नहीं खड़ा होना चाहिए। स्वयंसेवी परियोजनाओं के लिए, गुंजाइश रेंगना उत्पादकता का दुश्मन है।

RobCrowston 26 दिस॰ 2019

परिवर्तन यहाँ हैं: https://github.com/transmission/transmission/compare/master...RobCrowston:kernelcopy-wip

संक्षेप में मैं tr_sys_path_copy() नामक एक नया अमूर्त बनाता हूं। (मैं एक चाल के बजाय एक प्रतिलिपि के साथ गया था क्योंकि जब हम इसे एक एसिंक ऑपरेशन बनाते हैं, तो अन्य धागे में फ़ाइल हैंडल को बंद करने के लिए प्रतिलिपि पूर्ण होने के बाद मूल फ़ाइल को कुछ अनिश्चित अवधि के लिए रखना आवश्यक हो सकता है।)

आज तक, मैंने MacOS 10.15.1, Windows Server 2016, Linux 5.0 (Ubuntu 19.05), Linux 5.3 (Arch 2019-12-03), FreeBSD 12.1 पर नया परीक्षण (ट्रांसमिशन-टेस्ट-कॉपी) संकलित और चलाया है। (यूजरस्पेस फ़ॉलबैक का उपयोग करता है), और फ्रीबीएसडी 13. प्रत्येक मामले में मैंने डीबगर से सत्यापित किया कि हम उपयुक्त सिस्टम कॉल कर रहे हैं। दुर्भाग्य से मैं कुछ असंबंधित libevent समस्याओं के कारण OpenBSD 6.5, NetBSD 8.1, या Solaris 10 पर कोड बनाने में सक्षम नहीं था, लेकिन मुझे यकीन नहीं है कि ये अब libtransmission के लिए समर्थित प्लेटफ़ॉर्म हैं। किसी भी स्थिति में, यह परिवर्तन उन प्लेटफ़ॉर्म को प्रभावित नहीं करना चाहिए।

अभी भी करना है:

पुराने Windows कर्नेल पर परीक्षण करें। उसके लिए वर्चुअल मशीन देव वातावरण को कॉन्फ़िगर करने की आवश्यकता है।
क्रॉस-वॉल्यूम कॉपी का परीक्षण करें (क्योंकि हम इसी की परवाह करते हैं)। हालांकि यह सुनिश्चित नहीं है कि इसे स्वचालित परीक्षण के रूप में कैसे किया जाए।
परीक्षण फ़ाइल tr_sys_path_copy() काफी बड़ी फ़ाइल (> 100 जीबी) के लिए। शायद स्वचालित परीक्षण के रूप में नहीं किया जा सकता है।
अलगाव में tr_sys_path_copy() का परीक्षण करने के बजाय सीटू में परीक्षण करें।
मेरे एक बिट टोरेंट सर्वर को कुछ समय के लिए इस कोड से बदलें, देखें कि यह वास्तविक दुनिया में कैसा व्यवहार करता है।

प्रतिक्रिया का स्वागत है।

RobCrowston 27 दिस॰ 2019

pyrovski 5 जन॰ 2020

👍7

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Transmission: [सुधार] फ़ाइलें ले जाते समय होशियार रहें

सबसे उपयोगी टिप्पणी

सभी 8 टिप्पणियाँ

संबंधित मुद्दों