Laravel-datatables: सर्वर साइड एक्सपोर्ट 200000 रिकॉर्ड

इस थोक अनुरोध को संभालने के लिए आपको अपनी स्वयं की एक्सेल फ़ाइल बिल्डर को लागू करने की आवश्यकता है। अपने ServiceDataTable क्लास पर, आप protected function buildExcelFile() मेथड को ओवरराइड कर सकते हैं और हो सकता है कि कुछ चंक करें, आदि। अधिक जानकारी के लिए लार्वेल-एक्सेल डॉक्स देखें।

    /**
     * Build excel file and prepare for export.
     *
     * <strong i="7">@return</strong> \Maatwebsite\Excel\Writers\LaravelExcelWriter
     */
    protected function buildExcelFile()
    {
        /** <strong i="8">@var</strong> \Maatwebsite\Excel\Excel $excel */
        $excel = app('excel');

        return $excel->create($this->getFilename(), function (LaravelExcelWriter $excel) {
            $excel->sheet('exported-data', function (LaravelExcelWorksheet $sheet) {
                $sheet->fromArray($this->getDataForExport());
            });
        });
    }

मुझे लगता है कि अपवाद बनाने के बाद कोड
$this->getDataForExport();
सर्वर-साइड editColumn() परिभाषित या उपयोग किए जाने पर अपवाद हो जाता है
200000 रिकॉर्ड हैं।
क्या प्रसंस्करण के बिना डेटा प्राप्त करने या अधिक मेमोरी आवंटित नहीं करने का कोई अन्य तरीका है।
मेरे पास लिंक है लेकिन यज यजरा / लार्वा-डेटाटैबल्स-बटन: ^ 3.1 अभी तक लारवेल / एक्सेल का समर्थन नहीं करता है: 3.0
https://laravel-excel.maatwebsite.nl/docs/3.0/export/queued

एक ऐसा तरीका होना चाहिए जो सीधे क्वेरी या लचर तरीके से निर्यात हो।

मैं उस ऑपरेशन की नकल करने के लिए पोस्टमैन का उपयोग करता हूं लेकिन

134217728 बाइट्स की अनुमत स्मृति आकार समाप्त हो गया

अपवाद फेंक दिया। मेरे पास कोई पंक्तियाँ नहीं हैं जो html उत्पन्न करने के लिए उपयोग की जाती हैं, मैं html से बचने के लिए rawColumns () का उपयोग करता हूं, मेरी क्वेरी phpmyadmin में 0.420 ms और पहले 1.4 सेकंड में है।

यदि हम इसे कतार में रखने में सक्षम हैं, तो हमें इसे सर्वर पर एक फ़ोल्डर में सहेजने में सक्षम होना चाहिए और फिर इसे डाउनलोड करने के लिए उपयोगकर्ता को लिंक प्रदान करना चाहिए।

प्रतिक्रिया के लिए धन्यवाद।

मैं इसे JQuery डेटाटेबल या यज्रा डिटैटेबल में उपयोग कर रहा हूं और सर्वर साइड से निर्यात करना चाहता हूं।

मुझे लगता है कि सर्वर पर फ़ोल्डर में सहेजना संभव नहीं है, ऐसे कई मुद्दे हैं जो समस्या उत्पन्न करेंगे।

मुझे डेटा की स्ट्रीमिंग की आवश्यकता है।

प्रतिक्रिया या बड़े आकार में डेटा की मात्रा 20 एमबी है।

मेरी आवश्यकता समान है, लेकिन मैं फ़ाइल को सर्वर (या S3) पर सहेजना चाहूंगा और इसे अपने एप्लिकेशन डैशबोर्ड या ईमेल में डाउनलोड करने के लिए एक लिंक दूंगा। मैं ऐसा करने की संभावना देख रहा हूं, अगर मुझे कुछ मिला तो मैं यहां अपडेट करूंगा।

मेरे पास सर्वरसाइड प्रॉब्लम है जो बड़ी मात्रा में रैम और डिफ़ॉल्ट स्क्रिप्ट मेमोरी एलोकेशन साइज 60MB है।
Php.ini में memory_limit देखें
निष्पादन समय सीमा max_execution_time 60 है।
मूल्य बढ़ने के बाद आप सर्वरसाइड निर्यात का उपयोग करके अनुरोध करने में सक्षम थे।

मैंने फ़ाइल को डाउनलोड करने के बजाय स्टोर करने के लिए एक्सेल फ़ंक्शन को संशोधित किया, यह फ़ाइल को स्टोरेज / एक्सपोर्ट / फ़ोल्डर में स्टोर कर रहा है।

public function excel()
{
    $this->buildExcelFile()->store('xls');
}

वर्तमान में मेरे विकास एनवी में बड़ी मात्रा में डेटा नहीं है, क्या आप सेटअप में उपरोक्त परिवर्तन कर सकते हैं और देख सकते हैं कि क्या यह मेमोरी कैप से टकराने के बिना उस फ़ोल्डर में एक्सेल बनाने में सक्षम है?

ध्यान देने वाली एक और बात यह है कि मैं लारवेल 5.1 का उपयोग कर रहा हूं

मैं वास्तव में क्या करना चाहता हूं, इसके बजाय इसे कतार में रखें और एक संदेश के साथ पृष्ठ पर लौटें, जो रिपोर्ट निर्माण प्रगति पर है और फ़ाइल डाउनलोड करने के लिए लिंक आपकी पंजीकृत आईडी पर ईमेल किया जाएगा "

2.1 संस्करण में यह सुनिश्चित करने के लिए नहीं कि कैसे कतार बनाई जाए, लेकिन मैंने यह पाया कि वे " क्यूईड चंक " का उपयोग करते हैं, लेकिन मुझे यकीन नहीं है कि इसे कैसे लागू किया जाए।

तो इस बारे में कोई अपडेट?

तो इस बारे में कोई अपडेट?

अगर कोई Laravel Excel 3.0+ का उपयोग करता है तो ऊपरी समाधान काम नहीं करेगा। इसलिए आपको "कतारबद्ध निर्यात" का उपयोग करके buildExcelFile() को ओवरराइड करना चाहिए।

या मैंने कुछ और भी चुन-चुन कर किया लेकिन अपनी विशेषता बनाकर और CSV का उपयोग करके अपना काम करूं और यह एक उदाहरण है

कोई अपडेट्स ?

Laravel 6 से शुरू करके आप LazyCollections का उपयोग मेमोरी में एक समय में केवल एक आइटम लोड करने के लिए कर सकते हैं। यह मेमोरी से बाहर निकलने के मुद्दे को ठीक करता है।

केवल DataTable वर्ग का विस्तार करने और एक अनुकूलित DataTablesExportHandler लिखने की आवश्यकता है।

मेरा जिस्म देख लो

का आनंद लें!

@singhofmarco आप उदाहरण बना सकते हैं?

@singhofmarco मैं सहमत हूं, पिछले साल एक v10 परियोजना शुरू की है जो LazyCollections का उपयोग करेगी लेकिन इसे एटीएम जारी नहीं रख सकती है।

मैं एक अलग मार्ग गया। मैंने सीएसवी फ़ंक्शन को ओवरराइड किया है, डेटाटेबल्स को हर बार एक पेज डेटा के साथ कॉल करके, प्रभावी रूप से चैंकिंग। फ़ाइल के पूर्ण होने तक परिणाम पंक्तियों पर fputcsv का उपयोग करना, फिर फ़ाइल सामग्री को एक लारावेल रिस्पॉन्स में वापस करें।

न केवल मेमोरी सीमा अब और कभी नहीं पहुंची है (जब तक कि सीएसवी स्वयं पीएचपी मेमोरी सीमा से आगे नहीं बढ़ता है, तब एक स्ट्रीमिंग प्रतिक्रिया आगे मदद कर सकती है), लेकिन यह भी दो बार से अधिक तेज है ......

@ameenross यदि संभव हो तो आप अपना कोड कृपया साझा कर सकते हैं।

@ कर्मेंद्र मैं नहीं, बल्कि यह यजरा डेटाटैबल्स के पुराने संस्करण के लिए है। लेकिन मूल रूप से मैं जो कर रहा हूं, मैं अनुरोध में कुछ पृष्ठ और लंबाई मानों को मिला रहा हूं, उस कोड को कॉल करें जो आम तौर पर मेरे मामले में AJAX ( $this->ajax()->getData(true)['data'] ) का डेटा देता है। मेरे पास डेटाटेबल्स के लिए एक बेस क्लास है जो यज डाटिटेबल क्लास को बढ़ाता है, जिसमें getCsv का फंक्शन है (सभी के बाद CSV फंक्शन को ओवरराइड नहीं करने का निर्णय लिया गया है, लेकिन यह महत्वपूर्ण नहीं है)। यह एक लूप में जाता है जब तक कि अधिक पृष्ठ शेष न हों।

@ameenross धन्यवाद जो सहायक है। मैं एक बार इसका प्रयास करूँगा।

लारवेल डाएटेबल :: v1.5.0
यहाँ मेरा समाधान @ TheGeekyM टिप्पणी पर आधारित है, मैं इसे किसी अन्य व्यक्ति की मदद करने के मामले में छोड़ देता हूं।
मैंने एक ChunkedDatatableExportHandler वर्ग बनाया है जो FromQuery को लागू करता है और फिर इसे उपयोग करने के लिए अपने ServiceDataTables में buildExcelFile विधि को ओवरराइड करता है।

<?php

namespace App\DataTables;

use Yajra\DataTables\Services\DataTable;

class ServiceDataTable extends DataTable
{
  protected $exportClass = ChunkedDatatableExportHandler::class;

  protected function buildExcelFile()
  {
      $query = app()->call([$this, 'query']);
      $query = $this->applyScopes($query);

      $dataTable = app()->call([$this, 'dataTable'], compact('query'));
      $dataTable->skipPaging();
      $data_query = $dataTable->getFilteredQuery();

      return new $this->exportClass($data_query);
  }
}

<?php
namespace App\DataTables;

use Illuminate\Database\Query\Builder;
use Maatwebsite\Excel\Concerns\Exportable;
use Maatwebsite\Excel\Concerns\FromQuery;
use Maatwebsite\Excel\Concerns\WithHeadings;

class ChunkedDatatableExportHandler implements FromQuery, WithHeadings
{
    use Exportable;

    /**
     * <strong i="11">@var</strong> Builder 
     */
    protected $query;

    /**
     * ChunkDatatablesExportHandler constructor.
     * <strong i="12">@param</strong> Builder $query
     */
    public function __construct(Builder $query)
    {
        $this->query = $query;
    }

    /**
     * <strong i="13">@return</strong> array
     */
    public function headings(): array
    {
        $first = $this->query()->first();

        if ($first) {
            return array_keys((array)$first);
        }

        return [];
    }

    /**
     * <strong i="14">@return</strong> Builder
     */
    public function query()
    {
        return $this->query;
    }
}