Laravel-datatables: 서버 측 내보내기 200000 레코드

이 대량 요청을 처리하려면 고유 한 Excel 파일 작성기를 구현해야합니다. ServiceDataTable 클래스에서 protected function buildExcelFile() 메서드를 재정의하고 청크 등을 수행 할 수 있습니다. 자세한 내용은 laravel-excel 문서를 참조하십시오.

    /**
     * Build excel file and prepare for export.
     *
     * <strong i="7">@return</strong> \Maatwebsite\Excel\Writers\LaravelExcelWriter
     */
    protected function buildExcelFile()
    {
        /** <strong i="8">@var</strong> \Maatwebsite\Excel\Excel $excel */
        $excel = app('excel');

        return $excel->create($this->getFilename(), function (LaravelExcelWriter $excel) {
            $excel->sheet('exported-data', function (LaravelExcelWorksheet $sheet) {
                $sheet->fromArray($this->getDataForExport());
            });
        });
    }

다음 코드 생성 예외
$this->getDataForExport();
서버 측 editColumn() 정의 또는 사용시 예외를 가져옵니다.
200000 개의 레코드가 있습니다.
처리하지 않거나 더 많은 메모리를 할당하지 않고 데이터를 가져 오는 다른 방법이 있습니까?
다음 링크가 있지만 yajra yajra / laravel-datatables-buttons : ^ 3.1 아직 Laravel / Excel을 지원하지 않습니다 : 3.0
https://laravel-excel.maatwebsite.nl/docs/3.0/export/queued

쿼리에서 직접 내보내거나 웅변적인 방법이 있어야합니다.

Postman을 사용하여 해당 작업을 모방하지만

134217728 바이트의 허용 된 메모리 크기가 소진되었습니다.

예외가 발생했습니다. html을 생성하는 데 사용 된 행이없고 rawColumns ()를 사용하여 html을 이스케이프 처리합니다. 내 쿼리는 phpmyadmin에서 0.420ms, 처음에는 1.4 초가 걸립니다.

이것을 대기열에 넣을 수 있다면 서버의 폴더에 저장 한 다음 사용자에게 다운로드 할 수있는 링크를 제공 할 수도 있습니다.

응답 해 주셔서 감사합니다.

JQuery Datatable 또는 yajra datatable에서 사용하고 있으며 서버 측에서 내보내고 싶습니다.

서버의 폴더에 저장하는 것이 불가능하다고 생각합니다. 문제를 일으키는 많은 문제가 있습니다.

데이터 스트리밍이 필요합니다.

데이터 양은 응답으로 20MB 이상입니다.

내 요구 사항은 비슷하지만 파일을 서버 (또는 S3)에 저장하고 내 애플리케이션 대시 보드 또는 이메일에서 다운로드 할 수있는 링크를 제공하고 싶습니다. 여기에서 업데이트 할 내용을 찾으면이 작업을 수행 할 가능성이 있습니다.

많은 양의 램을 소비하고 기본 스크립트 메모리 할당 크기가 60MB 인 서버 측 처리에 문제가 있습니다.
php.ini의 memory_limit 살펴보기
실행 시간 제한 max_execution_time 은 60입니다.
값을 늘린 후 서버 측 내보내기를 사용하여 요청할 수 있습니다.

다운로드 대신 파일을 저장하도록 엑셀 기능을 수정했는데, 파일을 storage / exports / 폴더에 저장하고 있습니다.

public function excel()
{
    $this->buildExcelFile()->store('xls');
}

현재 내 개발 환경에 많은 양의 데이터가 없습니다. 위의 설정을 변경하고 메모리 캡에 도달하지 않고 해당 폴더에서 Excel을 만들 수 있는지 확인할 수 있습니까?

주목해야 할 또 다른 사항은 Laravel 5.1을 사용하고 있으므로 maatwebsite / excel 버전 2.1을 사용하고 있습니다.

제가 정말로하고 싶은 것은 이것을 대신 대기열에 넣고 보고서 작성이 진행 중이라는 메시지와 함께 페이지로 돌아가서 파일을 다운로드 할 수있는 링크가 등록 된 ID로 전송되는 것입니다. "

2.1 버전에서는 어떻게 대기열에 넣을지 모르겠지만 "

그래서 이것에 대한 업데이트가 있습니까?

그래서 이것에 대한 업데이트가 있습니까?

Laravel Excel 3.0 이상을 사용하는 사람은 상위 솔루션이 작동하지 않습니다. 따라서 "Queued Export"를 사용하여 buildExcelFile() 를 재정의해야합니다.

아니면 내가 또한 청크 사용하지만 내 일을 내 특성 및 사용 CSV를 작성하여 다른 뭔가를했고,이 예

어떤 업데이트?

Laravel 6부터는 LazyCollections를 사용하여 한 번에 하나의 항목 만 메모리에로드 할 수 있습니다. 이것은 메모리 부족 문제를 해결합니다.

DataTable 클래스를 확장하고 조정 된 DataTablesExportHandler를 작성하기 만하면됩니다.

내 요점 확인

즐겨!

@singhofmarco 예제를 만들 수 있습니까?

@singhofmarco 동의합니다. 작년에 LazyCollections를 활용할 v10 프로젝트를 시작했지만 atm을 계속할 수는 없습니다.

나는 다른 길을 갔다. csv 함수를 재정 의하여 매번 한 페이지의 데이터로 DataTables를 호출하여 효과적으로 청킹했습니다. 파일이 완료 될 때까지 결과 행에 fputcsv 를 사용한 다음 파일 내용을 Laravel 응답에 반환합니다.

메모리 제한에 더 이상 도달하지 않을뿐만 아니라 (CSV 자체가 PHP 메모리 제한을 초과 할 때까지 스트리밍 응답이 더 도움이 될 수 있음) 두 배 이상 빠릅니다.

@ameenross 가능하다면 코드를 공유해주세요.

@karmendra Yajra Datatables의 이전 버전이기 때문에 원하지 않습니다. 하지만 기본적으로 내가하는 일은 요청에서 일부 페이지 길이 값을 병합하고 일반적으로 AJAX에 대한 데이터 페이지를 반환하는 코드를 호출하는 것입니다 (제 경우 $this->ajax()->getData(true)['data'] ). getCsv 함수를 사용하여 Yajra Datatable 클래스를 확장하는 데이터 테이블에 대한 기본 클래스가 있습니다 (결국 CSV 함수를 재정의하지 않기로 결정했지만 중요하지 않음). 더 이상 남은 페이지가 없을 때까지 반복됩니다.

@ameenross 도움이 되셨습니다. 나는 이것을 시도 할 것이다.

라 라벨 데이터 테이블 :: v1.5.0
@TheGeekyM 댓글을 기반으로 한 내 솔루션은 다음과 같습니다. 다른 사람에게 도움이 될 수 있도록 남겨 둡니다.
FromQuery를 구현하는 ChunkedDatatableExportHandler 클래스를 만든 다음 ServiceDataTables에서 buildExcelFile 메서드를 재정 의하여 사용했습니다.

<?php

namespace App\DataTables;

use Yajra\DataTables\Services\DataTable;

class ServiceDataTable extends DataTable
{
  protected $exportClass = ChunkedDatatableExportHandler::class;

  protected function buildExcelFile()
  {
      $query = app()->call([$this, 'query']);
      $query = $this->applyScopes($query);

      $dataTable = app()->call([$this, 'dataTable'], compact('query'));
      $dataTable->skipPaging();
      $data_query = $dataTable->getFilteredQuery();

      return new $this->exportClass($data_query);
  }
}

<?php
namespace App\DataTables;

use Illuminate\Database\Query\Builder;
use Maatwebsite\Excel\Concerns\Exportable;
use Maatwebsite\Excel\Concerns\FromQuery;
use Maatwebsite\Excel\Concerns\WithHeadings;

class ChunkedDatatableExportHandler implements FromQuery, WithHeadings
{
    use Exportable;

    /**
     * <strong i="11">@var</strong> Builder 
     */
    protected $query;

    /**
     * ChunkDatatablesExportHandler constructor.
     * <strong i="12">@param</strong> Builder $query
     */
    public function __construct(Builder $query)
    {
        $this->query = $query;
    }

    /**
     * <strong i="13">@return</strong> array
     */
    public function headings(): array
    {
        $first = $this->query()->first();

        if ($first) {
            return array_keys((array)$first);
        }

        return [];
    }

    /**
     * <strong i="14">@return</strong> Builder
     */
    public function query()
    {
        return $this->query;
    }
}