Pegjs: [질문] {cache: true} 및 합리적인 메모리 부족 사례 처리에 대한 조언

문제 유형

• 질문: 네

전제 조건

• 문제를 재현할 수 있습니까?: 예
• 저장소 문제를 검색하셨습니까?: 예, GitHub 문제에서 cache 를 보았고 캐시에서 몇 가지 문제를 찾았지만 내가 요청한 것은 아닙니다.
• 포럼을 확인하셨습니까?: 예, googlegroups/cache 시도, 관련 결과 없음
• 웹 검색(google, yahoo 등)을 수행하셨습니까?: 예

설명

~1000줄의 문법을 사용하여 상당히 무거운(500KB) 사용자 제공 텍스트를 구문 분석하고 있습니다.

• {cache: true} 전달할 때 ...
  
  
  
  • ... Node에게 3GB의 힙( --max-old-space-size=3000 )을 사용하도록 지시하면 힙이 2.5GB로 증가하고 12초 후에 구문 분석이 성공합니다.
  
  
  • ... 노드 10을 기본 힙 800MB로 두면 구문 분석이 OOM과 충돌합니다.
  
  
• {cache: false} 전달할 때 예상대로 파싱 클럭이 10초(병리적이지 않은 경우)에서 약간 더 빨라지고 메모리 사용량이 늘어나지 않습니다.

이것은 사용자 데이터이고 내 서버 리소스가 제한되어 있으므로 X+1GB의 힙이 필요한 1MB 사용자 데이터를 얻을 수 있으므로 XGB의 힙을 사용하도록 노드를 충돌시키는 것은 옵션이 아닙니다. 그리고 물론 가능한 경우 {cache: true} 를 계속 사용하고 싶습니다. "병리학적인 경우 기하급수적인 구문 분석 시간을 피하기 위해" 제가 만난 적이 있습니다.

어떤 접근 방식을 권장합니까?

• 메모리 사용량이 중요해지면 구제하기 위해 PEG.js에 내장된 것이 있습니까?
• 메모리 사용량이 시간 초과보다 빠르게 증가할 수 있으므로 시간 초과로 이를 처리하려는 시도는 좋지 않습니다.
• 내가 아는 한 Node OOM을 가로채는 것은 불가능합니다.
• 마지막으로 입력의 크기에 따라 {cache: true} 용도를 바꾸는 것을 고려하고 있습니다. 그러면 CPU 사용량이 더 많아지지만 적어도 OOM은 사용하지 않을 것입니다.
• 다른 아이디어?

PEG.js에 감사드립니다! 🙂

소프트웨어

• PEG.js: 0.10.0
• Node.js: 10.13.0
• NPM 또는 원사: npm 6.4.1
• 브라우저: 해당 없음
• OS: AWS 리눅스