Pegjs: 특정 생산물을 무시하는 능력

동의. 현재이 작업을 수행하는 깨끗한 방법이 있습니까?

@benekastah : 현재로서는 깨끗한 방법이 없습니다.

이것은 PEG.js의 작동 방식을 변경하지 않고는 수행하기 어려울 것입니다. 가능한 솔루션은 다음과 같습니다.

1. 생성된 파서 앞에 렉서를 추가할 수 있습니다.
2. 문법 어딘가에 고유한 규칙에 대한 정보를 포함시키십시오. 그것은 아마도 문법의 어휘 수준과 구문 수준을 구별하는 것을 의미할 것입니다. 이것은 제가 피하고 싶은 것입니다.

지금은 이 작업을 하지 않겠지만 기능에서 생각해 볼 문제입니다.

이 기능이 필요합니다.

"건너뛰기"-토큰을 소개할 수 있습니다. 따라서 규칙이 해당 토큰을 반환하면 무시되고 AST(배열의 항목이라고도 함)에 노드가 없습니다.

저도 방법을 찾고 있습니다.

큰 문법 파일이 있습니다(SNMP MIB 파일에 대한 ASN.1 형식을 구문 분석함). 제가 쓰지는 않았지만 PEG.js에서 파서를 만들기 위해 원래 형식에서 사소하게 변형했습니다. (좋습니다. 사실 PEG.js가 받아들이도록 수정하는 데 15분도 채 걸리지 않았습니다.)

불행히도 문법은 공백과 주석을 만날 때 무시할 수 있는 기능으로 작성되었습니다. 결과적으로 파서가 공백의 첫 번째 발생에서 중지하기 때문에 실제 MIB 파일을 처리할 수 없습니다.

나는 모든 규칙에 적절한 공백을 모두 삽입할 수 있도록 문법을 이해해야 하는 것을 걱정하지 않습니다(약 126개의 프로덕션이 있습니다...) 이것을 할 수 있는 다른 방법이 있습니까?

주의: 문법을 손으로 수정해야 하는 경우 Google 그룹스 목록의 티켓에 있는 몇 가지 질문에 대한 도움을 요청했습니다. http://groups.google.com/group/pegjs/browse_thread/thread/568b629f093983b7

감사합니다!

Google 그룹스의 사람들에게 감사드립니다. 나는 내가 원하는 것을 할 수 있도록 충분한 정보를 얻었다고 생각한다.

하지만 PEG.js에서 공백/주석을 완전히 무시할 수 있는 것으로 표시하여 깨끗한 문법을 ​​수정하는 데 몇 시간이 걸리지 않도록 하는 기능을 정말 기대하고 있습니다... 감사합니다!

부자

나는 pegjs가 토큰을 건너뛸 수 있는 기능이 필요하다는 주장에 동의합니다. 진지한 문법을 ​​작성하고 싶다면 모든 토큰 사이에 ws를 넣을 때 미쳐버릴 것입니다.

생성된 파서는 모듈식이기 때문입니다. 이 문제를 해결하려면 단순한 렉서를 만들고 그 출력을 for-real에 대한 입력으로 사용하십시오. 예를 들면 다음과 같습니다.

elideWS.pegjs:

s = 입력:(공백문자/텍스트문자)*
{
변수 결과 = "";

for(var i = 0;i < input.length;i++) 결과 += 입력[i];
반환 결과;
}

whitespaceCharacter = [ nt] { 반환 ""; }
textCharacter = c:[^ nt] { return c; }

하지만 공백이 구분 기호일 때 문제가 발생합니다. 예를 들어 식별자의 경우

이 문제에 자주 부딪힙니다.
그러나 좋은 렉서를 작성하는 것은 쉽지 않습니다(초기 문법의 좋은 덩어리를 복제하여 일관된 렉서를 가질 수 있음).

내가 생각한 것은 일치하는 항목이 없을 때마다 대안으로 사용할 수 있는 건너뛰기 규칙을 정의할 수 있다는 것입니다. 이것은 그러나 non-breaking 클래스에 대한 필요성을 소개합니다. 부동 소수점을 사용하는 arithmetics.pegjs 예

  = Term (("+" / "-") Term)*

Term
  = Factor (("*" / "/") Factor)*

Factor
  = "(" Expression ")"
  / Float

Float "float"
  = "-"? # [0-9]+ # ("." # [0-9]+) // # means that skip rules cannot match

// skip rule marked by "!="
// skip rules cannot match the empty string
_ "whitespace"
  != [ \t\n\r]+

아직 소화 중입니다. 아무 피드백? 아주 어리석은 생각일 수도 있습니다.

따라서 차이점은 전체 엔진이
렉서 모드(공백이 중요함)에서 작동하고 그렇지 않을 때(공백은
무시).

렉서 모드에서 공백을 무시하고 싶지 않은 경우가 있습니까?
옵션으로? 또는 반대로 정규식 안에 있지 않을 때? 나는 아니라고 생각한다.

다음은 동등할까요?

뜨다
"-?[0-9]+("." [0-9]+)"

또는 그렇지 않으면 일반적인 정규식을 직접 및 외부에서 처리하도록 페그를 확장합니다.
따옴표로 묶인 문자열(정규식 포함) 공백은 무시됩니다.

2014년 4월 19일 오후 3시 22분에 Andrei Neculau [email protected] 은 다음과 같이 썼습니다.

이 문제에 자주 부딪힙니다.
그러나 좋은 렉서를 작성하는 것은 쉽지 않습니다(초기 문법의 좋은 덩어리를 복제하여 일관된 렉서를 가질 수 있음).

내가 생각한 것은 일치하는 항목이 없을 때마다 대안으로 사용할 수 있는 건너뛰기 규칙을 정의할 수 있다는 것입니다. 이것은 그러나 non-breaking 클래스에 대한 필요성을 소개합니다. Floats를 사용하는 arithmetics.pegjs의 예

표현
= 기간(("+" / "-") 기간)*

용어
= 인수(("_" / "/") 인수)_

요인
= "(" 식 ")"
/ 뜨다

플로트 "플로트"
= "-"? # [0-9]+ # ("." # [0-9]+) // # 건너뛰기 규칙이 일치할 수 없음을 의미합니다.

// "!="로 표시된 규칙 건너뛰기
// 건너뛰기 규칙은 빈 문자열과 일치할 수 없습니다.
_ "공백"
!= [tnr]+
아직 소화 중입니다. 아무 피드백? 아주 어리석은 생각일 수도 있습니다.

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.

@waTeim 사실 아닙니다.

전통적으로 파싱 프로세스는 렉싱과 파싱으로 나뉩니다. 렉싱하는 동안 공백을 포함한 모든 문자가 중요합니다. 그러나 이것들은 "폐기" 토큰으로 변환됩니다. 파서는 다음 토큰으로 진행할 때 폐기 토큰을 버립니다. 중요한 부분은 공백뿐만 아니라 무엇이든 버릴 수 있다는 것입니다. 이 동작은 정확히 @andreineculau 가 설명하는 것입니다.

이를 구현하는 기본 아이디어는 한 상태에서 다음 상태로 전환할 때 모든 폐기 규칙에 대해 추가로 확인해야 한다는 것입니다.

2014년 4월 23일 오후 2시 54분에 Sean Farrell [email protected] 은 다음과 같이 썼습니다.

@waTeim 사실 아닙니다.

그래서 우리는 동의합니다. 전통적인 접근 방식으로 충분합니다. 가질 필요가 없다
엄격하게 파서 부분은 폐기된 토큰의 존재를 인식하고
렉서 부분이 조건부로 동작하도록 만들 이유가 없습니다(문맥에 민감한 방식으로)
wrt 인식 토큰.

따라서 언어에 글루 요소(예: '#')가 필요하지 않습니다.
그것으로 충분하기 때문에

1) 토큰은 정규식에서만 만들 수 있으며 컨텍스트에 민감하지 않습니다.
2) 토큰은 예외 없이 폐기되도록 표시될 수 있습니다.

전통적으로 파싱 프로세스는 렉싱과 파싱으로 나뉩니다. 렉싱하는 동안 공백을 포함한 모든 문자가 중요합니다. 그러나 이것들은 "폐기" 토큰으로 변환됩니다. 파서는 다음 토큰으로 진행할 때 폐기 토큰을 버립니다. 중요한 부분은 공백뿐만 아니라 무엇이든 버릴 수 있다는 것입니다. 이 동작은 정확히 @andreineculau 가 설명하는 것입니다.

이를 구현하는 기본 아이디어는 한 상태에서 다음 상태로 전환할 때 모든 폐기 규칙에 대해 추가로 확인해야 한다는 것입니다.

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.

좋아, 그럼 내가 당신을 잘못 이해했습니다. 렉서 상태에 대한 경우가 있을 수 있지만 이는 완전히 다른 요구 사항이며 peg.js 범위를 벗어난 IMHO입니다.

@waTeim @rioki 제 제안은

이 규칙을 따르십시오 . *WS 를 제거하여 규칙의 문법을 단순화하려면 field_name 와 : 사이에 field_name *WS 허용하지 않도록 PEGjs 에 어떻게 지시하겠습니까?

@andreineculau 당신의 문법은 공백에 민감하기 때문에 이것은 적용되지 않습니다. 폐기 토큰은 문법의 일부, 정확한 어휘 부분이 될 것입니다. 여기서 큰 문제가 무엇인지 모르겠습니다. 이것은 이미 70년대에 충분히 해결되었습니다. 모든 언어에는 건너뛸 수 있는 고유한 토큰과 적용 가능한 위치가 있습니다. 공백과 주석은 언어 정의의 많은 부분이며 따라서 문법의 일부입니다. 대부분의 언어에서 건너뛸 수 있는 토큰은 다른 모든 토큰 사이에 있을 수 있으며 폐기 규칙을 사용하면 모든 규칙에 대해 expr = WS lit WS op WS expr WS ";" 를 작성하는 것보다 훨씬 간단합니다. 공백 처리가 있는 C와 같은 문법을 상상해 보세요.

폐기 규칙을 pegjs로 다시 구성하는 것이 쉽지 않다는 것을 이해하지만 그것이 칭찬할 만한 목표가 아니라는 의미는 아닙니다.

오, 무료 응답 섹션! 할말이 많은데 너무 길어서 죄송합니다.

1) TL;DR 사람들을 위해 페그 요소를 추가 할 수 있다면 다음과 같이 작성했을 것입니다.

header_field
= field_name ":" field_value

공백(무시)
= [t]+

내가 추가할 것은 모든 프로덕션에 포함될 수 있는 옵션 섹션입니다.

http-bis 언어는 이 재작성으로 제한되지 않습니다(부록 a 참조).

2) 제안된 #에 대한 나의 문제

사용자가 파서 정의를 무리로 채우도록 요구하는 것과 교환하는 것처럼 느껴집니다.
사용자가 채우도록 요구하는 비 터미널(일반적으로 공백/구분자) 폐기
"여기에 있는 문자는 버리지 않습니다" 메타 문자가 포함된 파서 정의
불필요하게. 물론 이런 경우는 더 적을 것입니다. 하는 경우는 드물다.
사람들은 실제로 구분 기호를 사용하고 구분 기호로 무언가를 수행합니다.

부록, HTTP-bis는 그러한 발생 중 하나가 아니며 문서가 잘못되었습니다.

3) 사용자 정의 파서 상태

그러나 파서 정의자가 단순히 잘라내어 붙여 넣는 것이 얼마나 쉬운지 알 수 있습니다.
정의의 언어 사양이므로 이와 같은 것이 있어야 하는 경우
이것은 Sean이 앞서 언급한 어휘 상태로 수행할 수 있습니다. 내가 할 것 같아
다음 방법으로.

생산1(상태==1)
= 물건

생산2(상태==2)
= 물건

생산3
= 물건 {상태 = 1}

생산4
= 물건 {상태 = 2}

즉, lex/yacc와 마찬가지로 프로덕션에서만 사용할 수 있습니다.

시스템이 특정 상태에 있는 경우 사용자가 해당 상태 값을 설정할 수 있습니다.

4) 더 많은 옵션

또는 사용자에게 더 쉽게 만들 수 있고 다른
옵션

생산(DONTIGNORE)
= 물건

이렇게 하면 파서가 표시된 토큰을 버리는 기본 작업을 재정의할 수 있습니다.
하나의 생산에 대해서만 폐기됩니다. 이것은 3과 동일하지만 더 쉽습니다.
읽다. 이것은 생산이 모두 무시되기 때문에 # 제안보다 덜 유연합니다.

또는 무시하지 않지만 추가 유연성이 필요하다고 생각하지 않습니다.

5) getNextToken()에 매개변수를 추가하면 컨텍스트 민감도가 허용됩니다.

나는 이 모든 것이 현재 (여기서 몇 가지 가정을 하고 있습니다.)
파서 부분이 getNextToken(input)을 호출하고 대신 발생해야 하는 것은 다음을 추가하는 것입니다.

매개변수 getNextToken(input,options).

부록 a) 해당 HTTP-bis 사양

좋아, 나는 몇몇을 읽었지만 이 모든 것을 읽지는 않았다

하이퍼텍스트 전송 프로토콜(HTTP/1.1): 메시지 구문 및 라우팅
드래프트-ietf-httpbis-p1-messaging-26

나는 그들이 문법을 정의하는 방식을 좋아하지 않습니다. 입력을 변경하지 않는 것이 좋습니다.
수락하지만 나는 그들이 한 것처럼 정의하지 않았을 것입니다. 특히, 나는 그들이 왜
모두 정확히 동일한 문자열과 동일한 정의된 OWS 및 RWS 및 BWS
그러나 다른 맥락에서. 그들은 정의

OWS ::== (SP | HTAB)*
RWS ::== (SP | HTAB)+
BWS ::== OWS

탭과 공백의 반복입니다.

이유가 없습니다. 그들은 언어를 구문 분석하기 어렵게 만들었습니다. 어휘 분석기가 필요합니다.
컨텍스트를 추적하기 위해 - 그리고 그들은 그렇게 할 필요가 없었습니다.

그들은 OWS를 "선택적 공백"으로 정의했습니다. BWS는 "나쁜 공백" 또는 그렇지 않으면 선택적인 것으로 정의했습니다.
공백이지만 필요하지 않은 "나쁜" 컨텍스트에서 RWS는 공백이 필요한 위치에 공백을 요구했습니다.
토큰을 구분하는 데 필요합니다. 아마도 파서가 있을 수 있다는 것을 제외하고 이 공백은 어디에도 사용되지 않습니다.
BWS("불필요한 후행 공백 감지" 등)와 일치하는 경우 경고
구분 기호는 어쨌든 합니다.

그들의 사양에서 RWS가 사용되는 유일한 장소는 여기입니다.

Via = 1#( [ RWS 주석 ]에 의해 수신된 프로토콜 RWS 수신)

 received-protocol = [ protocol-name "/" ] protocol-version
                     ; see Section 6.7
 received-by       = ( uri-host [ ":" port ] ) / pseudonym
 pseudonym         = token

그러나 '프로토콜 버전'은 숫자와 문자일 수 있는 반면 '수신자'는 숫자와 문자입니다. 다시 말해,
어휘 분석기는 공백으로 구분하지 않는 한 이 두 부분을 올바르게 인식하지 못합니다.
그리고 RWS가 적어도 1이 아닌 경우 명시적으로 식별되는 RWS가 있거나 없는 구문 오류가 될 것입니다.
공백 문자. 따라서 프로덕션에서 RWS를 완전히 제거하고 공백을 처리하십시오.
어디에서나 구분자로 사용되며 언어는 변경되지 않고 문서화된 방식만 변경됩니다.

2014년 4월 24일 오후 1시 23분에 Andrei Neculau [email protected] 은 다음과 같이 썼습니다.

@waTeim @rioki 제 제안은

이 규칙을 따르십시오. OWS를 제거하여 규칙의 문법을 단순화하려면 field_name과 : 사이에서 OWS를 허용하지 않도록 PEGjs에 어떻게 지시하겠습니까?

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.

@waTeim 나는 당신이

파서에서 파생된 렉서 상태의 적절한 사용을 본 적이 없습니다. 여기서 근본적인 문제는 파서가 상태를 전환하기 위해 토큰을 볼 때 사전에 한 번만 볼 때 렉서가 이미 다음 토큰을 잘못 렉싱했다는 것입니다. 당신이 제안한 것은 역추적 없이 구현하는 것이 거의 불가능하며 이는 파서에서 결코 좋은 기능이 아닙니다.

문법을 작성할 때 기본적으로 어떤 생산물이 구문 분석되고 무엇을 마실 수 있는지 정의합니다. @andreineculau 의 예에는 파서에서 공백을 처리하거나 토큰의 후행 ":" 부분을 정의하는 두 가지 옵션이 있습니다. ( [a-zA-Z0-9!#$%&'+-.^_|~]+ ":" ).

문제를 블랙리스트 대신 화이트리스트(어떤 부분을 캡처하고 변환하고 싶은지)를 지정하도록 제안할 수 있습니다. 공백은 현재 캡처 시스템의 한 가지 문제이지만 규칙의 중첩은 또 다른 문제입니다. 내가 Issue #66에서

캡처와 관련하여 LPeg와 PEG.js의 간단한 예는 문제 #66의 내 의견을 참조하십시오. 이름이 약간 애매하긴 하지만, 주어진 프로덕션(또는 그 일부)을 캡처하거나 변환할 수 있는 다양한 방법에 대해서는 LPeg 문서의 캡처 섹션을 참조하십시오.

안녕하세요, null , undefined 및 공백 기호만 있는 문자열과 같은 일반적인 경우를 무시 하는 스니펫 을 만들었습니다.
다음과 같이 문법 파일의 헤드에 필요할 수 있습니다.

{
  var strip = require('./strip-ast');
}

이를 개선하는 두 가지 방법:

• 용어에 대한 사용자 정의 필터 - 특정 문법이 필요한 특정 용어를 무시합니다.
• 중첩된 빈 배열 건너뛰기 — strip 다음 두 번째 단계에서 수행할 수 있으며 중첩된 빈 배열의 «피라미드»를 제거합니다.
  관심 있는 사람이 있으면 패키지로 업그레이드할 수 있습니다.

@richb-hanover ASN.1 정의 파서 노력은 어디에서 이루어졌습니까?

@atesgoral - 탈출했습니다. "실제 파서"가 필요하지 않았습니다. 대상 파일에서 특정 명명된 요소만 분리하면 되었습니다.

그래서 나는 어떤 멍청한 사람도 할 수 있는 일을 했습니다. 정규식을 사용했습니다. (그리고 두 가지 문제가있었습니다 :-)

하지만 성공했기 때문에 다음 도전으로 넘어갈 수 있었습니다. 프로젝트에 행운을 빕니다!

chevrotain과 해당 건너뛰기 옵션 을

너무 자주 우리는 다음과 같이 쓰고 있습니다.

Pattern = head:PatternPart tail:( WS "," WS PatternPart )*
{
  return {
    type: 'pattern',
    elements: buildList( head, tail, 3 )
  };
}

대신 다음과 같이 작성할 수 있다면 멋질 것입니다.

WS "whitespace" = [ \t\n\r] { return '@<strong i="11">@skipped</strong>' }

IgnoredComma = "," { return '@<strong i="12">@skipped</strong>' }

Pattern = head:PatternPart tail:( WS IgnoredComma WS PatternPart )*
{
  return {
    type: 'pattern',
    elements: [head].concat(tail)
  };
}

@richb-hanover, 그리고 비슷한 요구 사항을 찾아 여기까지 온 다른 사람들을 위해 나도 결국 내 자신의 파서를 작성하게 되었습니다: https://www.npmjs.com/package/asn1exp 및 https://www.npmjs. com/package/asn1-tree

건너뛰기는 es6 symbol 사용하여 비교적 쉽게 구현하거나 구문 분석 시 구문 분석기에 술어를 전달하여 더 오래 지속할 수 있습니다(후자의 옵션을 선호함)

이것 역시 우연히 발견했습니다.
PEG.js의 내부에 대해 아무것도 모르고, 그냥 거기에 뼈를 던졌습니다...

규칙을 작성할 때 규칙의 끝에 반환 블록을 추가할 수 있습니다.
해당 블록에서 text() 및 location() 와 같은 것을 호출할 수 있습니다. 내부 기능입니다.

코드의 어딘가에 해당 블록의 반환 값이 출력 스트림으로 들어갑니다.

따라서 해당 값이 skip 로컬 함수 호출의 반환인 경우 규칙에 의해 반환된 값을 건너뛰려면 PEG.js에서 무엇을 변경해야 합니까?

예: comment = "//" space ([^\n])* newline { return skip() }

위에서 언급한 것처럼 skip()은 Symbol을 반환할 수 있으며, 그런 다음 어딘가에서 코드에 의해 검사되고 제거됩니다.
lzhaki가 말한 것과 비슷하지만 라이브러리 내부

나는 당신의 질문을 이해하지 못합니다. 어떤 상황에서 규칙에 실패하는 방법을 찾고 있습니까? &{...} 또는 !{...} 합니다. 그렇지 않으면 comment 규칙의 반환 값을 사용하지 마십시오.

seq = comment r:another_rule { return r; };
choice = (comment / another_rule) { <you need to decide what to return instead of "comment" result> };

누군가에게 도움이 된다면 최상위 규칙이 결과 배열을 필터링하도록 하여 공백을 무시합니다.

예시:

    = prog:expression+ {return prog.filter(a => a)}

expression
    = float
    / number
    / whitespace

float
    = digits:(number"."number) {return parseFloat(digits.join(""),10)}

number 
    = digits:digit+ {return parseInt(digits.join(""),10)}

digit 
    = [0-9]

whitespace
    = [ \t\r\n] {return undefined}

이것은 결과 배열에서 공백을 유지하면서 입력을 행복하게 구문 분석합니다.
이것은 주석과 같은 경우에도 작동합니다. 규칙이 정의되지 않은 상태로 반환되고 최상위 규칙이 이를 걸러냅니다.

이는 최상위 프로덕션에서만 작동합니다. 필터링 가능한 자식을 포함할 수 있는 모든 부모를 수동으로 필터링해야 합니다.

@StoneCypher 사실, 일부 최상위 작업이 필요하지만 저에게 효과적이며 감마가 너무 복잡하지 않은 한 최상위 필터를 사용하여 벗어날 수 있어야 한다고 생각합니다.

그 외에 내가 생각할 수 있는 것은 입력에서 공백을 필터링하고 모든 일치 항목을 통과시키는 최상위 기능이 있다는 것뿐입니다. 확실히 느리고 더 많은 호출이 필요하지만 (나처럼) 모든 것을 토큰 생성기에 전달하면 쉽습니다. 토큰을 생성한 곳에서 필터 기능을 호출할 수 있으며 토큰 생성에 대해서만 걱정하면 됩니다. 공백은 어느 정도 자동으로 필터링됩니다.

pegjs의 현재 HEAD에서 내가 좋아하는 것 중 하나는 레이블을 생성하고 return 문을 수행하지 않고도 필드를 선택하는 (문서화되지 않은) 지원입니다. 다음과 같이 보입니다.

foo = <strong i="6">@bar</strong> _ <strong i="7">@baz</strong>
bar = $"bar"i
baz = $"baz"i
_ = " "*

parse('barbaz') // returns [ 'bar', 'baz' ]

나는 이것이 이 사용 사례와 다른 많은 사례에 대해 훌륭하고 깨끗하며 명시적인 구문을 제공한다고 생각합니다.