pegjs 🚀 - インデントベースの言語の解析をサポート

インデントベースの文法を解析するためにカスタムハンドラーに追加する副作用に依存することは非常に危険です。ただそれをしないでください。 Pegjsは、インデント（およびその他の状況依存文法）の解析を安全にするために、条件付き状態をプッシュおよびポップする機能を追加する必要があります。

これは私が今行っていることであり、これを行うことをお勧めします。入力ファイルを前処理し、独自のインデント/アウトデントトークンを挿入します。私はそれぞれ{{{{と}}}}を使用します。そうすれば、文法は文脈自由であり、通常どおりに解析できます。行/列の値が混乱する可能性がありますが、ポストプロセッサで修正できます。

krisnye 2014年02月11日

👍3

javascriptをターゲットにする必要がない場合は、C＃用の私のpegjsクローンであるPegasusがプッシュ/ポップ状態をサポートしています。これがあなたが望むことを正確に行う方法に関するwikiの記事です： https ：

pegjsが私の構文を状態ベースの構文解析の開始点として使用することを提案したいと思います。

otac0n 2014年02月11日

状態を安全に押してポップする機能は素晴らしいです。 Javascriptベースの場合はそれを使用します。解析のためだけにCLRを統合する価値はありません。

krisnye 2014年02月11日

それが私が考えたものです。その場合、私はおそらく自分の改善をpegjsにバックポートすることを試みるべきだと思います。

ただし、@ dmajdaと会話せずにそれを行う必要はありません。

otac0n 2014年02月12日

👍2

@ otac0nいいですね。私はC＃を書きません。 JavaScriptは私にとってはるかに優れています。

jiyinyiyong 2014年02月12日

インデントベースの言語は重要です。 1.0.0以降の解析を単純化することを検討したいと思います。

dmajda 2014年04月21日

この問題は、ペガサスと同じように、＃285で提案されているように、一般的に状態を許可することで最もよく解決されると思います。ここにアイデアがあります（以下はペガサスの重要な空白の文法をpegjsに翻訳し、私の構文のアイデアを追加したものです）：

{var indentation = 0}

program
  = s:statements eof { return s }

statements
  = line+

line
  = INDENTATION s:statement { return s }

statement
  = s:simpleStatement eol { return s }
  / "if" _ n:name _? ":" eol INDENT !"bar " s:statements UNDENT {
      return { condition: n, statements: s }
    }
  / "def" _ n:name _? ":" eol INDENT s:statements UNDENT {
      return { name: n, statements: s }
    }

simpleStatement
  = a:name _? "=" _? b:name { return { lValue: a, expression: b } }

name
  = [a-zA-Z] [a-zA-Z0-9]* { return text() }

_ = [ \t]+

eol = _? comment? ("\r\n" / "\n\r" / "\r" / "\n" / eof)

comment = "//" [^\r\n]*

eof = !.

INDENTATION
  = spaces:" "* &{ return spaces.length == indentation }

INDENT
  = #STATE{indentation}{ indentation += 4 }

UNDENT
  = #STATE{indentation}{ indentation -= 4 }

下部近くの#STATE{indentation}ブロックに注意してください（明らかにペガサスに触発されています）。私はそれらを状態ブロックと呼びます。アイデアは、アクションの前に状態ブロックを許可することです。より複雑な状態ブロックは次のとおりです。

#STATE{a, b, arr: {arr.slice()}, obj: {shallowCopy(obj)}, c}

それは略記です：

#STATE{a: {a}, b: {b}, arr: {arr.slice()}, obj: {shallowCopy(obj)}, c: {c}}

つまり、省略形の展開が適用された後、状態ブロックの内容はidentifier ":" "{" code "}"リストになります。アクションの前に状態ブロックを追加すると、このアクションによってリストされた識別子が変更されることがpegjsに通知されます。ルールがバックトラックされた場合、これらの識別子は中括弧の間のコードにリセットする必要があります。

indentation変数のリセットが追加された、上記の文法からのINDENTおよびUNDENTのコンパイル済み関数は次のとおりです。

    function peg$parseINDENT() {
      var s0, s1, t0;

      s0 = peg$currPos;
      t0 = indentation;
      s1 = [];
      if (s1 !== peg$FAILED) {
        peg$reportedPos = s0;
        s1 = peg$c41();
      } else {
        indentation = t0;
      }
      s0 = s1;

      return s0;
    }

    function peg$parseUNDENT() {
      var s0, s1, t0;

      s0 = peg$currPos;
      t0 = indentation;
      s1 = [];
      if (s1 !== peg$FAILED) {
        peg$reportedPos = s0;
        s1 = peg$c42();
      } else {
        indentation = t0;
      }
      s0 = s1;

      return s0;
    }

そして、上記の「複雑な状態ブロック」をコンパイルする方法を少し示します。

s0 = peg$currPos;
t0 = a;
t1 = b;
t2 = arr.slice();
t3 = shallowCopy(obj);
t4 = c;
// ...
if (s1 !== peg$FAILED) {
  // ...
} else {
  peg$currPos = s0;
  a = t0;
  b = t1;
  arr = t2;
  obj = t3;
  c = t4;
}

次のことができるというこのアイデアについてどう思いますか。

アクションによって変更されるステートフル変数についてpegjsに通知します。
リセットする必要がある場合は、これらの変数を格納するために必要なコードを指定してください。（変数がプリミティブ値である単純な場合の省略構文を含みます。）

そして、構文についてどう思いますか？

編集：提案された構文文法は次のとおりです（楽しみのために）：

diff --git a/src/parser.pegjs b/src/parser.pegjs
index 08f6c4f..09e079f 100644
--- a/src/parser.pegjs
+++ b/src/parser.pegjs
@@ -116,12 +116,31 @@ ChoiceExpression
     }

 ActionExpression
-  = expression:SequenceExpression code:(__ CodeBlock)? {
+  = expression:SequenceExpression code:((__ StateBlock)? __ CodeBlock)? {
       return code !== null
-        ? { type: "action", expression: expression, code: code[1] }
+        ? {
+            type:       "action",
+            expression: expression,
+            code:       code[2],
+            stateVars:  (code[0] !== null ? code[0][1] : [])
+          }
         : expression;
     }

+StateBlock "state block"
+  = "#STATE{" __ first:StateBlockItem rest:(__ "," __ StateBlockItem)* __ "}" {
+      return buildList(first, rest, 3);
+    }
+
+StateBlockItem
+  = varName:Identifier expression:(__ ":" __ CodeBlock)? {
+      return {
+        type:       "stateVar",
+        name:       varName,
+        expression: expression !== null ? expression[3] : varName
+      };
+    }
+
 SequenceExpression
   = first:LabeledExpression rest:(__ LabeledExpression)* {
       return rest.length > 0

lydell 2015年02月15日

こんにちは、みんな、
明確にするために、この問題が解決されるまで、インデントベースの言語でPEG.js（この問題の先頭から回避策を含む）を使用しない方がよいというのは正しいですか？
ありがとう。

hoho 2015年11月08日

@hoho意味がパーサーコンビネーターのようなソリューションを使用して解析する別のソリューションを見つけました。それは機能しました。そして、PEG.jsでインデントを解析するための元のインデントはなくなったと思います。

jiyinyiyong 2015年11月09日

インデントを解析するための回避策があることを意味しますが、コメントによると、これらの回避策は特定の場合に失敗することがあります。

hoho 2015年11月10日

状況を明確にしましょう。PEG.jsでインデントベースの言語を解析することは可能です。上記のさまざまな解決策がありますが、これを「感じ」ようとして、別の解決策を作成しました（これは、2つのステートメントを含む単純な言語の文法であり、そのうちの1つにはインデントされたサブステートメントを含めることができます。たとえばif Pythonでは

すべてのソリューションに共通することの1つは、インデント状態を手動で追跡する必要があることです（PEG.jsでは追跡できないため）。これは、2つの制限があることを意味します。

キャッシュを使用して文法を安全にコンパイルすることはできません（パーサーが状態操作コードを実行する代わりにキャッシュされた結果を使用する可能性があるため）。
インデントレベル間でバックトラックすることはできません（現在、バックトラック時に状態を展開する方法がないため）。言い換えると、改行とインデントのレベルが変更された後にのみ明確にできる2つの有効な構造がある言語を解析することはできません。

制限1はパフォーマンスの問題を引き起こす場合がありますが、制限2が問題になる言語は多くないと思います。

この状態は1.0.0までは問題ありませんが、その後いつかこのトピックに戻る予定です。改善の最初のレベルは、より明示的な状態追跡を使用して（上記で提案したように）、またはバックトラッキングフックを提供することによって（状態を正しく展開できるように）制限2を取り除くことです。 2番目のレベルは、宣言的な方法を提供することにより、インデント状態を手動で追跡する必要性を取り除くことです。これは制限1に役立つ可能性があります。

dmajda 2015年11月27日

H、ここで説明したように、適切なバックトラッキングをサポートするPEG.js用の（小さなハッキーな）パッチを作成しました： https ：

tebbi 2015年11月27日

👍1

バンプをごめんなさい😜

設計している言語のCSONパーサーとYAMLパーサーの作成を検討していたところ、PEG.jsを使用してインデントベースのパーサーを作成する方法を検討しているときに、次のような簡単な方法を思いつきました。

1）プッシュ/ポップ状態に依存しません
2）アクション内のコードを介してインデントレベルをアサートする

上記の2つのソリューションのいずれかが、生成されたパーサーに実際にパフォーマンスの問題を追加することに気づきました。さらに私の意見では：

1）状態に依存すると、醜いPEG.js構文が追加されるだけでなく、アクションベースの状態処理をサポートする必要があるため、生成できるパーサーのタイプにも影響を与える可能性があります。
2）アクションにコードを追加すると、言語に依存するルールが作成されることがあります。一部の開発者にとっては、プラグインを使用してCやPHPなどの他の言語のパーサーを生成するには、ルールに対するアクションを処理するプラグインを増やす必要があります。 1つまたは2つの変更をサポートするためだけのより大きなビルドシステムを意味します。

しばらくして、私はPEG.jsパーサーの独自のバリアントの作成を開始し、次のように考えました。インクリメント（ "++"）およびデクリメント（ "-"）プレフィックス演算子（__ ++ expression__および__-- expression__）を使用しないのはなぜですか。）一致式（__expression * __または__expression + __）の結果を処理します。

以下は、 @ dmajdaの単純な意図ベースの言語に

Start
  = Statements

Statements
  = Statement*

Statement
  = Indent* statement:(S / I) { return statement; }

S
  = "S" EOS {
      return "S";
    }

I
  = "I" EOL ++Indent statements:Statements --Indent { return statements; }
  / "I" EOS { return []; }

Indent "indent"
  = "\t"
 / !__ "  "

__ "white space"
 = " \t"
 / " "

EOS
  = EOL
  / EOF

EOL
  = "\n"

EOF
  = !.

目にはもっと楽しいですよね？人間にとってもソフトウェアにとっても、理解しやすい。

それはどのように機能しますか？単純：

1） Indent*は、 Indentが返すものの0個以上が必要であることをパーサーに通知します
2） ++Indentは、パーサーにIndent必要な一致の最小数を増やすように指示します
3）これで、パーサーがIndentの一致を返すときはいつでも、最初にそれが__1 more__一致であると想定し、それ以外の場合は_peg $ SyntaxError_がスローされます。
4） --Indentは、 Indent必要な一致の最小数を減らすようにパーサーに指示します
5）パーサーがIndentを探して、以前よりも__1少ない__一致すると予想される一致を返すときはいつでも、そうでない場合は_peg $ SyntaxError_がスローされます。

このソリューションは、PEG.js文法に醜い構文を追加したり、サードパーティのジェネレーターをブロックしたりせずに、「重要な空白の解析」のサポートを追加するための最良の方法です。

_src /parser.pegjs_でこれを解析するためのサポートを追加するために変更されたルールは次のとおりです。

{
  const OPS_TO_PREFIXED_TYPES = {
    "$": "text",
    "&": "simple_and",
    "!": "simple_not",
    "++": "increment_match",
    "--": "decrement_match"
  };
}

PrefixedOperator
  = "$"
  / "&"
  / "!"
  / "++"
  / "--"

SuffixedOperator
  = "?"
  / "*"
  / "+" !"+"

コンパイラ/ジェネレータ側をサポートするには、次のことを行う必要があると思いますか？

1）__ ++ expression__または__-- expression__が__expression * __または__expression + __でのみ使用されることを保証するコンパイラパスを追加します。ここで、__ expression__は、choice、sequence、またはrule_refのタイプである必要があります。
2）__ expression * __または__expression + __の生成されたパーサーにキャッシュベースのチェックを追加します。これは、一致を返す前に、最低限必要な一致が満たされていることを表明します。
3）オプションで、生成されたパーサーが実装するヘルパーメソッドを追加します。これは、特定のルールに必要な一致数を返します。 nMatches( name: String ): Number

futagoza 2017年03月15日

@futagoza 、これはきれいで賢いです。それはいいですね。私は状態を処理するパーサーに取り組んでいますが、本当に必要な状態はインデントレベルだけです。私はこのアイデアを使用して、あなたにそれを信用するかもしれません。インデントレベルを追跡するには、プッシュ/ポップ状態が効果的に必要であるため、一部の最適化が妨げられる可能性がありますが、これのセマンティクスは非常に優れています。

文法に演算子を追加する場合は、@プレフィックス演算子も追加することをお勧めします。目的は、シーケンスから単一のルール結果を単純に抽出することです。これを使用すると、サンプルの文法がさらにきれいになります。些細な{returnx}アクションはもうありません。

Start
  = Statements

Statements
  = Statement*

Statement
  = Indent* @(S / I)

S
  = "S" EOS {
      return "S";
    }

I
  = "I" EOL ++Indent <strong i="8">@Statements</strong> --Indent
  / "I" EOS { return []; }

Indent "indent"
  = "\t"
 / !__ "  "

__ "white space"
 = " \t"
 / " "

EOS
  = EOL
  / EOF

EOL
  = "\n"

EOF
  = !.

@kodyjkingこれについてどう思いますか？

krisnye 2017年03月16日

@futagozaインデントパッチが有効になっているフォーク/ブランチと小さなサンプル文法がありますか？