Pegjs: 特定の作品を無視する能力

同意しました。 現時点でこれを行うためのクリーンな方法はありますか？

@benekastah ：今のところきれいな方法はありません。

これは、PEG.jsの動作を変更せずに行うのは難しいでしょう。 考えられる解決策は次のとおりです。

1. 生成されたパーサーの前にレクサーを付加できるようにします。
2. 文法のどこかに、組み込まれたルールに関する情報を埋め込みます。 それはおそらく、文法の語彙レベルと構文レベルを区別することも意味します。これは避けたいことです。

今はこれに取り組みませんが、機能で考える必要があります。

この機能が必要になります。

「スキップ」トークンを導入できるかもしれません。 したがって、ルールがそのトークンを返す場合、そのトークンは無視され、AST（配列内のエントリ）でノードを取得しません。

私もこれを行う方法を探しています。

大きな文法ファイルがあります（SNMP MIBファイルのASN.1形式を解析します）。 書きませんでしたが、元のフォームから簡単に変換して、PEG.jsでパーサーを作成しました。 （これは良いことです。実際、PEG.jsが受け入れるように調整するのに15分もかからなかったのは非常に滑らかです。）

残念ながら、文法は空白やコメントに遭遇したときにそれらを単に無視する機能を備えて書かれています。 その結果、パーサーは空白の最初の出現で停止するため、実際のMIBファイルを処理できません。

すべてのルールにすべての適切な空白を挿入できるように、文法を理解する必要はありません（約126のプロダクションがあります...）これを行う他の方法はありますか？

注：文法を手動で変更する必要がある場合は、Googleグループリストのチケットにあるいくつかの質問についてサポートを依頼しました。 http://groups.google.com/group/pegjs/browse_thread/thread/568b629f093983b7

どうもありがとう！

Googleグループの皆さんに感謝します。 やりたいことができるくらいの情報が得られたと思います。

しかし、PEG.jsで空白/コメントを完全に無視されるものとしてマークする機能を本当に楽しみにしています。そうしないと、クリーンな文法を変更するのに数時間かかる必要がなくなります...ありがとう！

リッチ

私は、pegjsにはトークンをスキップする機能が必要であるという主張に同意します。 真面目な文法を書きたいと思うなら、すべてのトークンの間にwsを入れると頭がおかしくなるので、私はそれを調べるかもしれません。

生成されたパーサーはモジュール式であるため。 回避策として、単純なレクサーを作成し、その出力を実際のレクサーへの入力として使用します。例：

elideWS.pegjs：

s = input：（whitespaceCharacter / textCharacter）*
{{
var result = "";

for（var i = 0; i <input.length; i ++）result + = input [i];
結果を返します。
}

whitespaceCharacter = [nt] {return ""; }
textCharacter = c：[^ nt] {return c; }

しかし、それは空白が区切り文字である場合に問題を引き起こします-識別子のように

この問題に頻繁にぶつかります。
しかし、優れたレクサーを作成するのは簡単ではありません（最初の文法の適切なチャンクを複製して、一貫性のあるレクサーを作成することができます）。

私が考えていたのは、一致するものがない場合はいつでも代替として使用できるスキップルールを定義できるようにすることです。 ただし、これにより、ノーブレーククラスが必要になります。 Floatsを使用したarithmetics.pegjs例

  = Term (("+" / "-") Term)*

Term
  = Factor (("*" / "/") Factor)*

Factor
  = "(" Expression ")"
  / Float

Float "float"
  = "-"? # [0-9]+ # ("." # [0-9]+) // # means that skip rules cannot match

// skip rule marked by "!="
// skip rules cannot match the empty string
_ "whitespace"
  != [ \t\n\r]+

まだこれを消化しています。 フィードバックはありますか？ 非常に愚かな考えかもしれません。

したがって、違いは、エンジン全体がいつであるかを区別したいということです
レクサーモード（空白が重要）で動作し、そうでない場合（空白は重要）
無視されます）。

レクサーモードで空白を無視したくない場合はありますか
オプションとして？ または逆に、正規表現内にない場合はどうなりますか？ 違うと思う。

以下は同等ですか？

浮く
"-？[0-9] +（"。 "[0-9] +）"

または、ペグを拡張して、典型的な正規表現を直接および外部で処理します
引用符で囲まれた文字列（正規表現を含む）の空白は無視されます。

2014年4月19日には、15:22で、アンドレイNeculauの[email protected]は書きました：

この問題に頻繁にぶつかります。
しかし、優れたレクサーを作成するのは簡単ではありません（最初の文法の適切なチャンクを複製して、一貫性のあるレクサーを作成することができます）。

私が考えていたのは、一致するものがない場合はいつでも代替として使用できるスキップルールを定義できるようにすることです。 ただし、これにより、ノーブレーククラスが必要になります。 Floatsを使用したarithmetics.pegjsの例

表現
=期間（（ "+" / "-"）期間）*

学期
=ファクター（（ "_" / "/"）ファクター）_

要素
= "（"式 "）"
/ 浮く

フロート「フロート」
= "-"？ ＃[0-9] +＃（ "。"＃[0-9] +）//＃スキップルールが一致しないことを意味します

//「！=」でマークされたルールをスキップします
//スキップルールは空の文字列と一致できません
_「空白」
！= [tnr] +
まだこれを消化しています。 フィードバックはありますか？ 非常に愚かな考えかもしれません。

—
このメールに直接返信するか、GitHubで表示してください。

@waTeim実際にはありません。

従来、構文解析プロセスは字句解析と構文解析に分割されていました。 字句解析中は、空白を含むすべての文字が重要になります。 しかし、これらは「破棄」トークンにまとめられます。 パーサーは、次のトークンに進むときに、破棄トークンを破棄します。 重要なのは、空白だけでなく、何でも破棄できることです。 この動作は、まさに@andreineculauが説明しているものです。

これを実装する方法の基本的な考え方は、ある状態から次の状態に移行するときに、すべての破棄ルールを追加でチェックする必要があることです。

2014年4月23日には、14:54で、ショーン・ファレル[email protected]は書きました：

@waTeim実際にはありません。

だから私たちは同意します。 従来のアプローチで十分です。 持っている必要はありません
厳密に解析された部分は、破棄されたトークンの存在を認識し、
レクサー部分を条件付きで動作させる理由はありません（状況依存の方法で）
トークンを認識するwrt。

したがって、言語に接着要素（「＃」など）を含める必要はありません。
それで十分だから

1）トークンは正規表現からのみ作成でき、状況依存ではありません。
2）トークンは、例外なく破棄するようにマークできます。

従来、構文解析プロセスは字句解析と構文解析に分割されていました。 字句解析中は、空白を含むすべての文字が重要になります。 しかし、これらは「破棄」トークンにまとめられます。 パーサーは、次のトークンに進むときに、破棄トークンを破棄します。 重要なのは、空白だけでなく、何でも破棄できることです。 この動作は、まさに@andreineculauが説明しているものです。

これを実装する方法の基本的な考え方は、ある状態から次の状態に移行するときに、すべての破棄ルールを追加でチェックする必要があることです。

—
このメールに直接返信するか、GitHubで表示してください。

わかりました、それでは私はあなたを誤解しました。 レクサー状態の場合もありますが、それはまったく異なる要件であり、IMHOはpeg.jsの範囲外です。

@ waTeim @ rioki私の提案について少し忘れてください。

実践的に、このルールを採用してください。 *WS取り除いてルールの文法を単純化したい場合、 field_nameと:間でfield_name *WS許可しないようにPEGjsにどのように指示しますか？

@andreineculau文法は空白に敏感であるため、これは適用されません。 破棄トークンは文法の一部であり、正確には字句解析の部分です。 ここで大きな問題が何であるかはわかりませんが、これは70年代にすでに十分に解決されていました。 すべての言語には、独自のスキップ可能なトークンと、それらが適用可能な場所があります。 空白とコメントは、言語定義の一部であり、したがって文法の一部です。 ほとんどの言語では、スキップ可能なトークンが他のすべてのトークンの間にある可能性があり、破棄ルールを使用すると、すべてのルールにexpr = WS lit WS op WS expr WS ";"を書き込むよりもはるかに簡単になります。 ホワイトペース処理を使用したCのような文法を想像してみてください。

破棄ルールをpegjsに再接続するのは簡単ではないことは理解していますが、それが称賛に値する目標ではないという意味ではありません。

ああ、無料応答セクション！ 言いたいことがたくさんあるので、長さでごめんなさい。

1）TL; DRの人々にとって、ペグ要素を追加できれば、私は欲しかったのですが、このように書いていただろう

header_field
= field_name "：" field_value

空白（IGNORE）
= [t] +

私が行う追加は、任意のプロダクションに含まれる可能性のあるオプションセクションです

http-bis言語は、この書き直しによって制限されません（付録aを参照）。

2）提案された＃に関する私の問題

交換しているように感じます。ユーザーはパーサーの定義をまとめて入力する必要があります。
非終端記号（通常は空白/区切り文字）を破棄し、ユーザーに入力を要求する
「ここの文字は破棄されない」メタ文字の束を含むパーサー定義
不必要に。 確かに、これは発生が少ないでしょう。 まれなケースです
人々は実際に区切り文字を消費し、それらを使って何かをします、そして私がコメントするように

付録a、HTTP-bisはそれらの発生の1つではなく、文書化が不十分です。

3）ユーザー定義のパーサー状態

しかし、パーサーデファイナーで単純にカットアンドペーストする方が簡単であることがわかります。
定義からの言語仕様なので、このようなものが必要な場合は、
これは、Seanが以前にほのめかしたように、字句状態で行うことができます。 私はそれをするだろうと思います
次のように。

production1（state == 1）
=もの

production2（state == 2）
=もの

生産3
=スタッフ{状態= 1}

生産4
=スタッフ{状態= 2}

言い換えれば、lex / yaccと同じように、プロダクションのみを利用できるようにします

システムが特定の状態にある場合、ユーザーがその状態値を設定できるようにします。

4）その他のオプション

または、ユーザーにとってより簡単に、別のユーザーと一緒に読者にわかりやすくすることもできます
オプション

プロダクション（DONTIGNORE）
=もの

これにより、パーサーは、マークされたトークンを破棄するというデフォルトのアクションをオーバーライドできます。
廃棄として、ただしその1つのプロダクションに対してのみ。 これは実際には3と同じですが、もっと簡単です
読んだ。 どちらかのプロダクションがすべて無視されるため、これは＃提案よりも柔軟性がありません

または無視しないでください、しかし私は余分な柔軟性が必要であるとは思いません。

5）getNextToken（）にパラメーターを追加すると、状況依存が可能になります

私はこれがすべてに帰着すると思います（私はここでいくつかの仮定をしています）現在、
パーサー部分はgetNextToken（input）を呼び出し、代わりに発生する必要があるのは、

それへのパラメータgetNextToken（input、options）。

付録a）そのHTTP-bis仕様

いくつか読んだことがありますが、全部読んだわけではありません

ハイパーテキスト転送プロトコル（HTTP / 1.1）：メッセージの構文とルーティング
ドラフト-ietf-httpbis-p1-messaging-26

彼らが文法を定義した方法が好きではありません。 入力を変更することはお勧めしません
受け入れますが、私は彼らがしたようにそれを定義しなかったでしょう。 特に、なぜ彼らが持っているのかが好きではありません
定義されたOWSとRWSおよびBWSは、すべてまったく同じ文字列に相当します
しかし、異なる状況で。 彼らは定義しました

OWS :: ==（SP | HTAB）*
RWS :: ==（SP | HTAB）+
BWS :: == OWS

これはタブとスペースの繰り返しです

正当な理由はありません。 それらは言語を解析するのを難しくしました—字句解析器を必要とします
そのコンテキストを追跡するために—そして彼らはそれをする必要はありませんでした。

彼らはOWSを「オプションの空白」として定義しましたBWSを「悪い空白」またはその他のオプションとして定義しました
空白ですが、「悪い」コンテキストでは（不要な場合）、RWSでは空白が必要です。
トークンを区切るために必要です。 おそらくパーサーがあるかもしれないことを除いて、この空白はどこにも使用されていません
それがすべてであるBWS（「検出された不要な末尾の空白」など）と一致する場合の警告
とにかく区切り文字は行います。

彼らの仕様では、RWSが使用される唯一の場所はここです

Via = 1＃（received-protocol RWS receive-by [RWS comment]）

 received-protocol = [ protocol-name "/" ] protocol-version
                     ; see Section 6.7
 received-by       = ( uri-host [ ":" port ] ) / pseudonym
 pseudonym         = token

しかし、「プロトコルバージョン」は数字であり、おそらく文字であり、「受信者」は数字と文字です。 言い換えると、
字句解析プログラムは、空白で区切られていない限り、これら2つの部分を正しく認識しません。
少なくとも1つがない場合、RWSが明示的に識別されているかどうかに関係なく、構文エラーになります。
空白文字。 したがって、RWSをプロダクションから完全に削除し、空白を処理するだけです。
どこでも区切り文字として使用され、言語は変更されません。文書化されている方法だけです。

2014年4月24日には、13:23で、アンドレイNeculauの[email protected]は書きました：

@ waTeim @ rioki私の提案について少し忘れてください。

実践的に、このルールを採用してください。 OWSを取り除いてルールの文法を単純化したい場合、field_nameと：の間でOWSを許可しないようにPEGjsにどのように指示しますか？

—
このメールに直接返信するか、GitHubで表示してください。

@waTeimあなたはこれで船外に出ていると思います。 私はかなりの数のパーサーを作成しましたが、レクサーはそのように実際には決して役に立たないと述べていると思います。 ほとんどの場合、レクサーがブロックコメントを消費する場所であり、レクサーを「ブロックコメントモード」にして、ユーバーパターンよりも単純なパターンを記述してコメント（およびカウント行）を消費する方が「簡単」でした。

パーサーに起因するレクサー状態の適切な使用を見たことがありません。 ここでの基本的な問題は、先を見据えて、パーサーが状態を切り替えるトークンを確認したときに、レクサーがすでに次のトークンを誤って字句解析していることです。 あなたが提案することは、バックトラックなしで実装することはほとんど不可能であり、それはパーサーの良い機能ではありません。

文法を書くときは、基本的に、どのプロダクションが解析されたと見なされ、何をすすめることができるかを定義します。 @andreineculauの例では、パーサーで空白を処理するか、トークンの末尾の「：」部分を定義するかの2つのオプションがあります。 （ [a-zA-Z0-9!#$%&'+-.^_|~]+ ":" ）。

問題を、ブラックリストではなく、ホワイトリスト（キャプチャして変換する部分）を指定するように変更することをお勧めします。 空白は現在のキャプチャシステムの問題の1つですが、ルールのネストは別の問題です。 第66号で書いたよう

キャプチャに関するLPegとPEG.jsの簡単な例については、Issue＃66の私のコメントを参照してください。 名前は少しわかりにくいですが、特定のプロダクション（またはその一部）をキャプチャまたは変換するさまざまな方法については、LPegドキュメントの「キャプチャ」セクションを参照してください。

こんにちは、私はいくつかの一般的なケースを無視するスニペットを作成しましnull 、 undefinedおよびスペース記号のみの文字列。
次のように、文法ファイルの先頭で必要になる場合があります。

{
  var strip = require('./strip-ast');
}

それを改善する2つの方法：

• 用語のカスタマイズ可能なフィルター—特定の文法が必要な特定の用語を無視します。
• ネストされた空の配列をスキップします—これはstrip後の第2段階で実行でき、ネストされた空の配列の「ピラミッド」を削除します。
  興味のある方は、パッケージにアップグレードできます。

@ richb-hanover ASN.1定義パーサーの取り組みはどこに行き着きましたか？

@ atesgoral-私は救済しました。 「実際のパーサー」は必要ありませんでした。ターゲットファイル内の特定の名前付き要素を分離するだけで済みました。

だから私は弱虫の男がすることをしました-正規表現を使用しました。 （そして私は2つの問題を抱えていました:-)

しかし、それでうまくいったので、次のチャレンジに進むことができました。 あなたのプロジェクトで頑張ってください！

マメジカとそのスキップオプションを見てきたので、このようなものが非常に望ましいです。

次のようなことを書いていることがよくあります。

Pattern = head:PatternPart tail:( WS "," WS PatternPart )*
{
  return {
    type: 'pattern',
    elements: buildList( head, tail, 3 )
  };
}

代わりにこれを書くことができればクールでしょう：

WS "whitespace" = [ \t\n\r] { return '@<strong i="11">@skipped</strong>' }

IgnoredComma = "," { return '@<strong i="12">@skipped</strong>' }

Pattern = head:PatternPart tail:( WS IgnoredComma WS PatternPart )*
{
  return {
    type: 'pattern',
    elements: [head].concat(tail)
  };
}

@ richb -ハノーバー、同様の必要性を求めてここに来た他と誰でも、私も、私自身のパーサを書くことになった： https://www.npmjs.com/package/asn1expとHTTPS：//www.npmjs。 com / package / asn1-tree

スキップは、 es6 symbolを使用して比較的簡単に実装できます。または、解析時にパーサーに述語を渡すことで、より永続的に実装できます（後者のオプションをお勧めします）。

これにもつまずいた。
PEG.jsの内部について何も知らないので、lemmeはそこに骨を投げます...

ルールを作成するとき、その最後にリターンブロックを追加できます。
そのブロックでは、 text()やlocation()ようなものを呼び出すことができます。 これらは内部機能です。

コードのどこかで、そのブロックの戻り値が出力ストリームに入ります。

では、ルールによって返される値がskipローカル関数の呼び出しの戻りである場合、その値をスキップしたい場合、PEG.jsで何を変更する必要がありますか？

例： comment = "//" space ([^\n])* newline { return skip() }

上記のように、skip（）はSymbolを返す可能性があり、Symbolはコードによってどこかでチェックされ、削除されます。
lzhakiが言ったことのようなものですが、ライブラリの内部です

私はあなたの質問を理解していません。 ある状況下でルールを失敗させる方法を探していますか？ &{...}または!{...}ます。 それ以外の場合は、 commentルールの戻り値を使用しないでください。

seq = comment r:another_rule { return r; };
choice = (comment / another_rule) { <you need to decide what to return instead of "comment" result> };

それが誰かを助けるなら、私は私のトップレベルのルールに結果の配列をフィルターさせることによって空白を無視します。

例：

    = prog:expression+ {return prog.filter(a => a)}

expression
    = float
    / number
    / whitespace

float
    = digits:(number"."number) {return parseFloat(digits.join(""),10)}

number 
    = digits:digit+ {return parseInt(digits.join(""),10)}

digit 
    = [0-9]

whitespace
    = [ \t\r\n] {return undefined}

これにより、結果配列に空白が入らないようにしながら、入力が適切に解析されます。
これはコメントなどでも機能します。ルールが未定義で返されるだけで、最上位のルールがそれを除外します。

これはトップレベルのプロダクションでのみ機能します。 フィルタリング可能な子を含む可能性のあるすべての親を手動でフィルタリングする必要があります。

@StoneCypher本当です、それはいくつかのトップレベルの作業を必要とします、しかしそれは私のために働きます、そして私はガンマがあまり複雑でない限り、トップレベルのフィルターを持つことで逃げることができるはずだと思います。

それ以外に、私が考えることができるのは、入力から空白をフィルタリングし、すべての一致を通過させるトップレベルの関数を持っていることだけです。 確かに遅く、より多くの呼び出しが必要ですが、（私のように）すべてをトークンジェネレーターに渡すと簡単です。 トークンを生成する場所からフィルター関数を呼び出すことができ、トークンの生成についてのみ心配する必要があり、空白は多かれ少なかれ自動的にフィルター処理されます

pegjsの現在のHEADについて私が気に入った点の1つは、ラベルを作成したりreturnステートメントを実行したりせずにフィールドを選択するための（文書化されていない）サポートです。 これは次のようになります。

foo = <strong i="6">@bar</strong> _ <strong i="7">@baz</strong>
bar = $"bar"i
baz = $"baz"i
_ = " "*

parse('barbaz') // returns [ 'bar', 'baz' ]

これにより、このユースケースに加えて他の多くのユースケースに対して、すてきでクリーンな明示的な構文が得られるように感じます。