Nltk: chomsky_normal_form () для грамматик

chomsky_normal_form() в NLTK - это функция бинаризации дерева. Я думаю, что его нельзя напрямую применить к грамматикам, см. Https://github.com/nltk/nltk/blob/develop/nltk/treetransforms.py

Преобразование грамматики в CNF довольно сложно и пока не реализовано. Было бы хорошо, если бы была попытка, но, возможно, это не будет тривиальным.

Если кто-то заинтересован в участии, хороший алгоритм для начала:

• Ланге и Лайсс (2009). «В CNF или не в CNF? Эффективная, но презентабельная версия алгоритма CYK»

Я искал именно это и наткнулся здесь,
Я создал эту функциональность, используя внутренние компоненты nltk для одного из моих проектов (а также синтаксический анализатор CKY поверх него, хотя и без нулевой обработки, но я считаю, что в любом случае это полезно для многих грамматик, например, для тестовой грамматики ATIS ), был бы рад отправить PR, просто хотел подтвердить, сохраняется ли эта проблема и доступна ли для работы (особенно после последних комментариев в https://github.com/nltk/nltk/issues/1722)

Также, если нет синтаксического анализатора CYK, упомянутого в другом выпуске, я был бы рад отправить PR и для этого.

@virresh @alvations Извините, что # 1722

@virresh Если хотите

https://github.com/aetilley/pcfg/blob/master/src/pcfg.py#L524

Я помню, как он переупорядочивал шаги в обычном алгоритме, но я также помню, как убеждал себя, что они эквивалентны. Действовать с осторожностью.

Я закрою другой выпуск.

Есть проблема с CNF для CFG; они возвращают дублированную продукцию. Вы можете проверить это:

import nltk
grammar = nltk.data.load("grammars/large_grammars/atis.cfg")
grammar = grammar.chomsky_normal_form()
print(len(grammar.productions()))
print(len(list(set(grammar.productions()))))

грамматика имеет 20344 production, которые при преобразовании в набор дают 12396 productions.