Nltk: 문법을 위한 chomsky_normal_form()

NLTK의 chomsky_normal_form() 는 트리 이진화 함수입니다. 문법에 직접 적용할 수 없다고 생각합니다( https://github.com/nltk/nltk/blob/develop/nltk/treetransforms.py 참조).

CNF로의 문법 변환은 다소 복잡하며 아직 구현되지 않았습니다. 그런 시도가 있으면 좋겠지만 사소하지 않을 수도 있습니다.

누군가 기여에 관심이 있다면 시작하기에 좋은 알고리즘은 다음과 같습니다.

• Lange와 Leiß (2009). "CNF로 할 것인가, CNF로 할 것인가? CYK 알고리즘의 효율적이지만 제시 가능한 버전"

이거 찾다가 우연히 발견했는데,
내 프로젝트 중 하나에 대해 nltk 내부를 활용하여 이 기능을 만들었습니다(null 처리는 없지만 그 위에 CKY 파서도 있음). 어쨌든 많은 문법(예: ATIS 테스트 문법)에 유용하다고 생각합니다. ), PR을 보내게 되어 기쁩니다. 이 문제가 여전히 유효하고 작업할 수 있는지 확인하고 싶었습니다(특히 https://github.com/nltk/nltk/issues/1722의 마지막 댓글 이후).

또한 다른 문제에서 언급한 CYK 파서가 없다면 그에 대한 PR도 보내드리겠습니다.

@virresh @alvations #1722가 오래되지 않게 해서 죄송합니다. 삶이 방해가 되었습니다.

@virresh 이것에 대해 괴짜를 되십시오 . 나는 몇 년 전에 CNF로의 변환을 작성했습니다.

https://github.com/aetilley/pcfg/blob/master/src/pcfg.py#L524

나는 그것이 일반적인 알고리즘의 단계들을 재정렬했던 것을 기억하지만 또한 그것들이 동등하다는 것을 스스로 확신했던 것을 기억합니다. 조심해서 진행해라.

다른 문제를 마치겠습니다.

CFG에 대한 CNF에는 문제가 있습니다. 그들은 복제품을 반환하고 있습니다. 다음을 통해 테스트할 수 있습니다.

import nltk
grammar = nltk.data.load("grammars/large_grammars/atis.cfg")
grammar = grammar.chomsky_normal_form()
print(len(grammar.productions()))
print(len(list(set(grammar.productions()))))

문법에는 20344 생성이 있으며 집합으로 변환하면 12396 생성이 됩니다.