Nltk: word_tokenize заменяет символы

Да, это ожидаемый результат. Пунктуация двойных кавычек изменена, чтобы явно обозначать открывающие и закрывающие двойные кавычки. Открывающие " преобразуются в двойные обратные кавычки, а закрывающие - в двойные одинарные кавычки.

>>> from nltk import word_tokenize
>>> sent = '"this is a sentence inside double quotes."'
>>> word_tokenize(sent)
['``', 'this', 'is', 'a', 'sentence', 'inside', 'double', 'quotes', '.', "''"]
>>> word_tokenize(sent)[0]
'``'

>>> len(word_tokenize(sent)[0])
2
>>> word_tokenize(sent)[0] == '`'*2
True

>>> len(word_tokenize(sent)[-1])
2
>>> word_tokenize(sent)[-1] == "'" * 2
True

Я не уверен, в чем причина такого поведения. Возможно, это должно быть явным при определении котировок открытия / закрытия.

Спасибо за объяснение.
Но когда я заменяю двойные кавычки одной (или двумя) одинарными кавычками или обратными кавычками, этого не происходит.
И я думаю, что это немного странно, что токенизатор отключает части исходного текста, поскольку это может привести к проблемам и не совсем прозрачно.

Думаю, мне придется иметь это в виду, но я бы предпочел, чтобы исходные элементы строки остались прежними.

@mwess После некоторой проверки преобразование из " в '' является артефактом оригинального токенизатора слов penn treebank .

Это происходит только тогда, когда есть двойные кавычки, правила регулярного выражения, которые выполняют замены, https://github.com/nltk/nltk/blob/develop/nltk/tokenize/treebank.py#L49

А что касается одинарных кавычек, токенизатор treebank STARTING_QUOTES regexes, как мы видим, не указывает на направленность. Я думаю, что это сделано в соответствии с аннотациями Penn Treebank.

Надеюсь, разъяснения помогут.

Большое тебе спасибо. Это действительно очень помогает.

Во многих приложениях не рекомендуется изменять исходный текст. Я бы хотел, чтобы у word_tokenize был флаг, чтобы отключить изменение текста.