рдкрд╛рдпрдерди рдХреЗ рдирд╡реАрдирддрдо рд╕рдВрд╕реНрдХрд░рдг рдЕрдзрд┐рдХ рд╕рдЦреНрдд рд╣реИрдВред regex рдореЗрдВ рдмрдЪред
рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП 3.6.8 рдХреЗ рд╕рд╛рде, рдЗрд╕ рддрд░рд╣ 10+ рдЪреЗрддрд╛рд╡рдиреА рд╣реИрдВ:
...
lib/python3.6/site-packages/nltk/featstruct.py:2092: DeprecationWarning: invalid escape sequence \d
RANGE_RE = re.compile('(-?\d+):(-?\d+)')
рдЗрди рдЪреЗрддрд╛рд╡рдирд┐рдпреЛрдВ рдХреЛ рдЪреБрдк рдХрд░рд╛рдиреЗ рдХреЗ рд▓рд┐рдП рд░реЗрдЧреЗрдХреНрд╕ (рддреЛрдВ) рдХреЛ рдЕрджреНрдпрддрди рдХрд┐рдпрд╛ рдЬрд╛рдирд╛ рдЪрд╛рд╣рд┐рдПред
рдЕрдЧрд░ рдЗрд╕ рдкрд░ рдХрд╛рдо рдХрд░рдиреЗ рд╡рд╛рд▓рд╛ рдХреЛрдИ рдирд╣реАрдВ рд╣реИ, рддреЛ рдореИрдВ рдЪрд╛рд╣реВрдВрдЧрд╛ред рдХреНрдпрд╛ рдЖрдк рдХреГрдкрдпрд╛ рдЗрд╕ рдореБрджреНрджреЗ рдХреА рдирдХрд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрджрдо рдмрддрд╛ рд╕рдХрддреЗ рд╣реИрдВ?
@PabloDino рдкрд╛рдпрдерди 3.6.8 рдпрд╛ рдмрд╛рдж рдХреЗ
рдореИрдВ рдЗрд╕ рдкрд░ рд╣реВрдБ- рдХреБрдЫ рдЕрднреНрдпрд╛рд╕реЛрдВ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдХрд╛рдо рдХрд░ рд░рд╣рд╛ рд╣реВрдВ рд▓реЗрдХрд┐рди рдХреЛрдИ рдЪреЗрддрд╛рд╡рдиреА рдирд╣реАрдВ рджреЗрдЦ рд░рд╣рд╛ рд╣реВрдВред рдХреНрдпрд╛ рдЖрдк рдПрдХ рдХреЛрдб рд╕реНрдирд┐рдкреЗрдЯ рдкреЛрд╕реНрдЯ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ рдЬрд┐рд╕рдореЗрдВ рдЪреЗрддрд╛рд╡рдиреА pl рджрд┐рдЦрд╛рдИ рджреЗрддреА рд╣реИ
@ рдкрд╛рдмреНрд▓реЛ рдбрд┐рдиреЛ :
$ python --version
Python 3.6.8
$ git clone git://github.com/nltk/nltk.git
$ pip install pytest
$ pytest -vvs nltk/ --collect-only
========================================= warnings summary =========================================
nltk/nltk/featstruct.py:1295
/home/pombreda/tmp/nl/nltk/nltk/featstruct.py:1295: DeprecationWarning: invalid escape sequence \d
name, n = re.sub("\d+$", "", var.name), 2
nltk/nltk/featstruct.py:2091
/home/pombreda/tmp/nl/nltk/nltk/featstruct.py:2091: DeprecationWarning: invalid escape sequence \d
RANGE_RE = re.compile("(-?\d+):(-?\d+)")
nltk/nltk/sem/evaluate.py:307
/home/pombreda/tmp/nl/nltk/nltk/sem/evaluate.py:307: DeprecationWarning: invalid escape sequence \
"""
nltk/nltk/sem/relextract.py:128
/home/pombreda/tmp/nl/nltk/nltk/sem/relextract.py:128: DeprecationWarning: invalid escape sequence \w
ENT = re.compile("&(\w+?);")
nltk/nltk/sem/relextract.py:407
/home/pombreda/tmp/nl/nltk/nltk/sem/relextract.py:407: DeprecationWarning: invalid escape sequence \s
"""
nltk/nltk/sem/boxer.py:776
/home/pombreda/tmp/nl/nltk/nltk/sem/boxer.py:776: DeprecationWarning: invalid escape sequence \d
assert re.match("^[exps]\d+$", var), var
nltk/nltk/sem/drt.py:716
/home/pombreda/tmp/nl/nltk/nltk/sem/drt.py:716: DeprecationWarning: invalid escape sequence \
+ [" \ " + blank + line for line in term_lines[1:2]]
nltk/nltk/sem/drt.py:717
/home/pombreda/tmp/nl/nltk/nltk/sem/drt.py:717: DeprecationWarning: invalid escape sequence \
+ [" /\ " + var_string + line for line in term_lines[2:3]]
nltk/nltk/grammar.py:1291
/home/pombreda/tmp/nl/nltk/nltk/grammar.py:1291: DeprecationWarning: invalid escape sequence \*
"""
nltk/nltk/grammar.py:1463
/home/pombreda/tmp/nl/nltk/nltk/grammar.py:1463: DeprecationWarning: invalid escape sequence \w
_STANDARD_NONTERM_RE = re.compile("( [\w/][\w/^<>-]* ) \s*", re.VERBOSE)
nltk/nltk/text.py:650
/home/pombreda/tmp/nl/nltk/nltk/text.py:650: DeprecationWarning: invalid escape sequence \w
_CONTEXT_RE = re.compile("\w+|[\.\!\?]")
nltk/nltk/tokenize/punkt.py:1462
/home/pombreda/tmp/nl/nltk/nltk/tokenize/punkt.py:1462: DeprecationWarning: invalid escape sequence \s
pat = "\s*".join(re.escape(c) for c in tok)
nltk/nltk/tokenize/regexp.py:100
/home/pombreda/tmp/nl/nltk/nltk/tokenize/regexp.py:100: DeprecationWarning: invalid escape sequence \w
"""
nltk/nltk/tokenize/regexp.py:193
/home/pombreda/tmp/nl/nltk/nltk/tokenize/regexp.py:193: DeprecationWarning: invalid escape sequence \w
"""
nltk/nltk/tokenize/repp.py:133
/home/pombreda/tmp/nl/nltk/nltk/tokenize/repp.py:133: DeprecationWarning: invalid escape sequence \(
line_regex = re.compile("^\((\d+), (\d+), (.+)\)$", re.MULTILINE)
nltk/nltk/tokenize/texttiling.py:96
/home/pombreda/tmp/nl/nltk/nltk/tokenize/texttiling.py:96: DeprecationWarning: invalid escape sequence \-
c for c in lowercase_text if re.match("[a-z\-' \n\t]", c)
nltk/nltk/tokenize/texttiling.py:229
/home/pombreda/tmp/nl/nltk/nltk/tokenize/texttiling.py:229: DeprecationWarning: invalid escape sequence \w
matches = re.finditer("\w+", text)
nltk/nltk/tokenize/toktok.py:53
/home/pombreda/tmp/nl/nltk/nltk/tokenize/toktok.py:53: DeprecationWarning: invalid escape sequence \]
FUNKY_PUNCT_1 = re.compile(u'([╪М;╪Ы┬┐!"\])}┬╗тА║тАЭ╪Я┬б%┘к┬░┬▒┬й┬оредреетАж])'), r" \1 "
nltk/nltk/tokenize/toktok.py:55
/home/pombreda/tmp/nl/nltk/nltk/tokenize/toktok.py:55: DeprecationWarning: invalid escape sequence \[
FUNKY_PUNCT_2 = re.compile(u"([({\[тАЬтАШтАЮтАЪ┬лтА╣уАМуАО])"), r" \1 "
nltk/nltk/tokenize/toktok.py:62
/home/pombreda/tmp/nl/nltk/nltk/tokenize/toktok.py:62: DeprecationWarning: invalid escape sequence \|
PIPE = re.compile("\|"), " | "
nltk/nltk/tokenize/treebank.py:269
/home/pombreda/tmp/nl/nltk/nltk/tokenize/treebank.py:269: DeprecationWarning: invalid escape sequence \]
"""
nltk/nltk/tokenize/treebank.py:273
/home/pombreda/tmp/nl/nltk/nltk/tokenize/treebank.py:273: DeprecationWarning: invalid escape sequence \s
re.compile(pattern.replace("(?#X)", "\s"))
nltk/nltk/tokenize/treebank.py:277
/home/pombreda/tmp/nl/nltk/nltk/tokenize/treebank.py:277: DeprecationWarning: invalid escape sequence \s
re.compile(pattern.replace("(?#X)", "\s"))
nltk/nltk/tree.py:99
/home/pombreda/tmp/nl/nltk/nltk/tree.py:99: DeprecationWarning: invalid escape sequence \
"""
nltk/nltk/tree.py:652
/home/pombreda/tmp/nl/nltk/nltk/tree.py:652: DeprecationWarning: invalid escape sequence \s
if re.search("\s", brackets):
nltk/nltk/tree.py:658
/home/pombreda/tmp/nl/nltk/nltk/tree.py:658: DeprecationWarning: invalid escape sequence \s
node_pattern = "[^\s%s%s]+" % (open_pattern, close_pattern)
nltk/nltk/tree.py:660
/home/pombreda/tmp/nl/nltk/nltk/tree.py:660: DeprecationWarning: invalid escape sequence \s
leaf_pattern = "[^\s%s%s]+" % (open_pattern, close_pattern)
nltk/nltk/tree.py:662
/home/pombreda/tmp/nl/nltk/nltk/tree.py:662: DeprecationWarning: invalid escape sequence \s
"%s\s*(%s)?|%s|(%s)"
nltk/nltk/tree.py:900
/home/pombreda/tmp/nl/nltk/nltk/tree.py:900: DeprecationWarning: invalid escape sequence \$
reserved_chars = re.compile("([#\$%&~_\{\}])")
nltk/nltk/parse/chart.py:1034
/home/pombreda/tmp/nl/nltk/nltk/parse/chart.py:1034: DeprecationWarning: invalid escape sequence \*
"""
nltk/nltk/parse/chart.py:1073
/home/pombreda/tmp/nl/nltk/nltk/parse/chart.py:1073: DeprecationWarning: invalid escape sequence \*
"""
nltk/nltk/parse/chart.py:1128
/home/pombreda/tmp/nl/nltk/nltk/parse/chart.py:1128: DeprecationWarning: invalid escape sequence \*
"""
nltk/nltk/parse/chart.py:1148
/home/pombreda/tmp/nl/nltk/nltk/parse/chart.py:1148: DeprecationWarning: invalid escape sequence \*
"""
nltk/nltk/parse/chart.py:1218
/home/pombreda/tmp/nl/nltk/nltk/parse/chart.py:1218: DeprecationWarning: invalid escape sequence \*
"""
nltk/nltk/parse/chart.py:1241
/home/pombreda/tmp/nl/nltk/nltk/parse/chart.py:1241: DeprecationWarning: invalid escape sequence \*
"""
nltk/nltk/parse/featurechart.py:270
/home/pombreda/tmp/nl/nltk/nltk/parse/featurechart.py:270: DeprecationWarning: invalid escape sequence \*
"""
nltk/nltk/parse/featurechart.py:369
/home/pombreda/tmp/nl/nltk/nltk/parse/featurechart.py:369: DeprecationWarning: invalid escape sequence \*
"""
nltk/nltk/tag/sequential.py:730
/home/pombreda/tmp/nl/nltk/nltk/tag/sequential.py:730: DeprecationWarning: invalid escape sequence \w
elif re.match("\w+$", word):
nltk/nltk/tag/sequential.py:724
/home/pombreda/tmp/nl/nltk/nltk/tag/sequential.py:724: DeprecationWarning: invalid escape sequence \W
elif re.match("\W+$", word):
nltk/nltk/tag/sequential.py:722
/home/pombreda/tmp/nl/nltk/nltk/tag/sequential.py:722: DeprecationWarning: invalid escape sequence \.
if re.match("[0-9]+(\.[0-9]*)?|[0-9]*\.[0-9]+$", word):
nltk/nltk/classify/rte_classify.py:61
/home/pombreda/tmp/nl/nltk/nltk/classify/rte_classify.py:61: DeprecationWarning: invalid escape sequence \w
tokenizer = RegexpTokenizer("[\w.@:/]+|\w+|\$[\d.]+")
nltk/nltk/classify/maxent.py:1351
/home/pombreda/tmp/nl/nltk/nltk/classify/maxent.py:1351: DeprecationWarning: invalid escape sequence \
"""
nltk/nltk/chunk/util.py:371
/home/pombreda/tmp/nl/nltk/nltk/chunk/util.py:371: DeprecationWarning: invalid escape sequence \S
_LINE_RE = re.compile("(\S+)\s+(\S+)\s+([IOB])-?(\S+)?")
nltk/nltk/chunk/util.py:517
/home/pombreda/tmp/nl/nltk/nltk/chunk/util.py:517: DeprecationWarning: invalid escape sequence \w
_IEER_TYPE_RE = re.compile('<b_\w+\s+[^>]*?type="(?P<type>\w+)"')
nltk/nltk/chunk/util.py:526
/home/pombreda/tmp/nl/nltk/nltk/chunk/util.py:526: DeprecationWarning: invalid escape sequence \s
for piece_m in re.finditer("<[^>]+>|[^\s<]+", s):
nltk/nltk/chunk/regexp.py:70
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:70: DeprecationWarning: invalid escape sequence \{
_BRACKETS = re.compile("[^\{\}]+")
nltk/nltk/chunk/regexp.py:215
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:215: DeprecationWarning: invalid escape sequence \{
s = re.sub("\{\}", "", s)
nltk/nltk/chunk/regexp.py:426
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:426: DeprecationWarning: invalid escape sequence \g
RegexpChunkRule.__init__(self, regexp, "{\g<chunk>}", descr)
nltk/nltk/chunk/regexp.py:471
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:471: DeprecationWarning: invalid escape sequence \g
RegexpChunkRule.__init__(self, regexp, "}\g<chink>{", descr)
nltk/nltk/chunk/regexp.py:510
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:510: DeprecationWarning: invalid escape sequence \{
regexp = re.compile("\{(?P<chunk>%s)\}" % tag_pattern2re_pattern(tag_pattern))
nltk/nltk/chunk/regexp.py:511
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:511: DeprecationWarning: invalid escape sequence \g
RegexpChunkRule.__init__(self, regexp, "\g<chunk>", descr)
nltk/nltk/chunk/regexp.py:575
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:575: DeprecationWarning: invalid escape sequence \g
RegexpChunkRule.__init__(self, regexp, "\g<left>", descr)
nltk/nltk/chunk/regexp.py:708
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:708: DeprecationWarning: invalid escape sequence \{
"(?P<left>%s)\{(?P<right>%s)"
nltk/nltk/chunk/regexp.py:714
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:714: DeprecationWarning: invalid escape sequence \g
RegexpChunkRule.__init__(self, regexp, "{\g<left>\g<right>", descr)
nltk/nltk/chunk/regexp.py:778
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:778: DeprecationWarning: invalid escape sequence \}
"(?P<left>%s)\}(?P<right>%s)"
nltk/nltk/chunk/regexp.py:784
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:784: DeprecationWarning: invalid escape sequence \g
RegexpChunkRule.__init__(self, regexp, "\g<left>\g<right>}", descr)
nltk/nltk/chunk/regexp.py:896
nltk/nltk/chunk/regexp.py:896
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:896: DeprecationWarning: invalid escape sequence \{
r"^((%s|<%s>)*)$" % ("([^\{\}<>]|\{\d+,?\}|\{\d*,\d+\})+", "[^\{\}<>]+")
nltk/nltk/chunk/regexp.py:1175
/home/pombreda/tmp/nl/nltk/nltk/chunk/regexp.py:1175: DeprecationWarning: invalid escape sequence \.
"""
nltk/nltk/inference/discourse.py:44
/home/pombreda/tmp/nl/nltk/nltk/inference/discourse.py:44: DeprecationWarning: invalid escape sequence \
"""
nltk/nltk/stem/lancaster.py:192
/home/pombreda/tmp/nl/nltk/nltk/stem/lancaster.py:192: DeprecationWarning: invalid escape sequence \*
valid_rule = re.compile("^[a-z]+\*?\d[a-z]*[>\.]?$")
nltk/nltk/stem/lancaster.py:225
/home/pombreda/tmp/nl/nltk/nltk/stem/lancaster.py:225: DeprecationWarning: invalid escape sequence \*
valid_rule = re.compile("^([a-z]+)(\*?)(\d)([a-z]*)([>\.]?)$")
nltk/nltk/stem/porter.py:177
/home/pombreda/tmp/nl/nltk/nltk/stem/porter.py:177: DeprecationWarning: invalid escape sequence \m
"""
nltk/nltk/corpus/__init__.py:116
/home/pombreda/tmp/nl/nltk/nltk/corpus/__init__.py:116: DeprecationWarning: invalid escape sequence \.
".*\.(test|train).*",
nltk/nltk/corpus/__init__.py:123
/home/pombreda/tmp/nl/nltk/nltk/corpus/__init__.py:123: DeprecationWarning: invalid escape sequence \.
".*\.(test|train).*",
nltk/nltk/corpus/__init__.py:126
/home/pombreda/tmp/nl/nltk/nltk/corpus/__init__.py:126: DeprecationWarning: invalid escape sequence \.
crubadan = LazyCorpusLoader("crubadan", CrubadanCorpusReader, ".*\.txt")
nltk/nltk/corpus/__init__.py:128
/home/pombreda/tmp/nl/nltk/nltk/corpus/__init__.py:128: DeprecationWarning: invalid escape sequence \.
"dependency_treebank", DependencyCorpusReader, ".*\.dp", encoding="ascii"
nltk/nltk/corpus/__init__.py:311
/home/pombreda/tmp/nl/nltk/nltk/corpus/__init__.py:311: DeprecationWarning: invalid escape sequence \.
"timit", TimitTaggedCorpusReader, ".+\.tags", tagset="wsj", encoding="ascii"
nltk/nltk/corpus/__init__.py:335
/home/pombreda/tmp/nl/nltk/nltk/corpus/__init__.py:335: DeprecationWarning: invalid escape sequence \.
twitter_samples = LazyCorpusLoader("twitter_samples", TwitterCorpusReader, ".*\.json")
nltk/nltk/corpus/__init__.py:364
/home/pombreda/tmp/nl/nltk/nltk/corpus/__init__.py:364: DeprecationWarning: invalid escape sequence \.
wordnet_ic = LazyCorpusLoader("wordnet_ic", WordNetICCorpusReader, ".*\.dat")
nltk/nltk/corpus/__init__.py:374
/home/pombreda/tmp/nl/nltk/nltk/corpus/__init__.py:374: DeprecationWarning: invalid escape sequence \.
"frames/.*\.xml",
nltk/nltk/corpus/__init__.py:383
/home/pombreda/tmp/nl/nltk/nltk/corpus/__init__.py:383: DeprecationWarning: invalid escape sequence \.
"frames/.*\.xml",
nltk/nltk/corpus/__init__.py:392
/home/pombreda/tmp/nl/nltk/nltk/corpus/__init__.py:392: DeprecationWarning: invalid escape sequence \.
"frames/.*\.xml",
nltk/nltk/corpus/__init__.py:401
/home/pombreda/tmp/nl/nltk/nltk/corpus/__init__.py:401: DeprecationWarning: invalid escape sequence \.
"frames/.*\.xml",
nltk/nltk/corpus/reader/plaintext.py:62
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/plaintext.py:62: DeprecationWarning: invalid escape sequence \.
"""
nltk/nltk/corpus/reader/util.py:635
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/util.py:635: DeprecationWarning: invalid escape sequence \d
if re.match("^\d+-\d+", line) is not None:
nltk/nltk/corpus/reader/util.py:859
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/util.py:859: DeprecationWarning: invalid escape sequence \s
if re.match("======+\s*$", line):
nltk/nltk/corpus/reader/api.py:77
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/api.py:77: DeprecationWarning: invalid escape sequence \.
m = re.match("(.*\.zip)/?(.*)$|", root)
nltk/nltk/corpus/reader/timit.py:165
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/timit.py:165: DeprecationWarning: invalid escape sequence \.
encoding = [(".*\.wav", None), (".*", encoding)]
nltk/nltk/corpus/reader/bracket_parse.py:214
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/bracket_parse.py:214: DeprecationWarning: invalid escape sequence \.
"alpino\.xml",
nltk/nltk/corpus/reader/xmldocs.py:232
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/xmldocs.py:232: DeprecationWarning: invalid escape sequence \s
_XML_TAG_NAME = re.compile("<\s*/?\s*([^\s>]+)")
nltk/nltk/toolbox.py:209
/home/pombreda/tmp/nl/nltk/nltk/toolbox.py:209: DeprecationWarning: invalid escape sequence \_
"""
nltk/nltk/corpus/reader/bnc.py:29
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/bnc.py:29: DeprecationWarning: invalid escape sequence \w
"""
nltk/nltk/corpus/reader/switchboard.py:113
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/switchboard.py:113: DeprecationWarning: invalid escape sequence \w
_UTTERANCE_RE = re.compile("(\w+)\.(\d+)\:\s*(.*)")
nltk/nltk/corpus/reader/childes.py:281
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/childes.py:281: DeprecationWarning: invalid escape sequence \d
m = re.match("P(\d+)Y(\d+)M?(\d?\d?)D?", age_year)
nltk/nltk/corpus/reader/framenet.py:2753
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/framenet.py:2753: DeprecationWarning: invalid escape sequence \w
"""
nltk/nltk/corpus/reader/udhr.py:30
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/udhr.py:30: DeprecationWarning: invalid escape sequence \-
("Abkhaz\-Cyrillic\+Abkh", "cp1251"),
nltk/nltk/corpus/reader/twitter.py:54
/home/pombreda/tmp/nl/nltk/nltk/corpus/reader/twitter.py:54: DeprecationWarning: invalid escape sequence \.
"""
nltk/nltk/ccg/combinator.py:225
/home/pombreda/tmp/nl/nltk/nltk/ccg/combinator.py:225: DeprecationWarning: invalid escape sequence \Y
"""
nltk/nltk/treetransforms.py:108
/home/pombreda/tmp/nl/nltk/nltk/treetransforms.py:108: DeprecationWarning: invalid escape sequence \
"""
рдФрд░ FWIW: https://docs.python.org/3/reference/lexical_analysis.html#string -and-bytes- рд╢рд╛рдмреНрджрд┐рдХ
рдорд╛рдирдХ рд╕реА рдХреЗ рд╡рд┐рдкрд░реАрдд, рд╕рднреА рдЕрдкрд░рд┐рдЪрд┐рдд рдмрдЪ рдХреНрд░рдо рдХреЛ рд╕реНрдЯреНрд░рд┐рдВрдЧ рдореЗрдВ рдЕрдкрд░рд┐рд╡рд░реНрддрд┐рдд рдЫреЛрдбрд╝ рджрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдЕрд░реНрдерд╛рдд, рдкрд░рд┐рдгрд╛рдо рдореЗрдВ рдмреИрдХрд╕реНрд▓реИрд╢ рдЫреЛрдбрд╝ рджрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред (рдбрд┐рдмрдЧрд┐рдВрдЧ рдХрд░рддреЗ рд╕рдордп рдпрд╣ рд╡реНрдпрд╡рд╣рд╛рд░ рдЙрдкрдпреЛрдЧреА рд╣реЛрддрд╛ рд╣реИ: рдпрджрд┐ рдХрд┐рд╕реА рдПрд╕реНрдХреЗрдк рд╕реАрдХреНрд╡реЗрдВрд╕ рдХреЛ рдЧрд▓рдд рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рддреЛ рдкрд░рд┐рдгрд╛рдореА рдЖрдЙрдЯрдкреБрдЯ рдХреЛ рдЖрд╕рд╛рдиреА рд╕реЗ рдЯреВрдЯ рдЬрд╛рдиреЗ рдХреЗ рд░реВрдк рдореЗрдВ рдкрд╣рдЪрд╛рдирд╛ рдЬрд╛рддрд╛ рд╣реИред) рдпрд╣ рднреА рдзреНрдпрд╛рди рд░рдЦрдирд╛ рдЖрд╡рд╢реНрдпрдХ рд╣реИ рдХрд┐ рдХреЗрд╡рд▓ рд╕реНрдЯреНрд░рд┐рдВрдЧ рд╢рд╛рдмреНрджрд┐рдХ рдореЗрдВ рдорд╛рдиреНрдпрддрд╛ рдкреНрд░рд╛рдкреНрдд рдЕрдиреБрдХреНрд░рдо рдмрд╛рдЗрдЯреНрд╕ рдХреЗ рд▓рд┐рдП рдЧреИрд░-рдорд╛рдиреНрдпрддрд╛ рдкреНрд░рд╛рдкреНрдд рдкрд▓рд╛рдпрди рдХреА рд╢реНрд░реЗрдгреА рдореЗрдВ рдЖрддреЗ рд╣реИрдВред рд╢рд╛рдмреНрджрд┐рдХред
рд╕рдВрд╕реНрдХрд░рдг 3.6 рдореЗрдВ рдкрд░рд┐рд╡рд░реНрддрд┐рдд: рдЧреИрд░-рдорд╛рдиреНрдпрддрд╛ рдкреНрд░рд╛рдкреНрдд рдПрд╕реНрдХреЗрдк рд╕реАрдХреНрд╡реЗрдВрд╕ рдПрдХ DeprecationWarning рдХрд╛ рдЙрддреНрдкрд╛рджрди рдХрд░рддреЗ рд╣реИрдВред рдкрд╛рдпрдерди рдХреЗ рдХреБрдЫ рднрд╡рд┐рд╖реНрдп рдХреЗ рд╕рдВрд╕реНрдХрд░рдг рдореЗрдВ рд╡реЗ рдПрдХ рд╕рд┐рдВрдЯреЗрдХреНрд╕рдПрд░рд░ рд╣реЛрдВрдЧреЗред
$ рдЕрдЬрдЧрд░ - рд╡рд┐рдЪрд▓рди
рдЕрдЬрдЧрд░ 3.6.7
$ рдкрд╛рдЗрд╕реНрдЯреЗрд╕реНрдЯ - рд╡рд┐рд╕рд░реНрдЬрди
рдпрд╣ pytest рд╕рдВрд╕реНрдХрд░рдг 5.1.2 рд╣реИ, рдЬрд┐рд╕реЗ /pytest.py рд╕реЗ рдЖрдпрд╛рдд рдХрд┐рдпрд╛
рдХреИрд╢реНрдбрд┐рд░: .pestest_cache
rootdir: ** / nltk
381 рдЖрдЗрдЯрдо рдПрдХрддреНрд░ рдХрд┐рдП
Nltk.compat рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдкрд░реАрдХреНрд╖рдгред
Nltk / test / compat.doctest рднреА рджреЗрдЦреЗрдВред
Nltk.metrics.aline рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдкрд░реАрдХреНрд╖рдг
рдзреНрд╡рдиреНрдпрд╛рддреНрдордХ рдЕрдиреБрдХреНрд░рдореЛрдВ рдХреЛ рд╕рдВрд░реЗрдЦрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯ рдПрд▓рд╛рдЗрди рдПрд▓реНрдЧреЛрд░рд┐рдереНрдо
рджреЛ рдЦрдВрдбреЛрдВ рдХреЗ рдмреАрдЪ рдЕрдВрддрд░ рдХреА рдЧрдгрдирд╛ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯ рдПрд▓рд╛рдЗрди
рдмреНрд░рд┐рд▓ рдЯреИрдЧрд░ рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯред
рдмрдЧ рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯ https://github.com/nltk/nltk/issues/1597
Ensures that curly bracket quantifiers can be used inside a chunk rule.
This type of quantifier has been used for the supplementary example
in http://www.nltk.org/book/ch07.html#exploring-text-corpora.
Nltk.classify рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдкрд░реАрдХреНрд╖рдгред рдпрд╣ рднреА рджреЗрдЦреЗрдВ: nltk / test / classify.doctest
рдкрд╛рда рдХрд╛ рдирд┐рд░реНрдорд╛рдг рдХрд┐рдпрд╛ рдЧрдпрд╛: http://www.nltk.org/book/ch01.html
рд╕реНрдЯреИрдирдлреЛрд░реНрдб рдХреЛрд░рдПрдирдПрд▓рдкреА рд░реИрдкрд░ рдХреЗ рд▓рд┐рдП рдореЙрдХ рдЯреЗрд╕реНрдЯред
рдХреЙрд░реНрдкрд╕ рджреЗрдЦреЗрдВ рдкреНрд░рддрд┐рдЧрдорди рдЯреЗрд╕реНрдЯ
Nltk.metrics.agreement.Disagreement рдХреЗ рд▓рд┐рдП рдЗрдХрд╛рдИ рдкрд░реАрдХреНрд╖рдг рдпреБрдХреНрдд рдХреНрд▓рд╛рд╕ред
рдЕрдзрд┐рдХ рдЙрдиреНрдирдд рдкрд░реАрдХреНрд╖рдг, рдХреЗ рдЖрдзрд╛рд░ рдкрд░
http://www.agreestat.com/research_papers/onkrippendorffalpha.pdf
рдПрдХ рдФрд░ рдЕрдзрд┐рдХ рдЙрдиреНрдирдд рдЙрджрд╛рд╣рд░рдг, рд▓реЗрдХрд┐рди 1 рд░реЗрдЯрд┐рдВрдЧ рд╣рдЯрд╛рдП рдЬрд╛рдиреЗ рдХреЗ рд╕рд╛рдеред
рдлрд┐рд░ рд╕реЗ, рдЙрд╕ 1 рд░реЗрдЯрд┐рдВрдЧ рдХреЛ рд╣рдЯрд╛рдиреЗ рд╕реЗ рдХреЛрдИ рдлрд░реНрдХ рдирд╣реАрдВ рдкрдбрд╝рддрд╛ред
рдкрд░ рдЖрдзрд╛рд░рд┐рдд рд╕рд░рд▓ рдкрд░реАрдХреНрд╖рдг
https://github.com/foolswood/krippendorffs_alpha/raw/master/krippendorff.pdf
1 рд░реЗрдЯрд┐рдВрдЧ рдХреЗ рд╕рд╛рде рдПрдХ рд╣реА рд╕рд░рд▓ рдкрд░реАрдХреНрд╖рдг рд╣рдЯрд╛ рджрд┐рдпрд╛ рдЧрдпрд╛ред
рдЙрд╕ рд░реЗрдЯрд┐рдВрдЧ рдХреЛ рд╣рдЯрд╛рдиреЗ рд╕реЗ рдХреЛрдИ рдлрд░реНрдХ рдирд╣реАрдВ рдкрдбрд╝рдирд╛ рдЪрд╛рд╣рд┐рдП: K-Apha рдХреЗ рд╕рд╛рде рдЖрдЗрдЯрдо рдХреЛ рдЕрдирджреЗрдЦрд╛ рдХрд░рддрд╛ рд╣реИ
рдХреЗрд╡рд▓ 1 рд░реЗрдЯрд┐рдВрдЧред
рдЯреНрд╡рд┐рдЯрд░ рдореЗрдВ json2csv()
рдФрд░ json2csv_entities()
рд▓рд┐рдП рдкреНрд░рддрд┐рдЧрдорди рдкрд░реАрдХреНрд╖рдг
рдкреИрдХреЗрдЬред
рд╕реНрд╡рдЪреНрдЫрддрд╛ рдХреА рдЬрд╛рдБрдЪ рдХрд░реЗрдВ рдХрд┐ рдлрд╝рд╛рдЗрд▓ рддреБрд▓рдирд╛ рдЭреВрдареА рд╕рдХрд╛рд░рд╛рддреНрдордХрддрд╛ рдирд╣реАрдВ рджреЗ рд░рд╣реА рд╣реИред
Nltk.corpus.nombank рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдкрд░реАрдХреНрд╖рдг
Nltk.pos_tag рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯ
рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдкрд░реАрдХреНрд╖рдг рдкрдврд╝рддрд╛ рд╣реИ, рддрд▓рд╛рд╢рддрд╛ рд╣реИ, рдФрд░ рдХреА рдПрдХ рдпрд╛рджреГрдЪреНрдЫрд┐рдХ рд╢реНрд░реГрдВрдЦрд▓рд╛ рдХрд░рддрд╛ рд╣реИ
рдмрддрд╛рддрд╛ рд╣реИ, рдФрд░ рдЬрд╛рдБрдЪрддрд╛ рд╣реИ рдХрд┐ рдкрд░рд┐рдгрд╛рдо рд╕реБрд╕рдВрдЧрдд рд╣реИрдВред
рд╕реЗрдирд╛ рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдкрд░реАрдХреНрд╖рдг
Nltk.classify.senna рдХреЗ рд▓рд┐рдП рд╕рдмрд╕реЗ рдЕрдЪреНрдЫрд╛
рд╕реЗрдирд╛ рдкрд╛рдЗрдк рд▓рд╛рдЗрди рдЗрдВрдЯрд░рдлрд╝реЗрд╕
Nltk.tag.senna рдХреЗ рд▓рд┐рдП рд╕рдмрд╕реЗ рдЕрдЪреНрдЫрд╛
рд╕реНрдиреЛрдмреЙрд▓ рдЕрд░рдмреА рдкреНрд░рдХрд╛рд╢ рд╕реНрдЯреЗрдорд░ рдХреЗ рдкрд░реАрдХреНрд╖рдг рдХреЗ рд▓рд┐рдП рдпрд╣ рдЗрдХрд╛рдИ рдкрд░реАрдХреНрд╖рдг
рдпрд╣ рдЙрдкрд╕рд░реНрдЧ рдЙрдкрд╕рд░реНрдЧ рдФрд░ рдкреНрд░рддреНрдпрдп рд╕реЗ рд╕рдВрдмрдВрдзрд┐рдд рд╣реИ
рдмрдЧ рдХреЗ рд▓рд┐рдП рдкрд░реАрдХреНрд╖рдг https://github.com/nltk/nltk/issues/1581
Ensures that 'oed' can be stemmed without throwing an error.
<TestCaseFunction test_vocabulary_martin_mode>
Tests all words from the test vocabulary provided by M Porter
The sample vocabulary and output were sourced from:
http://tartarus.org/martin/PorterStemmer/voc.txt
http://tartarus.org/martin/PorterStemmer/output.txt
and are linked to from the Porter Stemmer algorithm's homepage
at
http://tartarus.org/martin/PorterStemmer/
<TestCaseFunction test_vocabulary_nltk_mode>
<TestCaseFunction test_vocabulary_original_mode>
Nltk.tgrep рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдкрд░реАрдХреНрд╖рдгред
Nltk.tgrep рдХреЗ рд▓рд┐рдП рдХреНрд▓рд╛рд╕ рдЯреЗрд╕реНрдЯ рдпреВрдирд┐рдЯ рдпреБрдХреНрдд рдХреНрд▓рд╛рд╕ред
рдЕрдкрд░рд┐рднрд╛рд╖рд┐рдд tgrep рдСрдкрд░реЗрдЯрд░реЛрдВ рдХреА рдЯреЗрд╕реНрдЯ рддреНрд░реБрдЯрд┐ рд╣реИрдВрдбрд▓рд┐рдВрдЧред
рдкрд░реАрдХреНрд╖рдг рдХрд░реЗрдВ рдХрд┐ рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдВ tgrep рдЦреЛрдЬ рд╕реЗ рд╕рд╣реА рддрд░реАрдХреЗ рд╕реЗ рдлрд╝рд┐рд▓реНрдЯрд░ рдХреА рдЧрдИ рд╣реИрдВ
рддрд╛рд░ред
TGrep2 рдореИрдиреБрдЕрд▓ рд╕реЗ рдореВрд▓ рдЙрджрд╛рд╣рд░рдгреЛрдВ рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░реЗрдВред
рдкрд░реАрдХреНрд╖рдг рд▓реЗрдмрд▓ рдиреЛрдбреНрд╕ред
Test case from Emily M. Bender.
<TestCaseFunction test_multiple_conjs>
Test that multiple (3 or more) conjunctions of node relations are
handled properly.
<TestCaseFunction test_node_encoding>
Test that tgrep search strings handles bytes and strs the same
way.
<TestCaseFunction test_node_nocase>
Test selecting nodes using case insensitive node names.
<TestCaseFunction test_node_noleaves>
Test node name matching with the search_leaves flag set to False.
<TestCaseFunction test_node_printing>
Test that the tgrep print operator ' is properly ignored.
<TestCaseFunction test_node_quoted>
Test selecting nodes using quoted node names.
<TestCaseFunction test_node_regex>
Test regex matching on nodes.
<TestCaseFunction test_node_regex_2>
Test regex matching on nodes.
<TestCaseFunction test_node_simple>
Test a simple use of tgrep for finding nodes matching a given
pattern.
<TestCaseFunction test_node_tree_position>
Test matching on nodes based on NLTK tree position.
<TestCaseFunction test_rel_precedence>
Test matching nodes based on precedence relations.
<TestCaseFunction test_rel_sister_nodes>
Test matching sister nodes in a tree.
<TestCaseFunction test_tokenize_encoding>
Test that tokenization handles bytes and strs the same way.
<TestCaseFunction test_tokenize_examples>
Test tokenization of the TGrep2 manual example patterns.
<TestCaseFunction test_tokenize_link_types>
Test tokenization of basic link types.
<TestCaseFunction test_tokenize_macros>
Test tokenization of macro definitions.
<TestCaseFunction test_tokenize_node_labels>
Test tokenization of labeled nodes.
<TestCaseFunction test_tokenize_nodenames>
Test tokenization of node names.
<TestCaseFunction test_tokenize_quoting>
Test tokenization of quoting.
<TestCaseFunction test_tokenize_segmented_patterns>
Test tokenization of segmented patterns.
<TestCaseFunction test_tokenize_simple>
Simple test of tokenization.
<TestCaseFunction test_trailing_semicolon>
Test that semicolons at the end of a tgrep2 search string won't
cause a parse failure.
<TestCaseFunction test_use_macros>
Test defining and using tgrep2 macros.
<TestCaseFunction tests_rel_dominance>
Test matching nodes based on dominance relations.
<TestCaseFunction tests_rel_indexed_children>
Test matching nodes based on their index in their parent node.
Nltk.tokenize рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдкрд░реАрдХреНрд╖рдгред
Nltk / test / tokenize.doctest рднреА рджреЗрдЦреЗрдВ
рд╢рдмреНрдж рдЯреЛрдХрди рдХреЗ рд▓рд┐рдП рддрд╛рд░рд╛рдВрдХрди рдХрд╛ рдЯреЗрд╕реНрдЯ рдкреИрдбрд┐рдВрдЧред
рд╢рдмреНрдж tokenization рдХреЗ рд▓рд┐рдП dotdot * рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдкреИрдбрд┐рдВрдЧред
рдПрдХ рд╕реНрдЯреНрд░рд┐рдВрдЧ рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░реЗрдВ рдЬреЛ рдПрдХ рдлрд╝реЛрди рдирдВрдмрд░ рд╕реЗ рдорд┐рд▓рддрд╛ рдЬреБрд▓рддрд╛ рд╣реИ рд▓реЗрдХрд┐рди рдЗрд╕рдореЗрдВ рдПрдХ рдирдИ рд░реЗрдЦрд╛ рд╣реЛрддреА рд╣реИ
рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рддреИрдпрд╛рд░ рдХрд┐рдП рдЧрдП рдХрд┐рдирд╛рд░реЗ рдХреЗ рдорд╛рдорд▓реЛрдВ рдХреЗ рд╕рд╛рде рдЖрдХрд╕реНрдорд┐рдХ рд╣рдЯрд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯ рдирд┐рдХрд╛рд▓реЗрдВ_рд╣реИрдВрдбрд▓ ()
рдЯреЗрд╕реНрдЯ SyllableTokenizer рдЯреЛрдХрдирд░ред
рдЕрд░рдмреА рдХреЗ рд▓рд┐рдП рд╕реНрдЯреИрдирдлреЛрд░реНрдб рд╡рд░реНрдб рд╕реЗрдЧрдореЗрдВрдЯрд░ рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░реЗрдВ (рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди)
рдЪреАрдиреА рдХреЗ рд▓рд┐рдП рд╕реНрдЯреИрдирдлреЛрд░реНрдб рд╡рд░реНрдб рд╕реЗрдЧрдореЗрдВрдЯрд░ рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░реЗрдВ (рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди)
рдЯреЗрд╕реНрдЯ рдЯреНрд░реАрдмреИрдВрдХрд╡рд░реНрд▓реНрдбрдЯреЙрдХреЗрдирд╛рдЗрдЬрд╝рд░ .span_tokenize рдлрд╝рдВрдХреНрд╢рди
рд╡рд┐рд╢реЗрд╖ рдФрд░ рдЙрдЪреНрдЪрд╛рд░рдг рдкрд╛рддреНрд░реЛрдВ рдХреЗ рд╕рд╛рде рд╢рдмреНрджреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ TweetTokenizer рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░реЗрдВред
Word_tokenize рдлрд╝рдВрдХреНрд╢рди рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░реЗрдВ
рдЯреНрд╡рд┐рдЯрд░ рдкреИрдХреЗрдЬ рдХреЗ рд╕реНрдерд┐рд░ рднрд╛рдЧреЛрдВ рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯ
рдЯреЗрд╕реНрдЯ рдХрд┐ рдлрд╛рдЗрд▓ рд╕реЗ рдЯреНрд╡рд┐рдЯрд░ рдХреНрд░реЗрдбреЗрдВрд╢рд┐рдпрд▓ рдЬрд╛рдирдХрд╛рд░реА рдХреЛ рд╕рд╣реА рддрд░реАрдХреЗ рд╕реЗ рд╕рдВрднрд╛рд▓рд╛ рдЬрд╛рддрд╛ рд╣реИред
рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдХреНрд░реЗрдбреЗрдВрд╢рд┐рдпрд▓ рдлрд╝рд╛рдЗрд▓ рдХреА рдкрд╣рдЪрд╛рди рдХреА рдЬрд╛рддреА рд╣реИ
рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдХреНрд░реЗрдбреЗрдВрд╢рд┐рдпрд▓ рдлрд╝рд╛рдЗрд▓ рдХреЛ correctluy рдкрдврд╝рд╛ рдЧрдпрд╛ рд╣реИ
рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдХреНрд░реЗрдбреЗрдВрд╢рд┐рдпрд▓ рдлрд╝рд╛рдЗрд▓ рдХрд╛ рдкрде рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕реЗ рдмрдирд╛рдпрд╛ рдЧрдпрд╛ рд╣реИ, рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ
рдорд╛рддрд╣рддред
рдЙрдк-рдкрде рдХреЛ рдЦрд╛рд▓реА рдкрде рдкрд░ рд╕реЗрдЯ рдХрд░рдиреЗ рд╕реЗ рддреНрд░реБрдЯрд┐ рдЙрддреНрдкрдиреНрди рд╣реЛрдиреА рдЪрд╛рд╣рд┐рдПред
None
рд▓рд┐рдП рдЙрдкрдЦрдВрдб рд╕реЗрдЯ рдХрд░рдирд╛ рдПрдХ рддреНрд░реБрдЯрд┐ рдЦрдбрд╝реА рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдПред
рдкрд░реАрдХреНрд╖рдг рдХрд░реЗрдВ рдХрд┐ рдкрд░реНрдпрд╛рд╡рд░рдг рдЪрд░ рдХреЛ рд╕рд╣реА рдврдВрдЧ рд╕реЗ рдкрдврд╝рд╛ рдЧрдпрд╛ рд╣реИред
рдХреНрд░реЗрдбреЗрдВрд╢рд┐рдпрд▓ рдлрд╝рд╛рдЗрд▓ 'bad_oauth1-1.txt' рдЕрдзреВрд░реА рд╣реИ
рдХреНрд░реЗрдбреЗрдВрд╢рд┐рдпрд▓ рдлрд╝рд╛рдЗрд▓ рдореЗрдВ рдкрд╣рд▓реА рдХреБрдВрдЬреА 'bad_oauth1-2.txt' рдмреАрдорд╛рд░ рд╣реИ
рдХреНрд░реЗрдбреЗрдВрд╢рд┐рдпрд▓ рдлрд╝рд╛рдЗрд▓ рдореЗрдВ рдкрд╣рд▓реА рдХреБрдВрдЬреА 'bad_oauth1-2.txt' рдмреАрдорд╛рд░ рд╣реИ
рдХрд┐рд╕реА рднреА рдирд┐рд░реНрджреЗрд╢рд┐рдХрд╛ рдХреЗ рд▓рд┐рдП рдЙрдк-рдирд┐рд░реНрджреЗрд╢рд┐рдХрд╛ рд╕реЗрдЯ рдХрд░рдирд╛ рдПрдХ рддреНрд░реБрдЯрд┐ рдмрдврд╝рд╛рдирд╛ рдЪрд╛рд╣рд┐рдПред
рдкреНрд░рдорд╛рдгреАрдХрд░рдг рдХреЗ рд▓рд┐рдП рдЪреВрдХ 'рдХреНрд░реЗрдбреЗрдВрд╢рд┐рдпрд▓реНрд╕ред Txt' рдХреЗ рдмрд╛рдж рд╕реЗ рд╡рд┐рдлрд▓ рд╣реЛ рдЬрд╛рдПрдЧреА
рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдЙрдк рдореЗрдВ рдореМрдЬреВрдж рд╣реИ, рдЬреИрд╕рд╛ рдХрд┐ os.environ['TWITTER']
рд╕реЗ рдкрдврд╝рд╛ рдЬрд╛рддрд╛ рд╣реИред
рдХреНрд░реЗрдбреЗрдВрд╢рд┐рдпрд▓ рдлрд╝рд╛рдЗрд▓ 'рдлрд╝реЙрдмрд░' рдХреЛ рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд╕рдмрдбрд┐рд░ рдореЗрдВ рдирд╣реАрдВ рдкрд╛рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред
Nltk.corpus.wordnet рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдкрд░реАрдХреНрд╖рдг
Nltk / test / wordnet.doctest рднреА рджреЗрдЦреЗрдВ
NgramCounter рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯ рдЬрд┐рд╕рдореЗрдВ рдХреЗрд╡рд▓ рд▓реБрдХрдЕрдк, рдХреЛрдИ рд╕рдВрд╢реЛрдзрди рд╢рд╛рдорд┐рд▓ рдирд╣реАрдВ рд╣реИред
MLE ngram рдореЙрдбрд▓ рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдкрд░реАрдХреНрд╖рдгред
MLE рдЯреНрд░рд┐рдЧреНрд░рд╛рдо рдореЙрдбрд▓ рдкрд░реАрдХреНрд╖рдг
рд▓рд┐рдбрд╕реНрдЯреЛрди рд╡рд░реНрдЧ рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдкрд░реАрдХреНрд╖рдг
рд▓рд╛рдкреНрд▓рд╛рд╕ рд╡рд░реНрдЧ рдХреЗ рд▓рд┐рдП рдпреВрдирд┐рдЯ рдкрд░реАрдХреНрд╖рдг
MLE рдореЙрдбрд▓ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реБрдП, рдХреБрдЫ рдЯреЗрдХреНрд╕реНрдЯ рдЬреЗрдирд░реЗрдЯ рдХрд░реЗрдВред
рдкрд░реАрдХреНрд╖рдг рд╢рдмреНрджрд╛рд╡рд▓реА рдХрдХреНрд╖рд╛
BLEU рдЕрдиреБрд╡рд╛рдж рдореВрд▓реНрдпрд╛рдВрдХрди рдореАрдЯреНрд░рд┐рдХ рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯ
рдореВрд▓ BLEU рдкреЗрдкрд░ рдХреЗ рдЙрджрд╛рд╣рд░рдг
http://www.aclweb.org/anthology/P02-1040.pdf
рдЯреЗрд╕реНрдЯ GDFA рд╕рдВрд░реЗрдЦрдг
# 1829 рдХреЗ рдЕрдВрдХ рд╕реЗ рдкрд╣рд▓реЗ 10 eflomal рдЖрдЙрдЯрдкреБрдЯ рдХреЗ рд╕рд╛рде GDFA рдХрд╛ рдкрд░реАрдХреНрд╖рдг
https://github.com/nltk/nltk/issues/1829
рдЖрдИрдмреАрдПрдо рдореЙрдбрд▓ 1 рдкреНрд░рд╢рд┐рдХреНрд╖рдг рд╡рд┐рдзрд┐рдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯ
рдЖрдИрдмреАрдПрдо рдореЙрдбрд▓ 2 рдкреНрд░рд╢рд┐рдХреНрд╖рдг рд╡рд┐рдзрд┐рдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯ
рдЖрдИрдмреАрдПрдо рдореЙрдбрд▓ 3 рдкреНрд░рд╢рд┐рдХреНрд╖рдг рд╡рд┐рдзрд┐рдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯ
рдЖрдИрдмреАрдПрдо рдореЙрдбрд▓ 4 рдкреНрд░рд╢рд┐рдХреНрд╖рдг рд╡рд┐рдзрд┐рдпреЛрдВ рдХреЗ рд▓рд┐рдП рдЯреЗрд╕реНрдЯ
рд╕рдмрд╕реЗ рдЙрдкрдпреЛрдЧреА рдЯрд┐рдкреНрдкрдгреА
рдЕрдЧрд░ рдЗрд╕ рдкрд░ рдХрд╛рдо рдХрд░рдиреЗ рд╡рд╛рд▓рд╛ рдХреЛрдИ рдирд╣реАрдВ рд╣реИ, рддреЛ рдореИрдВ рдЪрд╛рд╣реВрдВрдЧрд╛ред рдХреНрдпрд╛ рдЖрдк рдХреГрдкрдпрд╛ рдЗрд╕ рдореБрджреНрджреЗ рдХреА рдирдХрд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрджрдо рдмрддрд╛ рд╕рдХрддреЗ рд╣реИрдВ?