Nltk: collocations рдлрд╝рдВрдХреНрд╢рди рддреНрд░реБрдЯрд┐ рджреЗрддрд╛ рд╣реИ

рдХреЛ рдирд┐рд░реНрдорд┐рдд 15 рдордИ 2019  ┬╖  10рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ  ┬╖  рд╕реНрд░реЛрдд: nltk/nltk

рдореИрдВ рдкреБрд╕реНрддрдХ рдХреЗ рдЕрдзреНрдпрд╛рдп 1 рд╕реЗ рдЧреБрдЬрд░ рд░рд╣рд╛ рдерд╛ рдФрд░ рдХреЛрд▓рд╛рдЬреЗрд╢рди рдлрд╝рдВрдХреНрд╢рди рдПрдХ рддреНрд░реБрдЯрд┐ рджреЗрддрд╛ рд╣реИред рдРрд╕рд╛ рд▓рдЧрддрд╛ рд╣реИ рдХрд┐ text.py рдореЗрдВ рд▓рд╛рдЗрди 440 рдмреЗрдорд╛рдиреА рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ collocation_list рдлрд╝рдВрдХреНрд╢рди рд╢реБрд░реВ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред рдореИрдВрдиреЗ рд╡рд░реНрддрдорд╛рди рд▓рд╛рдЗрди 440 рдХреЛ рдлрд┐рд░ рд╕реЗ рд▓рд┐рдЦрдХрд░ рдФрд░ 441 рдХреЛ text.py рдореЗрдВ рд▓рд╛рдЗрди рдореЗрдВ рдбрд╛рд▓рдХрд░ рд╕рдорд╕реНрдпрд╛ рдХреЛ рдареАрдХ рдХрд┐рдпрд╛ред

рдкреБрд░рд╛рдирд╛ рдХреЛрдб:
collocation_strings = [w1 + '' w2 рдХреЗ рд▓рд┐рдП w1, w2 рдореЗрдВ self.collocation_list (рд╕рдВрдЦреНрдпрд╛, window_size)] *
рдкреНрд░рд┐рдВрдЯ (рдЯреЛрдХрдирд╡реИрдк (рдХреЛрд▓реЛрдХреЗрд╢рди_рд╕реНрдЯреНрд░рд┐рдВрдЧ, рд╕реЗрдкрд░реЗрдЯрд░ = ";"))

рдирдпрд╛ рдХреЛрдб:
рдкреНрд░рд┐рдВрдЯ (tokenwrap (self.collocation_list), рд╡рд┐рднрд╛рдЬрдХ = ";"))

bug goodfirstbug resolved text

рд╕рдмрд╕реЗ рдЙрдкрдпреЛрдЧреА рдЯрд┐рдкреНрдкрдгреА

рдЕрднреА рднреА .collocations() рд╕рд╛рде рд╕рдорд╕реНрдпрд╛рдПрдБ рд╣реИрдВ, рд▓реЗрдХрд┐рди .collocation_list() рдХрд╛рд░реНрдп рдХрд░рддрд╛ рд╣реИред

рд╕рднреА 10 рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

рдмрдЧ рдХреЛ рдмрдврд╝рд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдзрдиреНрдпрд╡рд╛рдж @martinevanschouwenburg !

рд╣рд╛рдВ, рдРрд╕рд╛ рд▓рдЧрддрд╛ рд╣реИ рдХрд┐ рдХреЛрд▓рд╛рдЬреЗрд╢рди рд╕реВрдЪреА рдХреА рдЬрд░реВрд░рдд рд╣реИред рдмрдЧ рдХреЛ рджреЛрд╣рд░рд╛рдиреЗ рдХреЗ рд▓рд┐рдП:

$ python3
Python 3.6.4rc1 (v3.6.4rc1:3398dcb14f, Dec  5 2017, 00:58:30) 
[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from nltk.book import *
*** Introductory Examples for the NLTK Book ***
Loading text1, ..., text9 and sent1, ..., sent9
Type the name of the text or sentence to view it.
Type: 'texts()' or 'sents()' to list the materials.
text1: Moby Dick by Herman Melville 1851
text2: Sense and Sensibility by Jane Austen 1811
text3: The Book of Genesis
text4: Inaugural Address Corpus
text5: Chat Corpus
text6: Monty Python and the Holy Grail
text7: Wall Street Journal
text8: Personals Corpus
text9: The Man Who Was Thursday by G . K . Chesterton 1908
>>> text4.collocations()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/nltk/text.py", line 440, in collocations
    collocation_strings = [w1 + ' ' + w2 for w1, w2 in self.collocation_list(num, window_size)]
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/nltk/text.py", line 440, in <listcomp>
    collocation_strings = [w1 + ' ' + w2 for w1, w2 in self.collocation_list(num, window_size)]
ValueError: too many values to unpack (expected 2)

рдореИрдВ рдЕрднреА рднреА рдЗрд╕ рддреНрд░реБрдЯрд┐ рдХреЛ рджреЗрдЦ рд░рд╣рд╛ рд╣реВрдВ рдЬрдм рдкреБрд╕реНрддрдХ рдХреЗ рдЕрдзреНрдпрд╛рдп 1 рд╕реЗ рдЧреБрдЬрд░ рд░рд╣рд╛ рд╣реИред

* рдПрдирдПрд▓рдЯреАрдХреЗ рдмреБрдХ рдХреЗ рд▓рд┐рдП рдкрд░рд┐рдЪрдпрд╛рддреНрдордХ рдЙрджрд╛рд╣рд░рдг *
рд▓реЛрдб рд╣реЛ рд░рд╣рд╛ рд╣реИ text1, ..., text9 рдФрд░ sent1, ..., sent9
рдЗрд╕реЗ рджреЗрдЦрдиреЗ рдХреЗ рд▓рд┐рдП рдкрд╛рда рдпрд╛ рд╡рд╛рдХреНрдп рдХрд╛ рдирд╛рдо рд▓рд┐рдЦреЗрдВред
рдкреНрд░рдХрд╛рд░: рд╕рд╛рдордЧреНрд░реА рдХреА рд╕реВрдЪреА рдХреЗ рд▓рд┐рдП 'рдЧреНрд░рдВрдереЛрдВ' () 'рдпрд╛' sents () 'ред
рдЯреЗрдХреНрд╕реНрдЯ 1: рд╣рд░рдорди рдореЗрд▓рд╡рд┐рд▓ 1851 рджреНрд╡рд╛рд░рд╛ рдореЛрдмреА рдбрд┐рдХ
text2: рдЬреЗрди рдСрд╕реНрдЯреЗрди 1811 рджреНрд╡рд╛рд░рд╛ рд╕рдВрд╡реЗрджрдирд╛ рдФрд░ рд╕рдВрд╡реЗрджрдирд╢реАрд▓рддрд╛
text3: рдЙрддреНрдкрддреНрддрд┐ рдХреА рдкреБрд╕реНрддрдХ
text4: рдЙрджреНрдШрд╛рдЯрди рд╕рдВрдмреЛрдзрди рдХреЙрд░реНрдкрд╕
text5: рдХреЙрд░реНрдкрд╕ рдЪреИрдЯ рдХрд░реЗрдВ
text6: рдореЛрдВрдЯреА рдкрд╛рдпрдерди рдФрд░ рдкрд╡рд┐рддреНрд░ рдХрдВрдШреА рдмрдирд╛рдиреЗрд╡рд╛рд▓реЗ рдХреА рд░реЗрддреА
text7: рд╡реЙрд▓ рд╕реНрдЯреНрд░реАрдЯ рдЬрд░реНрдирд▓
text8: рдХрд╛рд░реНрдорд┐рдХ рдХреЙрд░реНрдкрд╕
text9: рдж рдореИрди рд╣реВ рдЧреБрд░реВрд╡рд╛рд░ рдЯреВ рдЬреАред рдХ ред рдЪреЗрд╕реНрдЯрд░рдЯрди 1908
рдЯреНрд░реЗрд╕рдмреИрдХ (рд╕рдмрд╕реЗ рд╣рд╛рд▓рд┐рдпрд╛ рдХреЙрд▓ рдЕрдВрддрд┐рдо):
рдлрд╝рд╛рдЗрд▓ "c: \ Users \ Adam.vscode \ extension \ ms-python.python-2019.6.24221 \ pythonFiles \ ptvsd_launcher.py", рдкрдВрдХреНрддрд┐ 43, рдореЗрдВ
рдореБрдЦреНрдп (ptvsdArgs)
рдлрд╝рд╛рдЗрд▓ "c: \ Users \ Adam.vscode \ рдПрдХреНрд╕рдЯреЗрдВрд╢рди \ ms-python.python-2019.6.24221 \ pythonFiles \ lib \ python \ ptvsd__main __ред Py", рдкрдВрдХреНрддрд┐ 434, рдореБрдЦреНрдп рд░реВрдк рд╕реЗред
Daud()
рдлрд╝рд╛рдЗрд▓ "c: \ Users \ Adam.vscode \ рдПрдХреНрд╕рдЯреЗрдВрд╢рди \ ms-python.python-2019.6.24221 \ pythonFiles \ lib \ python \ ptvsd__main __ред Py", рдкрдВрдХреНрддрд┐ 312, run_file рдореЗрдВред
runpy.run_path (рд▓рдХреНрд╖реНрдп, run_name = '__ main__')
рдлрд╝рд╛рдЗрд▓ "c: \ users \ adam \ appdata \ local \ рдкреНрд░реЛрдЧреНрд░рд╛рдо \ python \ python37-32 \ Lib \ runpy.py", рдкрдВрдХреНрддрд┐ 263, run_path рдореЗрдВ
pkg_name = pkg_name, script_name = fname)
рдлрд╝рд╛рдЗрд▓ "c: \ users \ adam \ appdata \ local \ Programs \ python \ python37-32 \ Lib \ runpy.py", рд▓рд╛рдЗрди 96, _run_module_code рдореЗрдВ
mod_name, mod_spec, pkg_name, script_name)
рдлрд╝рд╛рдЗрд▓ "c: \ users \ adam \ appdata \ local \ рдкреНрд░реЛрдЧреНрд░рд╛рдо \ python \ python37-32 \ Lib \ runpy.py", рдкрдВрдХреНрддрд┐ 85, _run_code рдореЗрдВ
рдирд┐рд╖реНрдкрд╛рджрди (рдХреЛрдб, run_globals)
рдлрд╝рд╛рдЗрд▓ "c: \ Users \ Adam \ Documents \ code \ python \ natlang \ natlang.py", рдкрдВрдХреНрддрд┐ 4, рдореЗрдВ
text4.collocations ()
рдлрд╝рд╛рдЗрд▓ "C: \ Users \ Adam.virtualenvs \ natlang-9ek-vNym \ lib \ site-package \ nltk \ text.py", рд▓рд╛рдЗрди 444, рдХреЛрд▓рд╛рдЬреЗрд╢рди рдореЗрдВ
w1 + "" + w2 for w1, w2 in self.collocation_list (рд╕рдВрдЦреНрдпрд╛, window_size)
рдлрд╝рд╛рдЗрд▓ "C: \ Users \ Adam.virtualenvs \ natlang-9ek-vNym \ lib \ site-package \ nltk \ text.py", рдкрдВрдХреНрддрд┐ 444, рдореЗрдВ
w1 + "" + w2 for w1, w2 in self.collocation_list (рд╕рдВрдЦреНрдпрд╛, window_size)
ValueError: рдмрд╣реБрдд рд╕рд╛рд░реЗ рдорд╛рди рдЕрдирдкреИрдХ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП (рдЕрдкреЗрдХреНрд╖рд┐рдд 2)

@networkjr рдореИрдВ рднреА рдЗрд╕рдХреА рдкреБрд╖реНрдЯрд┐ рдХрд░ рд╕рдХрддрд╛ рд╣реВрдВред рд╢рд╛рдпрдж # 2227 рдореЗрдВ рдлрд┐рдХреНрд╕ рдкрдкреА рдХреЛ рдЕрднреА рддрдХ рдирд╣реАрдВ рдзрдХреЗрд▓рд╛ рдЧрдпрд╛ рд╣реИ?

@networkjr рдпрд╣ рдПрдирд╛рдХреЛрдВрдбрд╛ рдкреИрдХреЗрдЬ рдХреЗ рд╕рд╛рде рд╕рдорд╛рди рд╣реИ

рдореИрдВ рдПрдирдПрд▓рдЯреАрдХреЗ рдкреБрд╕реНрддрдХ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдХрд╛рдо рдХрд░ рд░рд╣рд╛ рд╣реВрдВ, рдПрдирдПрд▓рдЯреАрдХреЗ рдХреЗ рд▓рд┐рдП рдкреВрд░реА рддрд░рд╣ рд╕реЗ рдирдпрд╛ рд╣реВрдВ рдФрд░ рдкрд╛рдпрдерди рдХреЗ рд▓рд┐рдП рдХрд╛рдлреА рдирдпрд╛ рд╣реВрдВ - рдФрд░ рдореБрдЭреЗ рдпрд╣реА рддреНрд░реБрдЯрд┐ рдорд┐рд▓ рд░рд╣реА рд╣реИред

$ python
Python 3.7.2 (default, Feb 14 2019, 11:13:53) 
[Clang 8.0.0 (clang-800.0.42.1)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import nltk
>>> from nltk.book import *
*** Introductory Examples for the NLTK Book ***
Loading text1, ..., text9 and sent1, ..., sent9
Type the name of the text or sentence to view it.
Type: 'texts()' or 'sents()' to list the materials.
text1: Moby Dick by Herman Melville 1851
text2: Sense and Sensibility by Jane Austen 1811
text3: The Book of Genesis
text4: Inaugural Address Corpus
text5: Chat Corpus
text6: Monty Python and the Holy Grail
text7: Wall Street Journal
text8: Personals Corpus
text9: The Man Who Was Thursday by G . K . Chesterton 1908
>>> text4.collocations()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/george/code/nltk/py3env/lib/python3.7/site-packages/nltk/text.py", line 444, in collocations
    w1 + " " + w2 for w1, w2 in self.collocation_list(num, window_size)
  File "/Users/george/code/nltk/py3env/lib/python3.7/site-packages/nltk/text.py", line 444, in <listcomp>
    w1 + " " + w2 for w1, w2 in self.collocation_list(num, window_size)
ValueError: too many values to unpack (expected 2)

рдореЗрд░реЗ Pipfile.lock рдореИрдВ рдПрдирдПрд▓рдЯреАрдХреЗ 3.4.5 рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣рд╛ рд╣реВрдВ, рдЬреЛ рдореБрдЭреЗ рд▓рдЧрддрд╛ рд╣реИ рдХрд┐ рд╕рдмрд╕реЗ рд╣рд╛рд▓рд┐рдпрд╛ рд░рд┐рд▓реАрдЬ рд╣реИред

рдХреНрдпрд╛ рдЗрд╕ рдореБрджреНрджреЗ рдХрд╛ рдХреЛрдИ рд╕рдорд╛рдзрд╛рди рд╣реИ?

рдпрд╣ # 2377 рдкрд░ рддрдп рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ, рдЬрд▓реНрдж рд╣реА рдЕрдЧрд▓реЗ рдПрдирдПрд▓рдЯреАрдХреЗ рд░рд┐рд▓реАрдЬ рдореЗрдВ рддрдп рдХрд┐рдпрд╛ рдЬрд╛рдирд╛ рдЪрд╛рд╣рд┐рдПред

рдЕрдиреНрдпрдерд╛, рдпрджрд┐ рдЖрдк рдкреНрд░рддреАрдХреНрд╖рд╛ рдирд╣реАрдВ рдХрд░ рд╕рдХрддреЗ =)

pip install -U https://github.com/nltk/nltk/archive/develop.zip

Cntk рдХреЛ рдЕрдкрдбреЗрдЯ рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж рднреА рдореБрдЭреЗ рд╡рд╣реА рддреНрд░реБрдЯрд┐ рд╣реИ
pip install -U https://github.com/nltk/nltk/archive/develop.zip

рд╡рд░реНрддрдорд╛рди cnkt рд╕рдВрд╕реНрдХрд░рдг '3.4.5'

рдореЗрд░реЗ рджреНрд╡рд╛рд░рд╛ рдпрд╣ рдХреИрд╕реЗ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ?

рдмрд╣реБрдд рдзрдиреНрдпрд╡рд╛рджред

рдЕрднреА рднреА .collocations() рд╕рд╛рде рд╕рдорд╕реНрдпрд╛рдПрдБ рд╣реИрдВ, рд▓реЗрдХрд┐рди .collocation_list() рдХрд╛рд░реНрдп рдХрд░рддрд╛ рд╣реИред

/Nltk/text.py рдореЗрдВ рд▓рд╛рдЗрди 444 рдкрд░ рдкреНрд░рддрд┐рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ:
collocation_strings = [w1 + "" + w2 for w1, w2 in text.collocation_list (рд╕рдВрдЦреНрдпрд╛, window_size)]

рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдХреЗ рд╕рд╛рде:
collocation_strings = [рдкрд╛рда w рдореЗрдВ w рдХреЗ рд▓рд┐рдП редollocation_list (рд╕рдВрдЦреНрдпрд╛, window_size)]

рдореБрдЭреЗ рднреАред Nltk рдкреБрд╕реНрддрдХ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдХрд╛рд░реНрдп рдХрд░рдирд╛ рдХреЛрд▓рд╛рдЬреЗрд╢рди () рдХреЗ рд▓рд┐рдП рддреНрд░реБрдЯрд┐ рджреЗрддрд╛ рд╣реИ рдЬрдмрдХрд┐ Collocation_list () рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред

рдХреНрдпрд╛ рдпрд╣ рдкреГрд╖реНрда рдЙрдкрдпреЛрдЧреА рдерд╛?
0 / 5 - 0 рд░реЗрдЯрд┐рдВрдЧреНрд╕

рд╕рдВрдмрдВрдзрд┐рдд рдореБрджреНрджреЛрдВ

chaseireland picture chaseireland  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

stevenbird picture stevenbird  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

alvations picture alvations  ┬╖  4рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

peterbe picture peterbe  ┬╖  5рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

zdog234 picture zdog234  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ