์ฌ์ํ ๋ฌธ์ ์ผ๋ฟ์
๋๋ค. agressive_dash_splits
์ฒ ์๊ฐ ํ ๋ ธ์ต๋๋ค. aggressive_dash_splits
์ด์ด์ผํฉ๋๋ค. ์๋๋ฉด ์ฌ์ฉ hyphen
๋์ dash
๋ชจ๋์ ์ผ์นํ๋ AGGRESSIVE_HYPHEN_SPLIT
ํด๋์ค ๋ฉค๋ฒ์์ tokenizer.perl
.
http://www.nltk.org/api/nltk.tokenize.html#nltk.tokenize.moses.MosesTokenizer.tokenize
๋ํ์ด ๊ธฐ๋ฅ์ ํ ์คํธ๋์ง ์์ ๊ฒ์ผ๋ก ๋ณด์ ๋๋ค.
๋น ๋ฅธ PR์ ๋ํด @somnathrakshit ์๊ฒ ๊ฐ์ฌ๋๋ฆฝ๋๋ค. ๋งค๊ฐ ๋ณ์ ์ด๋ฆ์ ๋ณ๊ฒฝํ๋ฉด API๊ฐ ์ค๋จ๋๋ฏ๋ก ์ด์ ๋งค๊ฐ ๋ณ์ ์ด๋ฆ์ด ์ฌ์ฉ๋ ๋ DeprecationWarning๊ณผ ํจ๊ป ์ต์ ์ผ๋ก ๋จผ์ ์ ๊ณต ํ ๋ค์ ๋ค์ ์ฃผ ๋ฒ์ ์์ ์์ ํ ์ ๊ฑฐ ํ ์ ์์ต๋๋ค. ๊ฐ๋ฐ์ ์ง์นจ์ด๋ CONTRIBUTING.md ๋ฌธ์์์ ๋ช ์ ์ ์ผ๋ก ์ธ๊ธํ์ง ์์๊ธฐ ๋๋ฌธ์ ์ผ๋ฐ NLTK ๊ฐ๋ฐ์๊ฐ ์ฌ๊ธฐ์์ ์ ์ฐจ์ ๋ํด ์ค๋ช ํ ์ ์์ต๋๋ค. @alvations , ํจ์ / ๋งค๊ฐ ๋ณ์ ์ด๋ฆ ๋ณ๊ฒฝ์ ๋ํ ์ง์นจ์ด๋ ์ ๋ก๊ฐ ์์ต๋๊น?
@goodmami @somnathrakshit ์ด ๊ฒฝ์ฐ API๊ฐ ๊นจ์ง๋ ๊ฒ์ ๋ํด ๊ฑฑ์ ํ
์ฌ์ฉ ์ค๋จ ๋ฐ ์ฌ์ฉ์ ๊ณต๊ฐ ์ค๋จ๊ณผ ๊ด๋ จํ์ฌ์ด ๊ฒฝ์ฐ ์ฐ๋ฆฌ์ ์๋ชป์ด๋ฉฐ ์ฌ์ฉ์๊ฐ ์ NLTK ๋ฒ์ ์ผ๋ก ์ ๋ฐ์ดํธํ๋ ๊ฒ์ด ๋ ์ฝ์ต๋๋ค.
๊ทธ๋ฌ๋ ๋ค๋ฅธ ๊ฒฝ์ฐ์๋ esp. ์คํ๋ฟ ์๋๋ผ ๋ ํฐ ๋ณ๊ฒฝ ์ฌํญ์ ๊ดํด์๋ ์คํ ํฌ๋ ๋๊ตฌ๋ฅผ ํ๊ธฐ ํ ๋ํ๋ ๊ฒ์ฒ๋ผ warnings
์ฌ์ฉํ ์ ์์ต๋๋ค https://github.com/nltk/nltk/blob/develop/nltk/tag /stanford.py#L51
์๋ ค ์ฃผ์ ์ @alvations ์๊ฒ ๊ฐ์ฌ๋๋ฆฝ๋๋ค. ์คํ ์์ค์ ์ด์ฌ์๋ก์ nltk๋ ์ ๋ค๋ฃจ์์ต๋๋ค. GSoC 2018์ ์ฐธ์ฌํ๊ณ ์์ต๋๊น?
# 1956์์ ํด๊ฒฐ๋จ
@somnathrakshit ๊ธฐ์ฌํด ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค! ๋ถํํ๋ ์ฐ๋ฆฌ๋ GSoC 2018์ ์ฐธ์ฌํ์ง ์๊ณ ์์ต๋๋ค. ์๋ง๋ ๋ ๋ง์ ์์ ๋ด์ฌ์๋ค์ด์๋ ๋ ๋ค๋ฅธ ํด =)