Nltk: MosesTokenizer์˜ ์ฒ ์ž๊ฐ€ ํ‹€๋ฆฐ ํ•จ์ˆ˜ ๋งค๊ฐœ ๋ณ€์ˆ˜ : agressive_dash_splits

์— ๋งŒ๋“  2018๋…„ 02์›” 14์ผ  ยท  4์ฝ”๋ฉ˜ํŠธ  ยท  ์ถœ์ฒ˜: nltk/nltk

์‚ฌ์†Œํ•œ ๋ฌธ์ œ ์ผ๋ฟ์ž…๋‹ˆ๋‹ค. agressive_dash_splits ์ฒ ์ž๊ฐ€ ํ‹€ ๋ ธ์Šต๋‹ˆ๋‹ค. aggressive_dash_splits ์ด์–ด์•ผํ•ฉ๋‹ˆ๋‹ค. ์•„๋‹ˆ๋ฉด ์‚ฌ์šฉ hyphen ๋Œ€์‹  dash ๋ชจ๋‘์™€ ์ผ์น˜ํ•˜๋Š” AGGRESSIVE_HYPHEN_SPLIT ํด๋ž˜์Šค ๋ฉค๋ฒ„์™€์™€ tokenizer.perl .

http://www.nltk.org/api/nltk.tokenize.html#nltk.tokenize.moses.MosesTokenizer.tokenize

๋˜ํ•œ์ด ๊ธฐ๋Šฅ์€ ํ…Œ์ŠคํŠธ๋˜์ง€ ์•Š์€ ๊ฒƒ์œผ๋กœ ๋ณด์ž…๋‹ˆ๋‹ค.

bug documentation resolved tokenizer

๋ชจ๋“  4 ๋Œ“๊ธ€

๋น ๋ฅธ PR์— ๋Œ€ํ•ด @somnathrakshit ์—๊ฒŒ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค. ๋งค๊ฐœ ๋ณ€์ˆ˜ ์ด๋ฆ„์„ ๋ณ€๊ฒฝํ•˜๋ฉด API๊ฐ€ ์ค‘๋‹จ๋˜๋ฏ€๋กœ ์ด์ „ ๋งค๊ฐœ ๋ณ€์ˆ˜ ์ด๋ฆ„์ด ์‚ฌ์šฉ๋  ๋•Œ DeprecationWarning๊ณผ ํ•จ๊ป˜ ์˜ต์…˜์œผ๋กœ ๋จผ์ € ์ œ๊ณต ํ•œ ๋‹ค์Œ ๋‹ค์Œ ์ฃผ ๋ฒ„์ „์—์„œ ์™„์ „ํžˆ ์ œ๊ฑฐ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐœ๋ฐœ์ž ์ง€์นจ์ด๋‚˜ CONTRIBUTING.md ๋ฌธ์„œ์—์„œ ๋ช…์‹œ ์ ์œผ๋กœ ์–ธ๊ธ‰ํ•˜์ง€ ์•Š์•˜๊ธฐ ๋•Œ๋ฌธ์— ์ผ๋ฐ˜ NLTK ๊ฐœ๋ฐœ์ž๊ฐ€ ์—ฌ๊ธฐ์—์„œ ์ ˆ์ฐจ์— ๋Œ€ํ•ด ์„ค๋ช… ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. @alvations , ํ•จ์ˆ˜ / ๋งค๊ฐœ ๋ณ€์ˆ˜ ์ด๋ฆ„ ๋ณ€๊ฒฝ์— ๋Œ€ํ•œ ์ง€์นจ์ด๋‚˜ ์„ ๋ก€๊ฐ€ ์žˆ์Šต๋‹ˆ๊นŒ?

@goodmami @somnathrakshit ์ด ๊ฒฝ์šฐ API๊ฐ€ ๊นจ์ง€๋Š” ๊ฒƒ์— ๋Œ€ํ•ด ๊ฑฑ์ •ํ• 

์‚ฌ์šฉ ์ค‘๋‹จ ๋ฐ ์‚ฌ์šฉ์ž ๊ณต๊ฐ„ ์ค‘๋‹จ๊ณผ ๊ด€๋ จํ•˜์—ฌ์ด ๊ฒฝ์šฐ ์šฐ๋ฆฌ์˜ ์ž˜๋ชป์ด๋ฉฐ ์‚ฌ์šฉ์ž๊ฐ€ ์ƒˆ NLTK ๋ฒ„์ „์œผ๋กœ ์—…๋ฐ์ดํŠธํ•˜๋Š” ๊ฒƒ์ด ๋” ์‰ฝ์Šต๋‹ˆ๋‹ค.

๊ทธ๋Ÿฌ๋‚˜ ๋‹ค๋ฅธ ๊ฒฝ์šฐ์—๋Š” esp. ์˜คํƒ€๋ฟ ์•„๋‹ˆ๋ผ ๋” ํฐ ๋ณ€๊ฒฝ ์‚ฌํ•ญ์— ๊ด€ํ•ด์„œ๋Š” ์Šคํƒ ํฌ๋“œ ๋„๊ตฌ๋ฅผ ํ๊ธฐ ํ•  ๋•Œํ–ˆ๋˜ ๊ฒƒ์ฒ˜๋Ÿผ warnings ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค https://github.com/nltk/nltk/blob/develop/nltk/tag /stanford.py#L51

์•Œ๋ ค ์ฃผ์…”์„œ @alvations ์—๊ฒŒ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค. ์˜คํ”ˆ ์†Œ์Šค์˜ ์ดˆ์‹ฌ์ž๋กœ์„œ nltk๋Š” ์ž˜ ๋‹ค๋ฃจ์—ˆ์Šต๋‹ˆ๋‹ค. GSoC 2018์— ์ฐธ์—ฌํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๊นŒ?

# 1956์—์„œ ํ•ด๊ฒฐ๋จ

@somnathrakshit ๊ธฐ์—ฌํ•ด ์ฃผ์…”์„œ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค! ๋ถˆํ–‰ํžˆ๋„ ์šฐ๋ฆฌ๋Š” GSoC 2018์— ์ฐธ์—ฌํ•˜์ง€ ์•Š๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์•„๋งˆ๋„ ๋” ๋งŽ์€ ์ž์› ๋ด‰์‚ฌ์ž๋“ค์ด์žˆ๋Š” ๋˜ ๋‹ค๋ฅธ ํ•ด =)

์ด ํŽ˜์ด์ง€๊ฐ€ ๋„์›€์ด ๋˜์—ˆ๋‚˜์š”?
0 / 5 - 0 ๋“ฑ๊ธ‰