Doccano: फ़ीचर अनुरोध: टोकन स्तर का आउटपुट

को निर्मित 3 अक्तू॰ 2019 · 4टिप्पणियाँ · स्रोत: doccano/doccano

फ़ीचर विवरण

doccano वर्तमान में केवल वर्ण-स्तरीय एनोटेशन आउटपुट करता है। हालांकि, एनएलपी के लिए उपयोग किए जाने वाले कुछ वर्कफ़्लो में शब्दों की सूची और टोकन लेबल की सूची के रूप में इनपुट की आवश्यकता होती है:

Sample sentence: 
['Two', ',', 'Samsung', 'based', ',', 'electronic', 'cash', 'registers', 'were', 'reconstructed', 'in', 'order', 'to', 'expand', 'their', 'functions', 'and', 'adapt', 'them', 'for', 'networking', '.']

Sample sentence labels: 
['O', 'O', 'I-ORG', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O']

यह पहले के अंक (#7) में संदर्भित है कि यह इस तरह से किया गया था क्योंकि कुछ भाषाएं अंतरिक्ष से अलग नहीं हैं। मुझे लगता है कि यह विकल्प होना अच्छा होगा और उपयोगकर्ता जो अंतरिक्ष से अलग की गई भाषाओं को एनोटेट करते हैं, वे अपने वर्कफ़्लो में निर्बाध इनपुट के लिए इसका उपयोग कर सकते हैं।

उदाहरण यहां से लिया गया है: https://github.com/microsoft/nlp/blob/master/examples/named_entity_identity/ner_wikigold_bert.ipynb

feature request

स्रोत

atakanokan

👍2

सबसे उपयोगी टिप्पणी

मेरे पास doccano-transformer नामक एक नया पायथन पैकेज बनाने की योजना है।
यह एनोटेट किए गए दस्तावेज़ों को अन्य स्वरूपों जैसे https://github.com/chakki-works/doccano/issues/362 , https://github.com/chakki-works/doccano/issues/454 इत्यादि में बदल देगा। इसलिए, टोकन स्तर के आउटपुट को doccano-transformer में शामिल किया जाना चाहिए।

Hironsan 26 नव॰ 2019

👍3

सभी 4 टिप्पणियाँ

नमस्ते! मैंने अपने लिए कुछ ऐसा ही लिखा है और मुझे पीआर के साथ योगदान करना अच्छा लगेगा :) हालांकि, मुझे यकीन नहीं है कि गलत लेबल वाले टोकन को कैसे संभालना है। अर्थात्, क्या होगा यदि एक टोकन केवल आंशिक रूप से चिह्नित किया गया था? अपने उद्देश्यों के लिए, मैं गलत लेबल वाले टोकन को प्रिंट करता हूं, जो एक स्क्रिप्ट के उपयोगकर्ता के लिए एक चेतावनी है, और टोकन एनोटेशन छोड़ देता है लेकिन उत्पादन में यह जाने का कोई तरीका नहीं है।

दूसरी बात यह है कि "गैर-इकाई" टोकन क्या होना चाहिए? 'O' ? फिर हमें उपयोगकर्ता को ऐसे लेबल जोड़ने से रोकना चाहिए जो कुछ लोगों के लिए भ्रामक हो सकता है। या हो सकता है कि हमें वह फॉर्म बनाना चाहिए जहां उपयोगकर्ता स्वयं टोकन प्रदान कर सके? या इसे खाली छोड़ दें?

मुझे लगता है कि यह सुविधा अनुरोध बहुत अच्छा है लेकिन हमें इस बात से सहमत होना चाहिए कि इससे कैसे निपटें: मुस्कान: मुझे आपके सुझावों को पढ़ना अच्छा लगेगा

prokotg 30 अक्तू॰ 2019

Hironsan 26 नव॰ 2019

👍3

इस पर कोई अपडेट? मैं बस .txt के रूप में एक डेटासेट आयात करना चाहता हूं (जिसमें प्रत्येक पंक्ति एक वाक्य है):

George Washington went to Washington.
Sam Houston stayed home.

... और इसे (एनोटेट करने के बाद) निम्नानुसार निर्यात करें, एक .txt में भी:

George B-PER
Washington I-PER
went O
to O
Washington B-LOC

Sam B-PER
Houston I-PER
stayed O
home O

दूसरे शब्दों में, प्रसिद्ध IOB एनोटेशन प्रारूप में निर्यात करें। तो इसके लिए, डोकैनो को स्वचालित रूप से पता होना चाहिए कि यदि एक एनोटेट इकाई में 1 से अधिक टोकन शामिल हैं तो बी (शुरुआत) और आई (अंदर) लेबल के साथ एनोटेट किया जाना चाहिए। इसके अलावा, IOB के अलावा और भी अधिक परिष्कृत एनोटेशन योजनाएं हैं, जैसे कि BIOES। यहाँ, S (एकल) का उपयोग एकल टोकन वाले चंक का प्रतिनिधित्व करने के लिए किया जाता है। BIOES एनोटेशन योजना का परिणाम निम्नलिखित होगा:

George B-PER
Washington E-PER
went O
to O
Washington S-LOC

Sam B-PER
Houston E-PER
stayed O
home O

यह बहुत अच्छा होगा अगर मैं आईओबी या बायोस (या अन्य) प्रारूपों में एनोटेट किए गए डेटासेट निर्यात कर सकता हूं। एनईआर के लिए कई अत्याधुनिक पुस्तकालयों को मॉडलों को प्रशिक्षित करने के लिए टोकन-स्तरीय एनोटेशन की आवश्यकता होती है (ज़ालैंडो से फ्लेयर, हगिंगफेस से ट्रांसफॉर्मर, ...)।

NielsRogge 29 फ़र॰ 2020

हमने डोकानो-ट्रांसफार्मर जारी किया। यह डेटा परिवर्तन का समर्थन करता है। वर्तमान में, समर्थित कार्यों को निकाय मान्यता नाम दिया गया है और समर्थित प्रारूप CoNLL2003 और SpaCy हैं।

हमारे पास कार्यों और प्रारूपों का विस्तार करने की योजना है।
कृपया इसके लिए तत्पर रहें।

Hironsan 12 मई 2020

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Doccano: फ़ीचर अनुरोध: टोकन स्तर का आउटपुट

फ़ीचर विवरण

सबसे उपयोगी टिप्पणी

सभी 4 टिप्पणियाँ

संबंधित मुद्दों