Doccano: 기능 요청: 토큰 수준 출력

안녕하세요! 나는 나 자신을 위해 비슷한 것을 썼고 PR에 기여하고 싶습니다 :) 그러나 레이블이 잘못된 토큰을 처리하는 방법을 잘 모르겠습니다. 즉, 토큰이 부분적으로만 표시되면 어떻게 될까요? 내 자신의 목적을 위해 스크립트 사용자에 대한 경고인 레이블이 잘못된 토큰을 인쇄하고 토큰 주석을 삭제하지만 프로덕션에서는 이것이 방법이 아닙니다.

다른 것은 "비 엔터티" 토큰이어야 합니까? 'O' ? 그런 다음 사용자가 일부 사람들을 오도할 수 있는 이러한 레이블을 추가하는 것을 방지해야 합니다. 아니면 사용자가 토큰을 제공할 수 있는 양식을 만들어야 할까요? 아니면 비워둘까요?

나는 이 기능 요청이 훌륭하다고 생각하지만 우리는 이 문제를 정확히 처리하는 방법에 동의해야 합니다 :스마일: 귀하의 제안을 읽고 싶습니다

doccano-transformer 라는 새 Python 패키지를 만들 계획이 있습니다.
주석이 달린 문서를 https://github.com/chakki-works/doccano/issues/362 , https://github.com/chakki-works/doccano/issues/454 등과 같은 다른 형식으로 변환합니다. 따라서 토큰 레벨 출력은 doccano-transformer 포함되어야 합니다.

이에 대한 업데이트가 있습니까? 데이터 세트를 .txt(각 행이 문장임)로 간단히 가져오고 싶습니다.

George Washington went to Washington.
Sam Houston stayed home.

... 다음과 같이 (주석을 추가한 후) .txt로 내보냅니다.

George B-PER
Washington I-PER
went O
to O
Washington B-LOC

Sam B-PER
Houston I-PER
stayed O
home O

즉, 잘 알려진 IOB 주석 형식으로 내보냅니다. 따라서 이를 위해 Doccano는 주석이 달린 엔티티가 1개 이상의 토큰으로 구성되어 있는 경우 B(시작) 및 I(내부) 레이블로 주석을 달아야 한다는 것을 자동으로 알아야 합니다. 또한 BIOES와 같이 IOB 외에 더 정교한 주석 체계가 있습니다. 여기서 S(단일)는 단일 토큰을 포함하는 청크를 나타내는 데 사용됩니다. BIOES 주석 체계의 결과는 다음과 같습니다.

George B-PER
Washington E-PER
went O
to O
Washington S-LOC

Sam B-PER
Houston E-PER
stayed O
home O

IOB 또는 BIOES(또는 기타) 형식으로 주석이 달린 데이터세트를 내보낼 수 있다면 정말 좋을 것입니다. 많은 NER용 최신 라이브러리는 모델을 훈련하기 위해 토큰 수준 주석이 필요합니다(Zalando의 Flair, HuggingFace의 Transformers 등).

doccano-transformer를 출시

우리는 작업과 형식을 확장할 계획이 있습니다.
기대해 주세요.