Doccano: 내보낼 λ•Œ μ±„μ›Œμ§€μ§€ μ•ŠλŠ” 메타 데이터 ν•„λ“œ

에 λ§Œλ“  2019λ…„ 06μ›” 17일  Β·  4μ½”λ©˜νŠΈ  Β·  좜처: doccano/doccano


μ‹œμŠ€ν…œ 정보

  • μ΅œμ‹  버전을 μ‹€ν–‰ν•˜λŠ” Windows 10 (2019 λ…„ 6 μ›” 17 일에 κ°€μ Έμ˜΄) Docker 이미지
  • Python 버전 : ν•΄λ‹Ή μ—†μŒ, docker 버전 μ‚¬μš©

문제 μ„€λͺ…

λ¬Έμ„œλŠ” λ‹€μŒκ³Ό 같이 μ„€λͺ…ν•©λ‹ˆλ‹€.

λ‹€λ₯Έ λͺ¨λ“  μ—΄ (csv 용) λ˜λŠ” ν‚€ (json 용)λŠ” μœ μ§€λ˜λ©° 메타 데이터 μ—΄ λ˜λŠ” ν‚€μ—μ„œμžˆλŠ” κ·ΈλŒ€λ‘œ λ‚΄λ³΄λ‚΄μ§‘λ‹ˆλ‹€.

κ·ΈλŸ¬λ‚˜ 이것은 λ‚΄κ°€ κ²½ν—˜ν•˜λŠ” 행동이 μ•„λ‹™λ‹ˆλ‹€. Windows 10 ν˜ΈμŠ€νŠΈμ—μ„œ μ‹€ν–‰λ˜λŠ” Doccano의 Docker 이미지 버전을 μ‚¬μš©ν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€. μ‹œν€€μŠ€ λ ˆμ΄λΈ” 지정 ν”„λ‘œμ νŠΈμ˜ 경우 λ‹€μŒ JSON 라인 ν˜•μ‹μœΌλ‘œ 데이터λ₯Ό κ°€μ Έμ˜΅λ‹ˆλ‹€.

{"external_id": "abc12345", "other_field": 5, "text": "hello world"}
{"external_id": "abc12346", "other_field": 2, "text": "this is a test"}

데이터에 λ ˆμ΄λΈ”μ„ μ§€μ •ν•œ ν›„ _Edit Data_> _Export Data_둜 μ΄λ™ν•˜μ—¬ _JSONL_ λ˜λŠ” _JSON (Text-Labels) _ ν˜•μ‹μœΌλ‘œ λ‚΄ λ³΄λƒ…λ‹ˆλ‹€ (λ¬Έμ œκ°€ μ–΄λŠ μͺ½μ΄λ“  λ‚˜νƒ€λ‚¨). λ‹€μŒμ€ _JSON (Text-Labels) _ 좜λ ₯으둜 얻은 좜λ ₯μž…λ‹ˆλ‹€.

{"id": 101, "text": "hello world", "meta": {}, "labels": [[0, 6, "Something"]]}
{"id": 102, "text": "this is a test", "meta": {}, "labels": []}

λ¬Έμ„œμ— μ„€λͺ… λœλŒ€λ‘œ "메타 데이터"ν•„λ“œκ°€ μ—†μœΌλ©° "메타"ν•„λ“œμ—λŠ” 주석이 달린 예제λ₯Ό λ‚΄ μ‚¬μš© 사둀에 ν•„μš”ν•œ λ‹€λ₯Έ κ΄€λ ¨ 데이터에 λ‹€μ‹œ κ²°ν•©ν•˜λŠ” 데 ν•„μš”ν•œ 메타 데이터가 ν¬ν•¨λ˜μ–΄ μžˆμ§€ μ•ŠμŠ΅λ‹ˆλ‹€.

μ†ŒμŠ€ μ½”λ“œ / 둜그

ν•΄λ‹Ή 사항 μ—†μŒ

κ°€μž₯ μœ μš©ν•œ λŒ“κΈ€

λ‚΄κ°€ μ•„λŠ” ν•œ, κ°€μ Έ μ˜€κΈ°μ™€ 내보내기 λͺ¨λ‘μ— "메타"ν‚€λ₯Ό λͺ…μ‹œ 적으둜 μ‚¬μš©ν•΄μ•Όν•©λ‹ˆλ‹€. https://github.com/chakki-works/doccano/wiki/Import-and-Export-File-Formats 와 κ°™μŠ΅λ‹ˆλ‹€.

λ”°λΌμ„œ κ°€μ Έ μ˜€κΈ°λŠ” λ‹€μŒκ³Ό κ°™μŠ΅λ‹ˆλ‹€.

{"text": "hello world", "meta": {"external_id": "abc12345", "other_field": 5}}

그러면 내보내기에도 λ™μΌν•œ ν•„λ“œκ°€ ν¬ν•¨λ©λ‹ˆλ‹€. 그것은 λ‚˜λ₯Ό μœ„ν•΄ μž‘λ™ν•©λ‹ˆλ‹€. ν•˜μ§€λ§Œ λ¬Έμ„œκ°€ μ—…λ°μ΄νŠΈλ˜μ–΄μ•Όν•œλ‹€κ³  μƒκ°ν•©λ‹ˆλ‹€.

λͺ¨λ“  4 λŒ“κΈ€

였늘 Docker의 μ΅œμ‹  λ²„μ „μ˜ Doccano둜 이것을 λ‹€μ‹œ ν…ŒμŠ€νŠΈν–ˆμ§€λ§Œ μ—¬μ „νžˆ λ™μΌν•œ λ¬Έμ œκ°€ λ°œμƒν•©λ‹ˆλ‹€. λ‚˜λŠ” 이것이 λ¬Έμ„œμ™€ μΌμΉ˜ν•˜μ§€ μ•ŠλŠ” 행동이기 λ•Œλ¬Έμ— 이것이 μ§ˆλ¬Έλ³΄λ‹€ λ²„κ·Έλ‘œ λΆ„λ₯˜λ˜λŠ” 것이 더 λ‚«λ‹€κ³  μƒκ°ν•©λ‹ˆλ‹€.

λ‚΄κ°€ μ•„λŠ” ν•œ, κ°€μ Έ μ˜€κΈ°μ™€ 내보내기 λͺ¨λ‘μ— "메타"ν‚€λ₯Ό λͺ…μ‹œ 적으둜 μ‚¬μš©ν•΄μ•Όν•©λ‹ˆλ‹€. https://github.com/chakki-works/doccano/wiki/Import-and-Export-File-Formats 와 κ°™μŠ΅λ‹ˆλ‹€.

λ”°λΌμ„œ κ°€μ Έ μ˜€κΈ°λŠ” λ‹€μŒκ³Ό κ°™μŠ΅λ‹ˆλ‹€.

{"text": "hello world", "meta": {"external_id": "abc12345", "other_field": 5}}

그러면 내보내기에도 λ™μΌν•œ ν•„λ“œκ°€ ν¬ν•¨λ©λ‹ˆλ‹€. 그것은 λ‚˜λ₯Ό μœ„ν•΄ μž‘λ™ν•©λ‹ˆλ‹€. ν•˜μ§€λ§Œ λ¬Έμ„œκ°€ μ—…λ°μ΄νŠΈλ˜μ–΄μ•Όν•œλ‹€κ³  μƒκ°ν•©λ‹ˆλ‹€.

이것을 λ¬Έμ„œμ— μΆ”κ°€ν•˜μ‹­μ‹œμ˜€. 였늘이 문제λ₯Ό λ§Œλ‚¬μŠ΅λ‹ˆλ‹€.

Ok-μ—¬κΈ°μ—μ„œ PR을 μ—΄μ—ˆμŠ΅λ‹ˆλ‹€ : https://github.com/chakki-works/doccano/pull/315

이 νŽ˜μ΄μ§€κ°€ 도움이 λ˜μ—ˆλ‚˜μš”?
0 / 5 - 0 λ“±κΈ‰