Registry: GrSciColl संग्रह के लिए लुकअप सेवा लागू करें

मैंने DEV में संग्रह लुकअप सेवा का पहला संस्करण डाला (यह अभी भी मशीन टैग का उपयोग नहीं करता है) यह देखने के लिए कि क्या हम यही उम्मीद कर रहे थे।

यह संस्था मैचों की एक सूची देता है और दूसरा संग्रह मैचों के लिए देता है। यह एक सूची है क्योंकि कोड अद्वितीय नहीं हैं इसलिए ऐसे मामले हो सकते हैं जहां हमारे पास कई विकल्प हो सकते हैं और हम किसी अन्य क्षेत्र से भेदभाव नहीं कर सकते हैं।

प्रत्येक मैच के लिए यह दिखाता है:

• प्रकार: यह exact या fuzzy हो सकता है। exact केवल तभी है जब कोड और पहचानकर्ता दोनों मेल खाते हों। अन्यथा यह fuzzy है।
• टिप्पणियाँ: वे यह समझने के लिए अवलोकन हैं कि मैच कैसे किया गया था। संभावित मान हैं:
  
  
  
  • CODE_MATCH : यह मामले की अनदेखी नहीं करता
  
  
  • IDENTIFIER_MATCH : यह मामले की अनदेखी नहीं करता
  
  
  • ALTERNATIVE_CODE_MATCH : यह मामले की अनदेखी नहीं करता
  
  
  • NAME_MATCH : यह मामले को अनदेखा करता है और उच्चारण और सफेद जगहों को हटा देता है लेकिन उपसर्ग या प्रत्यय मिलान नहीं करता है
  
  
  • PROBABLY_ON_LOAN : यह तब होता है जब मालिक संस्था और संस्था समान नहीं होती
  
  
  • INST_COLL_MISMATCH : यह तब होता है जब संग्रह की संस्था मेल खाने वाले संस्थानों में मौजूद नहीं होती है।
  
  

जब संस्था के मैच होते हैं, तो एक संग्रह केवल अस्पष्ट रूप से मेल खाता है यदि वह किसी भी संस्था से मेल खाता है। सटीक संग्रह मिलान हमेशा लौटाए जाएंगे।

सेवा कैसे काम करती है यह देखने के लिए आप इन उदाहरणों की जांच कर सकते हैं:

• http://api.gbif-dev.org/v1/grscicoll/lookup?collectionCode=herbarium 567 संग्रह लौटाता है
• http://api.gbif-dev.org/v1/grscicoll/lookup?collectionCode=herbarium&instituteCode=UNCA 1 संस्था और 1 संग्रह लौटाता है
• http://api.gbif-dev.org/v1/grscicoll/lookup?collectionCode=UNCA&instituteCode=UNCA&instituteId=gbif :ih: irn:240135 1 संस्था और 2 संग्रह लौटाता है
• http://api.gbif-dev.org/v1/grscicoll/lookup?collectionCode=UIMNH&collectionId=http ://grbio.org/cool/zrdp-fspx&institutionCode=K INST_COLL_MISMATCH का एक उदाहरण है
• http://api.gbif-dev.org/v1/grscicoll/lookup?ownerInstituteCode=MBMC&instituteCode=K PROBABLY_ON_LOAN का एक उदाहरण है

क्या मुझे @MortenHofft @ timrobertson100 कुछ याद आ रहा है?

मैंने मशीन टैग चेक को उस प्रारूप के बाद जोड़ा है जो अभी के लिए पहले से ही पाइपलाइनों में उपयोग किया गया था:

• नाम स्थान: processing.gbif.org
• नाम:
  
  
  
  • institutionCode : एक संस्था कोड को GrSciColl संस्था में मैप करता है
  
  
  • collectionCode : संग्रह कोड को GrSciColl संग्रह में मैप करता है
  
  
  • collectionToInstitutionCode : एक संग्रह कोड को GrSciColl संस्थान में मैप करता है। मैं शायद इसका नाम बदलकर collectionCodeToInstitution (टीबीडी) रखूंगा।
  
  
  • institutionToCollectionCode : एक संस्था कोड को GrSciColl संग्रह में मैप करता है। मैं शायद इसका नाम बदलकर institutionCodeToCollection (टीबीडी) रखूंगा।
  
  

टैग का मान पैटर्न {key}:{code} का पालन करना चाहिए।

यह अच्छा लग रहा है - मैं इसे वास्तविक डेटा पर लागू होते हुए देखने के लिए बहुत उत्सुक हूं।

वर्बोज़ या नहीं
क्या हमारे पास प्रजाति मिलान जैसा "वर्बोज़" विकल्प होना चाहिए?

अगर हम किसी और के अलावा कर्मचारियों की कल्पना करते हैं, तो यह केवल match or none विकल्प के लिए उपयोगी हो सकता है। लेखों में संग्रह कोड से लिंक बनाने के लिए इसका उपयोग करके Plazi कहें।

// plain lookup - not verbose - will at most return one institution and one collection.
{
  institutionMatch: {
    matchType: 'NONE'
  },
  {
    collectionMatch: {
      matchType: 'FUZZY',
      reasons: ['SAME_NAME', 'SAME_CODE', 'SAME_COUNTRY'],
      entity: {
        ...
      }
    }
  }
}

// verbose option
// could be like the one running in dev
{
  "institutionMatches": [],
  "collectionMatches": [
    ...
  ]
}

नामकरण पर
प्रजाति मिलान एपीआई matchType के बजाय type का उपयोग करती है और क्लस्टर remarks के बजाय remarks reasons का उपयोग करते हैं।

वास्तविक डेटा
इसे वास्तविक डेटा पर चलाने से पहले मुझे आश्चर्य होता है कि क्या संस्थान कोड/आईडी संग्रह कोड/आईडी के शीर्ष 500 विशिष्ट संयोजनों की जांच करना और उनमें से कुछ का मैन्युअल रूप से आकलन करना उचित होगा? हम कुछ सीख सकते हैं (कहते हैं कि हमें आईडी और कोड फ्लिप करने की कोशिश करने की आवश्यकता है)

एक मैच क्या होता है?
आप कब कल्पना करते हैं कि यह एक मैच को ट्रिगर करेगा?

• केवल सटीक?
• फजी लेकिन केवल एक परिणाम
• सटीक संस्था, लेकिन केवल एक अस्पष्ट संग्रह?

एक असंबद्ध के रूप में देश
क्या देश को एक खोज परम के रूप में जोड़ने का कोई मतलब होगा? जब अनुक्रमण घटनाएं होती हैं तो हम प्रकाशक के देश को असंबद्ध करने के लिए जोड़ सकते हैं जब उदाहरण के लिए 2 संग्रह मिलान होते हैं? या क्या यह बेहतर है कि उपभोक्ता परिणामों को दोहराए?

मैंने अभी कुछ समय पहले से एक सीएसवी निकालने के आधार पर मिलान करने का प्रयास किया था।
सीएसवी अलग है institutionId, institutionCode, datasetKey, publisherKey प्रत्येक के लिए एक घटना गणना के साथ।

मैंने 2500 से अधिक घटनाओं के साथ कुछ भी लिया और सेवा के विरुद्ध उनका मिलान करने का प्रयास किया।

105,871,241 occurrences had a single match
 24,553,278 with an exact singular match
 27,113,941 occurrences had multiple matches
 34,998,066 occurrences had no match

2,374 combinations was tested against the service (multiple can be the same since it included dataset and publisher)

यह बुरी शुरुआत नहीं है। मैंने हालांकि मैचों की गुणवत्ता का मूल्यांकन नहीं किया है।

_एक मैच क्या होता है?_
आप कब कल्पना करते हैं कि यह एक मैच को ट्रिगर करेगा?

• केवल सटीक?
• फजी लेकिन केवल एक परिणाम
• सटीक संस्था, लेकिन केवल एक अस्पष्ट संग्रह?

इसके लिए आपका मतलब गैर-वर्बोज़ संस्करण से है जहाँ हम केवल 1 मैच दिखाते हैं, है ना?

यह कुछ ऐसा हो सकता है:

• संस्थानों के लिए
  
  
  
  • केवल एक सटीक मिलान
  
  
  • केवल एक फजी मैच
  
  
• संग्रह के लिए
  
  
  
  • केवल एक सटीक मिलान
  
  
  • यदि कोई संस्था मैच होता है, तो केवल एक फजी मैच होता है जिसकी संस्था समान होती है जो संस्था से मेल खाती है
  
  
  • अगर कोई इंस्टीट्यूशन मैच नहीं होता, तो केवल एक फजी मैच होता है
  
  

क्या आपको लगता है कि हमें एक समग्र मिलान स्थिति भी प्रदान करनी चाहिए?

_एक मैच क्या होता है?_
आप कब कल्पना करते हैं कि यह एक मैच को ट्रिगर करेगा?

• केवल सटीक?
• फजी लेकिन केवल एक परिणाम
• सटीक संस्था, लेकिन केवल एक अस्पष्ट संग्रह?

इसके लिए आपका मतलब गैर-वर्बोज़ संस्करण से है जहाँ हम केवल 1 मैच दिखाते हैं, है ना?

मेरा मतलब था कि घटनाओं के लिए GrSciColl आईडी असाइन करने के लिए पाइपलाइनों में इसका उपयोग करते समय। मैंने कल्पना की थी कि इस सेवा में निर्णय और सभी तर्क शामिल हैं। यह अन्य लुकअप सेवाओं के लिए कैसे काम करता है?

यह मुझे याद दिलाता है, आपने दूसरे दिन उल्लेख किया था कि आपने सभी मिलान आईडी को घटना सूचकांक में जोड़ने पर विचार किया था।
मुझे लगता है कि 2 संभावित संस्करण हैं:

• सभी संभावित उम्मीदवारों को जोड़ना। यह प्रभावी रूप से बोझ को UI या उपयोगकर्ता पर धकेलता है। और एक ही नमूने कई संग्रहों के अंतर्गत दिखाई देंगे।
• एक लिंक तभी जोड़ें जब हमारे पास एक कॉन्फिडेंट मैच हो। सेवा बयान की जिम्मेदारी लेती है। हम कम मैच कर पाएंगे।

मैं संस्करण 2 के अधिक पक्ष में हूं। केवल एक घटना के लिए एक GrSciColl आईडी जोड़ना जब हमारे पास 1 आत्मविश्वास से मेल खाता हो। उम्मीदवार मैचों की एक सरणी नहीं। और यदि हम अधिक मिलान चाहते हैं, तो हम प्रकाशकों को GrSciColl या घटनाओं में बेहतर पहचानकर्ता जोड़ने के लिए संबोधित करते हैं। या हम मामले में डेटासेट में मशीन टैग जोड़ते हैं।

यदि सभी उम्मीदवारों को अनुक्रमित करना उपयोगी है, तो क्या हम इसके लिए एक अलग क्षेत्र पर विचार कर सकते हैं?

क्या सेवा को झंडे लौटाने चाहिए। फजी संग्रह कोड मैच। कोई संग्रह कोड मिलान नहीं। प्रजाति मिलान सेवा के समान।

मैं इन झंडों के बारे में सोच सकता हूं:

• AMBIGUOUS_INSTITUTION : 1 से अधिक संस्थान मिले और हम टाई नहीं तोड़ सके
• AMBIGUOUS_COLLECTION : ऊपर के समान लेकिन संग्रह के लिए
• FUZZY_INSTITUTION_MATCH : 1 संस्था का मिलान हुआ लेकिन अस्पष्ट रूप से
• FUZZY_COLLECTION_MATCH : ऊपर के समान लेकिन संग्रह के लिए
• INSTITUTION_NAME_USED : institutionCode फ़ील्ड में कोड के बजाय संस्था का नाम होता है
• OWNER_INSTITUTION_NAME_USED : ऊपर के समान लेकिन मालिक संस्थान के लिए
• COLLECTION_NAME_USED : ऊपर के समान लेकिन संग्रह के लिए
• NO_COLLECTION_CODE_MATCH : प्रदान किया गया कोड मेल नहीं खाता
• NO_INSTITUTION_CODE_MATCH : ऊपर के समान
• NO_COLLECTION_ID_MATCH : प्रदान की गई आईडी मेल नहीं खाती
• NO_INSTITUTION_ID_MATCH : ऊपर के समान
• INSTITUTION_COLLECTION_MISMATCH : पाया गया संग्रह मेल खाने वाले संस्थान से संबंधित नहीं है

संपादित करें: INSTITUTION_NAME_USED वाले को हटाया जा सकता है और इन मामलों के लिए केवल FUZZY_INSTITUTION_MATCH का उपयोग किया जा सकता है। मुझे नहीं पता कि प्रकाशकों के लिए और क्या उपयोगी होगा

मुझे यह पसंद है - यह मेरी धारणा है कि कई प्रकाशक उन झंडों की सराहना करते हैं और उन पर कार्य करते हैं। यह उन्हें डेटा को संशोधित करने और मिलान में सुधार करने के लिए अंतर्दृष्टि देगा।

सेवा अब एक प्रतिक्रिया देता है जैसे:

{
  "institutionMatch": {
    ...
  },
  "collectionMatch": {
    ...
  },
  alternativeMatches { 
    institutionMatches: []
    collectionMatches: []
  }
}

वैकल्पिक मिलान केवल तभी दिखाए जाते हैं जब verbose पैरामीटर सही पर सेट हो। फ़ज़ी मैच प्रदर्शन कारणों से 20 परिणामों तक सीमित हैं।

इसे एक Country पैरामीटर भी जोड़ा गया था जिसका उपयोग संबंधों को तोड़ने के लिए किया जाता था: http://api.gbif-dev.org/v1/grscicoll/lookup?institutionCode=BR&country=BE&verbose=true

इनमें से कोई भी शर्त पूरी होने पर मैच होता है:

• केवल 1 मशीन टैग मैच है
• केवल 1 सटीक मिलान है
• कई सटीक मिलान हैं लेकिन प्राप्त देश पैरामीटर से केवल एक ही मेल खाता है
• केवल 1 फ़ज़ी मैच है
• कई फ़ज़ी मैच हैं लेकिन कम से कम कोड या आईडी से केवल एक मेल खाता है और एक और फ़ील्ड (नाम या वैकल्पिक कोड)
• कई फ़ज़ी मैच हैं लेकिन प्राप्त देश पैरामीटर से केवल एक ही मेल खाता है

इसके अतिरिक्त, जिन संस्थानों का स्वामी संस्थान संस्था से भिन्न है, उन्हें एक मैच नहीं माना जाता है। साथ ही, जिस संग्रह का संस्थान संस्था द्वारा स्वीकृत मैच से मेल नहीं खाता है, उसे भी मैच नहीं माना जाता है।

मैंने झंडे नहीं जोड़े हैं बल्कि इसके बजाय एक स्थिति फ़ील्ड जोड़ा है:

• ACCEPTED : स्वीकृत मैच
• AMBIGUOUS : 1 से अधिक परिणाम मिले और हम टाई नहीं तोड़ सके
• AMBIGUOUS_MACHINE_TAGS : ऊपर के समान लेकिन मशीन टैग मिलान के साथ
• AMBIGUOUS_OWNER : परिणाम हैं लेकिन संस्था के मालिक के साथ मेल नहीं खाते इसलिए हम उन्हें ऋण संग्रह पर लिंक नहीं करने के लिए छोड़ देते हैं
• AMBIGUOUS_INSTITUTION_MISMATCH : फ़ज़ी मैच हैं, लेकिन मेल खाने वाले संस्थान से संबंधित नहीं हैं
• DOUBTFUL : पाया गया मैच फजी है

बाकी झंडों का अनुमान मैच के reasons फ़ील्ड से लगाया जा सकता है। इस क्षेत्र से पाइपलाइनों में मुद्दों को सेट किया जा सकता है।

मैंने इन क्षेत्रों के PROD संयोजनों में हमारे डेटा से निकाला है जो 1000 से अधिक रिकॉर्ड में मौजूद हैं:

• v_institutionid
• v_institutioncode
• v_ownerinstitutioncode
• v_collectioncode
• v_collectionid
• datasetkey

इसके अतिरिक्त, मैंने देश को डेटासेट के प्रकाशन संगठन से लिया।

फिर मैंने उन्हें यूएटी में लुकअप सेवा में भेज दिया। परिणाम इस स्प्रेडशीट में हैं