Registry: GrSciColl 컬렉션에 대한 조회 서비스 구현

DEV에 컬렉션 조회 서비스의 첫 번째 버전을 넣었습니다(여전히 머신 태그를 사용하지 않음). 이것이 우리가 기대한 것인지 확인하기 위해서입니다.

기관 일치 목록과 컬렉션 일치 목록을 반환합니다. 코드가 고유하지 않기 때문에 목록이므로 여러 옵션을 가질 수 있고 다른 필드로 구별할 수 없는 경우가 있을 수 있습니다.

각 경기에 대해 다음이 표시됩니다.

• 유형: exact 또는 fuzzy 수 있습니다. exact 는 코드와 식별자가 모두 일치하는 경우에만 있습니다. 그렇지 않으면 fuzzy 입니다.
• 비고: 경기가 어떻게 진행되었는지 이해하기 위한 관찰입니다. 가능한 값은 다음과 같습니다.
  
  
  
  • CODE_MATCH : 대소문자를 무시하지 않음
  
  
  • IDENTIFIER_MATCH : 대소문자를 무시하지 않음
  
  
  • ALTERNATIVE_CODE_MATCH : 대소문자를 무시하지 않음
  
  
  • NAME_MATCH : 대소문자를 무시하고 악센트와 공백을 제거하지만 접두사 또는 접미사 일치를 수행하지 않습니다.
  
  
  • PROBABLY_ON_LOAN : 소유자 기관과 기관이 동일하지 않을 때 발생
  
  
  • INST_COLL_MISMATCH : 매칭된 기관에 소장기관이 없을 때 발생합니다.
  
  

기관 일치 항목이 있는 경우 일치하는 기관 중 하나에 속하는 경우에만 컬렉션이 희미하게 일치합니다. 정확히 일치하는 컬렉션이 항상 반환됩니다.

다음 예를 확인하여 서비스가 어떻게 작동하는지 확인할 수 있습니다.

• http://api.gbif-dev.org/v1/grscicoll/lookup?collectionCode=herbarium 은 567개의 컬렉션을 반환합니다.
• http://api.gbif-dev.org/v1/grscicoll/lookup?collectionCode=herbarium&institutionCode=UNCA 는 1개의 기관과 1개의 컬렉션을 반환합니다.
• http://api.gbif-dev.org/v1/grscicoll/lookup?collectionCode=UNCA&institutionCode=UNCA&institutionId=gbif :ih: irn:240135 는 1개의 기관과 2개의 컬렉션을 반환합니다.
• http://api.gbif-dev.org/v1/grscicoll/lookup?collectionCode=UIIMNH&collectionId=http://grbio.org/cool/zrdp-fspx&institutionCode=K 는 INST_COLL_MISMATCH 의 예입니다.
• http://api.gbif-dev.org/v1/grscicoll/lookup?ownerInstitutionCode=MBMC&institutionCode=K 는 PROBABLY_ON_LOAN 의 예입니다.

@MortenHofft @timrobertson100 제가 뭔가 놓치고 있는 건가요?

현재 파이프라인 에서 이미 사용된 형식에 따라 머신 태그 검사를 추가했습니다.

• 네임스페이스: processing.gbif.org
• 이름:
  
  
  
  • institutionCode : 기관 코드를 GrSciColl 기관에 매핑합니다.
  
  
  • collectionCode : 컬렉션 코드를 GrSciColl 컬렉션에 매핑합니다.
  
  
  • collectionToInstitutionCode : 컬렉션 코드를 GrSciColl 기관에 매핑합니다. 이름을 collectionCodeToInstitution (미정)로 바꾸겠습니다.
  
  
  • institutionToCollectionCode : 기관 코드를 GrSciColl 컬렉션에 매핑합니다. 이름을 institutionCodeToCollection (미정)으로 바꾸겠습니다.
  
  

태그 값은 {key}:{code} 패턴을 따라야 합니다.

좋아보이네요 - 실제 데이터에 적용되는 모습이 너무 궁금합니다.

장황하거나 말거나
종 일치에서와 같이 "상세한" 옵션이 있어야 합니까?

직원 이외의 사람이 이것을 사용한다고 상상한다면 match or none 옵션만 있으면 유용할 수 있습니다. Plazi가 기사의 컬렉션 코드에서 링크를 만드는 데 사용한다고 가정해 보겠습니다.

// plain lookup - not verbose - will at most return one institution and one collection.
{
  institutionMatch: {
    matchType: 'NONE'
  },
  {
    collectionMatch: {
      matchType: 'FUZZY',
      reasons: ['SAME_NAME', 'SAME_CODE', 'SAME_COUNTRY'],
      entity: {
        ...
      }
    }
  }
}

// verbose option
// could be like the one running in dev
{
  "institutionMatches": [],
  "collectionMatches": [
    ...
  ]
}

명명에
종 일치 API는 $#$ type matchType 를 사용하고 클러스터는 $# remarks reasons 를 사용합니다.

실제 데이터
실제 데이터에서 실행하기 전에 기관 코드/ID colelctionCode/ID의 상위 500개 조합을 확인하고 그 중 일부를 수동으로 평가하는 것이 가치가 있는지 궁금합니다. 우리는 뭔가를 배울 수 있습니다 (예를 들어 ID와 코드를 뒤집을 필요가 있다고 가정)

매치를 구성하는 것은 무엇입니까?
이것이 언제 경기를 촉발할 것이라고 생각하십니까?

• 정확히만?
• 흐릿하지만 단 하나의 결과
• 정확한 기관이지만 하나의 퍼지 컬렉션만 있습니까?

명확성으로서의 국가
국가를 검색 매개변수로 추가하는 것이 의미가 있습니까? 항목을 인덱싱할 때 예를 들어 2개의 컬렉션 일치가 있는 경우 명확하게 하기 위해 게시자의 국가를 추가할 수 있습니까? 아니면 소비자가 결과를 반복하는 것이 더 낫습니까?

방금 전에 가지고 있던 csv 추출을 기반으로 일치를 시도했습니다.
csv는 각각에 대한 발생 횟수가 있는 고유한 institutionId, institutionCode, datasetKey, publisherKey 입니다.

2500번이 넘는 항목을 가져와서 서비스와 일치시키려고 했습니다.

105,871,241 occurrences had a single match
 24,553,278 with an exact singular match
 27,113,941 occurrences had multiple matches
 34,998,066 occurrences had no match

2,374 combinations was tested against the service (multiple can be the same since it included dataset and publisher)

나쁘지 않은 시작입니다. 나는 경기의 질을 평가하지 않았다.

_무엇이 매치를 구성합니까?_
이것이 언제 경기를 촉발할 것이라고 생각하십니까?

• 정확히만?
• 흐릿하지만 단 하나의 결과
• 정확한 기관이지만 하나의 퍼지 컬렉션만 있습니까?

이것은 1개의 일치만 표시하는 장황하지 않은 버전을 의미합니까?

다음과 같을 수 있습니다.

• 기관용
  
  
  
  • 정확히 하나의 일치만
  
  
  • 단 하나의 퍼지 일치
  
  
• 컬렉션용
  
  
  
  • 정확히 하나의 일치만
  
  
  • 기관 일치가 있는 경우 기관이 일치하는 기관과 동일한 퍼지 일치 하나만
  
  
  • 기관 일치가 없으면 하나의 퍼지 일치만
  
  

전체 경기 상태도 제공해야 한다고 생각하십니까?

_무엇이 매치를 구성합니까?_
이것이 언제 경기를 촉발할 것이라고 생각하십니까?

• 정확히만?
• 흐릿하지만 결과는 하나뿐입니다.
• 정확한 기관이지만 하나의 퍼지 컬렉션만 있습니까?

이것은 우리가 단 1개의 일치만 표시하는 장황하지 않은 버전을 의미합니까?

발생에 GrSciColl ID를 할당하기 위해 파이프라인에서 사용할 때를 의미했습니다. 나는 이 서비스가 결정과 모든 논리를 포함한다고 상상했습니다. 다른 조회 서비스에서는 어떻게 작동합니까?

그것은 당신이 일치하는 모든 ID를 발생 색인에 추가하는 것을 고려했다고 이전에 언급했던 것을 상기시킵니다.
2가지 가능한 버전이 있다고 생각합니다.

• 가능한 모든 후보를 추가합니다. 이는 UI나 사용자에게 효과적으로 부담을 줍니다. 그리고 동일한 표본이 여러 컬렉션에 나타납니다.
• 하나의 확실한 경기가 있을 때만 링크를 추가하십시오. 서비스는 진술에 대한 책임을 집니다. 우리는 더 적은 수를 맞출 수 있을 것입니다.

저는 버전 2를 선호합니다. 1개의 일치하는 일치 항목이 있을 때만 발생에 GrSciColl ID를 추가합니다. 일치하는 후보의 배열이 아닙니다. 더 많은 일치 항목을 원하면 게시자에게 GrSciColl 또는 발생 항목에 더 나은 식별자를 추가하도록 요청합니다. 또는 경우에 따라 데이터 세트에 기계 태그를 추가합니다.

모든 후보를 인덱싱하는 것이 유용한 경우 별도의 필드를 고려할 수 있습니까?

서비스가 플래그를 반환해야 합니다. 퍼지 컬렉션 코드 일치. 컬렉션 코드가 일치하지 않습니다. 종 매칭 서비스와 유사합니다.

다음 플래그를 생각할 수 있습니다.

• AMBIGUOUS_INSTITUTION : 1개 이상의 기관이 발견되었으며 동점을 깰 수 없습니다.
• AMBIGUOUS_COLLECTION : 위와 동일하지만 컬렉션용
• FUZZY_INSTITUTION_MATCH : 1개 기관이 일치하지만 흐릿함
• FUZZY_COLLECTION_MATCH : 위와 동일하지만 컬렉션용
• INSTITUTION_NAME_USED : institutionCode 필드에는 코드 대신 기관 이름이 포함됩니다.
• OWNER_INSTITUTION_NAME_USED : 위와 같지만 소유자 기관용
• COLLECTION_NAME_USED : 위와 동일하지만 컬렉션용
• NO_COLLECTION_CODE_MATCH : 제공된 코드가 일치하지 않음
• NO_INSTITUTION_CODE_MATCH : 위와 동일
• NO_COLLECTION_ID_MATCH : 제공된 ID가 일치하지 않습니다.
• NO_INSTITUTION_ID_MATCH : 위와 동일
• INSTITUTION_COLLECTION_MISMATCH : 찾은 컬렉션이 일치하는 기관에 속하지 않습니다.

편집: INSTITUTION_NAME_USED 항목은 제거할 수 있으며 이러한 경우에는 FUZZY_INSTITUTION_MATCH 만 사용할 수 있습니다. 게시자에게 더 유용한 것이 무엇인지 모르겠습니다.

저는 그것을 좋아합니다. 많은 퍼블리셔들이 이러한 플래그를 높이 평가하고 그에 따라 행동하는 것이 제 인상입니다. 이렇게 하면 데이터를 수정하고 일치를 개선할 수 있는 통찰력을 얻을 수 있습니다.

이제 서비스는 다음과 같은 응답을 반환합니다.

{
  "institutionMatch": {
    ...
  },
  "collectionMatch": {
    ...
  },
  alternativeMatches { 
    institutionMatches: []
    collectionMatches: []
  }
}

대체 일치 항목은 verbose 매개변수가 true로 설정된 경우에만 표시됩니다. 퍼지 일치는 성능상의 이유로 20개의 결과로 제한됩니다.

관계를 끊는 데 사용되는 Country 매개변수도 추가되었습니다. http://api.gbif-dev.org/v1/grscicoll/lookup?institutionCode=BR&country=BE&verbose=true

다음 조건 중 하나라도 충족되면 일치가 발생합니다.

• 기계 태그 일치가 1개뿐입니다.
• 정확히 일치하는 항목이 1개뿐입니다.
• 정확히 일치하는 항목이 여러 개 있지만 수신된 국가 매개변수와 일치하는 항목은 하나만 있습니다.
• 퍼지 일치가 1개뿐입니다.
• 퍼지 일치 항목이 여러 개 있지만 최소한 코드 또는 ID와 하나 이상의 필드(이름 또는 대체 코드)와 일치하는 항목이 하나만 있습니다.
• 퍼지 일치 항목이 여러 개 있지만 수신된 국가 매개변수와 일치하는 항목은 하나만 있습니다.

또한 소유자 기관이 기관과 다른 기관은 일치하는 것으로 간주되지 않습니다. 또한 기관이 기관에서 승인한 일치 항목과 일치하지 않는 컬렉션도 일치 항목으로 간주되지 않습니다.

플래그를 추가하지 않았지만 대신 상태 필드를 추가했습니다.

• ACCEPTED : 수락된 일치
• AMBIGUOUS : 1개 이상의 결과가 발견되었으며 동점을 깰 수 없습니다.
• AMBIGUOUS_MACHINE_TAGS : 위와 같지만 기계 태그가 일치합니다.
• AMBIGUOUS_OWNER : 결과가 있지만 기관 소유자와 일치하지 않으므로 대출 수집에 연결하지 않도록 건너뜁니다.
• AMBIGUOUS_INSTITUTION_MISMATCH : 일치하지 않는 일치 항목이 있지만 일치하는 기관에 속하지 않음
• DOUBTFUL : 찾은 일치 항목이 흐림

나머지 플래그는 일치의 reasons 필드에서 유추할 수 있습니다. 파이프라인의 이 필드에서 문제를 설정할 수 있습니다.

1000개 이상의 레코드에 있는 다음 필드의 PROD 조합 데이터에서 추출했습니다.

• v_institutionid
• v_institutioncode
• v_ownerinstitutioncode
• v_collectioncode
• v_collectionid
• datasetkey

또한 데이터 세트의 발행 기관에서 국가를 가져왔습니다.

그런 다음 UAT의 조회 서비스에 전달했습니다. 결과는 이 스프레드시트 에 있습니다.