Detectron: coco 데이터 세트로 확장하기위한 "분할"의 RLE 또는 다각형 형식

비슷한 문제가있었습니다. lib / utils / segms.py의 일부 함수는 세그먼트가 "폴리"형식으로되어 있고 RLE에서 제공 될 때 중단 될 것으로 예상합니다.
불편하지만 혼잡하지 않은 지역 (iscrowd = 0) 사양에 부합하는 것 같습니다.

세분화 형식은 인스턴스가 단일 개체 (폴리곤이 사용되는 경우 iscrowd = 0) 또는 개체 컬렉션 (RLE이 사용되는 경우 iscrowd = 1)을 나타내는 지 여부에 따라 다릅니다.

[1] http://cocodataset.org/#download , 섹션 "4.1. 객체 인스턴스 주석"

나를위한 해결 방법은 본질적으로 (x, y) 꼭짓점 목록 인 "poly"형식으로 변환하는 것이 었습니다.

-레샤.

2018 년 2 월 2 일 06:41에 Hu Xingui [email protected] 은 다음과 같이 썼습니다.

안녕 디텍 트론,

최근에 Detectron을 실행하기 위해 사용자 지정 coco 데이터를 추가하려고했는데 다음과 같은 문제가 발생했습니다.
(1) 아래와 같은 coco 데이터의 "분할",

{ "세그먼트": [[499.71, 397.28, ...... 342.71, 172.31]], "area": ​​43466.12825, "iscrowd": 0, "image_id": 182155, "bbox": [338.89, 51.69, 205.82, 367.61], "category_id": 1, "id": 1248258},

{ "segmentation": { "counts": [66916, 6, 587, ..... 1, 114303], "size": [594, 640]}, "area": ​​6197, "iscrowd": 1, "image_id": 284445, "bbox": [112, 322, 335, 94], "category_id": 1, "id": 9.001002844e + 11},
'세그먼트'의 첫 번째 형식은 다각형이고 두 번째 형식은 RLE 형식을 인코딩 / 디코딩해야합니다.

위의 형식은 Detectron에서 실행할 수 있습니다.

(2) 새로운 카테고리를 추가하고 coco api encode () / decode () 마스크를 통해 "분할"필드에 대한 새로운 RLE 형식을 생성했습니다.
나는 이와 같은 데이터를 생성했습니다.

"분할": [{ "카운트" "= MNG 1fb02O1O1O001N2O001O1O0O2O1O1O001N2O001O1O0O2O1O001O1O1O010000O01000O010000O01000O01000O01000O01N2N2M2O2N2N1O2N2O001O10O B000O10O1O001 ^ OQ ^ O9Pb0EQ ^ O; Wb0OO01O1O1O001O1N2N`jT3?", "크기": 600,1000]}]

굵게 표시된 문자는 원래 coco "세그멘테이션"json 형식과 다르지만, MatterPort의 Mask-RCNN 구현에서 실행할 수 있습니다.

또한 내 요구 사항을 충족시키기 위해 일부 Detectron의 코드를 수정하려고했지만 많은 코드를 변경해야하므로 매우 어렵습니다.

내 사용자 지정 데이터를 실행하기위한 몇 가지 제안을 해주시겠습니까?

감사.

—
이 스레드를 구독했기 때문에이 메시지가 전송되었습니다.
이 이메일에 직접 답장하거나 GitHub에서 보거나 스레드를 음소거하십시오.

@amokeev , "RLE"를 "poly"형식으로 변환하여 해결 방법으로

@amokeev , 세분화의 숫자가 (x, y) 꼭지점입니까? 예를 들어 "66916", 많은 수! RLE 형식에 대해 "iscrowd"를 "1"로 설정했지만 Detectron에서 실행할 수 없습니다.

저는 poly를 [[x1, y1, x2, y2… xN, yN],… [x1, y1, x2, y2… xN, yN]]과 같이 꼭짓점으로 정의 된 다각형 목록으로 해석합니다. 여기서 좌표는 이미지와 같은 크기입니다.
이렇게 인코딩 된 마스크는 CocoAPI [1]에 의해 올바르게 표시됩니다.

그러나 "공식적인"답변을 원할 수 있습니다.

[1] https://github.com/cocodataset/cocoapi https://github.com/cocodataset/cocoapi

2018 년 2 월 2 일 09:18에 Hu Xingui [email protected] 은 다음과 같이 썼습니다.

@amokeev https://github.com/amokeev , 세분화의 숫자가 (x, y) 꼭짓점입니까? 예를 들어 "66916", 많은 수! RLE 형식에 대해 "iscrowd"를 "1"로 설정했지만 Detectron에서 실행할 수 없습니다.

—
당신이 언급 되었기 때문에 이것을 받고 있습니다.
이 이메일에 직접 답장하거나 GitHub https://github.com/facebookresearch/Detectron/issues/100#issuecomment-362516928 에서 보거나 https://github.com/notifications/unsubscribe-auth/AFlh63ObnXg- 스레드를 음소거합니다.

뿡뿡
마스크를 폴리로 변환 할 수 있습니다.

labels_info = []
for mask in mask_list:
    # opencv 3.2
    mask_new, contours, hierarchy = cv2.findContours((mask).astype(np.uint8), cv2.RETR_TREE,
                                                        cv2.CHAIN_APPROX_SIMPLE)
    # before opencv 3.2
    # contours, hierarchy = cv2.findContours((mask).astype(np.uint8), cv2.RETR_TREE,
    #                                                    cv2.CHAIN_APPROX_SIMPLE)
    segmentation = []

    for contour in contours:
        contour = contour.flatten().tolist()
        # segmentation.append(contour)
        if len(contour) > 4:
            segmentation.append(contour)
    if len(segmentation) == 0:
        continue
    # get area, bbox, category_id and so on
    labels_info.append(
        {
            "segmentation": segmentation,  # poly
            "area": area,  # segmentation area
            "iscrowd": 0,
            "image_id": index,
            "bbox": [x1, y1, bbox_w, bbox_h],
            "category_id": category_id,
            "id": label_id
        },
    )

@amokeev ,
뿡뿡

제안 해 주셔서 감사합니다.
시도 할 것이다.

@Sundrops , 변환 방법으로 "poly"목록의 결과를 얻을 수 있습니다. 대단히 감사합니다! 그런데도 COCO json 파일의 좌표가 "66916"또는 "1"과 같이 크고 작은 숫자 인 이유를 아직 모릅니다.

@topcomma COCO 주석에는 두 가지 유형의 세분화 주석이 있습니다.

1. 다각형 (객체 인스턴스) [[499.71, 397.28, ...... 342.71, 172.31]] 꼭지점
2. 압축되지 않은 RLE (군중). "segmentation": { "counts": [66916, 6, 587, ..... 1, 114303], "size": [594, 640]}, 66916은 레이블 0의 수를 나타냅니다.

다각형 및 압축되지 않은 RLE는 MaskApi를 사용하여 압축 RLE 형식으로 변환됩니다.
컴팩트 RLE 형식 :
분할 ": [{"카운트 ""= MNG 1fb02O1O1O001N2O001O1O0O2O1O1O001N2O001O1O0O2O1O001O1O1O010000O01000O010000O01000O01000O01000O01N2N2M2O2N2N1O2N2O001O10O B000O10O1O001 ^ OQ ^ O9Pb0EQ ^ O; Wb0OO01O1O1O001O1N2N`jT3 ","크기 ": [600,1000]}]

@Sundrops ,
큰 도움을 주셔서 감사합니다.
이제 Detectron에서 사용자 지정 Coco와 유사한 데이터를 학습 할 수 있습니다.

@topcomma ,
나는 u와 같은 문제가 있습니다.
Sundrops의 방법으로 마스크를 폴리로 변환하는 파일을 찾을 수 없습니다.
어떤 파일인지 말씀해 주시겠습니까? 정말 감사합니다!

@ lg12170226 ，
coco stuff (https://github.com/nightrome/cocostuff) 파이썬 코드를 참조하여 직접 구현할 수 있습니다.
코드베이스에는 관련 주석의 파일이 없습니다.

@topcomma : 원본 이미지와 N 레이블 이미지가 있습니다. 각 레이블은 단일 파일에 저장되므로 레이블에 대한 N 이미지가 있습니다. 내 데이터 세트에서 Mask RCNN을 훈련시키고 싶기 때문에 먼저 COCO 형식으로 변환해야합니다. 코드를 COCO 스타일로 변환하는 방법을 공유해 주시겠습니까? 감사

압축 된 RLE를 폴리 / 압축되지 않은 RLE로 변환하는 방법이 있는지 궁금하십니까?

pycocotools.mask.decode로 RLE를 디코딩 한 후 @realwecan에서 opencv로 다각형을 생성하도록 구현을 확인할 수 있습니다.

coco-json-converter

@hazirbas : 코드 주셔서 감사합니다. 인스턴스 분할이 포함 된 Davis 2017을 사용하지 않는 이유는 무엇입니까? 이 maskrcnn 구현을 사용하기 위해 코드를 사용하여 Davis 2017을 coco 형식으로 변환 할 수 있습니까?

@ John1231983 분할 파일과 db_info.yml 파일을 읽기 위해 스크립트를 적절히 수정해야합니다. 내 연구를 위해 DAVIS 2016에 필요했습니다.

다각형을 생성하지만, 사용하는 또 다른 방법 skimage 대신 opencv .

import json
import numpy as np
from pycocotools import mask
from skimage import measure

ground_truth_binary_mask = np.array([[  0,   0,   0,   0,   0,   0,   0,   0,   0,   0],
                                     [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0],
                                     [  0,   0,   0,   0,   0,   1,   1,   1,   0,   0],
                                     [  0,   0,   0,   0,   0,   1,   1,   1,   0,   0],
                                     [  0,   0,   0,   0,   0,   1,   1,   1,   0,   0],
                                     [  0,   0,   0,   0,   0,   1,   1,   1,   0,   0],
                                     [  1,   0,   0,   0,   0,   0,   0,   0,   0,   0],
                                     [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0],
                                     [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0]], dtype=np.uint8)

fortran_ground_truth_binary_mask = np.asfortranarray(ground_truth_binary_mask)
encoded_ground_truth = mask.encode(fortran_ground_truth_binary_mask)
ground_truth_area = mask.area(encoded_ground_truth)
ground_truth_bounding_box = mask.toBbox(encoded_ground_truth)
contours = measure.find_contours(ground_truth_binary_mask, 0.5)

annotation = {
        "segmentation": [],
        "area": ground_truth_area.tolist(),
        "iscrowd": 0,
        "image_id": 123,
        "bbox": ground_truth_bounding_box.tolist(),
        "category_id": 1,
        "id": 1
    }

for contour in contours:
    contour = np.flip(contour, axis=1)
    segmentation = contour.ravel().tolist()
    annotation["segmentation"].append(segmentation)

print(json.dumps(annotation, indent=4))

바이너리 마스크 또는 인코딩 된 RLE를 "iscrowd : 1" "counts"필드에서 사용하기 위해 압축되지 않은 RLE로 어떻게 변환합니까?

skimage를 사용하는 코드로 @waspinator 세그멘테이션 은 @Sundrops 의 코드와
이 두 결과가 모두 정확하고 Detectron에서이 두 결과를 모두 사용할 수 있습니까? 제게 조언을 해주세요, 감사합니다. 트윗 담아 가기

skimage와 함께 코드를 사용한 결과 :

{ "분할"[0.0, 252.00196078431372, 1.0 252.00196078431372, 2.0 252.00196078431372, 3.0 252.00196078431372, 4.0 252.00196078431372, 5.0 252.00196078431372, 6.0 252.00196078431372, 7.0 252.00196078431372, 8.0 252.00196078431372, 9.0 252.00196078431372, 10.0 252.00196078431372 , 11.0, 252.00196078431372, 12.0, 252.00196078431372, 13.0, 252.00196078431372, 14.0, 252.00196078431372, 15.0, 252.00196078431372, 16.0, 252.00196078431372, 17.0, 252.00196078431372, 18.0, 252.00372, 252.00372. , 252.00196078431372, 24.0, 252.00196078431372, 25.0, 252.00196078431372, 26.0, 252.00196078431372, 27.0, 252.00196078431372, 28.0, 252.00196078431372, 29.0, 252.00196078431372, 30.0, 252.001960372, 30.0, 2960,372, 396031784,372,960,31.0, 3,960,372,3,2,960,31.0, 3,960,372,2,960,3 , 36.0, 252.00196078431372, 37.0, 252.00196078431372, 38. 0, 252.00196078431372, 39.0, 252.00196078431372, 40.0, 252.00196078431372, 41.0, 252.00196078431372, 42.0, 252.00196078431372, 43.0, 252.00196078431372, 44.0, 252.00196078431372, 45.0, 252.001960784,960, 2.00,372,496031372,52.00,960,372, 4,253,784,2,960,0,372, 4,253,2,960784,3 252.00196078431372, 51.0, 252.00196078431372, 52.0, 252.00196078431372, 53.0, 252.00196078431372, 54.0, 252.00196078431372, 55.0, 252.00196078431372, 56.0, 252.00196078431372, 57.0, 252.00196078431372, 52.00372784,96078431372, 52.00372, 69.01960372. 63.0, 252.00196078431372, 64.0, 252.00196078431372, 65.0, 252.00196078431372, 66.0, 252.00196078431372, 67.0, 252.00196078431372, 68.0, 252.00196078431372, 69.0, 252.00196078431372, 70.0, 252.001960372,2.00,784,960372, 7,0,372,0,0,784,3,2960,372,3,2,0,0,784,31,372,252.001,960, 72.00,78431,372, 2 252.00196078431372, 76.0, 252.00196 078431372, 77.0, 252.00196078431372, 78.0, 252.00196078431372, 79.0, 252.00196078431372, 80.0, 252.00196078431372, 81.0, 252.00196078431372, 82.0, 252.00196078431372, 83.0, 252.00196078431372, 82.00372. 89.0, 252.00196078431372, 90.0, 252.00196078431372, 91.0, 252.00196078431372, 92.0, 252.00196078431372, 93.0, 252.00196078431372, 93.00196078431372, 252.0, 94.0, 251.00196078431372, 95.0, 251.00196078431372, 96.0 ...

cv2 를 사용하는

[94, 252, 93, 253, 0, 253, 0, 286, 188, 286, 188, 269, 187, 268, 187, 252]

내가 CV2 구현 @Sundrops을 테스트하지만,하지 않은 @Kongsea 기본적인 아이디어는 동일해야합니다. 모양을 설명하는 데 사용할 수있는 점 세트가 무한히 있으므로 다른 결과를 생성합니다. 그러나 그렇지 않으면 둘 다 작동해야합니다. cv2가 설치되어 있지 않아서 필요하지 않은 것을 작성했습니다.

@Kongsea @waspinator 내 코드를 테스트했습니다. 효과가있다.

@Sundrops @waspinator 감사합니다.
나는 시도 할 것이다.

@waspinator 분할 폴리 버텍스를 RLE로 변환하는 방법이 있습니까? 내 목표는 iscrowd = 1입니다.

@Sundrops 코드에서이 부분을 주석으로

# if len(contour) > 4:
    #     segmentation.append(contour)
# if len(segmentation) == 0:
#     continue

우리는 정말로 그러한 사건을 처리해야합니다.

@ Yuliang-Zou Detectron에 윤곽선을 사용하는 경우이 부분의 주석 처리를 제거해야합니다. Detectron은 len (contour) == 4 일 때 사각형으로 처리합니다. 이전 코드를 업데이트했습니다.

@ Sundrops 감사합니다. 하지만 우리는 여전히 len(contour)==2 처리해야합니다.

@ Yuliang-Zou 예,하지만 if len(contour) > 4: 코드에는 len(contour)==2 및 len(contour)==4 핸들이 있습니다.

@Sundrops , 감사합니다!

저는 COCO 스타일 데이터 세트를 만드는 데 도움이되는 라이브러리와 기사를 작성했습니다.

https://patrickwasp.com/create-your-own-coco-style-dataset/

@Sundrops & @topcomma 내 주석이 마스크없이 세분화를 포함하기 때문에 주석이 달린 데이터를 pycocotols에로드하는 데 문제가 있습니다. pycocotools에서 마스크없이 주석을 시각화하는 방법에 대한 아이디어가 있습니까?

뿡뿡
ann : {
"분할": [
[312.29, 562.89, 402.25, 511.49, 400.96, 425.38, 398.39, 372.69, 388.11, 332.85, 318.71, 325.14, 295.58, 305.86, 269.88, 314.86, 258.31, 337.99, 217.19, 321.29, 217.19, 321.29, 217.19, 321.29 , 358.55, 159.36, 377.83, 116.95, 421.53, 167.07, 499.92, 232.61, 560.32, 300.72, 571.89]
],
"면적": 54652.9556,
"iscrowd": 0,
"image_id": 480023,
"bbox": [116.95, 305.86, 285.3, 266.03],
"category_id": 58,
"id": 86
}
coco-api에서 mask.py로 면적을 어떻게 계산할 수 있습니까? 감사합니다.
내 코드는 다음과 같지만 오류입니다.

세분화 = ann [ '세분화']
bimask = np.array (segmentation, dtype = np.uint8, order = 'F')
print ( "bimask :", bimask)
rleObjs = mask.encode (bimask)
print ( "rleObjs :", rleObjs)
영역 = mask.area (rleObjs)
print ( "area :", 면적)

뿡뿡
cv2를 사용해 볼 수는 있지만 옳은지는 모르겠습니다. Python 및 OpenCV를 사용하여 이미지에서 윤곽선 제거 의 예일뿐입니다.

def is_contour_bad(c):
    # approximate the contour
    peri = cv2.arcLength(c, True)
    approx = cv2.approxPolyDP(c, 0.02 * peri, True)
    # return True if it is not a rectangle
    return not len(approx) == 4
image = cv2.imread('xx.jpg')
contours = ann['segmentation']
mask = np.ones(image.shape[:2], dtype="uint8") * 255
# loop over the contours
for c in contours:
    # if the contour is not a rectangle, draw it on the mask
    if is_contour_bad(c):
        cv2.drawContours(mask, [c], -1, 0, -1)
area = (mask==0).sum()

@Sundrops @waspinator 질문이 있습니다. 원래 개체 마스크에 큰 구멍이있는 경우 다각형으로 변환 할 때 어떻게 다시 올바르게 변환해야합니까? coco API의 디코딩 및 병합 기능은 구멍을 객체의 일부로 취급하므로 다시 변환하면 구멍이 마스크가됩니다. 이 경우 어떻게해야합니까?

@ wangg12 내가 아는 한 COCO에는 구멍을 인코딩하는 기본 방법이 없습니다.

for contour in contours:
        contour = contour.flatten().tolist()
        segmentation.append(contour)
        if len(contour) > 4:
            segmentation.append(contour)

안녕하세요 @Sundrops , 귀하의 코드에 대해 진심으로 감사드립니다. 저는 Detectron의 초보자입니다. 컨투어의 길이 (목록)가 4보다 커야하는 이유, 즉 길이가 4보다 작을 때 모델에 어떤 일이 발생하는지 혼란스러워합니다. 답변 중 하나가 Detectron이 직사각형. 제 생각에는 직사각형 모양의 물체가있을 수 있으니 괜찮다고 생각합니다. 또한 한 번에 두 번 윤곽선을 추가했는지 궁금합니다. 올바른 코드가되어야한다고 생각합니다.

for contour in contours:
        contour = contour.flatten().tolist()
        if len(contour) > 4:
            segmentation.append(contour)

저에게 몇 가지 제안을 해주시면 대단히 감사하겠습니다. 정말 고맙습니다!

@BobZhangHT 예, 한 번에 한 번 윤곽을 추가해야합니다.
첫 번째 질문에서 len (ann [ 'segmentation'] [0]) == 4이면 cocoapi는 모두 직사각형이라고 가정합니다.

# cocoapi/PythonAPI/pycocotools/coco.py
def annToRLE(self, ann):
    t = self.imgs[ann['image_id']]
    h, w = t['height'], t['width']
    segm = ann['segmentation']
    if type(segm) == list:
        rles = maskUtils.frPyObjects(segm, h, w) 
        rle = maskUtils.merge(rles)
   ......

# cocoapi/PythonAPI/pycocotools/_mask.pyx
def frPyObjects(pyobj, h, w):
    # encode rle from a list of python objects
    if type(pyobj) == np.ndarray:
        objs = frBbox(pyobj, h, w)
    elif type(pyobj) == list and len(pyobj[0]) == 4:
        objs = frBbox(pyobj, h, w)
    elif type(pyobj) == list and len(pyobj[0]) > 4:
        objs = frPoly(pyobj, h, w)
   ......

@Sundrops 답장을 보내 주셔서 감사합니다!

저는 poly를 [[x1, y1, x2, y2… xN, yN],… [x1, y1, x2, y2… xN, yN]]과 같이 꼭짓점으로 정의 된 다각형 목록으로 해석합니다. 여기서 좌표는 이미지와 같은 크기입니다. 이렇게 인코딩 된 마스크는 CocoAPI [1]에 의해 올바르게 표시되지만 "공식적인"답변을 얻고 싶을 수도 있습니다. [1] https://github.com/cocodataset/cocoapi https://github.com/cocodataset/cocoapi
…
2018 년 2 월 2 일 09:18에 Hu Xingui @ . * > 썼습니다 : @amokeev https://github.com/amokeev , 세분화의 숫자가 (x, y) 꼭지점입니까? 예를 들어 "66916", 많은 수! RLE 형식에 대해 "iscrowd"를 "1"로 설정했지만 Detectron에서 실행할 수 없습니다. — 귀하가 멘션 되었기 때문에 수신 한 것입니다. 이 이메일에 직접 회신하거나 GitHub < # 100 (comment) >에서 보거나 https://github.com/notifications/unsubscribe-auth/AFlh63ObnXg-DcaDKwIi3pB4Ppig464Hks5tQsTkgaJpZM4R2tN3 스레드를 음소거

matterport / MaskRCNN이 다각형에서만 작동하기 때문에 "iscrowd"가 "1"일 때 RLE를 다각형으로 변환하려면 어떻게해야합니까? @amokeev. pycococreator를 사용하여 만든 coco 데이터 세트와 함께 maskRCNN의 matterport 구현을 사용하고 싶습니다.