Detectron: cocoデータセットに拡張するための「セグメンテーション」のRLEまたはポリゴン形式

同様の問題がありました。lib/ utils / segms.pyの一部の関数は、セグメンテーションが「ポリ」形式であり、RLEで提供されると壊れることを想定しています。
不便ですが、混雑していない地域（iscrowd = 0）の仕様に沿っているようです。

セグメンテーション形式は、インスタンスが単一のオブジェクトを表すか（iscrowd = 0の場合はポリゴンが使用されます）、オブジェクトのコレクションを表すか（iscrowd = 1の場合はRLEが使用されます）によって異なります。

[1] http://cocodataset.org/#download 、セクション「4.1。オブジェクトインスタンスの注釈」

私にとっての回避策は、本質的に（x、y）頂点のリストである「ポリ」形式に変換することでした。

-リーシャ。

2. 2018年2月には、6時41分で、胡Xinguiの[email protected]は書きました：

こんにちはDetectron、

最近、カスタムcocoデータを追加してDetectronを実行しようとしましたが、次の問題が発生しました。
（1）以下のようなココデータの「セグメンテーション」。

{"セグメンテーション"：[[499.71、397.28、...... 342.71、172.31]]、 "area"：43466.12825、 "iscrowd"：0、 "image_id"：182155、 "bbox"：[338.89、51.69、 205.82、367.61]、 "category_id"：1、 "id"：1248258}、

{"セグメンテーション"：{"カウント"：[66916、6、587、..... 1、114303]、 "サイズ"：[594、640]}、 "エリア"：6197、 "iscrowd"：1、 "image_id"：284445、 "bbox"：[112、322、335、94]、 "category_id"：1、 "id"：9.001002844e + 11}、
「セグメンテーション」の最初の形式はポリゴンであり、2番目の形式はRLE形式のエンコード/デコードが必要です。

上記のフォーマットはDetectronで実行できます。

（2）新しいカテゴリを追加し、coco api encode（）/ decode（）マスクを介して「セグメンテーション」フィールドの新しいRLE形式を生成しました。
このようなデータを生成しました。

"分割"：[{ "カウント"： "MNG = 1fb02O1O1O001N2O001O1O0O2O1O1O001N2O001O1O0O2O1O001O1O1O010000O01000O010000O01000O01000O01000O01N2N2M2O2N2N1O2N2O001O10O B000O10O1O001 ^ OQ ^ O9Pb0EQ ^ O; Wb0OO01O1O1O001O1N2N`jT3？"、 "サイズ"：[600,1000]}]

太字の文字は、MatterPortのMask-RCNNへの実装で実行できますが、元のcoco「セグメンテーション」json形式とは異なることがわかりました。

また、要件を満たすためにいくつかのDetectronのコードを変更しようとしましたが、多くのコードを変更する必要があるため、非常に困難でした。

カスタムデータを実行するための提案をお願いします。

ありがとう。

—
このスレッドにサブスクライブしているため、これを受け取っています。
このメールに直接返信するか、GitHubで表示するか、スレッドをミュートしてください。

@amokeev 、回避策として「RLE」を「poly」形式に変換する方法は？

@amokeev 、セグメンテーションの数は（x、y）頂点ですか？ 例えば「66916」、多数！ もう1つは、RLE形式で「iscrowd」を「1」に設定したにもかかわらず、Detectronで実行できなかったことです。

polyは、[[x1、y1、x2、y2…xN、yN]、…[x1、y1、x2、y2…xN、yN]]のように、頂点によって定義されるポリゴンのリストとして解釈します。ここで、座標は次のとおりです。画像と同じ縮尺。
このようにエンコードされたマスクは、CocoAPIによって正しく表示されます[1]。

しかし、あなたは「公式の」答えを得たいと思うかもしれません。

[1] https://github.com/cocodataset/cocoapi https://github.com/cocodataset/cocoapi

2. 2018年2月には、午前9時18分で、胡Xinguiの[email protected]は書きました：

@amokeev https://github.com/amokeev 、セグメンテーションの数は（x、y）頂点ですか？ 例えば「66916」、多数！ もう1つは、RLE形式で「iscrowd」を「1」に設定したにもかかわらず、Detectronで実行できなかったことです。

—
あなたが言及されたのであなたはこれを受け取っています。
このメールに直接返信するか、GitHub https://github.com/facebookresearch/Detectron/issues/100#issuecomment-362516928で表示するか、スレッドをミュートしますhttps://github.com/notifications/unsubscribe-auth/AFlh63ObnXg- DcaDKwIi3pB4Ppig464Hks5tQsTkgaJpZM4R2tN3 。

@topcomma
たぶん、マスクをポリゴンに変換してみることができます。

labels_info = []
for mask in mask_list:
    # opencv 3.2
    mask_new, contours, hierarchy = cv2.findContours((mask).astype(np.uint8), cv2.RETR_TREE,
                                                        cv2.CHAIN_APPROX_SIMPLE)
    # before opencv 3.2
    # contours, hierarchy = cv2.findContours((mask).astype(np.uint8), cv2.RETR_TREE,
    #                                                    cv2.CHAIN_APPROX_SIMPLE)
    segmentation = []

    for contour in contours:
        contour = contour.flatten().tolist()
        # segmentation.append(contour)
        if len(contour) > 4:
            segmentation.append(contour)
    if len(segmentation) == 0:
        continue
    # get area, bbox, category_id and so on
    labels_info.append(
        {
            "segmentation": segmentation,  # poly
            "area": area,  # segmentation area
            "iscrowd": 0,
            "image_id": index,
            "bbox": [x1, y1, bbox_w, bbox_h],
            "category_id": category_id,
            "id": label_id
        },
    )

@amokeev 、
@Sundrops

あなたの提案をありがとう。
しようとします。

@Sundrops 、変換する方法として、「ポリ」リストの結果を取得できます。 どうもありがとうございました！でも、COCO jsonファイルの座標が「66916」や「1」のように大きい/小さい理由がまだわかりません。

@topcomma COCOアノテーションには、2種類のセグメンテーションアノテーションがあります

1. ポリゴン（オブジェクトインスタンス）[[499.71、397.28、...... 342.71、172.31]]頂点
2. 非圧縮RLE（群集）。 "セグメンテーション"：{"カウント"：[66916、6、587、..... 1、114303]、 "サイズ"：[594、640]}、66916はラベル0の数を表します。

ポリゴンと非圧縮RLEは、MaskApiを使用してコンパクトRLE形式に変換されます。
コンパクトなRLEフォーマット：
セグメンテーション "：[{" カウント "： "？MNG = 1fb02O1O1O001N2O001O1O0O2O1O1O001N2O001O1O0O2O1O001O1O1O010000O01000O010000O01000O01000O01000O01N2N2M2O2N2N1O2N2O001O10O B000O10O1O001 ^ OQ ^ O9Pb0EQ ^ O; Wb0OO01O1O1O001O1N2N`jT3"、" サイズ」：[600,1000]}]

@Sundrops 、
多大なるご協力をありがとうございます。
私のカスタムココのようなデータは、Detectronでトレーニングできるようになりました。

@topcomma 、
私はあなたと同じ問題を抱えています。
Sundropsの方法として、マスクをポリゴンに変換するファイルが見つかりません。
どのファイルを教えていただけますか？ありがとうございます！

@ lg12170226 、
coco stuff（https://github.com/nightrome/cocostuff）pythonコードを参照して、自分で実装することができます。
コードベースには、関連する注釈のファイルはありません。

@topcomma ：生の画像とNラベル画像があります。 各ラベルは1つのファイルに保存されているので、ラベル用にN画像があります。 自分のデータセットでMaskRCNNをトレーニングしたいので、最初にCOCO形式に変換する必要があります。 コードをCOCOスタイルに変換する方法を教えてください。 ありがとう

圧縮されたRLEをポリ/非圧縮のRLEに変換する方法があるかどうか疑問に思っていますか？

@realwecan pycocotools.mask.decodeを使用してRLEをデコードした後、opencvを使用してポリゴンを生成するための実装を確認できます。

coco-json-converter

@hazirbas ：コードをありがとう。 インスタンスのセグメント化を含むDavis2017を使用してみませんか？ このmaskrcnn実装を使用するために、コードを使用してDavis 2017をcoco形式に変換できますか？

@ John1231983分割ファイルと、db_info.ymlファイルを読み取るために、それに応じてスクリプトを変更する必要があります。 私自身の研究のために、DAVIS2016で必要でした。

ポリゴンを生成するための別のソリューションですが、 skimage代わりにopencv skimage使用します。

import json
import numpy as np
from pycocotools import mask
from skimage import measure

ground_truth_binary_mask = np.array([[  0,   0,   0,   0,   0,   0,   0,   0,   0,   0],
                                     [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0],
                                     [  0,   0,   0,   0,   0,   1,   1,   1,   0,   0],
                                     [  0,   0,   0,   0,   0,   1,   1,   1,   0,   0],
                                     [  0,   0,   0,   0,   0,   1,   1,   1,   0,   0],
                                     [  0,   0,   0,   0,   0,   1,   1,   1,   0,   0],
                                     [  1,   0,   0,   0,   0,   0,   0,   0,   0,   0],
                                     [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0],
                                     [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0]], dtype=np.uint8)

fortran_ground_truth_binary_mask = np.asfortranarray(ground_truth_binary_mask)
encoded_ground_truth = mask.encode(fortran_ground_truth_binary_mask)
ground_truth_area = mask.area(encoded_ground_truth)
ground_truth_bounding_box = mask.toBbox(encoded_ground_truth)
contours = measure.find_contours(ground_truth_binary_mask, 0.5)

annotation = {
        "segmentation": [],
        "area": ground_truth_area.tolist(),
        "iscrowd": 0,
        "image_id": 123,
        "bbox": ground_truth_bounding_box.tolist(),
        "category_id": 1,
        "id": 1
    }

for contour in contours:
    contour = np.flip(contour, axis=1)
    segmentation = contour.ravel().tolist()
    annotation["segmentation"].append(segmentation)

print(json.dumps(annotation, indent=4))

「iscrowd：1」「counts」フィールドで使用するために、バイナリマスクまたはエンコードされたRLEを非圧縮RLEにどのように変換しますか？

skimageを使用したコードでの@waspinatorセグメンテーションは、
これらの2つの結果は両方とも正しいですか、これら2つの結果は両方ともDetectronで使用できますか？ アドバイスをお願いします、ありがとうございます。 @waspinator @Sundrops

skimageでコードを使用した結果：

{"セグメンテーション"：[[0.0、252.00196078431372、1.0、252.00196078431372、2.0、252.00196078431372、3.0、252.00196078431372、4.0、252.00196078431372、5.0、252.00196078431372、6.0、252.00196078431372、7.0、252.00196078431372、8.0、252.00196078431 、11.0、252.00196078431372、12.0、252.00196078431372、13.0、252.00196078431372、14.0、252.00196078431372、15.0、252.00196078431372、16.0、252.00196078431372、17.0、252.00196078431372、18.0、252.00196078431372、19.0、252.001960 、252.00196078431372、24.0、252.00196078431372、25.0、252.00196078431372、26.0、252.00196078431372、27.0、252.00196078431372、28.0、252.00196078431372、29.0、252.00196078431372、30.0、252.00196078431372、31.0、252.00196078431 、36.0、252.00196078431372、37.0、252.00196078431372、38。 0、252.00196078431372、39.0、252.00196078431372、40.0、252.00196078431372、41.0、252.00196078431372、42.0、252.00196078431372、43.0、252.00196078431372、44.0、252.00196078431372、45.0、252.00196078431372、46.0、252.00196078431 252.00196078431372、51.0、252.00196078431372、52.0、252.00196078431372、53.0、252.00196078431372、54.0、252.00196078431372、55.0、252.00196078431372、56.0、252.00196078431372、57.0、252.00196078431372、58.0、252.00196078431372、 63.0、252.00196078431372、64.0、252.00196078431372、65.0、252.00196078431372、66.0、252.00196078431372、67.0、252.0019607431372、68.0、252.00196078431372、69.0、252.00196078431372、70.0、252.00196078431372、71.0、252.00196078 252.00196078431372、76.0、252.00196 078431372、77.0、252.00196078431372、78.0、252.00196078431372、79.0、252.00196078431372、80.0、252.00196078431372、81.0、252.00196078431372、82.0、252.00196078431372、83.0、252.00196078431372、84.0、252.00196078431372、85.0、 89.0、252.00196078431372、90.0、252.00196078431372、91.0、252.00196078431372、92.0、252.00196078431372、93.0、252.00196078431372、93.00196078431372、252.0、94.0、251.0019607431372、95.0、251.00196078431372、96.0 ..

cv2を使用した

[94、252、93、253、0、253、0、286、188、286、188、269、187、268、187、252]

@Kongsea @Sundrops cv2の実装はテストしていませんが、基本的な考え方は同じである必要があります。 形状を記述するために使用できる点のセットが無限にあるため、それらは異なる結果を生成します。 しかし、そうでなければ、両方とも機能するはずです。 cv2をインストールしていなかったので、それを必要としないものを書きました。

@ Kongsea @ waspinatorコードをテストしました。 できます。

ありがとう@ Sundrops @ waspinator 。
やってみます。

@waspinatorセグメンテーションポリ頂点をRLEに変換する方法はありますか？ 私のターゲットはiscrowd = 1になります

@Sundropsなぜコードのこの部分にコメントしたのですか？

# if len(contour) > 4:
    #     segmentation.append(contour)
# if len(segmentation) == 0:
#     continue

私たちは確かにそのような場合に対処する必要がありますよね？

@ Yuliang-Zou Detectronの輪郭が使用されている場合は、この部分のコメントを解除する必要があります。 len（contour）== 4の場合、Detectronはそれを長方形として扱うためです。 以前のコードを更新しました。

@Sundropsありがとう。 しかし、それでもlen(contour)==2を処理する必要がありますよね？

@ Yuliang-Zouはい。ただし、コードif len(contour) > 4:はハンドルlen(contour)==2とlen(contour)==4ます。

@Sundropsなるほど、ありがとう！

COCOスタイルのデータセットの作成に役立つライブラリと記事を作成しました。

https://patrickwasp.com/create-your-own-coco-style-dataset/

@ Sundrops ＆ @ topcomma注釈がマスクなしのセグメンテーションに含まれているため、注釈付きデータをpycocotolsにロードするのに問題があります。 pycocotoolsでマスクなしで注釈を視覚化する方法はありますか？

@Sundrops
アン：{
「セグメンテーション」：[
[312.29、562.89、402.25、511.49、400.96、425.38、398.39、372.69、388.11、332.85、318.71、325.14、295.58、305.86、269.88、314.86、258.31、337.99、217.19、321.29、182.49、 、358.55、159.36、377.83、116.95、421.53、167.07、499.92、232.61、560.32、300.72、571.89]
]、
「エリア」：54652.9556、
「iscrowd」：0、
"image_id"：480023、
「bbox」：[116.95、305.86、285.3、266.03]、
"category_id"：58、
「id」：86
}
coco-apiのmask.pyで面積を計算するにはどうすればよいですか？ ありがとうございました。
私のコードは次のとおりですが、エラーが発生します：

セグメンテーション= ann ['セグメンテーション']
bimask = np.array（セグメンテーション、dtype = np.uint8、order = 'F'）
print（ "bimask："、bimask）
rleObjs = mask.encode（bimask）
print（ "rleObjs："、rleObjs）
area = mask.area（rleObjs）
print（ "area："、area）

@manketon
たぶんあなたはcv2を試すことができますが、それが正しいかどうかはわかりません。 これは、PythonとOpenCVを使用して画像から輪郭を

def is_contour_bad(c):
    # approximate the contour
    peri = cv2.arcLength(c, True)
    approx = cv2.approxPolyDP(c, 0.02 * peri, True)
    # return True if it is not a rectangle
    return not len(approx) == 4
image = cv2.imread('xx.jpg')
contours = ann['segmentation']
mask = np.ones(image.shape[:2], dtype="uint8") * 255
# loop over the contours
for c in contours:
    # if the contour is not a rectangle, draw it on the mask
    if is_contour_bad(c):
        cv2.drawContours(mask, [c], -1, 0, -1)
area = (mask==0).sum()

@ Sundrops @ waspinator質問があります。 元のオブジェクトマスクに大きな穴がある場合、ポリゴンに変換するときに、どのように正しく変換し直す必要がありますか？ coco APIのデコードおよびマージ関数は、穴をオブジェクトの一部として扱うため、変換して戻すと、穴はマスクになります。 この場合はどうすればよいですか？

@ wangg12私が知る限り、COCOにはホールをエンコードするネイティブな方法がありません。

for contour in contours:
        contour = contour.flatten().tolist()
        segmentation.append(contour)
        if len(contour) > 4:
            segmentation.append(contour)

こんにちは@Sundrops 、コードに心から感謝します。 私はDetectronの初心者です。 等高線（リスト）の長さが4より大きい必要がある理由、つまり、長さが4より小さい場合にモデルがどうなるのか、混乱します。ある回答では、Detectronはそれを矩形。 私の考えでは、長方形のオブジェクトがあるかもしれないので、それでいいと思います。 また、1回の反復で2回輪郭を追加するのではないかと思います。 正しいコードが必要だと思います。

for contour in contours:
        contour = contour.flatten().tolist()
        if len(contour) > 4:
            segmentation.append(contour)

何か提案をいただければ幸いです。 どうもありがとうございます！

@BobZhangHTはい、1回の反復で1回輪郭を追加する必要があります。
最初の質問では、len（ann ['segmentation'] [0]）== 4の場合、cocoapiはすべてが長方形であると想定します。

# cocoapi/PythonAPI/pycocotools/coco.py
def annToRLE(self, ann):
    t = self.imgs[ann['image_id']]
    h, w = t['height'], t['width']
    segm = ann['segmentation']
    if type(segm) == list:
        rles = maskUtils.frPyObjects(segm, h, w) 
        rle = maskUtils.merge(rles)
   ......

# cocoapi/PythonAPI/pycocotools/_mask.pyx
def frPyObjects(pyobj, h, w):
    # encode rle from a list of python objects
    if type(pyobj) == np.ndarray:
        objs = frBbox(pyobj, h, w)
    elif type(pyobj) == list and len(pyobj[0]) == 4:
        objs = frBbox(pyobj, h, w)
    elif type(pyobj) == list and len(pyobj[0]) > 4:
        objs = frPoly(pyobj, h, w)
   ......

@Sundrops返信ありがとうございます！

polyは、[[x1、y1、x2、y2…xN、yN]、…[x1、y1、x2、y2…xN、yN]]のように、頂点によって定義されるポリゴンのリストとして解釈します。ここで、座標は次のとおりです。画像と同じ縮尺。 このようにエンコードされたマスクは、CocoAPI [1]によって正しく表示されますが、「公式」の回答を得たい場合があります。 [1] https://github.com/cocodataset/cocoapi https://github.com/cocodataset/cocoapi
…
2018年2月2日、09：18、Hu Xingui @ 。 * >書き込み： @amokeev https://github.com/amokeev 、セグメンテーションの数は（x、y）頂点ですか？ 例えば「66916」、多数！ もう1つは、RLE形式で「iscrowd」を「1」に設定したにもかかわらず、Detectronで実行できなかったことです。 —あなたが言及されたのであなたはこれを受け取っています。 このメールに直接返信するか、GitHub < ＃100（コメント） >で表示するか、スレッドhttps://github.com/notifications/unsubscribe-auth/AFlh63ObnXg-DcaDKwIi3pB4Ppig464Hks5tQsTkgaJpZM4R2tN3をミュートし

「iscrowd」が「1」の場合、matterport / MaskRCNNはポリゴンでのみ機能するため、RLEをポリゴンに変換するにはどうすればよいですか。 @amokeev。 pycococreatorを使用して作成されたcocoデータセットでmaskRCNNのmatterport実装を使用したいと思います。