https://github.com/thtrieu/darkflow/blob/master/darkflow/utils/box.py 에는 두 이미지 간의 겹침을 평가하거나 계산하는 데 필요한 기본 구현이 있습니다. 필요에 따라 수정하고 클래스 및 box_iou 확률의 곱으로 평균 평균 정밀도를 계산할 수 있습니다.

전에 해본 사람 없나요?
아무도 정확도를 테스트하지 않습니까?
왜 그런 중요한 것들이 아직 구현되지 않았는지 모르겠습니다.
없는 경우 이 기능을 직접 구현하고 영원히 커밋해야 할 수도 있습니다.

나는 또한 이 기능에 관심이 있을 것입니다.

@off99555 , 나는이 사람이 F1 점수에서 작업하는 것을 보았습니다.

377

안녕하세요 @off99555 , 저도 제 테스트 데이터에서 mAP 계산을 찾고 있습니다.
@sandeeprepakula 에 좋은 답변이 있다고 생각합니다.

당신의 도움을 주셔서 감사합니다

@andikira 아직 해보지 않았습니다. 나도 잘 모르겠다.

@off99555 님 , 이 repo https://github.com/Cartucho/mAP 를 보고 추가 폴더를 확인하고 .xml 및 .json 파일을 변환할 수 있습니다. 이 repo는 darkflow와 완벽하게 작동합니다.

@andikira @thtrieu PASCAL V0C 0712 trainval set에서 yolo2-voc 네트워크를 훈련하고 PASCAL VOC 2007 test set에서 테스트했는데 mAP 성능은 초기화를 고려하면 꽤 많은 Epoch(200~) 후에 약 52%에 불과합니다. 미리 훈련된 가중치로). 공식 성능(76.8% mAP)에 상당히 못 미치는 수준이다. 내 논문에 YOLO v2를 사용하여 내 아이디어에 실험 결과를 포함하고 싶습니다. 이유를 알 수 있는 사람이 있습니까?

이전에 그 문제를 본 적이 있습니다. @bareblackfoot 다른 문제를 확인하십시오.

@andikira mAP repo는 훌륭하게 작동합니다. 거기에 대본도 기여했다. 감사합니다!

할 수 있나요

@andikira mAP repo는 훌륭하게 작동합니다. 거기에 대본도 기여했다. 감사합니다!

좀 더 구체적으로 설명해 주시겠습니까? 어떻게 작동합니까? 결과를 어떻게 얻었습니까?

@srhtyldz https://github.com/Cartucho/mAP 웹사이트로 이동하여 빠른 시작 섹션으로 이동합니다.
아이디어는 repo를 복제하고 darkflow를 사용하여 이미지를 예측한 다음 예측 파일을 mAP 폴더에 복사해야 한다는 것입니다. 또한 실제 파일을 복사합니다.
그리고 mAP repo의 README 파일에서 제안한 대로 모든 작업을 수행하면 mAP 가 단일 숫자 출력으로 표시되어야 합니다.

또한 파일을 darkflow 형식에서 해당 형식으로 변환해야 합니다. 그들은 https://github.com/Cartucho/mAP/tree/master/extra 에서 darkflow 형식을 해당 형식으로 변환하는 스크립트를 제공합니다.
README를 읽으십시오.

또한 파일을 darkflow 형식에서 해당 형식으로 변환해야 합니다. 그들은 https://github.com/Cartucho/mAP/tree/master/extra 에서 darkflow 형식을 해당 형식으로 변환하는 스크립트를 제공합니다.
README를 읽으십시오.

나는 darknet에 map 속성이 있다는 것을 알았습니다. 시도해 보셨습니까? 그들 사이에 차이가 있습니까 아니면 어느 것이 더 정확합니까?

@srhtyldz 알고리즘이 같다고 생각합니다. mAP 가 몇 가지 매개변수를 설정할 수 있는 알고리즘이라는 점을 제외하고. 일반적으로 알고리즘 작성자가 수동으로 설정합니다. 따라서 다른 숫자를 보고하는 것을 볼 수 있는 유일한 경우는 매개변수가 다를 때입니다.
숨겨진 매개변수를 이해할 수 있도록 mAP 작동 방식에 대한 설명을 읽는 것이 좋습니다.
나는 둘 다 시도했다. darkflow 에는 출력 폴더를 지정하는 옵션이 없기 때문에 나는 darknet 로 논문을 작성했습니다. 특정 폴더만 사용할 수 있는 딥 러닝 클라우드인 FloydHub 에서 코드를 실행하기 때문에 선임 프로젝트에 매우 중요합니다.

먼저 darkflow 를 mAP 와 함께 사용한 다음 나중에 출력 경로를 지정할 수 없다는 것을 알게 되어 darknet 로 전환하고 내부 mAP 계산을 사용합니다. .

그리고 가장 중요한 것은 darknet repo(AlexeyAB가 소유자인 포크 버전)의 소유자가 매우 도움이 된다는 것입니다. 그는 내가 게시한 모든 문제에 답변하여 마감일 전에 완료했습니다. 그때는 굉장히 스트레스를 많이 받았어요. 나는 그에게 매우 감사하며 논문에도 그의 이름을 썼습니다.

먼저 darkflow 를 mAP 와 함께 사용한 다음 나중에 출력 경로를 지정할 수 없다는 것을 알게 되어 darknet 로 전환하고 내부 mAP 계산을 사용합니다. .

어떤 변수를 지정하시겠습니까?

우선 사용 darkflow 와 mAP I가 전환하고 난 후에 I 출력 경로를 지정할 수 있다는 것을 찾아 있도록 darknet 및 내부 mAP 계산 .

내 의견도 darknet에 대한 것입니다. 계산 mAP에 의해서만 임계값으로 전환할 수 있다고 생각합니까? 오른쪽 ?

어떤 변수를 지정하시겠습니까?

@srhtyldz 약 반년 전 darkflow 이 스레드를 시작했을 때 출력 폴더 경로를 지정할 수 없었습니다. 출력 폴더 경로는 예측 이미지가 작성되는 경로입니다.
제 기억이 맞다면 출력 폴더는 데이터 세트 폴더 안에 out 폴더로 설정되어 있습니다.
예를 들어 img/ 내부에 이미지가 있는 경우 예측은 img/out/ 내부에 있습니다.
FloydHub 에서는 데이터 세트 폴더에 출력을 쓸 수 없습니다. 따라서 데이터 세트 폴더가 img/ 경우 권한이 거부되기 때문에 img/out 로 새 폴더를 만들 수 없습니다.

지금은 출력 경로를 지정할 수 있지만 확인해야 합니다. 잘 모르겠다.

내 의견도 darknet에 대한 것입니다. 계산 mAP에 의해서만 임계값으로 전환할 수 있다고 생각합니까? 오른쪽 ?

제 기억이 맞다면 mAP 에는 작성자가 정의해야 하는 매개변수가 하나 있습니다. 이미지가 올바르게 예측되었는지 여부를 결정하는 것은 0에서 1 사이의 임계값입니다. 일반적으로 이 값은 0.5로 설정됩니다. 따라서 면적 비율이 0.5 이상이면 올바른 이미지를 의미합니다.
그리고 그 후에 Average Precision 도 정의해야 합니다. 평균을 미세 조정하려면 정밀도가 몇 개인지 알아야 합니다. 정밀도의 수를 정의할 수도 있습니다. 일반적으로 정밀도의 수는 11 되어 0, 0.1, 0.2, ..., 0.9, 1.0에서 정렬할 수 있습니다.

무슨 말인지 잘 모르겠습니다. 이미 대부분을 잊어버렸기 때문입니다. 당신은 내가 옳다는 것을 확인하기 위해 그것을 배워야 합니다. 하지만 0.5 및 11 라는 숫자는 확실합니다. 나는 그들이 무엇이라고 불리는지 모릅니다.

추신. 나는 내 논문 슬라이드를 찾기 위해 돌아갔습니다(mAP가 무엇을 의미하는지 알고 있을 때). 당시에 설명했던 방법은 다음과 같습니다.

어떤 변수를 지정하시겠습니까?

@srhtyldz 약 반년 전 darkflow 이 스레드를 시작했을 때 출력 폴더 경로를 지정할 수 없었습니다. 출력 폴더 경로는 예측 이미지가 작성되는 경로입니다.
제 기억이 맞다면 출력 폴더는 데이터 세트 폴더 안에 out 폴더로 설정되어 있습니다.
예를 들어 img/ 내부에 이미지가 있는 경우 예측은 img/out/ 내부에 있습니다.
FloydHub 에서는 데이터 세트 폴더에 출력을 쓸 수 없습니다. 따라서 데이터 세트 폴더가 img/ 경우 권한이 거부되기 때문에 img/out 로 새 폴더를 만들 수 없습니다.

지금은 출력 경로를 지정할 수 있지만 확인해야 합니다. 잘 모르겠다.

내 의견도 darknet에 대한 것입니다. 계산 mAP에 의해서만 임계값으로 전환할 수 있다고 생각합니까? 오른쪽 ?

제 기억이 맞다면 mAP 에는 작성자가 정의해야 하는 매개변수가 하나 있습니다. 이미지가 올바르게 예측되었는지 여부를 결정하는 것은 0에서 1 사이의 임계값입니다. 일반적으로 이 값은 0.5로 설정됩니다. 따라서 면적 비율이 0.5 이상이면 올바른 이미지를 의미합니다.
그리고 그 후에 Average Precision 도 정의해야 합니다. 평균을 미세 조정하려면 정밀도가 몇 개인지 알아야 합니다. 정밀도의 수를 정의할 수도 있습니다. 일반적으로 정밀도의 수는 11 되어 0, 0.1, 0.2, ..., 0.9, 1.0에서 정렬할 수 있습니다.

무슨 말인지 잘 모르겠습니다. 이미 대부분을 잊어버렸기 때문입니다. 당신은 내가 옳다는 것을 확인하기 위해 그것을 배워야 합니다. 하지만 0.5 및 11 라는 숫자는 확실합니다. 나는 그들이 무엇이라고 불리는지 모릅니다.

추신. 나는 내 논문 슬라이드를 찾기 위해 돌아갔습니다(mAP가 무엇을 의미하는지 알고 있을 때). 당시에 설명했던 방법은 다음과 같습니다.

정말 감사합니다 . map과 IoU를 연구하겠습니다. 결과는 받았는데 해석이 안되네요. 하나만 더 여쭤봐도 될까요? '리콜' 기능을 사용하셨나요? 맵과 리콜 기능은 동일한 기능을 가지고 있습니까? 아이디어가 있나요_?

@srhtyldz mAP 는 정밀도에서 회수 함수로 계산됩니다. 따라서 정밀도와 재현율이 이미 포함되어 있습니다. mAP 는 객체 감지 작업에 대해 널리 사용되는 기존 평가 메트릭입니다. 따라서 개별적으로 리콜 또는 정밀도를 수행할 필요가 없습니다. mAP 계산하고 값이 높으면 모델이 잘 작동한다는 의미입니다.

@srhtyldz mAP 는 정밀도에서 회수 함수로 계산됩니다. 따라서 정밀도와 재현율이 이미 포함되어 있습니다. mAP 는 객체 감지 작업에 대해 널리 사용되는 기존 평가 메트릭입니다. 따라서 개별적으로 리콜 또는 정밀도를 수행할 필요가 없습니다. mAP 계산하고 값이 높으면 모델이 잘 작동한다는 의미입니다.

mAP에서 90.4%를 얻었습니다. 성능이 좋은 것 같습니다.

@srhtyldz 수업이 많으면 매우 높습니다. (빅 데이터셋에서 인기 있는 모델은 50-60% 정도만 수행합니다.) 하지만 클래스가 두 개뿐이더라도 여전히 좋습니다.
mAP 가 합리적인지 사람의 눈으로 예측된 ​​이미지를 확인하십시오.

@srhtyldz 수업이 많으면 매우 높습니다. (빅 데이터셋에서 인기 있는 모델은 50-60% 정도만 수행합니다.) 하지만 클래스가 두 개뿐이더라도 여전히 좋습니다.
mAP 가 합리적인지 사람의 눈으로 예측된 ​​이미지를 확인하십시오.

클래스가 하나뿐입니다. 또한 모든 이미지를 경계 상자로 저장했습니다.
mAP 차트를 그렸습니까? Alex repo에는 mAP 차트가 있으며 모델을 훈련하는 동안 차트를 얻으려면 '-map'을 넣어야 합니다. 이 단어를 넣지 않았습니다.그것을 넣어도 어떻게 mAP 차트를 얻을 수 있습니까? 당신은 그것을 시도? 또한 '유효한' 기능을 사용해 보셨습니까? 차이점을 아십니까?
나는 많은 질문을 했다는 것을 알고 있지만 당신의 대답은 내 논문에 매우 중요합니다 :).

darknet 에서 터미널만 사용하여 mAP 를 평가하고 콘솔의 스냅샷을 찍습니다.
유효한 기능을 모르겠습니다.
mAP 차트의 경우 darkflow를 사용하고 위의 mAP repo를 사용하면 가능합니다. 애니메이션과 차트를 생성하는 스크립트가 있습니다.
mAP repo는 darknet에서도 작동한다고 생각합니다.

darknet 에서 터미널만 사용하여 mAP 를 평가하고 콘솔의 스냅샷을 찍습니다.
유효한 기능을 모르겠습니다.
mAP 차트의 경우 darkflow를 사용하고 위의 mAP repo를 사용하면 가능합니다. 애니메이션과 차트를 생성하는 스크립트가 있습니다.
mAP repo는 darknet에서도 작동한다고 생각합니다.

문제는 애니메이션이 어떻게 실행될지 모른다는 것입니다. 훈련하는 동안 그렇게 하려고 했지만 지도에 대한 애니메이션을 얻을 수 없었습니다. @alexeyAB 가 이에 대해 도움이 될 것입니다.

테스트 결과의 MAP을 받았습니다. 56개의 이미지에서 테스트에 적합한 48개의 이미지를 얻었습니다. 4개의 수업이 있습니다. 그것 에서 혼동 행렬 을 만드는 방법 . 누군가 나를 도울 수 있습니까?

@srhtyldz /darknet detector map cfg/aerial.data cfg/test_tiny.cfg backup\my_yolov3_tiny_final.weights 함수를 사용했지만 훈련이 끝날 때 점수나 그래프를 얻을 수 없었습니다. 다크넷에서 MAP 점수는 어떻게 얻었습니까?

@mustafabuyuk -map 인수를 ./darknet(darknet.exe)에 전달합니다. 약 1000번의 반복에서 그래프에 표시됩니다. 필요한지 확실하지 않지만 이미지 유효성 검사 세트도 있습니다.

누구나 아이디어를 가질 수 있습니까? YOLOv5는 훈련 중에 검증 데이터 세트에 대해 mAP를 계산합니다. 보이지 않는 테스트 데이터 세트(mAP 및 Class wise mAP)에 대해 계산할 수 있는 명령

@off99555 스레드가 닫힌 것 같습니다. 당신은 대답을 얻을?
유효성 검사를 위한 이미지 및 Yolo 주석 파일(txt 형식)이 있습니다.

mAP 점수를 얻기 위해 이미지의 유효성을 검사할 때 -map 인수를 사용하는 방법은 무엇입니까? 이것으로부터 정오분류표를 도출할 수 있습니까?

@sandeeprepakula 문제를 닫기 전에 내 답변을 직접 읽으십시오. 이것이 mAP를 계산하는 방법입니다.
그러나 더 이상 이 리포지토리를 사용하지 않는 것이 좋습니다. 나는 몇 달 동안 객체 감지 작업을 하지 않았기 때문에 어떤 repo가 ​​가장 좋은지 확신할 수 없지만 이 repo의 마지막 커밋을 간략히 살펴보면 2020년 2월이었습니다. 업데이트되지 않은 repo를 생각하십니까? 1 년 동안 사용할 가치가 있습니까? 무언가에 얽매이면 아무도 도와주지 않습니다. 사용할 저장소를 선택할 때 커뮤니티 부분도 고려하십시오.

@off99555 제안 감사합니다