Darkflow: 훈련 프로세스에 훈련 및 검증 정확도 추가

2가지 방법이 있습니다. 학습 데이터 세트를 분할하고 코드 내부의 세트를 검증하거나 2개의 개별 데이터 세트를 보낼 수 있습니다. 하나는 학습용이고 다른 하나는 흐름 모듈을 호출할 때 검증용입니다.

어쨌든 그렇게 하려면 default.py 파일에 몇 가지 새 매개변수를 추가한 다음 _batch 함수를 수정하고 data.py(yolo 및 yolov2 폴더 모두)에서 구문 분석 및 셔플하고 flow.py에서 train() 메서드를 수정해야 합니다. 파일(여기서는 동일한 tensorflow 세션을 사용하여 다른 배치(모든 반복 또는 한 번 반복)만 실행해야 하지만 train_op을 반환하지 않으므로 가중치를 수정하지 않습니다. 유효성 검사를 위해 다른 tf.summary.FileWriter를 추가할 수도 있으므로 텐서보드를 사용하여 유효성 검사 손실 그래프를 시각화할 수 있습니다.

저는 개인적으로 2개의 다른 데이터 세트를 보내기로 선택했습니다. 그것은 꽤 직선적이었습니다. 나는 내가 충분히 명확하기를 바랍니다.

@Costyv95 추가된 매개변수 및 제안한 변경 사항으로 코드를 공유할 수 있습니까?

네, 문제 없습니다. 여기에 파일을 업로드하겠습니다. 질문이 있는 경우 질문하십시오.

diff.zip

@ Costyv95 유효성 검사 세트가 구현의 그라디언트 업데이트에 기여합니까?

확인했습니다. 유효성 검사 샘플은 그래디언트 업데이트에 기여하지 않습니다.

예, 검증은 훈련 세트 외부의 모델 결과를 미리 보기 위한 것입니다.

안녕,
죄송합니다. 나는 마지막 메일을 눈치채지 못했다. 예, 검증은 훈련 세트 외부의 모델 결과를 미리 보기 위한 것입니다.

2017년 7월 4일 화요일 오후 3:16:24 GMT+3, yfliu [email protected] 작성:

확인했습니다. 유효성 검사 샘플은 그래디언트 업데이트에 기여하지 않습니다.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하거나 GitHub에서 보거나 스레드를 음소거하세요.

@ Costyv95 원래 코드를 수정한 후 실행하는 방법을 알고 싶습니다. 매우 감사합니다!

@ Costyv95 나는 이것을 다음과 같이 실행한다 ./flow --model cfg/yolo.cfg --train --dataset "/home/thinkjoy/lwl/modify-darkflow-master/data/VOCdevkit/VOC2007/JPEGImages" --annotation " /home/thinkjoy/lwl/modify-darkflow-master/data/VOCdevkit/VOC2007/주석" --gpu 1.0
여기에 오류가 있습니다(당신과 동일하게 코드를 수정하십시오)
기차에서 파일 "/home/thinkjoy/lwl/modify-darkflow-master/darkflow/net/flow.py", 82행
feed_dict[self.learning_rate] = lr
AttributeError: 'TFNet' 개체에 'learning_rate' 속성이 없습니다.

이것은 내가 제공한 코드에 적응 학습률에 대한 수정 사항이 있고 수행해야 하는 변경 사항이 하나 더 있기 때문에 발생합니다. 여기에서 찾을 수 있습니다: https://github.com/thtrieu/darkflow/pull/216/commits/124d55d32d17bdee111201fd6fe520db709a4f9c

그리고 유효성 검사 손실이 있는 인수에 --val_dataset 및 val_annotation을 추가해야 합니다.

@ Costyv95 한 번 검증하는 단계를 제어할 수 있습니까? 제 생각에는 한 단계 1

@ Costyv95 그리고 val 때 정확도를 추가 했습니까?

@dream-will N 단계에서 한 번 유효성 검사를 위해 defaults.py에 인수(val_steps)를 쉽게 추가할 수 있고 flow.py의 train 메서드에서 if 문 내에서 "#validation time" 이후의 코드를 실행하기만 하면 됩니다. 이와 같이:

` #검증 시간

if i % self.FLAGS.val_steps == 0:
    (x_batch, datum) = next(val_batches)
    feed_dict = {
        loss_ph[key]: datum[key] 
            for key in loss_ph }
    feed_dict[self.inp] = x_batch
    feed_dict.update(self.feed)
    feed_dict[self.learning_rate] = lr

    fetches = [loss_op, self.summary_op] 
    fetched = self.sess.run(fetches, feed_dict)
    loss = fetched[0]

    if loss_mva_valid is None: loss_mva_valid = loss
    loss_mva_valid = .9 * loss_mva_valid + .1 * loss

    self.val_writer.add_summary(fetched[1], step_now)

    form = 'VALIDATION step {} - loss {} - moving ave loss {}'
    self.say(form.format(step_now, loss, loss_mva_valid))`

defaults.py에서 다음 줄을 추가하기만 하면 됩니다.

self.define('val_steps', '1', 'evaluate validation loss every #val_steps iterations')

정확도 추가에 대한 두 번째 질문은 잘 모르겠습니다.

@ Costyv95 답변 감사합니다. 두 번째 질문은 유효성을 검사할 때 의미합니다. 유효성 검사 손실뿐만 아니라 유효성 검사 정확도도 얻습니까?

@dream-will 이를 위해 GT bbox와 예측 bbox를 비교하는 사용자 정의 정확도 방법을 직접 구현해야 합니다(예측 bbox를 얻으려면 예측에 사용된 코드 참조). 하지만 그 이유는 알 수 없습니다. 손실은 충분합니다. 확인하는 유효성 검사는 유효성 검사 세트의 임의의 미니 배치에 대해서만 표시되지만 이는 충분히 큰 유효성 검사 데이터 세트에 대한 테스트 손실을 잘 나타냅니다.

@ Costyv95 네 , 감사합니다.

안녕하세요 @Costyv95 입니다. val 손실 값을 출력하는 데 문제가 있습니다. 귀하의 지침과 코드에 따라 모든 파일을 수정했습니다. 다음 오류입니다
File "flow", line 6, in <module> cliHandler(sys.argv) File "/home/alxe/ML/darkflow/darkflow/cli.py", line 26, in cliHandler tfnet = TFNet(FLAGS) File "/home/alxe/ML/darkflow/darkflow/net/build.py", line 64, in __init__ self.framework = create_framework(*args) File "/home/alxe/ML/darkflow/darkflow/net/framework.py", line 59, in create_framework return this(meta, FLAGS) File "/home/alxe/ML/darkflow/darkflow/net/framework.py", line 15, in __init__ self.constructor(meta, FLAGS) File "/home/alxe/ML/darkflow/darkflow/net/yolo/__init__.py", line 20, in constructor misc.labels(meta, FLAGS) #We're not loading from a .pb so we do need to load the labels File "/home/alxe/ML/darkflow/darkflow/net/yolo/misc.py", line 36, in labels with open(file, 'r') as f: TypeError: coercing to Unicode: need string or buffer, NoneType found

파일 변수의 값을 인쇄할 수 있습니까?

@ Costyv95 아니요. 이것이 내가 실행하는 것입니다.
python flow --model cfg/tiny-yolo-voc-1c.cfg --train --dataset train/images --annotation train/annotations --load bin/yolo.weights --gpu 1.0 --epoch 300

"파일 변수"가 의미하는 바는 misc.py의 36번째 줄에 사용된 변수입니다. 왜냐하면 코드에 어떤 문제가 있는지 정말로 이해할 수 없기 때문입니다.
--val_dataset 인수가 없습니까? 변경 사항을 어떻게 구현했습니까? 코드 내에서 데이터 세트를 분할하거나 --val_dataset 인수를 추가했습니까?

@ Costyv95 안녕하세요,

"flow --train --model ./coke/yolo-coke-2c.cfg --annotation ./coke/train/annotations --dataset ./coke/train/images --gpu 1.0 --batch 8 --save 1000 --val_dataset ./coke/validation/images --val_annotation ./coke/validation/annotations

하지만 여전히 오류가 발생했습니다.
`
[ nkhanh@localhost 칸]$ ./run_coke.sh

./coke/yolo-coke-2c.cfg 구문 분석
로드 중 없음 ...
0.0001392364501953125s에 완료
역추적(가장 최근 호출 마지막):
파일 "/usr/local/bin/flow", 6행,
cliHandler(sys.argv)
cliHandler의 파일 "/usr/local/lib64/python3.6/site-packages/darkflow/cli.py", 26행
tfnet = TFNet(FLAGS)
파일 "/usr/local/lib64/python3.6/site-packages/darkflow/net/build.py", 64행, __init__
self.framework = create_framework(*args)
"/usr/local/lib64/python3.6/site-packages/darkflow/net/framework.py" 파일, 59행, create_framework
이것을 반환(메타, 플래그)
파일 "/usr/local/lib64/python3.6/site-packages/darkflow/net/framework.py", 15행, __init__
self.constructor(메타, 플래그)
파일 "/usr/local/lib64/python3.6/site-packages/darkflow/net/yolo/__init__.py", 20행, 생성자
misc.labels(meta, FLAGS) # .pb에서 로드하지 않으므로 레이블을 로드해야 합니다.
레이블의 파일 "/usr/local/lib64/python3.6/site-packages/darkflow/net/yolo/misc.py", 36행
open(file, 'r')을 f로 사용:
TypeError: 예상되는 str, bytes 또는 os.PathLike 개체, NoneType이 아닙니다.
`

@khanh1412
misc.py line29에서
사용자 정의 레이블 파일로 변경하십시오.
파일 = 'labels.txt'

PS 임시 해결책입니다.

@Costyv95
'[' 및 ']' 제거를 이해하는 방법?

훈련에 들어가다 ...
역추적(가장 최근 호출 마지막):
파일 "흐름", 6행,
cliHandler(sys.argv)
cliHandler의 파일 "/Users/sisyphus/darkflow/darkflow/cli.py", 33행
print('훈련 입력...'); tfnet.train()
파일 "/Users/sisyphus/darkflow/darkflow/net/flow.py", 54행, 기차
arg_steps = self.FLAGS.steps[1:-1] # '[' 및 ']' 제거
TypeError: 'NoneType' 개체는 첨자할 수 없습니다.

안녕하세요 @Costyv95

텐서보드를 사용하여 유효성 검사 손실 그래프를 시각화하려면 유효성 검사를 위해 tf.summary.FileWriter를 어디에 추가해야 하나요?

감사

@ Costyv95 zip 파일

@ Costyv95 zip 파일

yolo-data 및 yolov2-data 파일을 포함한 모든 파일을 교체해야 합니다. 단순히 "데이터"로 이름을 변경하여 관련 폴더에 각각 복사하여 붙여넣어 파일을 변경하기만 하면 됩니다.

@khanhhh
"darkflow\defaults.py"의 "def setDefaults(self):"에 "self.define('labels', 'labels.txt', '레이블 파일 경로')" 코드를 추가하면 " --labels xxx.txt"를 이전으로 사용합니다.

정말 고맙습니다!!!!!!!!

2019년 5월 25일 오전 3시 11분에 Jack [email protected] 은 다음과 같이 썼습니다.

@KhanhHH https://github.com/KhanhHH
"darkflow\defaults.py"의 "def setDefaults(self):"에 "self.define('labels', 'labels.txt', '레이블 파일 경로')" 코드를 추가하면 " --labels xxx.txt"를 이전으로 사용합니다.

—
당신이 댓글을 달았기 때문에 이것을 받는 것입니다.
직접이 이메일에 회신 볼을 GitHub의에 https://github.com/thtrieu/darkflow/issues/264?email_source=notifications&email_token=AEIP7DOZYIFBYZHV22RVIADPXD7ELA5CNFSM4DNH2ANKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODWHLNQQ#issuecomment-495892162 , 또는 스레드 음소거 https://github.com/notifications/을 unsubscribe-auth/AEIP7DPOGFQ2EYSSZFPZSL3PXD7ELANCNFSM4DNH2ANA .

@Costyv95
안녕하세요, "darkflow\defaults.py"에 "gs://bucket_hand_detection_2" 경로를 설정하는 방법을 알고 싶습니다. 내 python(3.7)이 이 경로를 찾을 수 없습니다. 오류가 발생합니다. "버킷"이 나타내는 용량은 얼마입니까?

@Costyv95
안녕하세요, "darkflow\defaults.py"에 "gs://bucket_hand_detection_2" 경로를 설정하는 방법을 알고 싶습니다. 내 python(3.7)이 이 경로를 찾을 수 없습니다. 오류가 발생합니다. "버킷"이 나타내는 용량은 얼마입니까?

같은 오류지만 체크포인트는 정상적으로 저장이 되는데 @Costyv95 오류가 뭔지 모르겠네요.

@Costyv95 감사합니다!

안녕하세요, @Costyv95 Yolo는 validation loss를 훈련하고 출력하지만 1000단계 후에 오류가 발생합니다. 파일 FileNotFoundError: [Errno 2] 해당 파일 또는 디렉터리가 없습니다: 'gsutil': 'gsutil'.

오류:

@akmeraki 안녕하세요 같은 문제를 만났습니다. 이 오류에 대한 해결책을 찾으셨습니까?

@zhe0503 @akmeraki 너무 늦지 않았으면

얘들 아.
훈련된 전체 모델의 정확도를 얻으려면 어떻게 해야 합니까?
예를 들어 모델을 훈련하고 있는데 어느 시점에서 훈련을 중단합니다. 이제 마지막으로 저장된 체크포인트가 있고 마지막 체크포인트까지 정확도를 계산하고 싶습니다.
cpkt 폴더의 파일 이름은 다음과 같습니다.

검문소
yolo-new-50.data-00000-of-00001
yolo-new-50.index
yolo-new-50.meta
yolo-new-50.profile

도움을 주시면 감사하겠습니다.

@Costyv95
나는 당신의 친절한 지시를 주의 깊게 따랐지만 train.py가 --val_... 인수를 인식하지 못하는 것 같습니다. 도와주시겠습니까? 오류는 아래와 같습니다.
오류 - 잘못된 인수: --val_dataset

이것은 내가 제공한 코드에 적응 학습률에 대한 수정 사항이 있고 수행해야 하는 변경 사항이 하나 더 있기 때문에 발생합니다. 여기에서 찾을 수 있습니다: 124d55d

그리고 유효성 검사 손실이 있는 인수에 --val_dataset 및 val_annotation을 추가해야 합니다.

그것은 나를 위해 작동하지 않습니다. 아래와 같은 오류가 발생합니다.
오류 - 잘못된 인수: --val_dataset