Darkflow: トレーニングプロセスにトレーニングと検証の精度を追加する

それを行うには2つの方法があります。 トレイン内のデータセットを分割してコード内でセットを検証するか、フローモジュールを呼び出すときにトレイン用と検証用の2つの別々のデータセットを送信することができます。

とにかく、それを行うには、default.pyファイルにいくつかの新しいパラメーターを追加してから、data.py（yoloフォルダーとyolov2フォルダーの両方）から関数_batch、parse、shuffleを変更し、flow.pyのメソッドtrain（）を変更する必要がありますファイル（ここでは、同じテンソルフローセッションを使用して別のバッチ（すべての反復または1回の反復）を実行する必要がありますが、train_opを返さないため、重みを変更しません）。 検証用に別のtf.summary.FileWriterを追加して、テンソルボードを使用して検証損失グラフを視覚化することもできます。

私は個人的に2つの異なるデータセットを送信することを選択しました。 それはかなり簡単でした。 私は十分に明確だったと思います。

@ Costyv95追加されたパラメーターと提案した変更を使用して、コードを共有できますか？

はい、問題ありません。 ここにファイルをアップロードします。 ご不明な点がございましたら、お気軽にお問い合わせください。

diff.zip

@ Costyv95検証セットは、実装の勾配の更新に貢献しますか？

わかりました。検証サンプルはグラジエントの更新に寄与しません。

はい、検証はトレーニングセット外のモデル結果のプレビューのみを対象としています。

こんにちは、
ごめん。 最後のメールに気づかなかった。 はい、検証はトレーニングセット外のモデル結果のプレビューのみを対象としています。

2017年7月4日（火曜日）には、午前3時16分24秒PM GMT + 3、yfliu [email protected]書きました：

わかりました。検証サンプルはグラジエントの更新に寄与しません。

—
あなたが言及されたので、あなたはこれを受け取っています。
このメールに直接返信するか、GitHubで表示するか、スレッドをミュートしてください。

@ Costyv95元のコードを変更した後、どのように実行するかを知りたいですか？ どうもありがとう！

@ Costyv95このように実行します。/flow--modelcfg/ yolo.cfg --train --dataset "/ home / thinkjoy / lwl / modify-darkflow-master / data / VOCdevkit / VOC2007 / JPEGImages" --annotation " / home / thinkjoy / lwl / modify-darkflow-master / data / VOCdevkit / VOC2007 / Annotations "--gpu 1.0
ここにエラーがあります（あなたと同じようにコードを変更してください）
ファイル "/home/thinkjoy/lwl/modify-darkflow-master/darkflow/net/flow.py"、82行目、電車内
feed_dict [self.learning_rate] = lr
AttributeError： 'TFNet'オブジェクトに属性 'learning_rate'がありません

これは、私が提供したコードに適応学習率の変更がいくつかあり、もう1つ変更を加える必要があるために発生します。 ここにあります： https ：

また、検証が失われるようにするには、引数に--val_datasetとval_annotationを追加する必要があります。

@ Costyv95 1回の検証に必要なステップ数を制御できますか？1ステップ1 valは、トレーニングに少し無駄な時間だと思いますか？ ありがとう！

@ Costyv95そして、val

@ dream-will Nステップに1回の検証では、defaults.pyに引数（val_steps）を簡単に追加でき、flow.pyのtrainメソッドで、ifステートメント内の「#validationtime」の後にあるコードを実行するだけです。このような：

`＃検証時間

if i % self.FLAGS.val_steps == 0:
    (x_batch, datum) = next(val_batches)
    feed_dict = {
        loss_ph[key]: datum[key] 
            for key in loss_ph }
    feed_dict[self.inp] = x_batch
    feed_dict.update(self.feed)
    feed_dict[self.learning_rate] = lr

    fetches = [loss_op, self.summary_op] 
    fetched = self.sess.run(fetches, feed_dict)
    loss = fetched[0]

    if loss_mva_valid is None: loss_mva_valid = loss
    loss_mva_valid = .9 * loss_mva_valid + .1 * loss

    self.val_writer.add_summary(fetched[1], step_now)

    form = 'VALIDATION step {} - loss {} - moving ave loss {}'
    self.say(form.format(step_now, loss, loss_mva_valid))`

defaults.pyに、次の行を追加するだけです。

self.define('val_steps', '1', 'evaluate validation loss every #val_steps iterations')

精度を追加することについての2番目の質問はよくわかりません。

@ Costyv95ご回答ありがとうございます

@ dream-willそのためには、GT bboxと予測bboxを比較するカスタム精度メソッドを実装する必要があります（予測bboxを取得するには、予測で使用されるコードを参照してください）が、その理由はわかりません。損失は​​十分です。 表示される検証は、検証セットからのランダムなミニバッチでのみ行われることに注意してください。ただし、これは、十分な大きさの検証データセットでのテスト損失をよく表しています。

@ Costyv95わかりました、ありがとう

こんにちは@ Costyv95 。 val損失値を出力するのに問題があります。 私はあなたの指示とコードに従ってすべてのファイルを変更しました。 これは次のエラーです
File "flow", line 6, in <module> cliHandler(sys.argv) File "/home/alxe/ML/darkflow/darkflow/cli.py", line 26, in cliHandler tfnet = TFNet(FLAGS) File "/home/alxe/ML/darkflow/darkflow/net/build.py", line 64, in __init__ self.framework = create_framework(*args) File "/home/alxe/ML/darkflow/darkflow/net/framework.py", line 59, in create_framework return this(meta, FLAGS) File "/home/alxe/ML/darkflow/darkflow/net/framework.py", line 15, in __init__ self.constructor(meta, FLAGS) File "/home/alxe/ML/darkflow/darkflow/net/yolo/__init__.py", line 20, in constructor misc.labels(meta, FLAGS) #We're not loading from a .pb so we do need to load the labels File "/home/alxe/ML/darkflow/darkflow/net/yolo/misc.py", line 36, in labels with open(file, 'r') as f: TypeError: coercing to Unicode: need string or buffer, NoneType found

ファイル変数の値を出力できますか？

@ Costyv95いいえできません。 これは私が実行するものです：
python flow --model cfg/tiny-yolo-voc-1c.cfg --train --dataset train/images --annotation train/annotations --load bin/yolo.weights --gpu 1.0 --epoch 300

「ファイル変数」とは、misc.pyの36行目で使用されている変数です。これは、コードの何が問題になっているのかがよくわからないためです。
--val_dataset引数がありませんか？ 変更をどのように実装しましたか？ コード内でデータセットを分割しましたか、それとも--val_dataset引数を追加しましたか？

@ Costyv95こんにちは、ファイルをコピーしてdiff.zipに貼り付けてから、コマンドでトレーニングしようとしました

"flow --train --model ./coke/yolo-coke-2c.cfg --annotation ./coke/train/annotations --dataset ./coke/train/images --gpu 1.0 --batch 8 --save 1000 --val_dataset ./coke/validation/images --val_annotation ./coke/validation/annotations

しかし、それでもエラーが発生しました
`
[ nkhanh @ localhost khanh] $ ./run_coke.sh

./coke/yolo-coke-2c.cfgの解析
読み込みなし..。
0.0001392364501953125sで終了
トレースバック（最後の最後の呼び出し）：
ファイル "/ usr / local / bin / flow"、6行目、
cliHandler（sys.argv）
cliHandlerのファイル "/usr/local/lib64/python3.6/site-packages/darkflow/cli.py"、26行目
tfnet = TFNet（FLAGS）
ファイル "/usr/local/lib64/python3.6/site-packages/darkflow/net/build.py"、64行目、__ init__
self.framework = create_framework（* args）
create_frameworkのファイル "/usr/local/lib64/python3.6/site-packages/darkflow/net/framework.py"、59行目
this（meta、FLAGS）を返します
__init__のファイル "/usr/local/lib64/python3.6/site-packages/darkflow/net/framework.py"、15行目
self.constructor（meta、FLAGS）
ファイル "/usr/local/lib64/python3.6/site-packages/darkflow/net/yolo/__init__.py"、行20、コンストラクター
misc.labels（meta、FLAGS）＃。pbからロードしていないため、ラベルをロードする必要があります
ファイル「/usr/local/lib64/python3.6/site-packages/darkflow/net/yolo/misc.py」、36行目、ラベル
open（file、 'r'）をfとして使用：
TypeError：NoneTypeではなく、str、bytes、またはos.PathLikeオブジェクトが必要です
`

@ khanh1412
misc.pyline29で
カスタムラベルファイルに変更します。
file = 'labels.txt'

PSこれは一時的な解決策です。

@ Costyv95
削除 '['および ']'を理解する方法は？

トレーニングに入る...
トレースバック（最後の最後の呼び出し）：
ファイル「フロー」、6行目、
cliHandler（sys.argv）
cliHandlerのファイル "/Users/sisyphus/darkflow/darkflow/cli.py"、33行目
print（ 'トレーニングに入る...'）; tfnet.train（）
ファイル "/Users/sisyphus/darkflow/darkflow/net/flow.py"、54行目、電車内
arg_steps = self.FLAGS.steps [1：-1]＃ '['および ']'を削除
TypeError： 'NoneType'オブジェクトは添え字化できません

こんにちは@ Costyv95

テンソルボードを使用して検証損失グラフを視覚化するために、検証用にtf.summary.FileWriterをどこに追加する必要がありますか。

ありがとう

@ Costyv95私はあなたのzipファイル

@ Costyv95私はあなたのzipファイル

yolo-dataとyolov2-dataを含むすべてのファイルを置き換える必要があります。 「データ」だけで名前を変更して、関連するフォルダにそれぞれコピーして貼り付けるだけで、その中のファイルを変更できます。

@khanhhh
「darkflow \ defaults.py」の「defsetDefaults（self）：」にコード「self.define（ 'labels'、 'labels.txt'、 'ラベルファイルへのパス'）」を追加すると、「 --labels xxx.txt "を前者として。

どうもありがとう！！！！！！！！

2019年5月25日には、午前3時11分AMで、ジャック[email protected]は書きました：

@KhanhHH https://github.com/KhanhHH
「darkflow \ defaults.py」の「defsetDefaults（self）：」にコード「self.define（ 'labels'、 'labels.txt'、 'ラベルファイルへのパス'）」を追加すると、「 --labels xxx.txt "を前者として。

—
コメントしたのでこれを受け取っています。
、直接このメールに返信GitHubの上でそれを見るhttps://github.com/thtrieu/darkflow/issues/264?email_source=notifications&email_token=AEIP7DOZYIFBYZHV22RVIADPXD7ELA5CNFSM4DNH2ANKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODWHLNQQ#issuecomment-495892162 、またはスレッドミュートhttps://github.com/notifications/をunsubscribe-auth / AEIP7DPOGFQ2EYSSZFPZSL3PXD7ELANCNFSM4DNH2ANA 。

@ Costyv95
こんにちは、「darkflow \ defaults.py」にパス「gs：// bucket_hand_detection_2」を設定する方法を知りたいですか？ 私のpython（3.7）はこのパスを見つけることができず、エラーをスローします。 そして、「バケツ」はどのくらいの量を表しますか？

@ Costyv95
こんにちは、「darkflow \ defaults.py」にパス「gs：// bucket_hand_detection_2」を設定する方法を知りたいですか？ 私のpython（3.7）はこのパスを見つけることができず、エラーをスローします。 そして、「バケツ」はどのくらいの量を表しますか？

同じエラーですが、チェックポイントは正常に保存されるため、このエラーが何であるかわかりません@ Costyv95

ありがとう@ Costyv95！

こんにちは、 @ Costyv95 Yoloは検証損失をトレーニングして出力しますが、1000ステップ後にエラーをスローします。 ファイルFileNotFoundError：[Errno 2]そのようなファイルまたはディレクトリはありません： 'gsutil'： 'gsutil'。

エラー：

@akmerakiこんにちは私は同じ問題に遭遇しました、あなたはこのエラーについて何か解決策を見つけましたか？

@ zhe0503 @akmeraki手遅れではないことを願っていますが、「pip install gsutil」と入力するだけで、問題は解決しました。

やあみんな。
トレーニング済みモデル全体の精度を取得したい場合はどうすればよいですか？
たとえば、モデルをトレーニングしていて、ある時点でトレーニングを停止します。 これで、最後に保存されたチェックポイントがあり、最後のチェックポイントまでの精度を計算したいと思います。
cpktフォルダー内のファイルの名前は次のとおりです。

チェックポイント
yolo-new-50.data-00000-of-00001
yolo-new-50.index
yolo-new-50.meta
yolo-new-50.profile

助けてくれてありがとう。

@ Costyv95
私はあなたの親切な指示に注意深く従いましたが、train.pyは--val _...引数を認識しないようです。 手伝ってくれませんか。 エラーは次のとおりです。
エラー-無効な引数：-val_dataset

これは、私が提供したコードに適応学習率の変更がいくつかあり、もう1つ変更を加える必要があるために発生します。 あなたはここでそれを見つけます： 124d55d

また、検証が失われるようにするには、引数に--val_datasetとval_annotationを追加する必要があります。

それは私にはうまくいきません。 次のようなエラーが発生します。
エラー-無効な引数：-val_dataset