Uuv_simulator: より現実的なソナーセンサーシミュレーションを実装する

ねえ、私たちはuuv_simulatorでもセンサーシミュレーションに取り組んでいます。 現在、滝の画像を提供するサイドスキャンに似たものがあります。 さらに重要なことに、ここでは優れたFLSセンサーに向けて取り組んでいます： https ：

それでもこれに関心がある場合は、ソナーがどのように見えるかについていくつかの例を示し、おそらくすべてを完了してこのリポジトリへのPRを作成するために機能します。

@nilsboreいくつかの例が素晴らしいでしょう。 私もこれに本当に興味があります。

こんにちは@nilsbore 、すべての貢献は大歓迎です:)プルリクエストをしたい場合は、私はそれをレビューさせていただきます。 別の解決策は、プラグインを統合する方法もUUVシミュレーターのドキュメントに情報を追加して、より多くの人がそれを使用できるようにすることです:)

こんにちは@musamarcusso 、そしてこのシミュレーターでの素晴らしい仕事に感謝します！ このレポにクリーンなPRを作成するのにどれくらいかかるかを確認し、提案されたパスの1つをたどります。ありがとうございます。

こんにちは@nilsbore 、

ソナーをUUVシミュレーターに適応させることであなたの進歩を見るのを楽しみにしています。 お知らせください！ = D

FLSに進展はありましたか？ 私も活用したいと思っています。

こんにちは@nilsbore！ このスレッドが開始されてからしばらく経ちますが、これまでのFLSシミュレーションの進捗状況を教えてください。 あなたがガゼボで取り組んでいるソナーシミュレーションを利用することを楽しみにしています、そしてうまくいけば、あなたはその後さらに進歩を遂げることができます

*ここで最後に更新した後。

みなさん、こんにちは。このトピックについてあまり進展が見られず、申し訳ありません。 センサーシミュレーションはオープンソースであり、 https ： ます。 これはgazebo_ros_image_sonarと呼ばれます。 やや古いバージョンのuuv_simulatorを使用していますが、このプラグインはgazeboにのみ依存しているため、どこでも機能するはずです。 uuv_simulatorでは、次のurdfを含めることで含めることができます： https ：

<xacro:forward_looking_sonar
      namespace="${namespace}"
      suffix="down"
      parent_link="${namespace}/base_link"
      topic="forward_sonar"
      mass="0.015"
      update_rate="10"
      samples="100"
      fov="1.54719755"
      width="260"
      height="120">
      <inertia ixx="0.00001" ixy="0.0" ixz="0.0" iyy="0.00001" iyz="0.0" izz="0.00001" />
      <origin xyz="0.83 0 -0.22" rpy="0 ${0.2*pi} 0" />
      <visual>
      </visual>
    </xacro:forward_looking_sonar>

これで、rosトピックでこの画像のようなものを見ることができるはずです： video 。

時間が許せば（締め切り後）、このセンサーを独自のパッケージに分割して、FLSシムだけを使用したい人なら誰でも使用できるようにします。

一番、
ニルス

@nilsboreに注目！ アップデートありがとうございます。 性能を向上させるために、このセンサーも改良していきます。

これまでのところ、本当に素晴らしいアップデートと進歩です！ このプロジェクトのさらなる更新と本当に素晴らしい仕事@nilsboreを楽しみにしています！

@NickSadjoliと@nilsboreからチェリーを選んで、マスターから何かしらのFFを取得しようとしました。 あなたは両方とも異なる方法で分岐したようです。

他の人が使用できるように、皆さんに見てもらい、コメント/コミットしてもらうとよいでしょう。

返信が遅くなってすみません@willcbaker ！ 私は@nilsboreから分岐しています。

残念ながら、他の問題のためにコードの改善はあまり進んでいませんが、時間があるときに必ず更新を投稿します。

あなたが行ったコミットに関しては、あなたが行った追加は私のブランチに対して行ったものとまったく同じであると言っても過言ではありません。 これでGazeboと完全に連携するはずであり、「rexrov / depth / image_sonar」トピックからソナー画像を取得できます。

センサーの実装では今のところ深度カメラを使用する必要があるため、現在、名前は「/ depth」トピックと密接に関連していることに注意してください。 混乱を避けるためにこれを改善できるかどうかを確認する必要があります。近いうちにさらに更新が行われることを願っています。

ねえ@NickSadjoli 、もしあれば、このソナーが実装されているリポジトリにリンクできますか？

@musamarcusso以前にリンクを提供しなかったことをお詫びします。 このソナーのRexrovUUVへの動作例がある動作中のブランチがありますが、このブランチには、参照された論文で言及されているFLSを再作成するために以前に試した他の動作しない実験コードが含まれていることに注意してください。 ブランチは以下にリンクされています：

https://github.com/NickSadjoli/uuv_simulator/tree/realistic-sonar-sim-48

このブランチで追加または使用されたことに注意するその他の事項または変更：

• 研究プロジェクトで使用するために変更した「subsea_bop_panel.world」に大きく基づいた「test_turbid_water.world」という名前のカスタマイズされたテストワールド。
• NielsのFLS実装を含む動作中のrexrovモデルは、ディレクトリ「uuv_descriptions / robots / rexrov_test.xacro」にあり、最初は「rexrov_sonar.xacro」モデルに基づいています。 モデルは以前のm450またはp900flsをコメントアウトし、上記のNielsが推奨したflsソナーxacroに置き換えます。
• カスタマイズされた「rexrov_fls.rviz」ビューにより、Rvizは/ rexrov / depth / image_raw_sonarトピックとfrontdefault_cameraトピックに直接表示されます。
• カスタム起動ファイル「test_turbid_water.launch」は、カスタムワールドとRvizを直接参照して、上記の変更のすべての組み合わせを起動するために使用されます

現在のブランチのファイルの構成がわかりにくい場合は、このスレッドでフィードバックを送ってください。プルを実行できるように、このブランチのよりクリーンなバージョンを作成できます。

ありがとう、そしてあなたのフィードバック/意見を楽しみにしています

• NickSadjoli

編集：リポジトリリンクを添付するのを忘れた

こんにちは、@ NickSadjoli
私はあなたのuuv_simulator-realistic-sonar-sim-48を試しています。 私が最初に得たエラーは、catkin_makeのインストール中に「uuv_laser_to_sonar / launchがありません」でした。 回避策として、空の起動フォルダーを作成しました。 次に、「roslaunch uuv_gazebo_worlds test_turbid_water.launch」を実行すると、次のようないくつかのエラーが発生しました。

1. [エラー] [gazebo_ros_image_sonar。 cpp：160 ]クリップがありません。
2. gzserver：シンボルルックアップエラー：/home/cchien/catkin_ws3/devel/lib/libimage_sonar_ros_plugin.so：未定義のシンボル：_ZN2cv3Mat6createEiPKii。
   また、「センサータイプ[深度]の変換はサポートされていません」などの警告もあります。
   その結果、rvizにソナー画像は表示されません。 私は何かをmssingしていますか？ コメントや提案はありますか？ 私はubuntu16.04、ROS Kinetic、およびopencv3.4でコードをテストしています。 ありがとう。 C.チエン

こんにちは、@ NickSadjoli
エラーを追跡した後、opencvライブラリが適切にリンクされていなかったことが判明しました。 回避策として、必要なopencvライブラリをimage_sonar_ros_pluginに明示的に追加しました。 元のエラーを修正するためのより良い方法があるかどうかを教えてください。

また、my_frame（およびマップ）が定義されていないか、ワールドからtfを取得していないことに気付きました。 問題を解決する方法はありますか？ あなたの貢献に感謝します。 C.チエン

こんにちは@ chyphen777！

お問い合わせへの回答が非常に遅れていることをお詫び申し上げます。

起動ファイルが見つからないというエラーは、FLSシミュレーションで使用されないディレクトリがいくつか含まれているために発生した可能性があり、CMakeが乱雑になりました。 これをクリーンアップするためにブランチを更新しました。これでこのようなエラーが修正されるはずです。 ただし、残念ながら、このブランチで必要なファイルを誤って削除したため、代わりにGazeboGUIがエラーとセグメンテーション違反で起動しているようです。 ただし、実際のガゼボトピックはまだ起動されており、RVizはときどき適切に起動される可能性があるため、まだ完全に壊れているわけではないことに注意してください。

ブランチでこの問題を修正し、問題が解決しない場合は前のコミットに戻そうとします。 ただし、仕事で他のこともやっているので時間がかからないかもしれませんので、少し時間がかかるかもしれませんのでご注意ください。

「クリップがありません」と「センサータイプ[深度]の変換がサポートされていません」というエラーについては、ソナー画像がRVizに表示されない原因として考えられるかどうかはわかりませんが、まだ確認できました。これらのエラーが表示されても、RVizに画像が表示されます。 残念ながら、ローカルリポジトリでまだ発生していないシンボルルックアップエラーが原因である可能性が高いと思います。

関連するメモとして、opencvライブラリをCMakeListsに明示的にリンクする必要があるかどうかはわかりません。これは、ワールドを必要とせずに正常に起動できたためです。 ただし、これについても調べてみます。 同様の問題が発生している可能性のある他のユーザーにも、バンドエイドエラーを提供していただきありがとうございます。

こんにちは@ chyphen777 、

現在のブランチにいくつかの小さな変更を加えたところですが、私のマシンでは正常に機能しているようです。このブランチに切り替えて、catkin_makeinstallですべてをコンパイルできるはずです。

ただし、ブランチが不安定な場合があり、次のタイプのエラーが発生する可能性があることに注意してください。

このようなエラーが発生した場合は、起動ファイルを閉じて再起動するだけで、GazeboとRVizを起動して実行できます（少なくとも私が実行できたこと）。 この不安定さは間違いなく厄介です。ブランチをより安定させるために、これをさらに引き起こす原因を調べてみます。

また、残念ながら、my_frameとmapが定義されていないか、世界のtfから更新されていないことについても詳しく調べていません。 まだ成功していない別のFLSソリューションを使用しようとした以前の試みの残りが原因である可能性があります。 繰り返しになりますが、時間があればこれを調べて、更新があれば戻ってきます。

歓声とフィードバックをありがとうC.Chien！ -ニコラスS。

こんにちは、 @ NickSadjoli ：

返信、修正、役立つ情報をありがとうございます。 私はあなたのソナーシミュレーターを実行することができます。 返事が遅れて申し訳ありません。 私は他のプロジェクトに追いやられました。 更新があればお知らせください。
よろしく、C。チェン。

@NickSadjoli
まず、UUVシミュレーター用のこのFLS実装での素晴らしい作業です。これは、コミュニティにとって大きな資産です。 FLSを通常フィールドに展開するハードウェアと一致させるために若干の変更を加える予定なので、いくつか質問があります。

1. たとえば、前を向いているソナーと後ろを向いているソナーなど、別のソナーを追加するにはどうすればよいですか？ FLS画像の生成に関して、カメラには多くの相互依存関係があるようです。あなたのガイダンスを探しています。

2. これが基づいているソナーは何ですか、そしてその垂直開口は何ですか？ ソナーの垂直絞りをどのように変更したいですか？

3. センサーの最大範囲はどれくらいですか？必要に応じてどのように変更しますか？

4. ファイルrexrov_test.xacroで、FLSを起動するブロックで、「samples = 100」は何を指しますか？

ジョン

@NickSadjoli
今後の作業でこれを適切に引用することを検討しています。 UUVシミュレーターの引用を使用しますが、引用する必要のある他の作品はありますか？ おそらく「リアルタイムアプリケーション用の新しいGPUベースのソナーシミュレーター？」

@ jake3991少なくとも私の元の実装は、あなたが参照している論文に基づいています。 @NickSadjoliが他の作品のコンセプトを追加したかどうかはわかりません。

よくやった！

@nilsbore私はあなたの実装とイメージングソナーの画像形成を理解しようとしています。 ConstructSonarImageとConstructScanImageを実装するために使用された方程式を教えていただけますか？ たとえば、 SNRがcv::Mat SNR = SL - 2.0*TL - (NL-DI) + TS;として計算されるのはなぜですか？

cv::Mat GazeboRosImageSonar::ConstructSonarImage(cv::Mat& depth, cv::Mat& normals)
{
  std::vector<cv::Mat> images(3);
  cv::split(normals, images);

  float intensity = 100.; // target strength
  float SL = 200.; // source level
  float NL = 30; // noise level
  float DI = 0.0; // directivity index

  if (dist_matrix_.empty()) {
    // Compute dist_matrix_ once
    // ...
  }

  cv::Mat TS = intensity*images[2]; // target strength, probably dir should be DI

  cv::Mat TL = 5*depth; // transmission loss
  cv::multiply(TL, dist_matrix_, TL);

  cv::Mat SNR = SL - 2.0*TL - (NL-DI) + TS;
  SNR.setTo(0., SNR < 0.);

  // ...

@witigniteこのコードはかなり前のものであり、これらの方程式をどこで取得したかを正確に覚えていません。 正直なところ、これを実装する際の焦点は、完全に正しいソナーモデルではなく、リアルに見える画像の作成にありました。 良いスタートはおそらく@ jake3991が参照した論文を見ることです。

Gazeboのマルチビームソナーに興味がある人のために、私はUuv_simulatorも組み込んだDaveプロジェクトでマルチビームソナープラグインを構築しました。 Nvidia Cudaライブラリを使用し、900 kHzの周波数、10mの範囲で最大10Hzのリフレッシュレートの強度/範囲データを計算します。 詳細については、 https：//github.com/Field-Robotics-Lab/dave/wiki/Multibeam-Forward-Looking-Sonarをご覧ください。

こんにちは。プロジェクトの別の大規模なパーツ/コンポーネントに取り組んでいるため、非常に長い時間をかけてこのスレッドに返信して申し訳ありません。

これは事実上、昨年からこのワークロードを処理している同僚にこのワークロードを引き渡したため、シミュレーターの開発に完全に取り組んでいないことも意味します。 残念ながら、開発に関して質問が投稿された場​​合に備えて、このスレッドについて彼に言及するのを忘れました。

また、明確にするために、ソナーモデルの処理中に、 @ nilsboreによってソナー用にませんでした。 ただし、私の同僚は、濁った水中環境でのFLSの動作をより現実的にシミュレートするために、動作の一部を変更するためにいくつかの小さな調整を行った可能性があります。

@ jake3991あなたの質問に答えるには：

1. 私が理解していることから、私の同僚はこれまで、ソナーのいくつかのURDFパラメーターを微調整することによってソナーを「回転」させることしかできませんでした。 あなたがまだ興味を持っているなら、私は彼にそれがどのように行われるかをもっと詳しく尋ねようとします。
2. 当初、ソナーは@nilsboreが使用したBlueviewソナーに基づいていました。 しかし、最近、私の同僚は、異なるソナー仕様、特にBlueviewM750Dソナーに従うように絞りを微調整する方法を考え出しました。 彼はxacro呼び出しにいくつかのパラメーターを追加することでそれを行うことができたと思いますが、もう一度、その実装の詳細を彼に尋ねる必要があります。
3. 2と同じ答え
4. 残念ながら、これについて明確な答えを得るためにソフトウェアをいじくり回すことができませんでした。 これについて同僚に尋ねる必要があります。

また、私の同僚は、彼が取り組んでいるuuv_simulatorベースのシミュレーターに関する論文を公開することを計画していることにも注意してください。 したがって、私たちのプロジェクトの現在の実装に関する詳細は、彼に向ける必要があります。 プロジェクトの実装に関するその他の質問に答えるために、必要に応じて彼をこのスレッドに接続してもらいます。

ただし、実際に「正確な」ソナーモデルに関しては、@ woensug-choiによってリンクされた作業は、より直接的なレイトレーシング実装を使用しているため、より「正確な」モデルである可能性があります。 シミュレーションベースの開発全体にとって、これがどれほど優れているかは完全にはわかりませんが。

同僚に実装をチェックしてもらい、プロジェクトのシミュレーターにどれだけうまく統合できるかを確認します。

繰り返しになりますが、このスレッドへの返信が非常に遅いことについて、皆さんに多大な謝罪をします。

@ jake3991また、プロジェクトのシミュレーターの引用に関する説明：シミュレーターで実際に成功した論文の出版物を入手していないため、適切な引用には、リンクした論文と@nilsboreを引き続き使用することをお勧めします。

出版物に関する私たちの出版物が受け入れられるか行われると、私たちの論文の引用もおそらく使用することができます。

興味のある方は、 https：//github.com/Field-Robotics-Lab/dave/wiki/Multibeam-Forward-Looking-Sonarを確認して

@nilsboreのソナーモジュールをすでに統合している@musamarcussoのhttps://github.com/uuvsimulator/uuv_simulatorを使用していることに注意して
@ jake3991の質問で@NickSadjoliを明確にするには：

1. ソナー自体にURDFを追加しました。 したがって、別のURDFを追加し、パラメーター名を再マップすることで、シミュレーターに2つのソナーを含めることができます。

2. @NickSadjoliが言ったように、私たちはブループリントソナーから参照していました。
ソナーのVFOVをツイートするには：
ソナーのURDFxacroファイルでは、画像の幅と高さであるHFOVを指定する必要があります。 ガゼボは、画像の幅とHFOVに基づいて焦点距離を計算します。 同じ焦点距離を使用して、画像の高さを使用してVFOVを逆計算します。 したがって、必要なVFOVを指定するには、画像の高さを計算する必要があります。

焦点距離=（幅/ 2）/ tan（deg2rad（HFOV）/ 2）または焦点距離=（高さ/ 2）/ tan（deg2rad（VFOV）/ 2）

3.ソナーのC ++コードをツイートする必要があります。 @nilsboreによるソナーのC ++コードでは、 @ nilsboreの元の作品のように一定の範囲を持つ代わりに、「範囲」値にサブスクライバーを追加しました。 このようにして、ほとんどのソナーと同じように、ソナーディスプレイの最大範囲で遊ぶことができます。

1. 「FLS」のxacroでは、「samples」パラメータは使用されていません。 「マルチビーム」のxacroでは、ガゼボのレーザーポイントを使用してマルチビームを構成します。 したがって、これを参照してください：「GPUレーザー」の下の

お役に立てれば。

@nilsboreと@ NickSadjoli 、Hii、

1. sonar_snippets.xacroで、$ {width}と$ {height}はどういう意味ですか？ 生成された画像ソナーの幅と高さに関係がありますか？ 含まれている場合は、$ {width}と$ {height}の値を設定してから、ソナー画像トピックの高さと幅の値を出力します。 しかし、それらの値は異なっていました。 なぜそれが起こるのか、私に説明してもらえますか？
2. ソナーの範囲を広げて、ソナー画像でより遠い障害物を見ることができますか？

@Jenanaputra上記の私のコメントを参考にしてください.....

1. どのようにトピックを設定しましたか？ のパラメータを変更しましたか{$ topic}xacroファイルで？ または、C ++コードを特定のトピックに変更しましたか？ （私にとって、コードを変更することはより食欲をそそるように聞こえます）
2. ソナーは実際にはガゼボ深度カメラの修正版であり、ガゼボのカメラプラグインでは、$ {width}と$ {height}がセンサーのVFOVとHFOVに影響します（以前の投稿での方程式の言及）。 通常、カメラの場合、幅は1280、高さは720です。ソナーの場合、幅を1280に設定し、式を使用して高さを計算します。 このようにして、必要なセンサーのVFOVを取得します。
3. 以前の投稿で述べたように、範囲を変更するには、C ++コードを変更する必要があります。 範囲は現在、ハードコードされた固定値です。
   最後に、C ++コードを変更した後、catkincleanとcatkinmakeを忘れないでください（ROSパッケージを使用していると仮定します）

@ loguna123リプレイありがとうございます。 このflsプラグインで使用される深度値を取得/知る方法を知っていますか？