Uuv_simulator: 보다 현실적인 소나 센서 시뮬레이션 구현

안녕하세요, 우리는 uuv_simulator 에서도 센서 시뮬레이션을 위해 노력하고 있습니다. 현재 우리는 폭포 이미지를 제공하는 사이드 스캔과 유사한 것을 가지고 있습니다. 더 중요한 것은 https://github.com/smarc-project/smarc_simulations/blob/master/smarc_gazebo_plugins/smarc_gazebo_ros_plugins/src/gazebo_ros_image_sonar.cpp 에서 멋진 FLS 센서를 만들기 위해 노력하고 있다는 것입니다. "실시간 애플리케이션을 위한 새로운 GPU 기반 소나 시뮬레이터" 문서에 설명된 시뮬레이션을 기반으로 합니다. Gazebo는 이를 약간 어렵게 만들기 때문에 시뮬레이션된 깊이 카메라 남용에 의존하지만 여전히 합리적으로 효율적입니다.

여전히 이에 대한 관심이 있는 경우 소나가 어떻게 보이는지에 대한 몇 가지 예를 제공하고 아마도 모든 것을 완료하고 이 저장소에 대한 PR을 작성하기 위해 노력할 것입니다.

@nilsbore 몇 가지 예가 좋을 것입니다. 나는 또한 이것에 정말로 관심이 있습니다.

@nilsbore님 , 모든 기여를 환영합니다 :) 풀 리퀘스트를 하고 싶다면 기꺼이 검토하겠습니다. 또 다른 솔루션은 UUV 시뮬레이터 문서에 플러그인을 통합하는 방법에 대한 정보를 추가하여 더 많은 사람들이 사용할 수 있도록 하는 것입니다. :)

안녕하세요 @musamarcusso 입니다. 이 시뮬레이터에 대한 훌륭한 작업에 감사드립니다! 이 리포지토리에 대한 깨끗한 PR을 만들고 제안된 경로 중 하나를 따르는 데 얼마나 많은 시간이 소요되는지 알아보겠습니다. 감사합니다!

안녕하세요 @nilsbore 입니다 .

수중 음파 탐지기를 UUV 시뮬레이터에 적용하는 과정에서 여러분의 발전을 기대합니다. 알려주세요! =디

FLS에 진전이 있었습니까? 저도 활용하려고 합니다.

안녕하세요 @nilsbore입니다! 이 스레드가 시작된 지 꽤 되었지만 지금까지 FLS 시뮬레이션의 진행 상황을 알 수 있습니까? 여러분이 Gazebo에서 작업하고 있는 소나 시뮬레이션을 활용하기를 고대하고 있으며 그 후에 더 많은 진전이 있기를 바랍니다.

*여기에 있었던 마지막 업데이트 이후.

안녕하세요 여러분, 이 주제에 대해 많은 진전을 이루지 못해서 죄송합니다. 센서 시뮬레이션은 오픈 소스이며 여기에서 사용할 수 있습니다. https://github.com/smarc-project/smarc_simulations/tree/master/smarc_gazebo_plugins/smarc_gazebo_ros_plugins . gazebo_ros_image_sonar 라고 합니다. 다소 오래된 버전의 uuv_simulator를 사용하고 있지만 이 플러그인은 전망대에만 의존하므로 모든 곳에서 작동해야 합니다. : uuv_simulator에서는이 urdf 포함하여 포함시킬 수 https://github.com/smarc-project/smarc_simulations/blob/master/smarc_sensor_plugins/smarc_sensor_plugins_ros/urdf/sonar_snippets.xacro을 하고 차량 urdf에서이 조각 같은 것을 추가 :

<xacro:forward_looking_sonar
      namespace="${namespace}"
      suffix="down"
      parent_link="${namespace}/base_link"
      topic="forward_sonar"
      mass="0.015"
      update_rate="10"
      samples="100"
      fov="1.54719755"
      width="260"
      height="120">
      <inertia ixx="0.00001" ixy="0.0" ixz="0.0" iyy="0.00001" iyz="0.0" izz="0.00001" />
      <origin xyz="0.83 0 -0.22" rpy="0 ${0.2*pi} 0" />
      <visual>
      </visual>
    </xacro:forward_looking_sonar>

그러면 ros 주제: video 에서 다음과 같은 이미지를 볼 수 있습니다.

시간이 허락되면(마감 후) 이 센서를 FLS sim을 사용하고 싶어하는 모든 사람이 사용할 수 있는 자체 패키지로 나누려고 노력할 것입니다.

최상의,
닐스

@nilsbore를 언급했습니다 ! 업데이트해주셔서 정말 감사합니다. 이 센서도 개선하여 성능이 향상될 수 있도록 노력하겠습니다.

지금까지 정말 훌륭한 업데이트 및 진행 상황입니다! 이 프로젝트에 대한 추가 업데이트와 정말 멋진 작업 @nilsbore를 기대합니다!

저는 마스터로부터 FF를 얻으려고 @NickSadjoli 와 @nilsbore 에서 체리를 골랐습니다. 두 분 다 다른 방향으로 엇갈린 것 같습니다.

다른 사람들이 사용할 수 있도록 여러분이 살펴보고 댓글/커밋을 해주면 좋을 것입니다.

@willcbaker 님 답변이 늦어 죄송합니다! 환경에 다른 매개 변수가 있는 것처럼 보이는 내 프로젝트에 그의 코드를 구현하려고 하기 때문에 @nilsbore 에서

불행히도 다른 문제로 인해 코드를 개선하는 데 많은 진전이 없었지만 시간이 되면 업데이트를 게시하도록 하겠습니다.

당신이 만든 커밋의 관점에서 나는 당신이 만든 추가 사항이 내 지점에 대해 한 것과 정확히 동일하다고 안전하게 말할 수 있습니다. 이제 Gazebo와 완벽하게 작동해야 하며 "rexrov/depth/image_sonar" 주제에서 소나 이미지를 얻을 수 있습니다.

센서 구현에는 현재 깊이 카메라를 사용해야 하기 때문에 현재 이름은 "/깊이" 주제와 밀접하게 연관되어 있습니다. 가능한 혼란을 피하기 위해 이것이 개선될 수 있는지 확인해야 하며 곧 추가 업데이트가 따를 수 있기를 바랍니다.

@NickSadjoli님 , 이 수중 음파 탐지기가 구현된 저장소(있는 경우)에 연결할 수 있습니까?

@musamarcusso 이전에 링크를 제공하지 않은 것에 대해 사과드립니다. Rexrov UUV에 대한 이 수중 음파 탐지기의 작업 예제가 있는 작업 분기가 있지만 이 분기에는 이전에 참조된 문서에서 언급한 FLS를 재현하려고 시도한 작동하지 않는 다른 실험 코드가 포함되어 있습니다. 지점은 아래와 같습니다.

https://github.com/NickSadjoli/uuv_simulator/tree/realistic-sonar-sim-48

이 분기에 추가되었거나 사용되는 기타 사항 또는 변경 사항:

• 내 연구 프로젝트에서 사용하기 위해 수정한 "subsea_bop_panel.world"를 크게 기반으로 하는 "test_turbid_water.world"라는 사용자 지정 테스트 세계.
• Niels의 FLS 구현을 포함하는 작동 중인 rexrov 모델은 초기에 "rexrov_sonar.xacro" 모델을 기반으로 하는 "uuv_descriptions/robots/rexrov_test.xacro" 디렉토리에 있습니다. 이 모델은 이전 m450 또는 p900 fls를 주석 처리하고 위에서 Niels가 권장한 fls 소나 xacro로 대체합니다.
• Rviz가 /rexrov/depth/image_raw_sonar 및 전면 default_camera 주제에 직접 표시되도록 하는 사용자 정의된 "rexrov_fls.rviz" 보기입니다.
• 사용자 지정 시작 파일 "test_turbid_water.launch"는 위의 모든 변경 사항 조합을 시작하는 데 사용되며 사용자 지정 세계와 Rviz를 직접 참조합니다.

현재 분기의 파일 구성이 너무 혼란스럽다면 이 스레드에서 저에게 피드백을 주세요. 그러면 제가 이 분기의 더 깨끗한 버전을 만들어 여러분이 끌어올 수 있도록 할 수 있습니다.

감사합니다. 귀하의 피드백/의견을 기다리겠습니다.

• 닉사졸리

편집: 저장소 링크를 첨부하는 것을 잊었습니다.

안녕하세요, @NickSadjoli
나는 당신의 uuv_simulator-realistic-sonar-sim-48을 시험해 보고 있습니다. 내가 받은 첫 번째 오류는 catkin_make 설치 중 "uuv_laser_to_sonar/launch 누락"이었습니다. 해결 방법으로 빈 시작 폴더를 만들었습니다. 그런 다음 "roslaunch uuv_gazebo_worlds test_turbid_water.launch"를 실행하고 다음을 포함한 몇 가지 오류가 발생했습니다.

1. [Err] [gazebo_ros_image_sonar. cpp:160 ] 클립이 없습니다.
2. gzserver: 기호 조회 오류: /home/cchien/catkin_ws3/devel/lib/libimage_sonar_ros_plugin.so: 정의되지 않은 기호: _ZN2cv3Mat6createEiPKii.
   "센서 유형[깊이] 변환이 지원되지 않음"을 포함한 일부 경고가 표시됩니다.
   결과적으로 rviz에 소나 이미지가 표시되지 않습니다. 내가 뭔가를 mssing하고 있습니까? 의견이나 제안 사항이 있습니까? 우분투 16.04, ROS kinetic 및 opencv 3.4에서 코드를 테스트하고 있습니다. 감사 해요. C. 치엔

안녕하세요, @NickSadjoli
오류를 추적한 후 opencv 라이브러리가 제대로 연결되지 않은 것으로 나타났습니다. 해결 방법으로 image_sonar_ros_plugin에 필수 opencv 라이브러리를 명시적으로 추가했습니다. 원래 오류를 수정하는 더 좋은 방법이 있으면 알려주십시오.

또한 my_frame(및 맵)이 정의되지 않았거나 세계에서 tf를 가져오지 않는다는 것을 알았습니다. 문제를 해결하는 방법에 대한 아이디어가 있습니까? 기여해 주셔서 감사합니다. C. 치엔

안녕하세요 @chyphen777입니다!

문의에 대한 답변이 많이 늦어진 점 사과드립니다.

누락된 시작 파일에 대한 오류는 어쨌든 FLS 시뮬레이션에서 사용되지 않을 여러 디렉토리를 포함하여 CMake-s를 지저분하게 만드는 원인으로 인해 발생했을 수 있습니다. 이를 정리하기 위해 분기를 업데이트했는데 이제 이러한 오류를 수정해야 합니다. 그러나 불행히도 이 분기에서 일부 필요한 파일을 실수로 삭제하여 Gazebo GUI가 대신 오류 및 분할 오류와 함께 시작되도록 한 것 같습니다. 그러나 실제 전망대 주제는 여전히 시작되고 RViz는 여전히 가끔 제대로 시작될 수 있으므로 아직 완전히 손상되지는 않았습니다.

브랜치에서 이 문제를 수정하고 문제가 계속되면 이전 커밋으로 되돌리려고 합니다. 다만, 다른 업무도 병행하고 있어 시간이 많이 부족할 수 있음을 양해 부탁드립니다.

"클립이 없습니다." 및 "센서 유형[깊이] 변환이 지원되지 않음" 오류에 관해서는 RViz에 소나 이미지가 표시되지 않는 가능한 원인인지 확실하지 않습니다. 이러한 오류가 표시되는 경우에도 내 RViz에 이미지가 표시되도록 합니다. 불행히도 아직 로컬 리포지토리에서 발생하지 않은 기호 조회 오류로 인한 것 같습니다.

관련 메모에서 opencv 라이브러리를 CMakeLists에 명시적으로 링크해야 하는지 여부도 확실하지 않습니다. 왜냐하면 필요 없이 세상을 제대로 시작할 수 있었기 때문입니다. 그러나 나는 이것에 대해서도 보려고 노력할 것입니다. 유사한 문제를 겪을 수 있는 다른 사용자를 위해 반창고 오류를 제공해 주셔서 감사합니다.

안녕하세요 @chyphen777 입니다 .

방금 현재 분기에 약간의 수정을 가했으며 이제 내 컴퓨터에서 제대로 작동하는 것 같으므로 이 분기로 전환하고 catkin_make install로 모든 것을 컴파일할 수 있어야 합니다.

그러나 분기가 때때로 불안정한 것처럼 보이며 다음 유형의 오류가 발생할 수 있습니다.

이러한 오류가 발생하는 경우 시작 파일을 닫고 다시 실행하여 Gazebo와 RViz를 시작하고 실행할 수 있어야 합니다(최소한 내가 할 수 있었던 것). 이 불안정성은 확실히 짜증나는 일이며 분기가 더 안정될 수 있도록 원인을 더 조사하려고 노력할 것입니다.

또한 불행히도 my_frame 및 map이 정의되지 않았거나 world's tf에서 업데이트되지 않는 것과 관련하여 자세히 살펴보지 않았습니다. 아직 성공하지 못한 다른 FLS 솔루션을 사용하려는 이전 시도의 잔여물 때문일 수 있습니다. 다시 한 번, 시간이 더 있을 때 이 문제를 살펴보고 더 많은 업데이트가 있으면 다시 알려 드리겠습니다.

건배와 피드백에 감사드립니다 C. Chien! - 니콜라스 S.

안녕하세요, @NickSadjoli :

답변, 수정 및 유용한 정보에 감사드립니다. 귀하의 소나 시뮬레이터를 실행할 수 있습니다. 늦은 답변 죄송합니다. 나는 다른 프로젝트에 곁길로 갔다. 업데이트가 있으면 계속 알려주세요.
안부, C. Chien.

@NickSadjoli
우선, UUV 시뮬레이터용 FLS 구현으로 훌륭하게 작업했습니다. 커뮤니티를 위한 큰 자산입니다! FLS가 일반적으로 현장에 배포하는 하드웨어와 일치하도록 약간의 변경을 할 계획이므로 몇 가지 질문이 있습니다.

1. 다른 소나(예: 전방 및 후방 탐색)를 추가하려면 어떻게 해야 합니까? FLS 이미지 생성과 관련하여 카메라에 많은 상호 의존성이 있는 것 같습니다.

2. 이것이 기반으로 하는 소나는 무엇이며 수직 구경은 무엇입니까? 소나의 수직 조리개를 변경하려면 어떻게 해야 합니까?

3. 센서의 최대 범위는 무엇이며 원하는 경우 어떻게 변경합니까?

4. rexrov_test.xacro 파일에서 FLS를 시작하는 블록에서 "samples = 100"은 무엇을 참조합니까?

남자

@NickSadjoli
다음 작업에서 이것을 적절하게 인용하려고 합니다. UUV 시뮬레이터 인용을 사용하지만 인용해야 할 다른 작업이 있습니까? 아마도 "실시간 애플리케이션을 위한 새로운 GPU 기반 소나 시뮬레이터?"

@ jake3991 적어도 내 원래 구현은 당신이 언급하는 논문을 기반으로합니다. @NickSadjoli 가 다른 작품의 개념을 추가

잘 했어!

@nilsbore 귀하의 구현과 이미징 소나의 이미지 형성을 이해하려고 노력 중입니다. ConstructSonarImage 및 ConstructScanImage 를 구현하는 데 사용된 방정식을 알려 주시겠습니까? 예를 들어 SNR 가 cv::Mat SNR = SL - 2.0*TL - (NL-DI) + TS; 로 계산되는 이유는 무엇입니까?

cv::Mat GazeboRosImageSonar::ConstructSonarImage(cv::Mat& depth, cv::Mat& normals)
{
  std::vector<cv::Mat> images(3);
  cv::split(normals, images);

  float intensity = 100.; // target strength
  float SL = 200.; // source level
  float NL = 30; // noise level
  float DI = 0.0; // directivity index

  if (dist_matrix_.empty()) {
    // Compute dist_matrix_ once
    // ...
  }

  cv::Mat TS = intensity*images[2]; // target strength, probably dir should be DI

  cv::Mat TL = 5*depth; // transmission loss
  cv::multiply(TL, dist_matrix_, TL);

  cv::Mat SNR = SL - 2.0*TL - (NL-DI) + TS;
  SNR.setTo(0., SNR < 0.);

  // ...

@witignite 이 코드는 꽤 @jake3991이 참조한 논문을 보는 것입니다.

Gazebo의 Multibeam Sonar에 관심이 있는 사람들을 위해 Dave 프로젝트에서 uuv_simulator도 통합한 Multibeam Sonar 플러그인을 만들었습니다. Nvidia Cuda 라이브러리를 사용하고 900kHz 주파수, 10m 범위에서 최대 10Hz 재생 빈도의 강도/범위 데이터를 계산합니다. 자세한 내용은 https://github.com/Field-Robotics-Lab/dave/wiki/Multibeam-Forward-Looking-Sonar를 참조하십시오.

안녕, 내 프로젝트의 또 다른 방대한 부분/구성 요소를 다루기 때문에 아주 오랜만에 이 스레드에 답장을 보내서 정말 죄송합니다.

이것은 또한 작년부터 이 작업을 처리해 온 동료에게 이 작업량을 넘겼기 때문에 더 이상 시뮬레이터 개발에 대해 완전히 일하고 있지 않다는 것을 의미합니다. 불행히도 개발과 관련하여 게시된 질문이 있는 경우에 대비하여 이 스레드를 그에게 언급하는 것을 잊었습니다.

또한 설명을 위해: 소나 모델을 처리하는 동안 @nilsbore 가 소나에 대해 작성한 하위 수준(즉, C 소스 코드) 코드를 수행하지 않았습니다. 그러나 내 동료는 혼탁한 수중 환경에서 FLS 동작을 보다 사실적으로 시뮬레이션하기 위해 일부 동작을 변경하기 위해 약간의 조정을 수행했을 수 있습니다.

@jake3991 질문에 답하려면:

1. 내가 이해한 바에 따르면 내 동료는 지금까지 소나의 일부 URDF 매개변수를 조정하여 소나를 '회전'하는 데만 성공했습니다. 당신이 여전히 관심이 있다면 어떻게 했는지 더 자세히 물어보려고 노력할 것입니다.
2. 처음에 소나는 @nilsbore가 사용한 Blueview 소나를 기반으로 했습니다. 그러나 최근에 제 동료가 다른 소나 사양, 특히 Blueview M750D 소나 를 따르도록 조리개를 조정하는 방법을 알아냈습니다. 나는 그가 xacro 호출에 몇 가지 매개변수를 추가하여 그것을 할 수 있었다고 생각하지만, 다시 그 구현에 대한 추가 세부사항을 물어야 할 것입니다.
3. 2와 같은 대답
4. 불행히도 이에 대한 명확한 답변을 얻기 위해 소프트웨어를 가지고 놀지 못했습니다. 동료에게 이것에 대해 물어봐야 합니다.

또한 제 동료가 작업 중인 uuv_simulator 기반 시뮬레이터에 대한 논문을 게시할 계획이라는 점에 유의하십시오. 따라서 우리 프로젝트의 현재 구현에 대한 자세한 내용은 그에게 전달되어야 합니다. 우리 프로젝트 구현에 대한 추가 질문에 답하기 위해 필요한 경우 그를 이 스레드에 연결하도록 노력하겠습니다.

그러나 실제로 "정확한" 소나 모델과 관련하여 @woensug-choi가 링크한 작업은 보다 직접적인 광선 추적 구현을 ​​사용하기 때문에 보다 "정확한" 모델일 수 있습니다. 비록 이것이 전반적으로 시뮬레이션 기반 개발에 얼마나 더 나은지 확신할 수는 없지만.

내 동료가 구현을 확인하고 내 프로젝트의 시뮬레이터에 얼마나 잘 통합될 수 있는지 확인하게 할 것입니다.

이 스레드에 대한 매우 늦은 답변에 대해 다시 한 번 모든 분들께 큰 사과를 드립니다.

@jake3991 또한 우리 프로젝트 시뮬레이터의 인용에 대한 설명을 위해: 시뮬레이터에서 실제 성공적인 논문 출판을 얻지 못했기 때문에 적절한 인용을 위해

출판물에 대한 우리의 출판이 승인되거나 완료되면 우리 논문에 대한 인용도 그때 사용될 수 있습니다.

관심 있는 분들은 https://github.com/Field-Robotics-Lab/dave/wiki/Multibeam-Forward-Looking-Sonar 를 확인

내가 사용하고 있습니다 수행 https://github.com/uuvsimulator/uuv_simulator를 이미 통합 한 그 @musamarcusso에서를 @nilsbore의 수중 음파 탐지기 모듈.
@jake3991 질문에서 @NickSadjoli 를 명확히 하려면:

1. 소나 자체에 URDF를 추가했습니다. 따라서 다른 URDF를 추가하고 매개변수 이름을 다시 매핑하여 시뮬레이터에 2개의 소나를 가질 수 있습니다.

2. @NickSadjoli가 말했듯이, 우리는 Blueprint 소나에서 참조했습니다.
소나의 VFOV를 트윗하려면:
소나의 URDF xacro 파일에서 HFOV, 이미지의 너비 및 높이를 지정해야 합니다. Gazebo는 이미지 너비와 HFOV를 기반으로 초점 거리를 계산합니다. 동일한 초점 거리를 사용하여 이미지의 높이를 사용하여 VFOV를 역으로 계산합니다. 따라서 원하는 VFOV를 지정하려면 이미지 높이를 계산해야 합니다.

초점 거리 = (폭/2) / tan( deg2rad(HFOV)/2) 또는 초점 거리 = (높이/2) / tan( deg2rad(VFOV)/2)

3.소나의 C++ 코드를 트윗해야 합니다. @nilsbore 의 수중 음파 탐지기의 C++ 코드에서 @nilsbore 원본 작업과 같이 일정한 Range를 갖는 대신 "Range" 값에 구독자를 추가했습니다. 이렇게 하면 대부분의 소나처럼 소나 디스플레이의 최대 범위로 재생할 수 있습니다.

1. "FLS"의 xacro에서 "samples" 매개변수는 사용되지 않습니다. "Multibeam"용 xacro에서는 전망대의 레이저 포인트를 사용하여 멀티 빔을 구성합니다. 따라서 "GPU 레이저" 아래의 http://gazebosim.org/tutorials?tut=ros_gzplugins를 참조하십시오.

도움이 되었기를 바랍니다.

@nilsbore 및 @NickSadjoli ,

1. sonar_snippets.xacro에서 ${width} 및 ${height}는 무엇을 의미합니까? 생성된 이미지 소나의 너비와 높이와 관련이 있습니까? 그렇다면 ${width} 및 ${height} 값을 설정하려고 시도한 다음 소나 이미지 topic의 높이와 너비 값을 인쇄합니다. 하지만 그 가치는 달랐다. 왜 그런 일이 일어나는지 설명해 주시겠습니까?
2. 수중 음파 탐지기의 확장된 범위를 얻을 수 있으므로 소나 이미지에서 더 먼 장애물을 볼 수 있습니까?

@Jenanaputra 위의 제 댓글을 참고

1. 주제를 어떻게 정했나요? 의 매개변수를 변경했습니까?{$주제}xacro 파일에서? 아니면 갖고 싶은 특정 주제로 C++ 코드를 수정했습니까? (코드를 수정하는 것이 더 맛있게 들립니다)
2. 수중 음파 탐지기는 실제로 전망대 깊이 카메라를 수정한 것으로 ${width} 및 ${height}는 전망대의 카메라 플러그인에서 센서의 VFOV 및 HFOV에 영향을 미칩니다(이전 게시물의 방정식 언급). 일반적으로 카메라의 경우 너비는 1280이고 높이는 720입니다. 수중 음파 탐지기의 경우 너비를 1280으로 설정하고 공식을 사용하여 높이를 계산합니다. 이렇게 하면 내가 원하는 센서의 VFOV를 얻을 수 있습니다.
3. 이전 게시물에서 언급했듯이 범위를 수정하려면 C++ 코드를 수정해야 합니다. 범위는 현재 하드 코딩된 고정 값입니다.
   마지막으로 C++ 코드를 수정한 후 catkin clean과 catkin make를 잊지 마십시오(ROS 패키지를 사용한다고 가정).

@loguna123 재생