Lightweight-human-pose-estimation.pytorch: libtorch C++ 데모

안녕하세요, 저는 그런 계획이 없습니다. 그리고 libtorch C++ 데모가 OpenVINO를 사용한 C++ 데모보다 더 빠를지 모르겠습니다. 네트워크 입력 크기는 더 나은 성능을 위해 조정할 수 있습니다. 예를 들어 가장 짧은 쪽을 192로 설정하고 여기 에서 수행할 수 있으며 마지막 매개변수를 192로 설정합니다. 특정 경우에 충분할 수 있습니다. 질문에 답하기:

1. 입력 비디오 종횡비가 중요합니다. 사람의 모양이 충분히 비뚤어지면 모델이 작동하지 않습니다. 따라서 가로 세로 비율을 유지하려면 크기를 조정해야 합니다(각 축에 대해 동일한 크기). 이상한 이미지 크기로 작동해야 할 것 같습니다. 벡터화 연산(SIMD) 처리를 위해 짝수 치수로 데모 패드.
2. 마지막 두 개의 텐서를 취하는 것은 괜찮습니다. 네트워크에는 2개의 단계가 있고, 두 번째는 첫 번째(처음 두 개의 출력 텐서)에서 결과를 가져와서 정제합니다. C++ 데모가 열려 있습니다. 여기 에서 그룹화의 C++ 구현을 찾을 수 있습니다.

그리고 PyTorch로 C++ 데모를 하기로 결정했다면 기여해 주십시오.

@Daniil-Osokin 귀하의 답변에 감사드립니다. 저는 이미 필요한 코드를 openvino에서 libtorch cpp 데모로 마이그레이션했습니다. 성공 후 PR을 보내드립니다.

libtorch를 사용하면 openvino보다 빠르지 않을 수 있지만 openvino에서 엄청난 성능 향상을 볼 수는 없지만 libtorch는 GPU 지원을 선택적으로 켤 수 있습니다.

이제 내 주변에 또 다른 문제가 있습니다. 히트맵을 사용하는 모델은 Mobilenet을 백본으로 사용하여 실행하기 위해 항상 많은 메모리가 필요합니다. 이 모델은 내 gtx1080에서 약 79fps를 실행하지만 내 1.7G 메모리를 표시합니다. 거의 먹는 기억 괴물. 메모리 크기 축소 측면에서 모델 최적화가 있습니까?

OK..... 약간의 문제가 발생합니다.......... 프로그램이 실행되지만 결과가 올바르지 않습니다.

PyTorch에서 메모리 소비를 확인했는데( demo.py 실행) ~800MB가 표시됩니다. OpenVINO를 사용하면 소비량이 약 100MB입니다.

파이썬은 800M이 필요합니까? 데스크탑 사용량을 빼셨나요? 거의 토큰 1.2G 이상 채굴

@Daniil-Osokin 안녕하세요 Danill, openvino C++가 입력 이미지를 정규화한 곳을 보았습니까? (minu 128이고 256 나누기) 이 작업을 수행하는 코드를 찾지 못했습니다. 디버깅 후 libtorch_cpp 데모에서 일부 전처리 단계를 놓친 것 같습니다...

좋은 질문. 기본적으로 모든 모델은 .xml 파일 내부에 데이터 레이어 바로 뒤에 별도의 레이어로 사전 처리(필요한 경우)가 있습니다. 예:

<layer id="0" name="data" precision="FP32" type="Input">
            <output>
                <port id="0">
                    <dim>1</dim>
                    <dim>3</dim>
                    <dim>256</dim>
                    <dim>456</dim>
                </port>
            </output>
        </layer>
<layer id="1" name="Mul_/Fused_Mul_/FusedScaleShift_" precision="FP32" type="ScaleShift">
            <input>
                <port id="0">
                    <dim>1</dim>
                    <dim>3</dim>
                    <dim>256</dim>
                    <dim>456</dim>
                </port>
            </input>
            <output>
                <port id="3">
                    <dim>1</dim>
                    <dim>3</dim>
                    <dim>256</dim>
                    <dim>456</dim>
                </port>
            </output>
            <blobs>
                <weights offset="0" size="12"/>
                <biases offset="12" size="12"/>
            </blobs>
        </layer>

따라서 위에서 정규화가 도움이 될 것이라고 생각합니다(128 빼기 및 256 나누기).

그리고 메모리 소비의 경우 파이썬이 차지하는 메모리일 뿐입니다.

@Daniil-Osokin 감사합니다 Danill. libtorch 데모에 전처리를 추가했지만 결과가 없으며 결과가 여전히 옳지 않습니다.

C++의 일부 전처리 단계를 검토하는 데 도움을 주시겠습니까? 나는 지금 어떤 단계가 누락되었는지 알아내는 데 방향을 잃었습니다. 도움을 구합니다..
openvino에서 필요한 코드를 가져와 libtorch와 통합했습니다. 여기 에서 별도의 저장소로 이동합니다. libtorch 경로만 편집하면 빌드할 수 있습니다. 추적된 C++ pt 모델은 이미 거기에 있습니다. ).

컴파일하고 실행할 수 있지만 논리가 어디에서 잘못되었는지 알 수 없습니다 ...
도움이 되시면 시간나실때 확인하시면 됩니다.

문제는 OpenCV가 인터리브 형식(HxWxC)으로 이미지를 읽고 텐서가 평면 입력(CxHxW 순서)을 예상하여 리포지토리에서 문제가 발생한다는 것입니다.

@jinfagang 도움이 되셨나요?

@Daniil-Osokin 감사합니다 Danill 채널 순서를 편집한 후 작동합니다! 이 문제를 닫고 일부 코드를 정리한 후 PR을 보내겠습니다.

@jinfagang 안녕하세요, 귀하의 저장소(https://github.com/jinfagang/light_human_pose_libtorch)는 더 이상 방문할 수 없습니다.
추적된 C++ pt 모델을 얻는 방법을 알려주실 수 있습니까?

죄송합니다. 현재 다른 기능을 개발 중이며 잠시 비공개입니다.
pytorch 튜토리얼에서 말했듯이 직접 추적할 수 있습니다. 쉽게 추적할 수 있습니다

@jinfagang 감사합니다.

안녕하세요 @jinfagang ,
당신은 당신의 libtorch와 함께 했습니까? 모든 사람을 위해 공유해 주시겠습니까?
최고의 안부!

안녕하세요 @jinfagang ,
당신은 당신의 libtorch와 함께 했습니까? 모든 사람을 위해 공유해 주시겠습니까?
최고의 안부!

나는 libtorch와 opencv를 사용하여 C++ 버전을 만들 수 있습니다. 비록 코드가 저에게 속해 있지만, 클라이언트는 제가 공개적으로 릴리스하는 것을 원하지 않을 것입니다. 좋은 소식은 numpy 작업의 대부분이 libtorch에서 지원된다는 것입니다. 점진적으로 구현할 수 있고, 파이썬 스크립트와 C++의 출력이 서로 일치하는지 확인할 수 있습니다. 하는 데 몇 시간이 걸렸지만 어렵지는 않았습니다.

@stereomatchingkiss 답변 감사합니다. 또한 Openvino 샘플의 인간 포즈 추정을 따르는 C++ 버전도 성공적으로 만들었습니다.

@tucachmo2202 공유 부탁드려도 될까요?)