@aselle 이 문제를 좀 봐 주시겠습니까? 감사 해요.

우리는 현재 mobilenet SSD를 변환하기 위해 노력하고 있습니다(그리고 그 이후에는 inception ssd). 하지만 여기에는 완전히 지원되지 않는 작업이 포함되어 있습니다. 완료되면 이 문제를 업데이트하겠습니다.

좋아요, 여기에 비슷한 질문을 했습니다: https://github.com/tensorflow/tensorflow/issues/14731

ssd-mobilenet에서 지원을 추가할 때까지 얼마나 걸립니까?

감사 해요,
마틴 페니악

TensorFlow 조직의 구성원이 stat:awaiting tensorflower 레이블이 적용된 후 응답했습니다.

?

잔소리하는 담당자: 14일 동안 활동이 없었으며 이 문제에는 담당자가 있습니다. 그에 따라 레이블 및/또는 상태를 업데이트하십시오.

업데이트가 있습니까?
저도 비슷한 문제에 직면해 있습니다. 미리 감사드립니다.

@yucheeling

티셔츠, 청바지 등과 같은 다양한 의류 식별을 위해 소매점에서 사용할 수 있는 " ssd_mobilenet_v1_coco_2017_11_17.tar "와 같은 데이터 세트를 제안해 주시겠습니까?

@rana3579 , stackoverflow에서 그런 질문을 해주세요. mobilenet ssd에 대한 빠른 업데이트. 이것은 진행 중이며 곧 예제가 나오기를 바랍니다.

@rana3579 내 비디오를 확인하고 이것을 movidius, nvidia gpus 및 arm 프로세서에서 실행했습니다. 데이터 세트를 공유할 수는 없지만 회사의 일원이라면 잠재적인 협업에 대해 이야기할 수 있습니다. https://www.youtube.com/watch?v=3MinI9cCJrc

@aselle 업데이트 감사합니다! 이에 대한 알림은 어디에서 찾을 수 있습니까? 가능하다면 출시되는 대로 알려드리고 싶습니다. 감사합니다. 이 작업에 대한 귀하의 노고에 감사드립니다!

@andrewharp 는 이 작업을 진행 중이며 tflite를 사용하도록 Java TF 모바일 앱을 업데이트할 예정입니다. 따라서 저장소에서 이러한 변경 사항을 확인하십시오. 지금은 이 문제를 열어 두겠습니다.

이것은 내부적으로 작동합니다. 다음 주나 2주 안에 무언가가 나올 것입니다.

@andrewharp 굉장해!! iOS 카메라 예에도 적용됩니까?
또한 무게의 크기와 성능은 어떻습니까?
TFLite 분류 모바일넷은 작고 iOS에서의 성능은 매우 부드럽기 때문에 TFLite에 대해 정말 기대됩니다.

일부는 이미 기존 SSD Mobilenet pb를 coreml 모델로 변환하고 Swift에서 누락된 출력 레이어를 작성했습니다.
https://github.com/vonholst/SSDMobileNet_CoreML

그러나 그것은 iPhone 7에서 8-12fps에 불과합니다.

안녕,
이에 대한 업데이트가 있습니까?

저도 궁금합니다 :)

현재 검토 중인 tflite로 Android TF 데모를 이식하는 커밋이 있습니다. 이번 주에 github에 표시될 것입니다.

@madhavajay Android 전용이지만 iOS에 맞게 조정할 수 있어야 합니다. 유일한 것은 tflite가 MobileNet SSD에서 사용되는 모든 연산자를 완전히 지원하지 않기 때문에 일부 사전 처리(이미지 크기 조정/정규화) 및 사후 처리(최대가 아닌 억제 및 상자 사전에 의한 조정)가 Java에서 수행된다는 것입니다. .

@andrewharp 굉장합니다. 현재 TF lite에서 이러한 작업을 사용할 수 없는 이유를 간단히 설명할 수 있습니까? 일반 SSD의 tfcoreml 변환 도구와 동일한 경우인 것 같습니다. 단순히 기술적인 관심 때문에 불평하는 것이 아니라 모바일 스택에서 구현하기 특히 어려운 작업을 수행합니까 아니면 우선 순위가 낮습니까?

Android 코드에 대한 여러분의 엄청난 노력을 기대합니다!!! 정말 감사합니다. 나는 이것을 기대하는 유일한 사람이 아니라는 것을 알고 있습니다!

@andrewharp 및 @aselle TFLite 에 대한 SSD 기반 개체 현지화 예제를 사용하기 위한 데모 가져오기에 대한 업데이트가 있습니까?

현재 tensorflow/contrib/lite/examples/android 에 있습니다! 이것은 원본 TF Android 데모의 보다 완전한 포트이며(Stylize 예제만 없음) 앞으로 tensorflow/contrib/lite/java/demo의 다른 데모를 대체할 예정입니다.

변환된 TF Lite 플랫 버퍼는 mobilenet_ssd_tflite_v1.zip 에서 찾을 수 있고 Java 추론 구현은 TFLiteObjectDetectionAPIModel.java 에서 찾을 수 있습니다. 이것은 상자를 Java에서 수동으로 디코딩해야 하고 상자 이전 txt 파일을 앱 자산에 패키징해야 한다는 점에서 원래 TF 구현과 다릅니다. 그래프).

TOCO 변환 중에는 다른 입력 노드(Preprocessor/sub)와 다른 출력 노드(concat,concat_1)가 사용됩니다. 이것은 그래프가 재구성되거나 TF Lite가 TF 패리티에 도달할 때까지 tflite에 문제가 있는 일부 부분을 건너뜁니다.

다음은 SSD MobileNet 모델을 tflite 형식으로 변환하고 이를 사용하기 위한 데모를 구축하는 빠른 단계입니다.

# Download and extract SSD MobileNet model
wget http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v1_coco_2017_11_17.tar.gz
tar -xvf ssd_mobilenet_v1_coco_2017_11_17.tar.gz 
DETECT_PB=$PWD/ssd_mobilenet_v1_coco_2017_11_17/frozen_inference_graph.pb
STRIPPED_PB=$PWD/frozen_inference_graph_stripped.pb
DETECT_FB=$PWD/tensorflow/contrib/lite/examples/android/assets/mobilenet_ssd.tflite

# Strip out problematic nodes before even letting TOCO see the graphdef
bazel run -c opt tensorflow/python/tools/optimize_for_inference -- \
--input=$DETECT_PB  --output=$STRIPPED_PB --frozen_graph=True \
--input_names=Preprocessor/sub --output_names=concat,concat_1 \
--alsologtostderr

# Run TOCO conversion.
bazel run tensorflow/contrib/lite/toco:toco -- \
--input_file=$STRIPPED_PB --output_file=$DETECT_FB \
--input_format=TENSORFLOW_GRAPHDEF --output_format=TFLITE \
--input_shapes=1,300,300,3 --input_arrays=Preprocessor/sub \
--output_arrays=concat,concat_1 --inference_type=FLOAT --logtostderr

# Build and install the demo
bazel build -c opt --cxxopt='--std=c++11' //tensorflow/contrib/lite/examples/android:tflite_demo
adb install -r -f bazel-bin/tensorflow/contrib/lite/examples/android/tflite_demo.apk

@andrewharp 행복한 부활절 🥚🍫 당신은 레전드입니다! :) 내가 이것을 실행할 수 있는지 알아보겠습니다.

안녕하세요, 퀀타이즈 버전이 있습니까?

위의 지침에 따라 작동했지만 다음이 필요했습니다.

• 내 bazel 버전으로 인한 Android SDK 15
• Android Studio에서 프로젝트를 열 수도 없습니다.

@andrewharp 는 Gradle 대신 bazel을 사용하여 프로젝트를 빌드하는 새로운 Android Studio입니까, 아니면 작동하는 데 짧은 시간 프레임 때문에 현재 일부 프로젝트 설정이 누락되었습니까?

문제가 무엇인지 이해하면 PR을 제공하게 되어 기쁩니다.

또한 성능과 관련하여 Android 7의 LG G6에서는 느린 것 같습니다.
NN API가 Android 8에만 있기 때문인가요?

Android 8에서 테스트할 수 있는 사람이 있습니까?

알아, 나는 지침이 변환만을 위한 것이라고 생각했다. 나는 이것이 당신이 모델을 변환하는 방법이라는 문장의 첫 부분 이후 읽기를 중단했습니다.

네, 픽셀 xl이 있습니다. 귀하의 전화기에 추론을 가속화할 수 있는 하드웨어가 없거나 해당 하드웨어가 소프트웨어에서 지원되지 않는다고 가정합니다.

해보고 알려드리겠습니다. 나는 그것을 안드로이드 스튜디오 doh로 만들 수 있다고 가정했습니다 ...

내 iPhone에서 보낸

2018년 3월 31일 20시 5분에 Madhava Jay [email protected] 이 다음과 같이 썼습니다.

위의 지침에 따라 작동했지만 다음이 필요했습니다.

내 bazel 버전으로 인한 Android SDK 15
Android Studio에서 프로젝트를 열 수도 없습니다.
@andrewharp 는 Gradle 대신 bazel을 사용하여 프로젝트를 빌드하는 새로운 Android Studio입니까, 아니면 작동하는 데 짧은 시간 프레임 때문에 현재 일부 프로젝트 설정이 누락되었습니까?

문제가 무엇인지 이해하면 PR을 제공하게 되어 기쁩니다.

또한 성능과 관련하여 Android 7의 LG G6에서는 느린 것 같습니다.
NN API가 Android 8에만 있기 때문인가요?

Android 8에서 테스트할 수 있는 사람이 있습니까?

—
당신이 댓글을 달았기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하거나 GitHub에서 보거나 스레드를 음소거하세요.

네, 저도 똑같이 하고 바로 코드와 안드로이드 스튜디오로 갔습니다. 그런 다음 오늘 아침에 당신이 핑(ping)을 보낸 후 나는 같은 문제가 있다고 답장하려고 했고 다시 RTFM을 했습니다. 🤣

내가 말할 수 있는 바에 따르면 LG G6은 Pixel 1과 동일한 Qualcomm 821 SoC를 가지고 있기 때문에 NN API를 지원할 수 있어야 합니다. 하지만 불행히도 LG는 Android 8 또는 8.1을 출시하지 않았으며 최신 LineageOS 빌드는 약간 개략적으로 보입니다. 그래서 나는 그것이 Android 8.1에서 더 잘 작동한다는 것을 알지 못한다면 보류할 것입니다. Pixel에서 실행할 수 있다면 정말 멋질 것입니다! 👍

나는 이것을 테스트할 수 있었지만 데모는 정말 느리게 실행됩니다. 심지어 원래 버전보다 더 느립니다.
저는 Pixel XL(첫 번째 버전)을 사용하고 있으며 이전에 64비트 아치용 이전 데모를 컴파일했는데, 이는 tfLite 없이도 거의 2배 빠르게 실행되도록 했습니다... 이 경우 추론 시간은 약 450ms입니다. 이 데모를 시도할 때 약 850ms에서 실행되며 때로는 1초 이상 실행되기도 합니다. 내가 뭔가를 잘못 했습니까 아니면 적절한 속도 향상을 기대하기 위해 지나치게 낙관적이었습니까? 감사 해요.

@mpeniak 디버그 켜기 또는 끄기로 LG G6에서 동일한 속도를 얻었습니다(처음에는 디버그라고 생각했습니다). NNAPI가 사용되지 않는 것 같습니다. nnapi_lib 빌드로 뭔가 특별한 것을 해야 할까요?
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/BUILD

종속성이 나열되어 있지만 특정 아키텍처에 대한 빌드가 필요할 수 있습니까?
아마도 ./configure에 있는 것
(btw 관련이 있지만 속도가 변경되지 않은 경우를 대비하여 ./configure에서 XLA를 활성화했습니다)

@andrewarp
NNAPI를 사용하고 싶은데 사용법을 모르겠습니다.
문서에 따르면 Neural Networks API는 Android 8.1에서 사용할 수 있습니다. >
8.1이상이면 기본적으로 적용되나요? 또는 추가 NDK 작업이 필요합니까? 문서 링크
좋은 하루 되세요 XD

@andrewharp , tflite_demo용 NNAPI를 활성화하고 apk를 실행하려고 시도했지만 apk가 충돌한 것을 발견했습니다.
AddOpsAndParams를 호출할 때 tflite::BuiltinOperator_SQUEEZE 작업은 지원되지 않으며
nn_op_type은 -1로 설정되어 FATAL이 호출되고 exit(-1)이 발생합니다. 나는 그것이라고 생각한다
근본 원인. 향후 버전에서 지원될 것인지 말씀해 주시겠습니까? 다른 작업 방법이 있습니까?
NNAPI 경로를 테스트하려면? 감사 해요.

@andrehentz
bazel run -c opt tensorflow/python/tools/optimize_for_inference -- \
--input=$DETECT_PB --output=$STRIPPED_PB --frozen_graph=True \
--input_names=전처리기/하위 --output_names=concat,concat_1 \
--또한logtostderr

input_names image_tensor가 아닌 이유는 무엇입니까?
이 방법을 시도했는데 오류가 발생했습니다.

@나나마레
frozen_inference_graph.pb 대신 frozen_inference_graph_stripped.pb를 사용해야 합니다.
"bazel-bin/tensorflow/tools/graph_transforms/summarize_graph --in_graph=frozen_inference_graph_stripped.pb" 시도
다음 출력을 볼 수 있습니다.
1개의 가능한 입력을 찾았습니다: (이름=전처리기/하위, 유형=float(1), 모양=없음)
변수가 발견되지 않았습니다.
2개의 가능한 출력을 찾았습니다. (name=concat, op=ConcatV2) (name=concat_1, op=ConcatV2)

입력 이름은 전처리기/하위 abd 출력 이름은 concat입니다.

@나나마레
최신 tensorflow lite 코드에는 NNAPI를 활성화하는 Java 인터페이스가 포함되어 있습니다.

클래스 인터프리터에는 다음과 같은 함수가 있습니다. setUseNNAPI(true);
이러한 인터페이스를 직접 호출할 수 있습니다.

@zhangbo0325
이미 setUserNNAPI(true);를 호출하려고 했지만 효과가 없었습니다.
NNAPI를 사용하지 않고 거의 유사한 추론이었습니다.
안드로이드 사양: 8.1 버전.

@nanamare , 실행 중인 ssd-mobilenet입니까? 이러한 네트워크에는 Android NNAPI에서 지원하지 않는 SQUEEZE 작업이 있습니다. 위의 질문을 했습니다. mobilenet-v1의 경우 괜찮습니다.

<strong i="5">@andrewharp</strong>  Hi, andrewharp. i just followed your quick steps for converting an SSD MobileNet model to tflite format, and then i tried to  build the demo to use it. But something accurred in apk.
for the tflite from mobilenet_ssd_tflite_v1.zip, everything is ok! i can use mobile to detecter things.
And then i tried to use pet data to fine tune the model from the checkpoint in mobilenet_ssd_tflite_v1.zip. this process is also ok. i check the generated frozen_inference_graph.pb with the object_detection_tutorial.ipynb(https://github.com/tensorflow/models/blob/master/research/object_detection/object_detection_tutorial.ipynb). the result shown this pb can used to object detection. And then i followed the script to convert frozen pb to tflite. Then build demo with tflite, unfortunately something wrong ocurred. Then log is written below. 
It seems the Shape of output target [1, 1917, 4] does not match with the shape of the Tensor [1, 1917, 1, 4]. Because i am new to use object detection api, i donot know how to deal with the problem. 
Hope you can point out some solutions, Thx!

여기에서 모바일 로그:
04-04 19:46:36.099 28864-28882/org.tensorflow.lite.demo E/AndroidRuntime: 치명적인 예외: 추론 프로세스: org.tensorflow.lite.demo, PID: 28864 java.lang.IllegalArgumentException: 출력 대상의 모양 [1, 1917, 4]는 Tensor [1, 1917, 1, 4]의 모양과 일치하지 않습니다. org.tensorflow.lite.Tensor.copyTo(Tensor.java:44) org.tensorflow.lite.Interpreter.runForMultipleInputsOutputs(Interpreter.java:139) org.tensorflow.demo.TFLiteObjectDetectionAPIModel.recognizeImage(TFLiteObjectDetectionAPIModel.java: ) org.tensorflow.demo.DetectorActivity$3.run(DetectorActivity.java:248) at android.os.Handler.handleCallback(Handler.java:761) at android.os.Handler.dispatchMessage(Handler.java:98) at android.os.HandlerThread.run(HandlerThread.java:61)의 android.os.Looper.loop(Looper.java:156)

놀라운! iOS에서 이 작업을 수행하려고 합니다. Tensor 출력을 어떻게 구문 분석합니까?

interpreter->Invoke();
float* output = interpreter->typed_output_tensor<float>(0);

DetectorActivity 인터페이스가 내 프로젝트에 갇혔습니다. 존재합니까? 어떻게 해결할 수 있습니까?

@zhangbo0325 자세한 내용 감사합니다. 스퀴즈가 NNAPI에서 지원되지 않기 때문에 NNAPI가 전혀 사용되지 않고 추론이 그대로 느린 상태로 유지된다는 의미입니까? 이전 댓글에서 언급했듯이 Pixel XL에서 성능이 정말 좋지 않습니다. 대략 80-120ms 정도의 추론 시간을 예상합니다. 감사 해요!

@mpeniak , 나는 andrewharp에게 같은 질문을했습니다. 방금 tensorflow-lite cpu 구현의 도움으로 ssd-mobilenet을 실행했지만 성능이 저하되었습니다.

Dev Summit 2018에서 TensorFlow Lite는 MobileNet에서 3배의 성능을 보여주었습니다.
https://youtu.be/FAMfy7izB6A?t=530

SSD용이 아닐 수도 있습니다.
먼저 가중치 양자화가 필요합니까?

나는 mobilnet을 시도했고 훨씬 빠르지 만 이것은 mobilnet-ssd에는 적용되지 않습니다 ...

슬픈 판다 ☹️🐼
@andrewharp 고성능 SSD 구현이 언제 가능할지 알 수 있습니까? 가중치 양자화의 문제입니까?

또한 TensorFlowLite에서 ssd-mobilenet의 성능이 저하되었습니다.
하지만, 또 다른 질문이 있습니다. 결과의 점수가 1을 초과하는 이유는 무엇입니까? 확률 아닌가?

@a1103304122 제가 알기로는 점수는 softmax 이전에 노드 "concat"의 출력이므로 확률이 아닙니다.

TOCO 변환 중에는 다른 입력 노드(Preprocessor/sub)와 다른 출력 노드(concat,concat_1)가 사용됩니다. 이것은 그래프가 재구성되거나 TF Lite가 TF 패리티에 도달할 때까지 tflite에 문제가 있는 일부 부분을 건너뜁니다.

이 모델에서 TFlite가 TFmobile보다 느린 이유를 아는 사람이 있습니까?

@andrewharp TF Lite SSD의 성능에 대해 논평할 수 있습니까? 또한 양자화가 가능합니까 / 오고 있습니까? 여러분이 이 모든 일이 일어나도록 열심히 노력하고 있다는 것을 알고 있지만 이것이 단기적인 문제인지 아니면 적용할 수 있는 솔루션이 있는지 아는 것이 좋습니다. 😄

@andrewharp 좋은 포스팅 감사합니다. 그러나 귀하의 단계에 대해 한 가지 질문이 있습니다.

TOCO에서 graphdef를 보기 전에 문제가 있는 노드를 제거하십시오.

bazel run -c opt tensorflow/python/tools/optimize_for_inference -- \
--input=$DETECT_PB --output=$STRIPPED_PB --frozen_graph=True \
--input_names=전처리기/하위 --output_names=concat,concat_1 \
--또한logtostderr

제가 잘못 이해한게 아니라면 여기에서 STRIPPED_PB를 프로듀스하고 싶으시죠? 그렇다면 현재 입력 파일의 입력은 image_tensor여야 합니다. 그래서 우리가 전처리기/서브를 사용하는 이유를 잘 이해하지 못합니다. 더 자세히 설명해 주시겠습니까?

둘째, 여기서 optimize_for_inference를 사용합니다. transform_graph 도구를 사용할 수 있습니까? 새로운 tensorflow 문서는 optimize_for_inference 대신 transform_graph를 권장하기 때문입니다.

@mpeniak 어떻게 하나요? 자세한 내용을 말씀해 주십시오.

org.tensorflow.lite.demo E/AndroidRuntime: 치명적 예외: 추론 프로세스: org.tensorflow.lite.demo, PID: 28864 java.lang.IllegalArgumentException: 출력 대상의 모양[1, 1917, 4]이(가) 다음과 일치하지 않습니다. 텐서의 모양 [1, 1917, 1, 4].

@Haijunlv 문제를 해결하셨나요? 솔루션을 공유할 수 있습니까?

TF Lite 새 Android 데모를 가져올 때 OS X에서 Error:Plugin with id 'com.android.application' not found. 를 받습니다.

@csmith105 와 같은 문제입니다! bazel을 사용하여 데모를 빌드하고 설치할 수 있었지만 Android Studio에서 프로젝트를 컴파일하거나 실행할 수 없습니다. 이 문제에 대한 해결책은 무엇입니까?

@Eddy-zheng 정지된 그래프에서 "concat" 노드를 본 경우 concat op 다음에 squeeze op가 실행되었음을 알 수 있습니다. 형태가 어울리지 않는 이유라고 생각합니다. 스퀴즈 연산의 속도를 테스트하지 않았습니다. 그러나 나는 문제를 해결하는 두 가지 방법이 있다고 생각합니다.

1. 압착 및 연결 순서를 변경합니다. ssd_meta_arch.py에서 " box_encodings = tf.squeeze(tf.concat(prediction_dict['box_encodings'], axis=1), axis=2)"를 약간 변경합니다.
2. 축 2에서 모양 1을 직접 죽입니다. box_predictor.py에서 " box_encodings =tf.reshape(
   box_encodings, tf.stack([combined_feature_map_shape[0],
   Combined_feature_map_shape[1] *
   Combined_feature_map_shape[2] *
   num_predictions_per_location,
   1, self._box_code_size]))"

사실 나는 왜 텐서를 여분의 "1"모양으로 재구성하는지 이해하지 못합니다. 중복일수도
op.
나는 방법 1을 시도하고 모바일에서 모델을 실행하는 데 성공했습니다. 하지만 여전히 조금 느립니다. 나중에 더 나은 속도를 얻을 수 있는지 확인하기 위해 방법 2를 시도합니다

@Haijunlv 감지가 얼마나 좋은가요? @andrewharp 데모의 라이트 모델은 그래프에서 모든 전처리 및 후처리 노드(수천 개)를 제거하고 여러 줄의 코드로 대체합니다. 어떻게 될지 모르겠네요..

android studio와 gradle 문제에 대한 해결책이 있다고 생각합니다. (제가 틀렸거나 더 나은 해결책이 있다면 저를 수정해주세요):

• 최선의 접근 방식은 아니지만 Gradle을 "대체"하기 위해 Android Studio 내부에 설치할 수 있는 Bazel 플러그인이 있으며 AS를 통해 Bazel을 사용하여 프로젝트를 빌드하고 실행할 수 있습니다.

• 나는 Bazel에 대한 여러 기사를 읽었고 Quora에서 이 질문 을 발견했습니다. 답변에 따르면 tensorflow는 프레임워크를 더 잘 활용하고 더 나은 결과를 제공하기 때문에 Bazel을 계속 사용할 것입니다. 그래서 이 특정 경우의 개발자로서 우리는 적응해야 한다고 생각합니다 tensorflow가 완전히 지원할 때까지 Gradle을 그대로 두십시오.

@davidfant
TensorFlow Lite C++에서 여러 출력을 얻을 수 있었습니까?

interpreter->Invoke();
???? output = interpreter->typed_output_tensor<?????>(0);

진행 중이지만 여전히 C++에서 출력을 얻는 방법을 모르겠습니다. 이에 대한 문서가 있습니까? 이것이 내가 현재 가지고 있는 것입니다. 점수를 얻으려면 데이터 배열에 어떻게 액세스해야 합니까?

(fill inputs)
.......
intepreter->Invoke();
const std::vector<int>& results = interpreter->outputs();
TfLiteTensor* outputLocations = interpreter->tensor(results[0]);
TfLiteTensor* outputClasses   = interpreter->tensor(results[1]);
float *data = tflite::GetTensorData<float>(outputClasses);
for(int i=0;i<NUM_RESULTS;i++)
{
   for(int j=1;j<NUM_CLASSES;j++)
   {
      float score = expit(data[i*NUM_CLASSES+j]); // ¿?
    }
}

@JaviBonilla 나는 비슷한 일을했고 작동하지 않는다는 것을 알았습니다. Android 데모 앱의 컷오프를 사용하면 너무 많은 노이즈가 출력됩니다. 텐서보드를 사용하여 그래프를 읽으면 라이트 모델이 수천 개의 후처리 노드를 프루닝한다는 것을 알 수 있습니다. 지금의 방식이 통하지 않을 것 같아요. 나는 사람들에게 작동하지 않는 해킹을 요구하는 대신 tensorflow lite가 미래에 이러한 후처리 노드를 지원하기를 바랍니다.

@YijinLiu 감사합니다. 귀하의 저장소 tf-cpu를 보았습니다. 귀하의 코드를 살펴보고 내 구현이 올바른지 확인하고 좋지 않은 경우에도 결과를 볼 것입니다.

@JaviBonilla C++로 실행하는 방법을 알게 되면 알려주세요! 🙌

안녕하세요 @davidfant 입니다 .

아직 테스트해야하지만 @YijinLiu는 이미 알아 냈습니다!.

그의 저장소(https://github.com/YijinLiu/tf-cpu)를 살펴보십시오. 특히 Interpreter->Invoke() 다음에 실행되는 tf-cpu/benchmark/obj_detect_lite.cc 파일, AnnotateMat() 함수에서 출력을 얻는 방법을 찾을 수 있습니다.

@JaviBonilla 나는 obj_detect_lite.cc를 끝내지 않았습니다. 특히 탐지 상자를 디코딩하기 위해 사전에 사용하기 위해 사용했습니다.
내가 찾은 것은 점수가 모든 시나리오에서 의미가 없다는 것입니다. 어떤 경우에는 너무 많은 소음이 발생합니다. 다른 경우에는 일부 좋은 감지 기능이 손실될 수 있습니다. 이 중간 점수를 최종 가능성 점수로 변환하기 위해 해당 노드를 살펴보았습니다. 수천 개의 노드가 있습니다 ...

@YijinLiu 이를 명확히 해 주셔서 감사합니다. 그러면 TensorFlow Lite에 객체 감지를 위해 더 많은 개선 사항이 포함될 때까지 기다리는 것이 더 낫다고 생각합니다. 어쨌든 시간이 있으면 C++로 탐지 상자를 디코딩하려고 합니다.

안녕하세요 @andrewharp 입니다 .

새로운 Android 데모 프로젝트를 만들기 위해 노력해 주셔서 감사합니다. 하지만 우리 모두가 tensorflow lite를 만드는 과정을 쉽게 이해할 수 있도록 tensorflow/contrib/lite/examples/android 에 readme.md 또는 설명 문서를 작성해 주시겠습니까? 감사합니다~!

안녕하세요, 저는 ssd_mobilenet_v1_coco_2017_11_17 데모를 성공적으로 실행했고 미세 조정된 모델을 얻었습니다. @andrehentz 프로세스를 실행하면 문제가 발생했습니다.
bazel run tensorflow/contrib/lite/toco:toco -- --input_file=$STRIPPED_PB --output_file=$DETECT_FB --input_format=TENSORFLOW_GRAPHDEF --output_format=TFLITE --input_shapes=1,300,300,3 --input_arrays=Preprocessor/sub --output_arrays=concat,concat_1 --inference_type=FLOAT --logtostderr

사용하지 않는 연산을 제거하기 전: 586개의 연산자, 871개의 배열(0개 양자화)
2018-06-12 15:29:54.273221: I tensorflow/contrib/lite/toco/graph_transformations/graph_transformations.cc:39] 일반 그래프 변환 이전: 연산자 586개, 배열 871개(양자화 0개)
2018-06-12 15:29:54.300213: I tensorflow/contrib/lite/toco/graph_transformations/graph_transformations.cc:39] 일반 그래프 변환 통과 후 1: 409 연산자, 688 배열(0 양자화)
2018-06-12 15:29:54.309735: I tensorflow/contrib/lite/toco/graph_transformations/graph_transformations.cc:39] 역양자화 전 그래프 변환: 연산자 409개, 배열 688개(양자화 0개)
2018-06-12 15:29:54.317395: I tensorflow/contrib/lite/toco/allocate_transient_arrays.cc:329] 전체 임시 배열 할당 크기: 2880256바이트, 이론상 최적값: 2880128바이트.
2018-06-12 15:29:54.319173: F tensorflow/contrib/lite/toco/tflite/export.cc:330] 모델의 일부 연산자는 표준 TensorFlow Lite 런타임에서 지원되지 않습니다. 사용자 정의 구현이 있는 경우 --allow_custom_ops를 사용하거나 tf.contrib.lite.toco_convert()를 호출할 때 allow_custom_ops=True를 설정하여 이 오류를 비활성화할 수 있습니다. 사용자 정의 구현이 필요한 연산자 목록은 RSQRT, SquaredDifference, Stack, TensorFlowShape입니다.

여기 내 모델이 있습니다. https://drive.google.com/open?id=1IxRSU4VSmVmhUtUpSQew_5anEfxTg3Ca

아무도 나를 도울 수 있습니까?
@andrehentz

@JaviBonilla 및 @YijinLiu Google의 미리 포함된 SSD MobileNet V{1,2} 및 SSDLite MobileNet V2 모델로 테스트한 Python 구현 이 있습니다. 여기에서 간단한 문서를 참조하십시오.

@freedomtan 어떤 버전의 tf를 사용하십니까? tf 1.8?

tflite 인터프리터 Python 바인딩 후 @hengshanji 마스터 분기(29c129c6). 나는 1.8에 바인딩이 있다고 생각하지 않습니다.

@freedomtan tf1.8에는 인터프리터 Python 바인딩이 있지만 "nnapi 오류: 라이브러리 libneuralnetworks.so를 열 수 없음"과 같은 문제가 발생합니다. 이 .so를 어디서 얻거나 어떻게 생성합니까? 감사 해요.

무시하세요 :) 안드로이드 NNAPI용입니다.

@freedomtan 장치 또는 PC에서 예제를 테스트했습니까? PC에서 테스트할 때 android-28/x86 libneuralnetworks.so를 사용하면 "tflite에서 실패를 반환한 이후 중단 중" 오류가 표시됩니다.

내가 말했듯이, 그 NNAPI 문제를 무시하십시오. libneuralnetwork.so 가 작동하지 않을 것으로 예상됩니다. Ubuntu를 실행하는 x86과 Debian을 실행하는 ARMv8 보드 모두에서 스크립트를 테스트했습니다.

@freedomtan , 코드와 문서를 공유해 주셔서 감사합니다.

저장소 기반(https://github.com/YijinLiu/tf-cpu). 출력을 얻기 위해 tf-cpu/benchmark/obj_detect_lite.cc를 업데이트했습니다. AnnotateMat() 함수에서 output_locations를 처리하기 위해 decodeCenterSizeBoxes 코드를 추가한 다음 이러한 결과에 대해 nm를 수행합니다.
동시에 https://github.com/tensorflow/tensorflow/issues/14688 을 사용하여 libtensorflow-lite.a를 생성하면 Ubuntu를 실행하는 x86과 ssdlite_mobilenet_v2_coco_2018_05_09의 tflite 모델이 있는 Android 장치 모두에서 실행할 수 있습니다. tar.gz.
감사합니다.

@WeiboXu 여기에서 코드와 모델을 공유할 수 있습니까?

obj_detect_lite.cc에 대한 업데이트된 코드는 다음과 같습니다.
obj_detect_lite.cc.zip

모델은 http://download.tensorflow.org/models/object_detection/ssdlite_mobilenet_v2_coco_2018_05_09.tar.gz 입니다.

@freedomtan 파이썬 구현 코드에는 "/tmp/box_priors.txt" 파일이 하나 있습니다. 이 파일을 생성하는 방법을 알고 있습니까? 또는 이 파일의 데이터가 어떻게 계산되었습니까? 300X300 사이즈의 이미지는 추론하는데 문제가 없으나, 224X224 사이즈의 이미지는 추론을 하면 추론 정확도가 떨어집니다.

@freedomtan , @andrewharp , 최신 TFLite 데모의 tflite 모델에는 4개의 출력이 필요하지만 이전 모델에는 2개의 출력만 있기 때문에 이 지침 을 따르는 이전 모델 은 최신 TFLite 데모 에서 작동하지 않습니다. 연결, 연결1).

도와주세요, 감사합니다!

이 지침은 현재 업데이트되고 있습니다. 다음 주에 업데이트된 지침에 대한 링크를 제공할 예정입니다.

@frontword /tmp/box_priors.txt 에 있는 것은 사후 처리를 위한 상자입니다. @WenguoLi 가 언급한 최신 버전을 사용하는 경우 필요하지 않습니다. 그러나 내가 말할 수 있는 한 이러한 후처리 작업은 TF Lite 사용자 지정 작업으로 구현됩니다. 추가 노력 없이는 NNAPI 가속기로 가속할 수 없음을 의미합니다.

이미지 크기 문제의 경우 네, 224x224 이미지를 SSD300(Google에서 출시한 모델은 300x300 이미지로 훈련)에 공급하고 정확도가 더 나빠지는 것은 예상치 못한 일이 아니라고 생각합니다.

@WenguoLi 말씀하신 업데이트된 모델은 다루기 매우 쉬운 것 같습니다. 내 업데이트 스크립트 를 참조하십시오. 다음 그림은 다음과 같이 생성됩니다.

python  tensorflow/contrib/lite/examples/python/object_detection.py --image /tmp/image2.jpg  --show_image True

1을 초과하는 추론 결과의 점수를 수정하려면 Java 메서드 TrackedObject.getCurrentCorrelation()을 사용하는 것이 가능합니다. 이는 항상 1보다 작은 값을 반환하는 것처럼 보이기 때문입니다(정확한지 여부는 확실하지 않음). TFLite Android 예제는 항상 1보다 큰 값을 반환하는 것으로 보이는 Recognition.getConfidence()를 사용합니다.

@mpeniak Movidius 에서 ssd mobilenet tflite 모델을 실행했습니다. 저도 비슷한 일을 할 계획입니다. 어떻게 하셨는지 안내 좀 부탁드려도 될까요?

@achowdhery 안녕하세요, 여기(https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/lite/examples/android/app)에서 최신 Android 데모에 대한 빌드 지침의 업데이트를 보았지만 고정된 pb 모델을 tflite 모델(최신 데모에서 사용된 양자화된 detect.tflite)로 실제로 변환하는 방법을 나타내지 않았습니다. 양자화된 모델 변환 흐름에 대한 추가 지침이 있습니까? 또한 여기(https://www.tensorflow.org/performance/quantization)에서 지시한 대로 가짜 양자화 연산으로 양자화 훈련을 먼저 실행한 다음 모델 변환을 수행해야 한다고 생각합니다. 맞나요? 또한 최신 Android 데모에서 NNAPI를 활성화할 수 있습니까? TFLiteObjectDetectionAPIModel.java에서 tfLite.setUseNNAPI(true)를 사용하려고 했지만 Android 8.1을 실행하는 Pixel 2에서 충돌했습니다(NNAPI 없이도 잘 작동할 수 있음). 어떤 제안? 감사 해요!

@tenoyart "최신 Android 데모에서 NNAPI를 활성화할 수 있습니까?"에 대한 짧은 대답입니다. NO여야 합니다. 그렇게 짧은 대답은 아니지만 TF Lite 인터프리터를 수정하면 모델을 분할하거나 해당 사용자 지정 작업을 NNAPI에 추가하는 것과 같은 작업을 수행할 수 있다는 것입니다.

@achowdhery TensorFlow 블로그 기사 를 보았습니다. 이것은 당신이 언급한 지침이거나 더 많은 것이 오고 있습니까?

네. Android에서 객체 감지 모델을 학습하고 제공하기 위한 지침입니다.

@freedomtan 스크립트를 공유해 주셔서 감사합니다.
후처리가 포함된 최신 스크립트에서 어떤 모델 파일을 사용하고 있습니까?
다음과 같이 optimize_for_inference.py의 인수를 지정했습니까?
--input_names="전처리기/하위"
--output_names="detection_boxes,detection_scores,num_detections,detection_classes"

후처리 유무에 따른 차이가 보이나요?

감사 해요!

출력이 4개인 SqueezeNet 모델을 tflite로 변환하는 방법이 있습니까?

@chanchanzhang https://medium.com/tensorflow/training-and-serving-a-realtime-mobile-object-detector-in-30-minutes-with-cloud-tpus 의 튜토리얼 끝 부분에 있는 새로운 지침을 따르십시오.
이것은 optimize_for_inference.py를 사용하는 것과 다른 워크플로를 사용합니다.

@ashwaniag 탐지를 위해 그 후 SSD를 유지하면서 Mobilenet을 SqueezeNet 분류기로 교체하려는 경우 현재 워크플로에 적합합니다.

@achowdhery ssd mobilenet v1에서 TF Lite 모델을 보니 반갑습니다. TF Lite는 ssdlite mobilenet v2를 완벽하게 지원합니까?

@tenoyart 네. 모든 Mobilenet SSD는 이 파이프라인을 통해 작동합니다. 해당 tflite 파일을 오픈 소스로 공개하지 않았습니다. 문제가 발생하면 버그를 신고하세요.

@achowdhery 가 말했듯이 @chanchanzhang 은 optimized_for_inference.py object_detection/export_tflite_ssd_graph.py 를 사용하십시오. 그리고 내가 사용한 tflite 모델 파일은 Android 예제에서 사용된 것입니다. 여기에서 얻을 수 있습니다 .

@achowdhery ssd_mobilenet_v1_quantized_coco 및 ssd_mobilenet_v1_0.75_depth_quantized_coco 의 체크포인트에는 FakeQuant 노드와 텐서가 없다고 생각합니다. 확인해 주시겠어요?

@freedomtan object_detection/export_tflite_ssd_graph.py를 사용한 후 내보낸 그래프에 weight_quant 및 act_quant 노드가 표시됩니다.
Fakequant 노드가 없는지 확인하는 방법에 대한 스크린샷이나 정확한 지침을 제공하십시오.
또한 체크포인트를 성공적으로 변환할 수 있습니다.

@achowdhery 확인해주셔서 감사합니다. 그 2개에서 export_tflite_ssd_graph.py 를 실행했을 때 tflite 모델을 얻을 수 없어서 체크포인트를 조사했습니다. 내가 한 일은 다음과 같습니다.

curl http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v1_quantized_300x300_coco14_sync_2018_07_03.tar.gz | tar xzvf -
cd ssd_mobilenet_v1_quantized_300x300_coco14_sync_2018_07_03
strings model.ckpt.index  |grep quant

아무것도 표시되지 않습니다.

@andrewharp 귀하의 cutosm 추론 클래스 TFLiteObjectDetectionAPIModel.java 에 대해 대단히 감사합니다. 귀하의 ssd mobilenet v1 tflite mobilenet_ssd_tflite_v1.zip 으로 시도했지만 앱이 시작될 때 내가 호출할 때 함수cognImage(최종 비트맵 비트맵)에 문제가 있는 것 같습니다 tfLite.runForMultipleInputsOutputs(입력배열, 출력맵); 이 예외가 발생합니다

07-18 10:37:02.416 19957-19996/com.app.cerist.realtimeobjectdetectionapi E/AndroidRuntime: FATAL EXCEPTION: Camera
    Process: com.app.cerist.realtimeobjectdetectionapi, PID: 19957
    java.lang.IllegalArgumentException: Output error: Outputs do not match with model outputs.
        at org.tensorflow.lite.Interpreter.runForMultipleInputsOutputs(Interpreter.java:170)
        at com.app.cerist.realtimeobjectdetectionapi.ImageClassifierTFLiteAPI.recognizeImage(ImageClassifierTFLiteAPI.java:207)
        at com.app.cerist.realtimeobjectdetectionapi.MainActivity.classifyFrame(MainActivity.java:421)
        at com.app.cerist.realtimeobjectdetectionapi.MainActivity.access$1000(MainActivity.java:48)
        at com.app.cerist.realtimeobjectdetectionapi.MainActivity$4.run(MainActivity.java:455)
        at android.os.Handler.handleCallback(Handler.java:739)
        at android.os.Handler.dispatchMessage(Handler.java:95)
        at android.os.Looper.loop(Looper.java:159)
        at android.os.HandlerThread.run(HandlerThread.java:61)
07-18 10:37:02.436 19957-19996/com.app.cerist.realtimeobjectdetectionapi V/Process: killProcess [19957] Callers=com.android.internal.os.RuntimeInit$UncaughtHandler.uncaughtException:99 java.lang.ThreadGroup.uncaughtException:693 java.lang.ThreadGroup.uncaughtException:690 <bottom of call stack> 
07-18 10:37:02.436 19957-19996/com.app.cerist.realtimeobjectdetectionapi I/Process: Sending signal. PID: 19957 SIG: 9

오류는 출력 배열의 길이가 입력 배열의 길이보다 큽니다.
Interpreter.java의 조건은 다음과 같습니다.

public void runForMultipleInputsOutputs(Object[] inputs, <strong i="7">@NonNull</strong> Map<Integer, Object> outputs) {
        if (this.wrapper == null) {
            throw new IllegalStateException("Internal error: The Interpreter has already been closed.");
        } else {
            Tensor[] tensors = this.wrapper.run(inputs);
            if (outputs != null && tensors != null && outputs.size() <= tensors.length) {
                int size = tensors.length;
                Iterator var5 = outputs.keySet().iterator();
            }
       }
}

이것은 내 입력 및 출력 배열입니다.

d.imgData = ByteBuffer.allocateDirect(1 * d.inputSize * d.inputSize * 3 * numBytesPerChannel);
d.imgData.order(ByteOrder.nativeOrder());
d.intValues = new int[d.inputSize * d.inputSize];

 imgData.rewind();
        for (int i = 0; i < inputSize; ++i) {
            for (int j = 0; j < inputSize; ++j) {
                int pixelValue = intValues[i * inputSize + j];
                if (isModelQuantized) {
                    // Quantized model
                    imgData.put((byte) ((pixelValue >> 16) & 0xFF));
                    imgData.put((byte) ((pixelValue >> 8) & 0xFF));
                    imgData.put((byte) (pixelValue & 0xFF));
                } else { // Float model
                    imgData.putFloat((((pixelValue >> 16) & 0xFF) - IMAGE_MEAN) / IMAGE_STD);
                    imgData.putFloat((((pixelValue >> 8) & 0xFF) - IMAGE_MEAN) / IMAGE_STD);
                    imgData.putFloat(((pixelValue & 0xFF) - IMAGE_MEAN) / IMAGE_STD);

출력 배열:

// Copy the input data into TensorFlow.
        Trace.beginSection("feed");
        outputLocations = new float[1][NUM_DETECTIONS][4];
        outputClasses = new float[1][NUM_DETECTIONS];
        outputScores = new float[1][NUM_DETECTIONS];
        numDetections = new float[1];

        Object[] inputArray = {imgData};
        Map<Integer, Object> outputMap = new HashMap<>();
        outputMap.put(0, outputLocations);
        outputMap.put(1, outputScores);
        outputMap.put(2, numDetections);
        outputMap.put(3, outputClasses);
        Trace.endSection();

그리고 추론:

// Run the inference call.
        Trace.beginSection("run");
        Log.d("TAG_INPUT",""+String.valueOf(inputArray.length));
        Log.d("TAG_OUTPUT",""+String.valueOf(outputMap.size()));

        tfLite.runForMultipleInputsOutputs(inputArray, outputMap);
        Trace.endSection();

나는 당신의 TFLiteObjectDetectionAPIModel.java 클래스와 정확히 동일하게 수행했기 때문에 이 오류의 의미를 이해하지 못했습니다.
도와 줘서 고마워

@achowdhery 안녕하세요, 귀하의 블로그에 따라 ssd_mobilenet_v1_coco_2017_11_17에서 모델을 변환했습니다. 그러나 변환된 mobilenet_ssd.tflite를 tflite_demo.apk에서 사용했을 때 다음 오류가 발생했습니다.

    java.lang.IllegalArgumentException: Cannot copy between a TensorFlowLite tensor with shape [1, 1917, 4] and a Java object with shape [1, 10, 4].

내가 왜 그것을 얻었는지 어떤 아이디어가 있습니까? 감사 해요.

예상되는 출력 텐서의 크기가 1,1917,4가 아니라 1,10,4이기 때문에 이것은 모양 불일치입니다. 이전 모델 파일의 경우 5월의 데모 앱 버전으로 회귀해야 합니다. 그렇지 않으면 변환을 위해 최신 출시 모델을 사용하십시오.

@achowdhery 내 모델을 tflite로 변환하고 실행할 때. 인터프리터->invoke() 호출은 세그먼트 오류를 ​​발생시킵니다. 무엇이 잘못되었을 수 있습니까?

@ashwaniag https://medium.com/tensorflow/training-and-serving-a-realtime-mobile-object-detector-in-30-minutes-with-cloud-tpus-b78971cf1193 에서 다운로드한 모델을 수행합니다.
당신을 위해 컴파일?
그렇다면 세그먼트 오류가 발생했을 때 현재 사용 중인 새 지침을 제공하십시오.
입력 유형/크기 등이 일치하지 않을 수 있습니다.

@achowdhery 작동했습니다. 잘못된 input_arrays를 제공했습니다. 어쨌든 고마워!

튜토리얼을 따랐다면 업데이트된 ssd_mobilenet_v1_quantized_coco 및 ssd_mobilenet_v1_0.75_depth_quantized_coco가 작동합니다. @achowdhery 감사합니다.

예제 데모 앱에서 TFLiteObjectDetectionAPIModel.java 를 보고 있었습니다. outputLocations , outputClasses , outputScores , numDetections 이 recognizeImage 호출마다 할당되는 이유 가 있습니까? 미리 할당되어 있는 것 같습니다.
사전 할당을 사용하여 코드를 실행해 보았는데 잘 작동하는 것 같지만 나중에 문제를 일으킬 수 있는 일이 없는지 확인하고 싶었습니다.

사전 할당이 더 효율적일 수 있습니다. 문제를 예측할 수 있도록 미리 할당하는 위치는 어디입니까?

@achowdhery 답변 감사합니다. 정적 create 메서드에 사전 할당을 그대로 둡니다. 내 유일한 관심사는 코드가 사전 할당(정적 메서드가 배열을 사전 할당)을 사용하도록 작성된 것처럼 보이지만 어떤 이유로 배열이 각 호출에서 재할당된다는 것입니다.

안녕하세요 @achowdhery , 저는 새로운 Android tflite 앱 데모를 테스트했습니다. ssd_mobilenet_v1_coco, ssd_mobilenet_v1_0.75_depth_coco, ssd_mobilenet_v1_quantized_coco에서 완벽하게 작동합니다.
그러나 다른 ssd-mobilenet 모델에 대해 다음과 같은 예외가 발생했습니다.

07-25 07:41:25.292 31515-31532/org.tensorflow.lite.demo E/AndroidRuntime: FATAL EXCEPTION: inference
    Process: org.tensorflow.lite.demo, PID: 31515
    java.lang.ArrayIndexOutOfBoundsException: length=160; index=-2147483648
        at java.util.Vector.elementData(Vector.java:734)
        at java.util.Vector.get(Vector.java:750)
        at org.tensorflow.demo.TFLiteObjectDetectionAPIModel.recognizeImage(TFLiteObjectDetectionAPIModel.java:218)
        at org.tensorflow.demo.DetectorActivity$3.run(DetectorActivity.java:249)
        at android.os.Handler.handleCallback(Handler.java:790)
        at android.os.Handler.dispatchMessage(Handler.java:99)
        at android.os.Looper.loop(Looper.java:164)
        at android.os.HandlerThread.run(HandlerThread.java:65)

tflite 모델이 잘못된 클래스 인덱스를 생성했습니다. 예외로 인해 몇 초 동안 잘 감지한 후 앱이 충돌합니다.
ssd_mobilenet_v1_ppn_coco 는 잘못된 지저분한 경계 상자, 레이블도 생성합니다.

PPN은 float 모델입니다. float 변환 명령을 사용하여 TFLITE 모델을 변환하고 있습니까?
https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/running_on_mobile_tensorflowlite.md
그런 다음 DetectorActivity.java에서 다음을 변경해야 합니다.
개인 정적 최종 부울 TF_OD_API_IS_QUANTIZED = true;

나는 그 구성을 알고 있었다. 실제로 해당 설정이 잘못되면 앱이 전혀 실행되지 않습니다.
ArrayIndexOutOfBoundsException을 볼 수 있습니까? 튜토리얼의 도커도 시도했지만 동일합니다.

괜찮아. 정확한 재현 지침과 함께 새 GitHub 문제를 제출하세요. PPN 모델은 Java 앱에 대한 새로운 기능 요청입니다. 우선순위를 정할 수 있을 때 회신드리겠습니다.

감사 해요. ArrayIndexOutOfBoundsException은 ssd_mobilenet_v1_0.75_depth_quantized_coco, ssdlite_mobilenet_v2_coco에도 발생합니다. PPN과의 차이점은 해당 예외로 인해 앱이 충돌하기 전에 올바른 결과를 만든다는 것입니다.

@achowdhery 새로운 model_main.py에 버그가 있기 때문에 legacy/train.py를 사용하여 tflite에 대해 4개의 출력으로 모델을 훈련시킬 수 있습니까?
https://github.com/tensorflow/models/issues/4798

@ashwaniag 두 코드를 비교하여 양자화를 추가하는 부분을 추가할 수 있습니다. graph_rewriter 함수는 양자화 연산이 추가되는 위치입니다.

@achowdhery : https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/running_on_mobile_tensorflowlite.md
iOS에서 동일한 작업을 수행하는 방법에 대한 예제 또는 샘플 코드가 있습니까? 지금까지 내가 찾은 가장 가까운 것은 항상 작동하지 않는 https://github.com/YijinLiu/tf-cpu/blob/master/benchmark/obj_detect_lite.cc 입니다.

현재 iOS 데모 앱은 ssd 및 float 모델에서 작동하지 않습니다.

@achowdhery tensorflow v1.9를 사용하여 모델을 훈련했습니다. 블로그의 단계를 사용하여 tflite로 변환했습니다. 나는 어떤 탐지도 얻지 못한다. 이것에 대해 어떤 생각이 있습니까?

@ashwaniag COCO 또는 애완 동물? 정확한 재현 지침으로 새 버그를 여십시오. 다른 GitHub 사용자는 Tensorflow 1.10과의 작업을 확인했습니다.

@achowdhery 내 자신의 데이터 세트입니다. 나는 mobilenetv2 아키텍처에 대해 훈련했습니다. .pb 모델(tensorflow 모델)을 실행하면
찾을 수 없음: VAL5-04에서 실행되는 바이너리에 'NonMaxSuppressionV3'이 등록되지 않은 작업 유형입니다. 이 프로세스에서 실행 중인 바이너리에 Op 및 Kernel이 등록되어 있는지 확인합니다.

관련이 있다고 생각하십니까?

@ashwaniag 새 버그를 열고 재현 가능한 정확한 지침을 제공하십시오.

@ashwaniag 이 두 가지 문제를 모두 확인하십시오. 비슷한 문제가 있습니다. #10254 및 #19854

@achraf-boussaada 감사합니다! 나는 그것을 고쳤다. 버전 불일치 문제였습니다.
@achowdhery 이제 문제는 전체 tensorflow 모델은 훌륭한 결과를 제공하지만 tflite 모델은 매우 나쁜 결과를 제공한다는 것입니다.

@ashwaniag 매우 나쁜 결과를 정의하십시오. 작은 물건이 있습니까? 문제를 재현하는 데 도움이 되도록 모델 체크포인트, 파이프라인 구성 및 레이블 파일과 샘플 이미지를 첨부하세요. 감사 해요

@oopsodd 안녕하세요, 잘못된 클래스 인덱스를 얻습니다. "java.lang.ArrayIndexOutOfBoundsException: length=10; index=-739161663"이라고 불평했습니다. 도와주시겠습니까?

참고 iOS 및 Android용 TensorFlow Lite SSD(객체 감지) 최소 작업 예제를 만들었습니다. https://github.com/baxterai/tfliteSSDminimalWorkingExample. iOS 버전은 YijinLiu의 obj_detect_lite.cc(WeiboXu의 nms 기능 포함)를 기반으로 하고 Android 버전은 https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/examples/ 를 기반으로 합니다.

@baxterai 수고하셨습니다 ! 감사합니다, 테스트하겠습니다.

여러분의 놀라운 작업에 감사드립니다! 최근에 추가된 후처리 작업에 대해 또 다른 질문이 있습니다.

사전 훈련된 ssd_mobilenet_v1_quantized_coco 의 출력
model/research/object_detection/samples/configs/의 기본 구성이 다음과 같더라도 현재 프레임의 상위 10개 탐지로 제한됩니다.
ssd_mobilenet_v1_quantized_300x300_coco14_sync.config 모두는 더 높은 총 탐지 한도를 지정합니다.

post_processing { batch_non_max_suppression { score_threshold: 1e-8 iou_threshold: 0.6 max_detections_per_class: 100 max_total_detections: 100 } score_converter: SIGMOID }

이것은 이 파이프라인 구성으로 네트워크를 재교육하여 해결됩니까 아니면 다음의 차원입니다.
다른 구성에 의해 'TFLite_Detection_PostProcess'가 10으로 고정되었습니까?

@Georg-W export_tflite_ssd_graph.py에서도 최대 감지를 변경해야 합니다. 명령줄 옵션이 있습니다.

@achowdhery 아 감사합니다! 내가 놓친 것입니다.

@andrewharp 귀하의 cutosm 추론 클래스 TFLiteObjectDetectionAPIModel.java 에 대해 대단히 감사합니다. 귀하의 ssd mobilenet v1 tflite mobilenet_ssd_tflite_v1.zip 으로 시도했지만 앱이 시작될 때 내가 호출할 때 함수cognImage(최종 비트맵 비트맵)에 문제가 있는 것 같습니다 tfLite.runForMultipleInputsOutputs(입력배열, 출력맵); 이 예외가 발생합니다

07-18 10:37:02.416 19957-19996/com.app.cerist.realtimeobjectdetectionapi E/AndroidRuntime: FATAL EXCEPTION: Camera
    Process: com.app.cerist.realtimeobjectdetectionapi, PID: 19957
    java.lang.IllegalArgumentException: Output error: Outputs do not match with model outputs.
        at org.tensorflow.lite.Interpreter.runForMultipleInputsOutputs(Interpreter.java:170)
        at com.app.cerist.realtimeobjectdetectionapi.ImageClassifierTFLiteAPI.recognizeImage(ImageClassifierTFLiteAPI.java:207)
        at com.app.cerist.realtimeobjectdetectionapi.MainActivity.classifyFrame(MainActivity.java:421)
        at com.app.cerist.realtimeobjectdetectionapi.MainActivity.access$1000(MainActivity.java:48)
        at com.app.cerist.realtimeobjectdetectionapi.MainActivity$4.run(MainActivity.java:455)
        at android.os.Handler.handleCallback(Handler.java:739)
        at android.os.Handler.dispatchMessage(Handler.java:95)
        at android.os.Looper.loop(Looper.java:159)
        at android.os.HandlerThread.run(HandlerThread.java:61)
07-18 10:37:02.436 19957-19996/com.app.cerist.realtimeobjectdetectionapi V/Process: killProcess [19957] Callers=com.android.internal.os.RuntimeInit$UncaughtHandler.uncaughtException:99 java.lang.ThreadGroup.uncaughtException:693 java.lang.ThreadGroup.uncaughtException:690 <bottom of call stack> 
07-18 10:37:02.436 19957-19996/com.app.cerist.realtimeobjectdetectionapi I/Process: Sending signal. PID: 19957 SIG: 9

오류는 출력 배열의 길이가 입력 배열의 길이보다 큽니다.
Interpreter.java의 조건은 다음과 같습니다.

public void runForMultipleInputsOutputs(Object[] inputs, <strong i="14">@NonNull</strong> Map<Integer, Object> outputs) {
        if (this.wrapper == null) {
            throw new IllegalStateException("Internal error: The Interpreter has already been closed.");
        } else {
            Tensor[] tensors = this.wrapper.run(inputs);
            if (outputs != null && tensors != null && outputs.size() <= tensors.length) {
                int size = tensors.length;
                Iterator var5 = outputs.keySet().iterator();
            }
       }
}

이것은 내 입력 및 출력 배열입니다.

d.imgData = ByteBuffer.allocateDirect(1 * d.inputSize * d.inputSize * 3 * numBytesPerChannel);
d.imgData.order(ByteOrder.nativeOrder());
d.intValues = new int[d.inputSize * d.inputSize];

```
imgData.rewind();
(int i = 0; i < inputSize; ++i) {
(int j = 0; j < inputSize; ++j) {
int pixelValue = intValues[i * inputSize + j];
if (isModelQuantized) {
// 양자화 모델
imgData.put((바이트) ((픽셀 값 >> 16) & 0xFF));
imgData.put((byte) ((pixelValue >> 8) & 0xFF));
imgData.put((바이트) (픽셀값 & 0xFF));
} else { // 플로트 모델
imgData.putFloat((((픽셀 값 >> 16) & 0xFF) - IMAGE_MEAN) / IMAGE_STD);
imgData.putFloat((((픽셀 값 >> 8) & 0xFF) - IMAGE_MEAN) / IMAGE_STD);
imgData.putFloat(((픽셀 값 & 0xFF) - IMAGE_MEAN) / IMAGE_STD);

The outputs array :

// 입력 데이터를 TensorFlow에 복사합니다.
Trace.beginSection("피드");
outputLocations = 새로운 float[1][NUM_DETECTIONS][4];
outputClasses = 새로운 float[1][NUM_DETECTIONS];
outputScores = 새로운 float[1][NUM_DETECTIONS];
numDetections = 새로운 float[1];

    Object[] inputArray = {imgData};
    Map<Integer, Object> outputMap = new HashMap<>();
    outputMap.put(0, outputLocations);
    outputMap.put(1, outputScores);
    outputMap.put(2, numDetections);
    outputMap.put(3, outputClasses);
    Trace.endSection();

And the Inference :

// 추론 호출을 실행합니다.
Trace.beginSection("실행");
Log.d("TAG_INPUT",""+String.valueOf(inputArray.length));
Log.d("TAG_OUTPUT",""+String.valueOf(outputMap.size()));

    tfLite.runForMultipleInputsOutputs(inputArray, outputMap);
    Trace.endSection();

```
나는 당신의 TFLiteObjectDetectionAPIModel.java 클래스와 정확히 동일하게 수행했기 때문에 이 오류의 의미를 이해하지 못했습니다.
도와 줘서 고마워

나는 같은 문제가 있습니다. 해결책이 있습니까?
감사 해요..

@Georg-W export_tflite_ssd_graph.py에서도 최대 감지를 변경해야 합니다. 명령줄 옵션이 있습니다.

안녕

이미지에서 10개 이상의 개체를 감지하려고 합니다(기본값).
다음 명령을 사용하고 있습니다.
bazel run -c opt tensorflow/contrib/lite/ toco:toco -- --input_file=$OUTPUT_DIR/tflite_graph.pb --output_file=$OUTPUT_DIR/mobile_net_500.tflite --input_shapes=1,300,300,3 --normalized_inputs_input_array= output_arrays='TFLite_Detection_PostProcess','TFLite_Detection_Po stProcess:1 ','TFLite_Detection_Po stProcess:2 ','TFLite_Detection_Po stProcess:3 ' --inference_type=FLOAT --max_detections=500 --max_classes_per_detection_1 --per_detection=

나도 수정했다
export_tflite_ssd_graph.py
flags.DEFINE_integer('max_detections', 500 <--- 10 대신,
'표시할 최대 탐지(상자) 수')
flags.DEFINE_integer('max_classes_per_detection', 1,
'감지 상자당 표시할 클래스 수')

그러나 여전히 Android [1,10,4]에서 10개의 객체를 출력으로 제공합니다.

어떤 생각?

@KaviSanth 문제의 솔루션에도 관심이 있습니다.

@Stevelb 의 이 솔루션이 작동해야 합니다. max_detections가 올바르게 설정되었는지 확인하기 위해 고정된 그래프를 시각화할 수 있습니다.

@achowdhery 답변 감사합니다. @andrewharp 가 작성한 명령을 실행하려고 했지만 다음 오류가 발생합니다. 사실 토코는 이곳에 없습니다. github 저장소의 마스터 버전과 r1.95 버전을 사용하고 있습니다.

bazel 실행 tensorflow/contrib/lite/ toco:toco -- --input_file=$STRIPPED_PB --output_file=$DETECT_FB --input_format=TENSORFLOW_GRAPHDEF --output_format=TFLITE --input_shapes=1,300,300,3 --input_arrays=전처리기 -output_arrays=concat,concat_1 --inference_type=FLOAT --logtostderr
정보: 호출 ID: 0e58a5ef-9fee-4619-b760-aeb1c83c9661
오류: 'tensorflow/contrib/lite/ toco:toco ' 건너뛰기: 해당 패키지가 없습니다. 'tensorflow/contrib/lite/toco': 패키지 경로에서 빌드 파일을 찾을 수 없습니다.
경고: 대상 패턴 구문 분석에 실패했습니다.
오류: 'tensorflow/contrib/lite/toco' 패키지가 없습니다: 패키지 경로에서 빌드 파일을 찾을 수 없습니다.
정보: 경과 시간: 0.179초
정보: 0 프로세스.
FAILED: 빌드가 성공적으로 완료되지 않았습니다(0개의 패키지가 로드됨).
FAILED: 빌드가 성공적으로 완료되지 않았습니다(0개의 패키지가 로드됨).
git에서 가져온 로컬 tensorflow 폴더에서 해당 명령을 실행하고 있음을 수정해야 합니다.

tensorflow/lite/toco에서 toco를 찾을 수 있으며 작동 여부를 테스트하는 중입니다.
좋아, 이 toco를 사용하여 작동하는 것 같으며 contrib/lite 폴더에는 일부 Python만 있기 때문에 $DETECT_FB 경로를 $PWD/ssd_mobilenet.tflite로 변경해야 합니다.

https://github.com/tensorflow/tensorflow/tree/master/tensorflow/examples/android(https://github.com/tensorflow/tensorflow/blob )의 DetectorActivity에 .tflite 파일을 추가할 때 런타임 오류가 나타납니다. /master/tensorflow/examples/android/src/org/tensorflow/demo/DetectorActivity.java)

private static final String TF_OD_API_MODEL_FILE =
            "file:///android_asset/ssd_mobilenet_v1.tflite";

E/AndroidRuntime: 치명적 예외: 기본
프로세스: myProcess, PID: 32611
java.lang.RuntimeException: 입력 노드 'image_tensor'를 찾지 못했습니다.
myPackage.myClass.TensorFlowObjectDetectionAPIModel.create(TensorFlowObjectDetectionAPIModel.java:106)

해당 앱에서 .tflite 모델을 사용할 수 없나요?

@defaultUser3214 탐지 앱에서 분류기 모델을 사용하고 있습니다. MobileNet v1은 분류 모델입니다. MobileNet SSD 모델을 사용하십시오

@achowdhery 감사합니다! wget http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v1_coco_2017_11_17.tar.gz 의 모델을 사용하면 해당 오류가 발생했습니다. 근데 이게 ssd버전인줄 알았어요?

그러나 이전에 .pb로 작동했던 .tflite로 변환된 ssd_mobilenet_v1_android_export.pb를 사용하면 동일한 오류가 발생합니다.

@defaultUser3214 2018년 7월에 출시된 최신 데모 앱에서 작동하지 않는 모델의 이전 버전입니다. 2018년 7월에 최신 모델을 감지 모델 동물원에서 다운로드하세요. 앱에서 작동합니다. 이것이 여전히 차단되어 있으면 새 문제를 여십시오.

@SteveIb TFLiteObjectDetectionAPIModel.java 에서 NUM_DETECTIONS = 500도 변경해야 합니다.

ssdmobilenet v1 .pb를 .tflite로 변환할 수 없음
Tensorflow 객체 감지 API @aselle @achowdhery 를 통해 생성된 pb

이에 대한 진전이 있습니까? frozen_inference_graph.pb를 .TFLITE 파일로 변환하려고 시도하지만 오류가 발생합니다.

java.lang.IllegalArgumentException: Cannot convert between a TensorFlowLite buffer with 49152 bytes and a ByteBuffer with 270000 bytes

Android의 사용자 정의 개체 감지용. 다른 변환 방법에 대한 아이디어가 있습니까? https://github.com/EdjeElectronics/TensorFlow-Object-Detection-API-Tutorial-Train-Multiple-Objects-Windows-10 자습서에 따라 Windows 10에서 학습된 ssd_mobilenet_v1_pets를 전송합니다.

이에 대한 진전이 있습니까? frozen_inference_graph.pb를 .TFLITE 파일로 변환하려고 시도하지만 오류가 발생합니다.

java.lang.IllegalArgumentException: Cannot convert between a TensorFlowLite buffer with 49152 bytes and a ByteBuffer with 270000 bytes

Android의 사용자 정의 개체 감지용. 다른 변환 방법에 대한 아이디어가 있습니까? https://github.com/EdjeElectronics/TensorFlow-Object-Detection-API-Tutorial-Train-Multiple-Objects-Windows-10 자습서에 따라 Windows 10에서 학습된 ssd_mobilenet_v1_pets를 전송합니다.

이것에 대한 후속 조치와 같은 오류를 겪고 있는 다른 사람을 돕기 위해 - 이것은 훈련할 잘못된 모델 체크포인트를 사용하기 때문에 발생합니다. .tflite를 사용하여 Android에서 작업하려면 초기 모델이 MobileNet이어야 하고 양자화되어야 하며 .config 파일에 이 코드 섹션 또는 유사한 항목이 있어야 합니다.

graph_rewriter { quantization { delay: 48000 weight_bits: 8 activation_bits: 8 } }

현재 tensorflow/contrib/lite/examples/android 에 있습니다! 이것은 원본 TF Android 데모의 보다 완전한 포트이며(Stylize 예제만 없음) 앞으로 tensorflow/contrib/lite/java/demo의 다른 데모를 대체할 예정입니다.

변환된 TF Lite 플랫 버퍼는 mobilenet_ssd_tflite_v1.zip 에서 찾을 수 있고 Java 추론 구현은 TFLiteObjectDetectionAPIModel.java 에서 찾을 수 있습니다. 이것은 상자를 Java에서 수동으로 디코딩해야 하고 상자 이전 txt 파일을 앱 자산에 패키징해야 한다는 점에서 원래 TF 구현과 다릅니다. 그래프).

TOCO 변환 중에는 다른 입력 노드(Preprocessor/sub)와 다른 출력 노드(concat,concat_1)가 사용됩니다. 이것은 그래프가 재구성되거나 TF Lite가 TF 패리티에 도달할 때까지 tflite에 문제가 있는 일부 부분을 건너뜁니다.

다음은 SSD MobileNet 모델을 tflite 형식으로 변환하고 이를 사용하기 위한 데모를 구축하는 빠른 단계입니다.

# Download and extract SSD MobileNet model
wget http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v1_coco_2017_11_17.tar.gz
tar -xvf ssd_mobilenet_v1_coco_2017_11_17.tar.gz 
DETECT_PB=$PWD/ssd_mobilenet_v1_coco_2017_11_17/frozen_inference_graph.pb
STRIPPED_PB=$PWD/frozen_inference_graph_stripped.pb
DETECT_FB=$PWD/tensorflow/contrib/lite/examples/android/assets/mobilenet_ssd.tflite

# Strip out problematic nodes before even letting TOCO see the graphdef
bazel run -c opt tensorflow/python/tools/optimize_for_inference -- \
--input=$DETECT_PB  --output=$STRIPPED_PB --frozen_graph=True \
--input_names=Preprocessor/sub --output_names=concat,concat_1 \
--alsologtostderr

# Run TOCO conversion.
bazel run tensorflow/contrib/lite/toco:toco -- \
--input_file=$STRIPPED_PB --output_file=$DETECT_FB \
--input_format=TENSORFLOW_GRAPHDEF --output_format=TFLITE \
--input_shapes=1,300,300,3 --input_arrays=Preprocessor/sub \
--output_arrays=concat,concat_1 --inference_type=FLOAT --logtostderr

# Build and install the demo
bazel build -c opt --cxxopt='--std=c++11' //tensorflow/contrib/lite/examples/android:tflite_demo
adb install -r -f bazel-bin/tensorflow/contrib/lite/examples/android/tflite_demo.apk

이것은 매력처럼 작동합니다!