Tensorflow: 자바 인터페이스

멋진!

https://github.com/tensorflow/tensorflow/issues/3 에서 이 댓글을 여기로

상당히 좋은 수렴을 가진 테스트 스위트가 있지만 현재는 몇 가지 C++ 테스트가 포함된 대부분 Python입니다. 또한 현재 Python 전용인 그래프를 작성하기 위한 많은 기능, 특히 자동 미분 기능이 있지만 Java에서 그래프를 평가하는 경우에는 중요하지 않습니다. 앞으로 이 기능을 기본 C++로 이동할 계획이 있으며, 이 시점에서 Java SWIG 바인딩은 그래프 생성에 더 유용할 것입니다.

누군가가 Java SWIG 챌린지를 맡는다면 검토를 기다리는 등의 업스트림을 기꺼이 수락할 것이며, 이 시점에서 우리의 지속적인 테스트의 일부가 될 것입니다. 기부금 수락에 대한 세부 사항은 현재 유동적이지만 안정화될 것입니다.

안녕하세요 여러분
또한 TensorFlow for Java를 적용하는 데 관심이 있습니다. @ravwojdyla 혹시 Swig Interface for Java 작업을 시작하셨습니까? 당신이 있다면, 우리는 우리의 노력에 동참하고 그것에 대해 협력할 수 있습니다.

안녕하십니까,
저는 메인 C++ API의 SWIG 랩 작업을 하고 있습니다. 내 포크에서 지금까지의 진행 상황을 볼 수 있지만 아직 끝나지 않은 상황입니다. 현재 #include "tensorflow/core/lib/core/error_codes.pb.h" 을(를) 해결할 수 없고 프로젝트 파일 내에서 원하는 파일을 찾을 수 없는 문제가 발생했습니다. 어떤 종류의 입력도 크게 감사하겠습니다.

Caffe 및 OpenCV와 같은 라이브러리에 사용할 수 있는 javacpp 사전 설정이 있습니다. https://github.com/bytedeco/javacpp-presets/issues/111 도

@girving 초기 커밋 https://github.com/bytedeco/javacpp-presets/commit/374e1d5ea3cb4db36144aeec2cac33d32e1a7489

/cc @saudet

@pslam - 나는 이것에 대해 약간의 작업을 할 수 있었습니다 - 확실히 도움이 될 수 있습니다!

안녕하세요 여러분, 저는 JavaCPP에 대한 꽤 기능적인 바인딩이 있다고 생각합니다: https://github.com/bytedeco/javacpp-presets/tree/master/tensorflow. SWIG로 수행할 수 있지만 JavaCPP로 수행할 수 없는 것이 있으면 알려주십시오. 나는 확실히 피드백을 사용할 수 있습니다. (cc @bhack 주셔서 감사합니다!)

@saudet 아주 멋지게 완성했습니다! SWIG 랩을 거의 완료했지만 구현도 제대로 작동하는 것 같습니다. 내 SWIG 랩이 할 수 있는 일 중 귀하가 할 수 없는 일은 없습니다. JavaCPP는 매우 멋진 것 같습니다. 향후 프로젝트에 사용하는 방법을 살펴봐야 합니다.

@kylevedder님 , error_codes.pb.h 와 관련된 문제를 해결하셨습니까?
[편집됨]
모든 .pb.h 파일은 .proto에서 컴파일됩니다.

@tngan 네, 저도 발견했습니다. 또한 이 프로젝트의 .proto 파일을 사용하려면 ProtoBuff3를 사용해야 합니다. 저는 Ubuntu 14.04를 사용하고 있는데 패키지 관리자에서 ProtoBuff3를 사용할 수 없었기 때문에 3.0.0 베타 릴리스 에서 가져온 소스에서 컴파일했습니다.

내가 해결하려고 하는 현재 장애물은 ProtoBuff가 전체 파일 트리에서 재귀하도록 하고 .proto 파일을 .h 및 .cc 파일로 컴파일하는 방법입니다. 각 폴더를 조금씩 수행하면 아직 컴파일되지 않은 .proto 파일에 대한 만족스럽지 못한 종속성으로 인해 실패가 발생합니다.

@kylevedder SWIG 래퍼가 별도의 저장소에 있습니까, 아니면 tensorflow 저장소에서 작업하고 있습니까? protoc 는 다른 컴파일러와 유사하게 작동합니다. tensorflow 저장소에서 작업하거나 Bazel을 사용하는 경우 protobuf 빌드 대상과 이들 간의 종속성을 설정해야 합니다.

별도의 저장소에서 작업하고 다른 빌드 시스템을 사용하는 경우 해당 빌드 시스템에 대해 protobuf 플러그인을 사용해야 합니다.

원하시면 빌드 설정을 도와드리겠습니다.

@davidzchen 제안에 감사드리며 모든 도움에 감사드립니다.

내가 지금까지 가지고 있는 것:

저는 이미 Bazel을 설정하고 .whl 파일로 컴파일하도록 했습니다. 그런 다음 이 파일을 pip 넘겼고 First TensorFlow 프로그램을 실행할 수 있음을 확인했습니다.

분기된 저장소에 SWIG 래퍼 파일을 생성했습니다. core/javaWrapper 아래의 폴더에 있습니다. [[링크](https://github.com/kylevedder/tensorflow/tree/master/tensorflow/core/javaWrapper)]

내가 하려고 하는 것:

궁극적으로 내 목표는 Java에서 기본 라이브러리라고 부를 수 있는 .so 파일을 생성하는 것입니다. 현재 g++를 사용하여 전체 시스템을 .so 파일로 컴파일하려고 합니다. 그러나 .proto 파일은 이 컴파일 전에 먼저 .h 및 .cc 로 확장되어야 하며 이것이 protoc 하려고 하는 것입니다.

지금까지 protoc 를 사용하려는 모든 시도는 디렉토리별로 이루어졌으므로 결과적으로는 아니었지만 랩 스크립트에 대한 나의 시도를 여기 에서 볼 수 있습니다 protoc 스크립트에서.

마지막으로, 개선 영역에 대한 피드백은 크게 감사하겠습니다. 감사 해요!

@kylevedder 저는 이미 JavaCPP 사전 설정의 일부로 .so 빌드를 가지고 있습니다: https://github.com/bytedeco/javacpp-presets/tree/master/tensorflow. Bazel 덕분에 정말 간단합니다. 다음과 같이 패치를 적용하면 됩니다.

diff -ruN tensorflow/tensorflow/cc/BUILD tensorflow-patch/tensorflow/cc/BUILD
--- tensorflow/tensorflow/cc/BUILD  2015-11-22 00:00:02.441829192 +0900
+++ tensorflow-patch/tensorflow/cc/BUILD    2015-11-14 11:15:12.689330351 +0900
@@ -75,6 +75,17 @@
     ],
 )

+cc_binary(
+    name = "libtensorflow.so",
+    copts = tf_copts(),
+    linkshared = 1,
+    deps = [
+        ":cc_ops",
+        "//tensorflow/core:kernels",
+        "//tensorflow/core:tensorflow",
+    ],
+)
+
 filegroup(
     name = "all_files",
     srcs = glob(

예를 들어 다음과 같이 Bazel을 실행합니다.

bazel build -c opt //tensorflow/cc:libtensorflow.so

AFAIK, 이것은 C++ API에 대한 관심의 거의 모든 것을 집어삼킬 것입니다.

@saudet cc_library 대신 cc_binary 규칙을 사용하여 공유 라이브러리를 빌드하는 이유가 있습니까? 이름이 tensorflow cc_library 규칙만 있으면 빌드 대상이 libtensorflow.so 라는 공유 라이브러리를 빌드합니다.

@kylevedder 목표가 .so 파일을 생성하는 것이라면 @saudet이 제안한 것과 유사한 것이 작동할 것입니다.

Java 코드에서 TensorFlow 프로토스를 사용해야 하는 경우 java_* Bazel 빌드 대상에서 .proto 에서 Java 클래스를 생성하는 proto_library 대상에 종속성을 추가해야 합니다. .proto 파일.

기본 proto_library 규칙을 공개하기 전에 아직 해야 할 일이 약간 있지만(bazelbuild/bazel#52 참조) TensorFlow는 cc_proto_library 및 py_proto_library 규칙은 protobuf 에서 Bazel에 포함된 Java genproto 규칙 을 사용할 수 있어야 합니다. proto_library 대한 타임라인이 무엇인지, Protobuf에서 제공하는 규칙을 genproto 로 통합하는 것이 가치가 있는지 여부를 팀과 함께 확인하겠습니다.

몇 가지 다른 피드백:

• 나는 일관성있는 디렉토리 이름을 유지하고 사용하는 것이 더 좋을 것이라고 생각 java_wrapper 보다는 javaWrapper
• 아마도 Java 래퍼에 대한 더 나은 위치는 //tensorflow/java/wrapper 보다는 //tensorflow/core/java_wrapper 일까요?
• 내부적으로 .swig 파일을 가져와 소스를 생성하는 몇 가지 빌드 규칙이 있습니다. 이것은 생성된 파일을 체크인하지 않기 때문에 더 이상적입니다. Bazel이 이와 같은 것을 더 쉽게 만들기 위해 몇 가지 SWIG 빌드 규칙을 추가하는 것이 얼마나 어려운지 확인할 수 있습니다.

@davidzchen 특별한 이유는 없습니다. 저는 Bazel을 처음 사용하고 메일링 리스트에서 언급한 대로 linkshared=1 하고 있습니다. 그래서 팁을 주셔서 감사합니다! 업데이트하겠습니다.

@saudet 감사합니다! Bazel에 문제가 없는지 확인하는 중이었습니다. :) 문제가 발생하면 언제든지 알려주거나 버그를 열어주세요.

@saudet Bazel 사용에 대한 정보 감사합니다. 나도 처음이고 그런 식으로 .so 를 생성할 수 있다는 것을 깨닫지 못했습니다.

@davidzchen cc_library 사용에 대한 부록에 감사드립니다. Bazil 래퍼 빌드를 구현할 때 @saudet 의 예제를

또한 .so 파일 생성에 대한 이전 의견에서 명확하지 않았습니다. 내 목표는 생성하는 동안 .so 원본 소스에서 파일을 또한 포함 할 $ # $ 4 $ # $를 꿀꺽 꿀꺽가 생성하는 파일을 내부의 .so JNI를을 촉진하기 위해 전화. 현재 SWIG에서 생성한 .cxx 파일을 컴파일할 수 없는 문제가 발생했습니다. 참조하려고 JNI.h 에있는 헤더 $JAVA_HOME/include/ 하지만 외부 경로를 포함 이해 Bazel을 얻을 수 없습니다.

@davidzchen 흠, 아니, cc_library 가 작동하지 않습니다. Bazel이 -shared 옵션을 컴파일러에 전달하도록 하는 다른 방법은 없습니다. http://bazel.io/docs/be/c-cpp.html.

@saudet 본인이 -shared 를 전달할 필요는 없다고 생각합니다. cc_library 는 기본적으로 .so 를 빌드해야 합니다. 그게 당신을 위해 작동합니까?

@kylevedder JNI 헤더는 작업 공간 외부에 있기 때문에 그런 식으로 추가할 수 없습니다. 그러나 Bazel은 로컬 JDK를 로컬 저장소 로 포함하고 로컬 JDK에 의존하는 데 사용할 수 있는 여러 내장 대상( jdk.WORKSPACE 및 해당 jdk.BUILD )을 제공합니다. 기본적으로 각 Bazel 작업 공간에 포함되어 있습니다.

Bazel 자체는 JNI를 사용하고 이러한 방식으로 로컬 JDK와 인터페이스합니다( src/main/native/BUILD ). 이 빌드 파일에서이 두 가지 genrule s를 JNI 헤더와 복사 cc_library 는 헤더에 따라 사용 JNI, 그 건물되어있는 라이브러리에 대한 대상과 includes = ["."] 그래서 C ++ 코드와 JNI 헤더를 포함 할 수 있다는 #include <jni.h> . 이것은 현재 외부 저장소 메커니즘에 대한 여러 개선 작업을 하고 있고 @local-jdk 이름이 변경될 수 있기 때문에 문서화되지 않았지만 그 동안 JNI를 사용하는 TensorFlow 및 기타 Bazel 프로젝트에 사용할 수 있습니다. .

여기에 추가 빌드 파일에 대한 패치입니다 genrule 당신이 필요로하는 JNI 헤더와 일부 변경 복사의 대상을 cc_library 즉, 올바른 종속성을 설정하는 목표는 :

1. genrule 에서 srcs 의해 현재 패키지에 복사된 jni.h 및 jni_md.h 를 추가합니다.
2. tensorflow/core/public 아래에 헤더를 포함할 수 있도록 //tensorflow/core 에 종속성을 추가합니다. 별도의 디렉터리에 있는 헤더 또는 소스 파일은 Bazel의 관점에서 볼 때 별도의 패키지에 있으며 이러한 파일이 포함된 빌드 대상에 종속성을 추가해야 합니다.

diff --git a/tensorflow/core/java/wrapper/BUILD b/tensorflow/core/java/wrapper/BUILD
index 72b4076..04a3394 100644
--- a/tensorflow/core/java/wrapper/BUILD
+++ b/tensorflow/core/java/wrapper/BUILD
@@ -7,10 +7,30 @@ exports_files(["LICENSE"])
 load("/tensorflow/tensorflow", "tf_copts")
 load("/tensorflow/tensorflow", "tf_gen_op_wrappers_cc")

+genrule(
+    name = "copy_link_jni_md_header",
+    srcs = ["//external:jni_md_header-linux"],
+    outs = ["jni_md.h"],
+    cmd = "cp -f $< $@",
+)
+
+genrule(
+    name = "copy_link_jni_header",
+    srcs = ["//external:jni_header"],
+    outs = ["jni.h"],
+    cmd = "cp -f $< $@",
+)
+
 cc_library(
     name = "java_wrapper",
-    srcs = glob(["*.cc","*.cxx","*.h"]),
-    copts = ["-I$$JAVA_HOME/include/", "-I$$JAVA_HOME/include/linux/"],
+    srcs = glob(["*.cc", "*.cxx", "*.h"]) + [
+        ":jni.h",
+        ":jni_md.h",
+    ],
+    includes = ["."],
+    deps = [
+        "//tensorflow/core",
+    ],
     visibility = ["//visibility:public"],
 )

일반적으로 Bazel의 컴파일 작업은 소스 트리의 루트에서 실행되며 다음과 같이 SWIG 파일의 포함을 변경한 다음 C++ 파일을 다시 생성하여 올바른 포함을 갖도록 해야 합니다. 잘:

diff --git a/tensorflow/core/java/wrapper/tensor_c_api.i b/tensorflow/core/java/wrapper/tensor_c_api.i
index d08b571..9ab1fa1 100644
--- a/tensorflow/core/java/wrapper/tensor_c_api.i
+++ b/tensorflow/core/java/wrapper/tensor_c_api.i
@@ -1,8 +1,8 @@
 %module tensor_c_api_module
 %{
-#include "../../public/tensor_c_api.h"
+#include "tensorflow/core/public/tensor_c_api.h"
 %}
-%include "../../public/tensor_c_api.h"
+%include "tensorflow/core/public/tensor_c_api.h"
 %include "stddef.h"

이것이 작동하면 copy_link_jni_md_header genrule 는 Linux 전용 헤더만 복사하므로 Linux용 JNI 빌드가 설정됩니다. 올바른 플랫폼별 JNI 헤더를 복사하도록 하려면 다음을 수행해야 합니다.

1. 다른 플랫폼에 대해 cpu config_setting 를 설정합니다. 현재 tensorflow에는 config_setting 의 --cpu=darwin 에 대한 tensorflow/python/BUILD 있습니다. //tensorflow/core 와 같은 더 적절한 패키지로 이동해야 합니다. 기본적으로 Bazel과 동일한 config_setting 세트를 원할 것입니다( src/BUILD ).
2. copy_link_jni_md_header 가 select() 사용하여 설정한 구성 설정에 따라 올바른 JNI 헤더를 복사하도록 하십시오 . genrule 는 다음과 같습니다.

genrule(
    name = "copy_link_jni_md_header",
    srcs = select({
        "//tensorflow/core:darwin": ["//external:jni_md_header-darwin"],
        "//tensorflow/core:darwin_x86_64": ["//external:jni_md_header-darwin"],
        "//tensorflow/core:freebsd": ["//external:jni_md_header-freebsd"],
        "//conditions:default": ["//external:jni_md_header-linux"],
    }),
    outs = ["jni_md.h"],
    cmd = "cp -f $< $@",
)

문제가 발생하면 기꺼이 도와드리겠습니다. 이것이 당신을 위해 작동하는지 알려주십시오.

@davidzchen cc_library는 .a 파일을 많이 생성하지만 .so 파일은 생성하지 않습니다. TensorFlow에 대해 이전에 권장된 대로 0.1.0을 사용하고 있습니다... 0.1.1에서 수정되었을 수 있습니까? 다시 시도해야 합니다.

@davidzchen 도움을 주셔서 대단히 감사합니다. 귀하의 지시에 따라 Java 래퍼 BUILD 파일 과 SWIG .i 파일 을 제안한 대로 업데이트했습니다. 또한 랩 스크립트를 core/java/wrapper 에서 루트 디렉터리로 이동하고 그에 따라 링크를 업데이트했습니다.

지금은 jni_md.h 파일에 대한 일반화 genrule 를 건너뛰고 libtensorflow.so 빌드에 집중했습니다. 불행히도 libtensorflow.so 가 생성되지 않는 것처럼 보입니다. "libtensorflow"의 변종이라는 이름을 가진 모든 파일 시스템을 검색했고 관련 항목이 나타나지 않았습니다. 이름이 다를 수도 있고 단순한 사용자 오류일 수도 있습니다. 또한, @saudet 이 .so 생성에 대한 cc_library 규칙으로 겪고 있는 문제와 관련이 있을 가능성이 있습니다.

다시 한 번 모든 도움에 감사드립니다. 정말 감사합니다.

죄송합니다. 제가 잘못 알고 있었습니다. 구축하기 위해 .so @saudet 사용 않았다 무엇 이적 종속성 포함하는 cc_binary 가진 linkshared = 1 및 name = "libtensorflow.so" 정확했다. cc_binary.linkshared 문서에서 :

공유 라이브러리를 만듭니다. 이 속성을 활성화하려면 규칙에 linkshared=1을 포함하십시오. 기본적으로 이 옵션은 꺼져 있습니다. 활성화하면 foo의 합리적인 값에 대해 바이너리 이름을 libfoo.so(또는 대상 플랫폼의 라이브러리 명명 규칙)로 지정해야 합니다.

간의 주된 차이점 .so '에 의해 만들어진 s는 cc_library 타겟과 .so 빌드 cc_binary 상기 방법은 상기 이용은 그 cc_library 아티팩트에는 srcs 의 코드만 포함됩니다. 구축하는 이유입니다 cc_library 아니오 목표 srcs 만 deps 같은, //tensorflow/core 모든 아티팩트를 생성하지 않습니다. 반면에 cc_binary 대상은 모든 전이적 종속성에 연결됩니다.

혼란을 드려 죄송합니다. 아마도 우리는 문서를 개선하고 .so 빌드에 대한 예제를 추가해야 합니다.

Tensorflow와 모든 종속성을 빌드하려면 이러한 단계를 따라야 한다고 생각합니다. 우리는 TensorFlow를 node.js로 이식하는 작업을 하고 있으며 전체 저장소에서 필수 소스만 컴파일하고 가져오기 위해 쉘 스크립트를 구현했습니다.
https://github.com/node-tensorflow/node-tensorflow/blob/1.0.0/tools/install.sh#L233 -L282

@davidzchen .so 생성에 관한 정보를 제공해 주셔서 감사합니다. 나는 그에 따라 내 설정을 업데이트하고 난 생성 한 tensorflow/core/java/wrapper/example _extremely_ 기본 테스터 증명하기 위해 그에게 JNI 함수 호출 .so 작업. 참고 createWrapper.sh 실행하기 전에 실행해야합니다 compileAndRun.sh .

나는 SWIG 래퍼를 개선하고 더 나은 예를 만들려고 노력할 것입니다. 지금 가지고 있는 것은 바인딩 작업에 대한 최소한의 증거일 뿐입니다.

마지막으로 도움을 주신 @davidzchen 과 @saudet 에게 감사드립니다. 나는 그들 없이는 이것을 할 수 없었을 것입니다.

멋진! 작업해 주셔서 감사합니다, @kylevedder!

관심이 있으시면 1) Skylark SWIG 규칙을 생성하고 2) Bazel의 Java 규칙 을 사용하여 Java 코드를 빌드하여 createWrapper.sh 및 compileAndRun.sh 스크립트를 Bazel 빌드에 통합할 수 있습니다.

@davidzchen 정말 좋겠군요! SWIG 래퍼와 기본 예제를 개선하기 위해 노력할 것입니다.

JavaCPP에 대한 사전 설정을 완료하고 example_trainer.cc 샘플을 이식했습니다.
https://github.com/bytedeco/javacpp-presets/tree/master/tensorflow
SWIG를 사용하는 동등한 래퍼와 이것을 비교할 수 있기를 기대합니다!

API 링크가 손상된 것 같습니다: http://bytedeco.org/javacpp-presets/tensorflow/apidocs/

@verdiyanto 죄송합니다. 아직 CI가 없지만 API 문서를 업로드하는 것은 충분히 쉽기 때문에 최소한 그렇게 했습니다. 즐기다!

@saudet JavaCPP 사전 설정에 대한 좋은 작업입니다!

내 작업에 대한 업데이트: SWIG 래퍼에 대해 더 많은 작업을 수행했으며 여기에서 수행한 작업을 볼 수

저는 SWIG를 사용하는 첫 번째 주요 프로젝트이기 때문에 SWIG를 처음 접했습니다. 따라서 SWIG의 작동 방식과 C/C++를 SWIG Java 래퍼로 래핑하는 방법을 실행하는 SWIG 기본 사항 과 SWIG 및 Java 에 대한 SWIG 설명서를 읽었습니다.

문서에서는 SWIG가 C/C++의 포인터를 불투명한 Java 객체로 변환하는 방법을 설명합니다. 이것이 SWIG에 의해 생성된 SWIGTYPE_p_void 와 같은 클래스를 얻는 이유입니다. 문제는 POJO를 이러한 SWIG 클래스로 변환하는 쉬운 방법이 없다는 것입니다.

예를 들어 tensor_c_api.h 에서 C 메서드 TF_CreateTensor() 는 입력 데이터를 가리키는 void* 와 크기를 지정하는 size 매개변수를 사용합니다. 바이트 단위의 입력 데이터. 이것은 C/C++에서는 완벽하게 합리적인 디자인 패턴이지만 Java에서는 완전히 무의미합니다. SWIG 생성 Java 메서드 TF_CreateTensor() 는 size 와 함께 SWIGTYPE_p_void 개체를 데이터로 사용하지만 String 과 같은 POJO를 변환할 방법이 없습니다 SWIGTYPE_p_void 코드를 많이 필기없이.

그리고 이것이 내가 현재 거짓말을 하는 교차로입니다. TF_DataType 정의된 모든 유형을 취하고 void* 로 변환하는 수많은 C/C++ 변환 방법을 작성하거나 같은 일을 하는 SWIG 타입맵. SWIG 문서는 두 솔루션 모두 겉보기에 상호 교환 가능하기 때문에 두 솔루션을 선호하지 않는 것 같습니다.

따라서 문제는 C/C++ 변환 함수 또는 SWIG 유형 맵입니까?

@kylevedder 처음에 JavaCPP를 만든 이유를 이해하기 시작한 것 같습니다. :)

@saudet 의 JavaCPP 사전 설정을 사용하고 있습니다. 매우 유용합니다. 감사합니다! tensorflow에 대한 Clojure 인터페이스를 구축하는 데 사용하고 있습니다.

일부 의견:

a) 단순화 / 상위 계층의 기회가 있습니다.

많은 JavaCPP API는 브릿지 없이 JVM에서 직접 달성할 수 있는 protobuf 기능을 복제합니다. 이것을 깨닫는 데 약간의 시간이 걸렸지만 JavaCPP 바인딩을 사용하여 protobuf 객체를 구축하고 interop을 사용하여 이 플랫폼 독립적인 표현을 생성한 다음 이를 Session에 채우는 것입니다.

나는 Jvm 기반 protobufs를 사용하여 JavaCPP 생성자 기능을 우회하여 그래프를 직접 작성하는 것으로 끝을 맺었습니다. 이것은 몇 가지 장점이 있습니다. 프로그래밍하기에 더 간단한 API와 사람이 읽을 수 있는 protobuf를 보여주는 멋진 .toString 형식입니다.

특히 Clojure의 경우 데이터 구조의 관점에서 tensorflow 그래프를 설명한 다음 protobuf로 직접 변환하는 것이 내 데이터 구조의 각 노드에 대한 생성자 함수를 찾아 호출하는 것보다 훨씬 쉽습니다.

b) 빌드 및 패키지 개선

저는 네이티브 코드를 빌드하거나 이러한 프로젝트에 사용되는 빌드 도구에 대한 전문가가 아닙니다. maven-ized 아티팩트를 갖는 것이 좋을 것입니다. 특히 생성된 Java protobuf 클래스도 포함된 경우. 이 작업을 수행하는 방법을 알아내는 데 당황스러운 시간이 걸렸습니다.

c) 목표로 하는 그래프 테스트 케이스의 수가 적은 것이 유용할 것입니다.

지금 제 방법론은 다소 번거롭습니다. JavaCPP 생성자 함수를 사용하여 그래프를 생성하고, 이를 내 JVM protobuf에 마샬링하고, 사람이 읽을 수 있는 형식을 보고, 동일한 형식을 만들기 위해 자체 생성자를 구축하는 방법을 알아냅니다.

TensorFlow의 핵심 기능을 실행하는 매우 간단한 그래프의 작은 컬렉션을 갖는 것이 유용할 것이므로 나와 같은 사람들은 다양한 언어에 대한 상호 운용성을 대상으로 하는 합리적인 테스트 케이스 세트를 갖게 됩니다.

어쨌든 모두의 노력에 감사하고 좋은 일을 계속하십시오!

@kovasb 피드백 감사합니다! 분명히 Java, Scala, Clojure 등에 대한 인터페이스를 보다 자연스럽게 만들기 위해 해야 할 일이 많이 있습니다.

C++ API와 Java protobuf API를 통합하기 위한 도우미 클래스가 있는 경우 생성된 Java protobuf 클래스 자체를 포함하여 다음 패키지에 모든 것을 자유롭게 넣고 PR을 보내십시오.
https://github.com/bytedeco/javacpp-presets/tree/master/tensorflow/src/main/java/org/bytedeco/javacpp/helper
이것이 의미하는 바이며 Bazel이 지원하지 않는 것으로 보이는 Maven 아티팩트에 자동으로 패키징됩니다. 어쨌든, 이것에 대해 조사해 주셔서 감사합니다!

@kovasb 클로저 인터페이스는 정말 흥미롭게 들립니다. 아직 공유할 코드가 있습니까?

감사 해요!

따라서 이 스레드의 사람들은 https://github.com/tensorflow/tensorflow/issues/3에서 문제가 제기되었음을 알고 있습니다. Python API에서 TF를 사용하지 않는 한 자동 미분은 현재 작동하지 않습니다. 이것은 C++로 포팅되는 기능을 보류 중인 쇼스토퍼처럼 보입니다.

데이터 흐름을 잘 이해하지 못하지만 C++ 라이브러리와 함께 파이썬 도우미를 시작할 수 있습니까?

내가보고있는 또 다른 솔루션은 Jpy 또는 다른 브리지 중 하나를 사용하는 것입니다 (추천하는 사람이 있습니까?) JyNi도 꽤 흥미롭지 만 황금 시간과는 거리가 멀습니다 (더 많은 추진력 / 커뮤니티를 보는 것이 좋을 것입니다)

JyNi가 정리되면 + jython은 JVM에 정말 멋진 스토리와 python 생태계 상호 운용성을 제공할 것입니다. 꿈을 꿀 수 있습니다.

Java 인터페이스의 경우 +1!

javaCPP를 사용할 수 있다면 SWIG가 여전히 필요한가요? SWIG 인터페이스를 구현하기 위해 협력해야 합니까?

@maxiwu JavaCPP가 SWIG보다 더 나은 작업을 수행한다고 생각하고 싶지만 실제로 이를 증명하기 위해 비교하기 위한 것입니다. :)

@kovasb 저는 Clojure 인터페이스를 돕고 기여하는 데 매우 관심이 있습니다.

@sorenmacbeth gmail에 있는 내 이름 점으로 이메일을 보내주세요.

여기에 아주 완전한 Javacpp 사전 설정이 있는 것 같습니다. "팀"에 적합한 솔루션입니까?

@saudet JavaCPP 래퍼의 복사본을 만들려고 하지만 tensorflow 소스의 빠른 변경 속도 때문에 0.6.0 릴리스나 오늘날의 마스터 브랜치와 호환되지 않는 것 같습니다. 테스트한 정확한 tensorflow 커밋/버전에 대한 포인터로 업데이트할 수 있습니까?

@nikitakit 방금 마스터 브랜치를 업데이트했습니다. https://github.com/bytedeco/javacpp-presets/commit/43bdcdf03beaaddb4bd5badf5d4f79669e9e78dd

하지만 Caffe와 달리 TensorFlow는 실제로 매달 정도 릴리스를 하는 것 같으므로 다음 릴리스(0.7.0?)부터 그 시점에서 바인딩 안정화를 시작할 것입니다.

@martinwicke 어떻게 생각하세요?

안정적인 Java 바인딩이 있으면 Scala API로 작업하게 되어 기쁩니다.

/ 참조 @databricks

@kovasb 처음으로 놓친 것 같아요. Python을 통해 TensorFlow를 사용하여 얻을 수 있는 모든 멋진 자동 미분 마법이 C++ 라이브러리가 아니라 Python 내에서 구현된다는 말씀이신가요? 따라서 실제로 Java API는 이 모든 것을 다시 구현해야 합니까, 아니면 또 다른 숫자 라이브러리가 되어야 합니까? 나는 TensorFlow의 내부나 파이썬 글루의 내부에 익숙하지 않아 어디에서 무거운 물건을 들어 올리는 일이 정확히 무엇인지 이해하지 못합니다.

@drdozer @girving 의 의견을 기반으로 한 다음 소스를 약간 찾아 보니 제 이해입니다. Java로 재구현하는 것은 시작이 아닌 것처럼 보입니다. # 3의 댓글을 보는 것이 좋습니다.

누군가가 정말로 관심이 있다면 Java API를 사용하여 몇 가지 교육 예제를 수행하는 것이 좋습니다(지금까지는 정방향 경로를 보거나 완료했습니다).

자이썬으로 파이썬 코드를 어디까지 실행할 수 있을지 궁금합니다...

Python API 계층에는 C++ 계층 API가 노출하지 않는 많은 논리가 있다고 생각합니다.
나는 JavaCpp 경로를 따르려고 했지만 결국에는 많은 중복 코드가 있을 것이고 Python 구현에서 무언가가 변경될 때 일관성을 유지하기 어려울 것입니다.

아마도 더 쉬운 방법은 @saudet 이 이전에 언급한 것처럼 Jython을 사용하는 것입니다 ...

https://github.com/tensorflow/tensorflow/issues/476 에서 @josh11b에 할당되었습니다. 그가 이 작업을 하고 있다면 Jython을 사용하는 것은 의미가 없습니다.

자이썬을 사용하면 C++ 코드가 계속 작동합니까? Java에있는 서버에 이것을 사용하려고하지만 Java 경로를 직접 시도하거나 소켓을 통해 Python 프로세스로 데이터를 보내는 것 사이에서 막혔습니다.

Java API에 자동 미분과 같은 기능이 많이 포함되어 있지는 않지만 이것이 제 작업에 장애가 되지 않는다는 점을 언급하고 싶습니다. 저는 파이썬에서 모델을 생성하고 .proto 파일로 직렬화한 다음 훈련을 위해 Java 래퍼를 통해 여는 데 큰 성공을 거두었습니다. Saver 기능은 C++ 및 Java API를 통해 사용할 수 있다고 생각하기 때문에 테스트 시간에도 동일하게 수행할 수 있습니다.

+1

@saudet
javacpp와 tensorflow용 사전 설정을 만들어 주셔서 감사합니다. Java에서 Python 그래프를 성공적으로 다시 만들 수 있었지만 저장된 모델 파일에서 복원하려고 하면 멈춥니다. 이 줄은 작동하지 않습니다:

텐서 fn = new Tensor(tensorflow.DT_STRING, new TensorShape(1));
CharBuffer 버퍼 = fn.createBuffer();
buffer.put("모델 파일.tf");
세션.실행(...);

그러나 CharBuffer는 NULL로 판명되었습니다. DT_STRING을 DT_FLOAT로 변경하면 FloatBuffer가 발생하지만 DT_STRING이 작동하지 않는 것 같습니다.

@nikitakit 당신은 이것이 작동한다고 말했습니다. 코드를 공유할 수 있습니까?

@lakshmanok

편집: 죄송합니다. 여기에서 말한 내용을 잘못 읽었습니다. Java에서 외부 보호기를 사용하는 데 도움을 줄 수 없습니다.

참고로 내 코드에서 tensorflow 그래프를 가져오는 부분은 다음과 같습니다. https://gist.github.com/nikitakit/d3ec270aee9d930267cec3efa844d5aa

Scala에 있지만 Java/다른 JVM 언어로 포팅하는 것은 간단해야 합니다.

실제로 그래프에서 노드를 실행하기 위한 내 코드는 불행히도 내가 사용하는 Scala 프레임워크와 크게 연결되어 있으므로 이 부분에 대해서는 tensorflow API 문서에 의존해야 합니다.

누구든지 jvm에 python tensorflow 환경을 포함하는 데 성공했습니까? 자이썬 + JyNI로 말합니까? 아니면 이 모든 것이 안정적으로 작동하기에는 너무 실험적입니까?

저는 현재 그래프 정의에 대한 지원을 추가하기 위해 C API를 확장하는 작업을 하고 있습니다. 언제 완성될지는 모르지만 1.0 이전에 우리의 목표 중 하나입니다.

Java에서 텐서 흐름을 사용하는 중입니다. 나는 jython을 사용하고 다른 파이썬 인터프리터를 수용하도록 텐서 흐름 cpython 라이브러리를 수정하여 문제에 접근하고 있습니다. cpython은 계속해서 완벽하게 작동해야 하며 내 코드는 인터프리터가 Jython인지 감지하고 작동하도록 가져오기/모듈을 수정합니다. 그 아래에서 libtensorflow_cc.so에 대한 javacpp 바인딩을 사용합니다. 이것이 Google 팀이 공식 리포지토리에 공개할 수 있는 것입니까? @vrv

그것은 좋은 개념 증명처럼 보이지만 공식 바인딩은 아마도 Python을 통하는 것보다 더 기본적으로 바인딩하기를 원할 것이라고 생각합니다.

아니요, c-python 래퍼를 호출하는 대신 javaccp 래퍼를 호출합니다. 따라서 cpython 텐서 흐름과 동일하지만 Jython을 사용하여 JVM에서 평가됩니다. 다른 언어로 전체 python 논리를 다시 구현하는 것은 너무 많은 것처럼 보이며 다른 API로 끝납니다. javacpp 바인딩을 사용하면 문제 없이 추론을 실행할 수 있지만 현재로서는 모델이 cpython 스크립트에서 빌드/트레이닝되어야 합니다.

Kotlin으로 tensorflow를 작동시키는 방법을 본 사람이 있습니까? 더 자연스러워 보이고 하루가 끝날 때 여전히 100 % 자바입니다. 나는 Kotlin 언어가 파이썬과 순수 자바 사이의 아주 좋은 중간 지점이라는 것을 알게 되었습니다.

업데이트: @saudet 덕분에 javacpp로 작업을 성공적으로 수행할 수 있었고 Java 프로그램에서 TensorFlow 모델을 읽거나 실행할 수 있었습니다.

https://medium.com/google-cloud/how-to-invoke-a-trained-tensorflow-model-from-java-programs-27ed5f4f502d#.tx8nyds5v

@lakshmanok 및 @saudet 감사합니다. javacpp 프로젝트는 대부분의 TensorFlow API를 구현하는 것 같습니다. Java에서 tensorflow/serving 을 실행하려고 합니다.

API는 간단하고 protobuf 정의됩니다. 이제 우리는 서버를 구현했고 Java에서 클라이언트를 구현하기를 원합니다. Java에서 TensorProto 를 구성하고 gRPC 호출을 호출하기만 하면 됩니다. TensorFlow는 Java가 아닌 Python 및 C++용으로 다중 차원 배열을 변환하는 도우미 함수를 제공합니다.

javacpp 하거나 이를 위해 직접 구현하는 방법을 알 수 있습니까?

당신이 찾고있는 것은 아마도 이미 https://github.com/bytedeco/javacpp-presets/blob/master/tensorflow/src/main/java/org/bytedeco/javacpp/helper/tensorflow.java에 있지만 알려주십시오. 거기에 뭔가 빠진다면. 감사 해요!

이것은 여전히 ​​작업 중입니까? 이 포팅 프로젝트에 대한 공식 github 저장소가 있습니까? 나는 두 개의 임의의 repos를 보았지만 말할 수 없습니다.

네, 하지만 아마도 10월/11월에 있을 것입니다. 우리는 C++ API로 SWIGing하는 대신 C API를 사용하고 있습니다. 그동안 saudet가 언급한 바인딩을 사용할 수 있습니다.

어떻게 C API를 사용하게 되셨나요? 우리는 작업 중입니다
swig를 사용하는 루비 인터페이스:
http://github.com/somaticio/tensorflow.rb

2016년 9월 13일 화요일 오후 6시 22분, Jonathan Hseu [email protected]
썼다:

네, 하지만 아마도 10월/11월에 있을 것입니다. 우리는 C API를 사용하고 있습니다
C++ API로 전환하는 대신. 그동안 다음을 사용할 수 있습니다.
saudet가 언급한 바인딩.

—
당신이 댓글을 달았기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/tensorflow/tensorflow/issues/5#issuecomment -246844192,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AAA5v3g86Z6D1rz-aTGdMyMWnQZhrZUYks5qpyIJgaJpZM4Getd8
.

앞으로 우리는 모든 언어 바인딩이 C API를 사용하는 것을 선호합니다. 문서가 준비 중입니다.

여기에서 사용 예를 볼 수 있습니다.
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/go

하지만 긴급한 상황은 아니며 지금은 SWIG를 기반으로 구축하는 것이 좋습니다.

@jhseu 이는 C API가 현재 Python 바인딩이 액세스할 수 있는 모든 것을 포함하도록 확장된다는 것을 의미합니까?

와우, 큰 변화입니다. 이것이 더 일찍 결정되기를 바랍니다. 어쨌든 문서를 보려면
더 빨리?

2016년 9월 14일 수요일 오후 5시 56분, Samuel Audet [email protected]
썼다:

@jhseu https://github.com/jhseu C API가
Python 바인딩이 현재 액세스할 수 있는 모든 것을 포함하도록 확장되었습니까?

—
당신이 댓글을 달았기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/tensorflow/tensorflow/issues/5#issuecomment -247167887,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AAA5vwfBJoZC2s33_7E9Xy6-NYNUjHjnks5qqG2FgaJpZM4Getd8
.

@saudet 단기적으로는 일부 기능(예: 그래디언트, 옵티마이저)을 제외하고 대부분의 기능입니다.
@jtoy 마이그레이션 이 급하지 않습니다. SWIG는 당분간 계속 작동합니다.

문서는 그것을 수행하는 방법과 명명 규칙을 설명합니다. 하지만 다음과 같이 이들 없이 C API로 마이그레이션을 시작할 수 있습니다.
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/c/c_api.h

@saudet 감사 TensorProto 를 생성하는 것에 대해 stackoverflow 에서 이것을 발견했습니다. 다음은 gRPC Java 클라이언트를 제공하는 TensorFlow의 예제 코드 입니다.

@tobegit3hub 좋습니다 . C++ API로 이 작업을 수행할 수 있다면 JavaCPP 사전 설정의 도우미 패키지에 추가하고 풀 요청을 보내주세요! 이 사람은 다음과 같은 것에 관심이 있을 것입니다: https://github.com/bytedeco/javacpp-presets/issues/240

@girving javacpp 가 이미 문제를 해결합니까?
tensorflow java api에 기여하고 싶습니다. 파이썬처럼 구현하는 것을 선호합니다.

안녕하세요 여러분, 누군가 이미 C API를 사용하여 Java/Scala 언어 바인딩 작업을 시작했습니까?
( SWIG 위에 구축하는 대신 )

JNR을 통해 C API만 사용하는 tensorflow에 대한 작동하는 Java/Scala 인터페이스가 있습니다. 불행히도, 나는 아직 그것을 공개할 권한이 없습니다. 출시되면 여기에 게시하겠습니다. 아직 진행 중인 작업이지만 매우 기능적입니다.

@jdolson 노출하는 API가 TensorFlow의 프로토콜 버퍼 객체를 허용합니까? 내가 @saudet에서 javacpp 사전 설정을 사용 했어 가장 큰 문제 중 하나는 당신은 프로토콜 버퍼 컴파일러 때에 의해 생성되는 org.tensorflow.framework.TensorProto 당신에게 자바 클라이언트 코드에있어 거래를 텐서 오브젝트를 조작하는 경우 자바를 출력하도록 설정했습니다. 그러나 TensorFlow API 래퍼에서는 C를 생성하도록 구성될 때 프로토콜 버퍼 컴파일러에 의해 생성된 c 코드를 가리킬 때 javacpp에 의해 생성되는 org.bytedeco.javacpp.tensorflow.TensorProto.TensorProto를 다루고 있습니다. 래핑된 TensorFlow API를 호출할 때 자바 코드의 텐서를 직접 사용할 수 없습니다.

@Intropy 예, protoc 를 사용하여 모든 tensorflow *.proto 소스를 Java 소스 코드로 컴파일하고 API에서 해당 클래스를 사용합니다.

@jhseu C API 인터페이스가 아직 11월 안에 출시될 예정인가요? 그렇지 않다면 현재 상태는 어떻습니까?

@eaplatanios : C API는 대부분 안정적이며(공식적으로 1.0까지 될 예정임) 완전하지는 않지만 사용할 수 있습니다(그래프에 대한 자동 기울기 계산 기능이 여전히 누락됨). C API를 사용하여 언어 바인딩을 빌드하는 방법을 설명하는 문서는 https://www.tensorflow.org/how_tos/language_bindings/index.html에 있습니다.

Go API 는 위의 문서를 따르는 첫 번째 예로 C API를 사용하여 구현했습니다.

우리는 JNI를 사용하여 이 위에 Java 바인딩도 구축하기를 희망하고 조금 탐색하기 시작했습니다. @saudet 의 JavaCPP 작동에 대한 훌륭한 작업을 사용하여 사람들이 가지고 있는 모든 의견/배움에 대해 알고 있으면 좋을 것입니다.

JavaCPP 바인딩 사용을 기반으로 몇 가지 제안이 있습니다.

첫째, 프로토콜 버퍼가 자바로 직접 컴파일되기 때문에 자바 버전을 사용해야 한다. 바람직하게는 API에 참여하는 프로토콜 버퍼는 maven 모듈로 별도로 사용할 수 있어야 하고 proto 정의와 함께 제공되어야 하므로 Java 스택의 사람들이 정의를 바이너리로 쉽게 얻을 수 있을 뿐만 아니라 쉽게 얻을 수 있습니다. 다른 proto 정의에 포함하기 위해 proto 정의를 가져오는 방법입니다.

둘째, TensorFlow가 필요로 하는 libc의 최소 버전을 찾고 이에 따라 빌드하는 것이 도움이 될 것입니다.

셋째, 자동 생성된 API보다 신중하게 설계된 API를 사용하는 것이 훨씬 쉽습니다. 나는 그것이 명백하고 JavaCPP의 한 방처럼 들린다는 것을 알고 있습니다. 나는 그것을 의미하지 않습니다. 자동으로 생성된 인터페이스가 있다는 것이 정말 기쁩니다. 사용할 수 있습니다. 하지만 이상한 말투가 필요하고 사마귀가 많으며 하려는 작업을 수행하는 방법을 파악하기 위해 코드를 읽는 것이 꽤 어렵습니다. 이 제안이 "잘 만들어야 한다"는 것보다 더 도움이 되었으면 좋겠지만 요점은 C++ API와 python API가 얼마나 다른지 살펴보는 것입니다. 둘 다 자동으로 변환된 코드가 일치하지 않는 방식으로 환경에 맞기 때문에 간단합니다.

Go, Ruby, R과 같은 다른 언어에서 사용할 수 있도록 Swig의 C 백엔드를 지원하고 Swig를 통해 TF C API를 생성하는 것이 더 좋았을 것입니다. https://github.com/swig/swig/issues/800 자신의 바인딩을 작성하는 C API.

C FFI가 있는 모든 언어에 대한 지원을 추가하기 위한 기존 C API가 있습니다.
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/c/c_api.h

(그리고 이것이 TensorFlow용 Go, Java, Rust 등 바인딩을 빌드하는 데 사용되는 것입니다)

JNA를 사용하여 C API에 액세스할 수 있습니까?

@jhseu 내 말은, C API를 수동으로 구현하기 전에 이전에 C++ API에서 생성되었을 수 있다는 뜻입니다.

@Quantum64 , 다음 은 JNA를 사용하는 tensorflow의 Scala 바인딩입니다.

이 문제가 아직 열려 있으므로 어떻게
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/java
구현 중이며 커밋에 대한 PR은 무엇입니까?

@hsaputra : 당신이 찾고 있는 것에 대해 자세히 tensorflow/java 의 코드에 기여하는 커밋이 여러 개 있으며, 대부분이 이 문제에서 참조됩니다(예: 2b1cd28, d73a266 및 그 사이의 많은 다른 커밋).

안녕하세요 @asimshankar , 답변 주셔서 감사합니다.

이 티켓이 닫히지 않았기 때문에 tensorflow/java 이 Java API를 구현하기 위해 취하는 경로가 무엇인지 궁금합니다.
JavaCPP 사용 대 SWIG 사용 대 Jython을 통한 호출 사용에 대한 토론이 있었습니다.

tensorflow/java 가 직접 JNI로 구현되어 대신 C API를 호출하는 것처럼 보입니까?

옳은.

이봐,

어제 Swig 바인딩이 작동했습니다. API 변경 요청이 있습니다. 현재 Tensors를 생성하려면 리플렉션이 필요하며 배열 형식은 n차원 네이티브 Java 배열을 사용해야 하기 때문에 약간 어색합니다. 이 인터페이스를 유지하면서 1차원 배열을 필요로 하는 텐서를 만들고 다른 long 배열을 사용하여 모양을 지정하는 몇 가지 방법을 추가할 수 있습니까? 다음과 같이 보일 수 있습니다.

double[] matrix = {1.414, 2.718, 3.1415, 3.4, 56.7, 89.0};
long[] shape = {2, 3};

// add a method for each primitive type
org.tensorflow.Tensor tensor = org.tensorflow.Tensor.createDouble(matrix, shape);

이것은 또한 호환성에 도움이 되는 int8, int16, uint8, uint16, uint32 텐서를 생성할 가능성으로 이어집니다.

이걸 문제로 해야 하나? 아니면 여기 괜찮나요?

또한 이러한 방법을 구축하는 데 도움이 되는 것을 기쁘게 생각합니다.

@hollinwilkins : PR #6577이 제안한 공장 방식을 약간만 수정하여 이 문제를 해결하기를 바랍니다.

Tensor tensor = Tensor.create(shape, DoubleBuffer.wrap(matrix));

@asimshankar 멋지네요 ! 빠른 답변 감사합니다. 병합에도 거의 근접한 것 같습니다 :+1:

새로운 Java API를 사용하려고 하는데 생각보다 사용하기 어렵게 만드는 몇 가지 사항을 발견했습니다.

1. 자바 API는 GraphDef 객체를 받아들여야 합니다. 현재 GraphDef 프로토콜 버퍼의 직렬화된 바이너리를 나타내는 바이트 배열만 허용합니다. 라이브러리 경계에서 직렬화/역직렬화 단계를 요구하는 것은 이상합니다.
2. Session.Runner.feed는 org.tensorflow.framework.TensorProto를 수락할 수 있어야 하거나 org.tensorflow.framework.TensorProto에서 org.tensorflow.Tensor를 생성하는 좋은 방법이 있어야 합니다.
3. Session.Runner.run은 Tensor 개체 목록을 반환합니다. 위와 유사하게 직접 또는 org.tensorflow.Tensor에 TensorProto로 변환하는 좋은 방법을 제공하여 TensorProto 출력을 얻는 쉬운 방법이 있어야 합니다.
4. Session.Runner.run은 상태를 삼킵니다. 예외를 던져서 실패에 대한 정보를 얻을 수 있는 방법이 있어야 합니다.

또한 이것을 처리하는 방법을 놓쳤을 수도 있지만 실행의 출력에서 ​​지원되는 모든 텐서 유형을 가져올 수 없는 것처럼 보입니다. 예를 들어 내 출력 텐서가 dtype INT16인 경우 값을 추출할 방법이 없습니다. Tensor.shortValue 등이 없고 Tensor.intValue가 정확히 일치해야 하는 것 같습니다. tensor_jni.cc에서 DEFINE_GET_SCALAR_METHOD를 읽는 것을 기반으로 합니다.

@Intropy : 귀하의 의견에 감사드리며 확실히 의미가 있습니다. 지금은 몇 가지 간단한 생각을 여러분과 공유할 수 있습니다.

RE: protobufs: 이 시점에서 우리는 여러 가지 이유로 핵심 API를 protobufs와 독립적으로 유지하려고 합니다( nanproto 와 같은 것이 더 적절할 수 있는 리소스 제한 시스템에서의 사용 포함). 그래서 우리가 주저했던 이유가 있습니다. 하지만 이것은 우리가 생각하고 제안을 감사하게 생각하는 것입니다. 한 가지 가능성은 모든 protobuf 관련 기능을 별도의 패키지에 포함하여 명확하게 구분하는 것입니다.

다시 요점으로 돌아가서:

1. 위 참조. 하지만 byte[] 가 더 의미가 있는 경우가 많다는 점에 베팅합니다(예: 파일 또는 네트워크 채널에서 그래프 읽기)

2. 요점을 알았어

3. 위 참조.

4. Session.runner.run 는 삼키는 상태가 아니 어야 합니다. 오류가 있으면 예외가 발생합니다( session_jni.cc:166 ). 이것이 일어나지 않으면 버그를 신고하십시오.

맞습니다. 아직 모든 유형이 지원되는 것은 아니지만 추가할 수 있을 만큼 쉬워야 합니다. 누락된 유형에 대한 긴급한 필요가 있는 경우 문제를 제기하거나 PR을 보내주십시오. 기여를 환영합니다 :)

@asimshankar 생각

첫 번째 요점에 관해서는 실제로 큰 문제가 아닙니다. 당신이 말했듯이 byte[]가 가장 의미가 있는 때가 있습니다. 내 자신의 사용 사례에는 byte[]로 변환하기 쉬운 InputStream이 있습니다. 프로토콜 버퍼 API는 변환을 간단하게 만듭니다. 어쨌든 (TF_GraphImportGraphDef에서) 역직렬화해야 하기 때문에 API에 대한 byte[] 사마귀를 고려합니다. 이렇게 하면 일부 유형 안전성을 잃게 됩니다. 고려해야 할 proto3의 json 직렬화도 있습니다.

삼키는 상태에서는 맞습니다. 확인되지 않은 예외를 놓쳤습니다.

2와 3을 처리하는 가장 확실한 방법은 TensorProto와 일부 toTensorProto()에서 변환하는 팩토리를 org.tensorflow.Tensor에 제공하는 것입니다. 리소스가 제한된 사용 사례가 프로토콜 버퍼의 문제인 경우 해당 상황에 있는 사람들은 단순히 해당 기능을 사용할 수 없습니다. 문제는 이러한 기능을 사용하는 사람들이 Tensor가 데이터를 protobuff에 직접 저장하도록 함으로써 피할 수 있는 변환 비용을 지불하게 된다는 것입니다. 나는 전에 jni로 작업한 적이 없기 때문에 데이터가 저장되는 방식을 따르는 데 문제가 있지만 본질적으로 크기가 지정된 void*처럼 처리되는 TensorBuffer가 있는 TF_Tensor에 대한 포인터처럼 nativeHandle을 처리하는 것처럼 보입니다.

이 문제를 분해하고 Java 인터페이스의 각 기능에 대해 별도의 문제를 제출할 수 있습니까? 추적/분석이 더 쉬워지면 이 문제를 종료할 수 있습니다.

@drpngx : 내 의도는 Go에서 했던 것처럼 이 작업을 종료하고 기능/버그를 개별적으로 제출하기 전에 (버퍼에서 텐서 읽기) 몇 가지 추가 변경 사항을 얻는 것입니다. 그래서 곧 바랍니다.

좋은 소리, 감사합니다!

좋아, 구축할 기반이 충분한 것 같습니다(예: LabelImage 예제 를 구축하기에 충분하고 사람들이 더 구체적인 버그/기능 요청을 제출하고 있습니다.

이 문제를 마무리하겠습니다. Java API에는 여전히 해야 할 일이 많지만 별도의 문제에서 논의/추적해 보겠습니다. 감사 해요!

@asimshankar 우리는 딥 러닝 프레임워크(mxnet/tf)를 선택하는 과정에 있으며 etl/api는 spark/akka 흐름을 기반으로 합니다... ps를 사용하여 모델 병렬 교육을 실행하기 위해 Java API에 distribution_runtime 지원을 추가할 계획이 있습니까? 노드 ? ps 노드는 많은 사용 사례에서 중요합니다... C API 자체에 distribution_runtime이 없는 것 같기 때문에 javacpp 사전 설정은 첫 번째 컷을 위해 내보내는 것이 더 쉬울 수 있습니다...

@debasish83 : 분산 런타임 자체를 포함하는 것은 사소하지만 Python API에는 Estimator 클래스와 같은 많은 일(체크포인트, 요약 저장 등)을 처리하는 높은 수준의 구조가 많이 있습니다. TensorBoard를 통해 시각화를 쉽게 만들 수 있음) Python에서 교육 작업을 실행하는 데 더 적합할 수 있습니다.

이 모든 것은 Java API의 기존 프리미티브를 사용하여 구축할 수 있지만 올바른 접근 방식은 정확한 요구 사항에 따라 달라집니다.

아마도 우리는 스레드에서 동기화해야합니까?

@asimshankar 노드 목록, 입력 및 출력 형식과 같은 graphDef(디스크에 있는 그래프의 .pb 파일에서 빌드됨)에서 정보를 검색하는 tensorflow Java 바인딩의 방법이 있습니까? 아니면 들어오는 기능입니까? 감사 해요!

@asimshankar TF Java로 교육을 수행하는 데 무엇이 부족한지 잘 모르겠습니다. 숫자 라이브러리의 문제입니까(numpy 누락)? TensorBoard dataviz에는 관심이 없지만 기본 Java 숫자 라이브러리를 사용하여 교육만 하는 경우 교육용으로만 Python을 사용하는 이유는 무엇입니까( Estimator 클래스에 대해 제안한 대로)?

감사 해요.

Java에서 학습 모델의 상태는 무엇입니까? 저는 ImageJ(인기 있는 무료 이미지 분석 제품군) 플러그인을 작성하여 https://arxiv.org/pdf/1505.04597.pdf (최근 세포 추적 및 생물 의학 응용 프로그램을 위한 이미지 분할에서 널리 사용됨)와 같은 접근 방식을 적용하는 것을 생각하고 있습니다. 사전 훈련된 다양한 모델을 제공하고 사용자가 특정 사용 사례에 맞게 이를 개선할 수 있게 하는 것이 유용할 것이라고 생각합니다. 저는 이 목적을 위해 DL4J를 조사해 왔습니다. TF Java 바인딩에 맞출 수 있는 구체적인 계획이 있습니까?

@bergwerf : 특별히 편리하지 않더라도 Java로 훈련하는 것은 확실히 가능합니다.
https://github.com/tensorflow/models/tree/master/samples/languages/java/training 에서 샘플을 찾을 수 있습니다.

(또한, 나는 당신이 알고 있다고 확신하지만 https://imagej.net/TensorFlow도 참조하십시오)

오, 굉장하다! 내 정보는 오래된 것이어야합니다 ;-). 나는 내가 읽었다고 생각했다
어딘가에서 Java API는 사전 훈련된
모델. 예를 살펴보겠습니다.

2018년 3월 28일 수요일 22:01 Asim Shankar [email protected]에서 다음과 같이 썼습니다.

@bergwerf https://github.com/bergwerf : Java 교육은 확실히
특히 편리하지 않다면 가능합니다.
에서 샘플을 찾을 수 있습니다.
https://github.com/tensorflow/models/tree/master/samples/languages/java/training

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/tensorflow/tensorflow/issues/5#issuecomment-377015867 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AEQJ1UD9-xACQAII5996ees_UFJ_NzL-ks5ti-wSgaJpZM4Getd8
.

@asimshankar 굉장합니다 👍 💯 🥇 , 내 저장소에 추가하겠습니다 https://github.com/loretoparisi/tensorflow-java