Tensorflow: рдПрд╕реНрдЯреАрдореЗрдЯрд░ рдПрдкреАрдЖрдИ рдХреЗ рднреАрддрд░ рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдкрд░рдд рдХреЛ рдХреИрд╕реЗ рдкреНрд░рд╛рд░рдВрдн рдХрд░реЗрдВ?

рдХреЛ рдирд┐рд░реНрдорд┐рдд 12 рдЬрдире░ 2018  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ  ┬╖  рд╕реНрд░реЛрдд: tensorflow/tensorflow

рдореИрдВ рдЯреЗрдВрд╕рд░рдлрд╝реНрд▓реЛ рдореЙрдбрд▓ рдХреЗ рднреАрддрд░ рдореМрдЬреВрджрд╛ рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреА рдХреЛрд╢рд┐рд╢ рдХрд░ рд░рд╣рд╛ рд╣реВрдВ, рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХрд╛ рдЖрдХрд╛рд░ 2Gb рд╕реЗ рдЕрдзрд┐рдХ рд╣реИ рдФрд░ рдпрд╣ рдЗрд╕реЗ рдЕрд╕рдлрд▓ рдХрд░рдиреЗ рдХрд╛ рдореЗрд░рд╛ рдореВрд▓ рдкреНрд░рдпрд╛рд╕ рдХрд░рддрд╛ рд╣реИ:

embedding_var = tf.get_variable(
        "embeddings", 
        shape=GLOVE_MATRIX.shape, 
        initializer=tf.constant_initializer(np.array(GLOVE_MATRIX))
)

рдЬрд┐рд╕рдиреЗ рдореБрдЭреЗ рдпрд╣ рддреНрд░реБрдЯрд┐ рджреА:

Cannot create a tensor proto whose content is larger than 2GB.

рдореИрдВ рдПрдбрдмреНрд▓реНрдпреВрдПрд╕ рд╕реЗрдЬрдореЗрдХрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣рд╛ рд╣реВрдВ, рдЬреЛ рдЕрдиреБрдорд╛рдирдХ рдПрдкреАрдЖрдИ рдкрд░ рдЖрдзрд╛рд░рд┐рдд рд╣реИ, рдФрд░ рд╕рддреНрд░ рдореЗрдВ рдЧреНрд░рд╛рдл рдХрд╛ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдЪрд▓рди рджреГрд╢реНрдп рдХреЗ рдкреАрдЫреЗ рд╣реЛрддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдореБрдЭреЗ рдпрдХреАрди рдирд╣реАрдВ рд╣реИ рдХрд┐ рдХреБрдЫ рдкреНрд▓реЗрд╕рд╣реЛрд▓реНрдбрд░реНрд╕ рдХреЛ рдПрдореНрдмреЗрдб рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХреИрд╕реЗ рдкреНрд░рд╛рд░рдВрдн рдХрд┐рдпрд╛ рдЬрд╛рдПред рдорджрджрдЧрд╛рд░ рд╣реЛрдЧрд╛ рдЕрдЧрд░ рдХреЛрдИ рдПрд╕реНрдЯрд┐рдореЗрдЯрд░рдПрдкреАрдЖрдИ рдХреА рдЕрд╡рдзрд┐ рдореЗрдВ рдЗрд╕ рддрд░рд╣ рдХреЗ рдЗрдирд┐рд╢рд┐рдпрд▓рд╛рдЗрдЬрд╝реЗрд╢рди рдХреЛ рдХрд░рдиреЗ рдХрд╛ рддрд░реАрдХрд╛ рд╕рд╛рдЭрд╛ рдХрд░рдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рд╣реЛрдЧрд╛ред


рдорджрдж рдФрд░ рд╕рдорд░реНрдерди рдХреЗ рд▓рд┐рдП рдХреГрдкрдпрд╛ рд╕реНрдЯреИрдХ рдУрд╡рд░рдлреНрд▓реЛ рдкрд░ рдЬрд╛рдПрдВ:

https://stackoverflow.com/questions/tagged/tensorflow

рдпрджрд┐ рдЖрдк рдЧрд┐рдЯрд╣рдм рдореБрджреНрджрд╛ рдЦреЛрд▓рддреЗ рд╣реИрдВ, рддреЛ рд╣рдорд╛рд░реА рдиреАрддрд┐ рдпрд╣рд╛рдВ рджреА рдЧрдИ рд╣реИ:

  1. рдпрд╣ рдПрдХ рдмрдЧ рдпрд╛ рдлреАрдЪрд░ рдЕрдиреБрд░реЛрдз рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдПред
  2. рдиреАрдЪреЗ рджрд┐рдпрд╛ рдЧрдпрд╛ рдлреЙрд░реНрдо рднрд░рдирд╛ рд╣реЛрдЧрд╛ред
  3. рдпрд╣ рдПрдХ TensorBoard рдореБрджреНрджрд╛ рдирд╣реАрдВ рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдПред рд╡рд╣реА рдпрд╣рд╛рдБ рдЬрд╛рддреЗ

рдпрд╣рд╛рдВ рдмрддрд╛рдпрд╛ рдЧрдпрд╛ рд╣реИ рдХрд┐ рд╣рдорд╛рд░реЗ рдкрд╛рд╕ рд╡рд╣ рдиреАрддрд┐ рдХреНрдпреЛрдВ рд╣реИ : TensorFlow рдбреЗрд╡рд▓рдкрд░ рдореБрджреНрджреЛрдВ рдХрд╛ рдЬрд╡рд╛рдм рджреЗрддреЗ рд╣реИрдВред рд╣рдо рдРрд╕реЗ рдХрд╛рдо рдкрд░ рдзреНрдпрд╛рди рдХреЗрдВрджреНрд░рд┐рдд рдХрд░рдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ рдЬрд┐рд╕рд╕реЗ рдкреВрд░реЗ рд╕рдореБрджрд╛рдп рдХреЛ рд▓рд╛рдн рд╣реЛ, рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдмрдЧреНрд╕ рдХреЛ рдареАрдХ рдХрд░рдирд╛ рдФрд░ рд╕реБрд╡рд┐рдзрд╛рдУрдВ рдХреЛ рдЬреЛрдбрд╝рдирд╛ред рд╕рдорд░реНрдерди рдХреЗрд╡рд▓ рд╡реНрдпрдХреНрддрд┐рдпреЛрдВ рдХреА рдорджрдж рдХрд░рддрд╛ рд╣реИред рдЬрдм рд╕рдорд╕реНрдпрд╛рдПрдБ рджрд░реНрдЬ рдХреА рдЬрд╛рддреА рд╣реИрдВ рддреЛ GitHub рд╣рдЬрд╛рд░реЛрдВ рд▓реЛрдЧреЛрдВ рдХреЛ рд╕реВрдЪрд┐рдд рдХрд░рддрд╛ рд╣реИред рд╣рдо рдЪрд╛рд╣рддреЗ рд╣реИрдВ рдХрд┐ рд╡реЗ рдЖрдкрдХреЛ рд╕реНрдЯреИрдХ рдУрд╡рд░рдлрд╝реНрд▓реЛ рдкрд░ рдкреБрдирд░реНрдирд┐рд░реНрджреЗрд╢рд┐рдд рдХрд░рдиреЗ рдХреЗ рдмрдЬрд╛рдп рдПрдХ рджрд┐рд▓рдЪрд╕реНрдк рд╕рдорд╕реНрдпрд╛ рдХрд╛ рд╕рдВрдЪрд╛рд░ рдХрд░рддреЗ рд╣реБрдП рджреЗрдЦреЗрдВред


рд╡реНрдпрд╡рд╕реНрдерд╛ рдЬрд╛рдирдХрд╛рд░реА

  • рдХреНрдпрд╛ рдореИрдВрдиреЗ рдХрд╕реНрдЯрдо рдХреЛрдб рд▓рд┐рдЦрд╛ рд╣реИ (рдЬреИрд╕рд╛ рдХрд┐ TensorFlow рдореЗрдВ рдкреНрд░рджрд╛рди рдХреА рдЧрдИ рд╕реНрдЯреЙрдХ рдЙрджрд╛рд╣рд░рдг рд╕реНрдХреНрд░рд┐рдкреНрдЯ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рд╡рд┐рдкрд░реАрдд рд╣реИ) :
  • OS рдкреНрд▓реЗрдЯрдлреЙрд░реНрдо рдФрд░ рд╡рд┐рддрд░рдг (рдЬреИрд╕реЗ, Linux Ubuntu 16.04) :
  • TensorFlow (рд╕реНрд░реЛрдд рдпрд╛ рдмрд╛рдЗрдирд░реА) рд╕реЗ рд╕реНрдерд╛рдкрд┐рдд :
  • TensorFlow рд╕рдВрд╕реНрдХрд░рдг (рдиреАрдЪреЗ рдХрдорд╛рдВрдб рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ) :
  • рдкрд╛рдпрдерди рд╕рдВрд╕реНрдХрд░рдг :
  • рдмреЗрдЬрд╝рд▓ рд╕рдВрд╕реНрдХрд░рдг (рдпрджрд┐ рд╕реНрд░реЛрдд рд╕реЗ рд╕рдВрдХрд▓рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛ рд░рд╣рд╛ рд╣реИ) :
  • рдЬреАрд╕реАрд╕реА/рдХрдВрдкрд╛рдЗрд▓рд░ рд╕рдВрд╕реНрдХрд░рдг (рдпрджрд┐ рд╕реНрд░реЛрдд рд╕реЗ рд╕рдВрдХрд▓рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛ рд░рд╣рд╛ рд╣реИ) :
  • CUDA/cuDNN рд╕рдВрд╕реНрдХрд░рдг :
  • GPU рдореЙрдбрд▓ рдФрд░ рдореЗрдореЛрд░реА :
  • рдкреБрди :

рдЖрдк рд╣рдорд╛рд░реА рдкрд░реНрдпрд╛рд╡рд░рдг рдХреИрдкреНрдЪрд░ рд╕реНрдХреНрд░рд┐рдкреНрдЯ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЗрд╕рдореЗрдВ рд╕реЗ рдХреБрдЫ рдЬрд╛рдирдХрд╛рд░реА рдПрдХрддреНрд░ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ:

https://github.com/tensorflow/tensorflow/tree/master/tools/tf_env_collect.sh

рдЖрдк рдХреЗ рд╕рд╛рде TensorFlow рд╕рдВрд╕реНрдХрд░рдг рдкреНрд░рд╛рдкреНрдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ

рдЕрдЬрдЧрд░-рд╕реА "tf рдХреЗ рд░реВрдк рдореЗрдВ рдЖрдпрд╛рдд рдЯреЗрдВрд╕рд░рдлрд╝реНрд▓реЛ; рдкреНрд░рд┐рдВрдЯ (tf.GIT_VERSION, tf.VERSION)"

рд╕рдорд╕реНрдпрд╛ рд╡рд┐рд╕реНрддрд╛рд░ рд╕реЗ рд╕рдордЭрд╛рдЗрдпреЗ

рдпрд╣рд╛рдВ рд╕рдорд╕реНрдпрд╛ рдХрд╛ рд╕реНрдкрд╖реНрдЯ рд░реВрдк рд╕реЗ рд╡рд░реНрдгрди рдХрд░реЗрдВред рдпрд╣рд╛рдВ рдмрддрд╛рдирд╛ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ рдХрд┐ рдпрд╣ TensorFlow рдореЗрдВ рдмрдЧ рдпрд╛ рд╕реБрд╡рд┐рдзрд╛ рдЕрдиреБрд░реЛрдз рдХреНрдпреЛрдВ рд╣реИред

рд╕реНрд░реЛрдд рдХреЛрдб / рд▓реЙрдЧ

рдХреЛрдИ рднреА рд▓реЙрдЧ рдпрд╛ рд╕реНрд░реЛрдд рдХреЛрдб рд╢рд╛рдорд┐рд▓ рдХрд░реЗрдВ рдЬреЛ рд╕рдорд╕реНрдпрд╛ рдХрд╛ рдирд┐рджрд╛рди рдХрд░рдиреЗ рдореЗрдВ рд╕рд╣рд╛рдпрдХ рд╣реЛред рдпрджрд┐ рдЯреНрд░реЗрд╕рдмреИрдХ рд╢рд╛рдорд┐рд▓ рд╣реИрдВ, рддреЛ рдХреГрдкрдпрд╛ рдкреВрд░реНрдг рдЯреНрд░реЗрд╕рдмреИрдХ рд╢рд╛рдорд┐рд▓ рдХрд░реЗрдВред рдмрдбрд╝реЗ рд▓реЙрдЧ рдФрд░ рдлрд╛рдЗрд▓реЗрдВ рд╕рдВрд▓рдЧреНрди рдХреА рдЬрд╛рдиреА рдЪрд╛рд╣рд┐рдПред рдПрдХ рдкреНрд░рддрд┐рд▓рд┐рдкрд┐ рдкреНрд░рд╕реНрддреБрдд рдХрд░рдиреЗ рдпреЛрдЧреНрдп рдкрд░реАрдХреНрд╖рдг рдХреЗрд╕ рдкреНрд░рджрд╛рди рдХрд░рдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░реЗрдВ рдЬреЛ рд╕рдорд╕реНрдпрд╛ рдЙрддреНрдкрдиреНрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдиреНрдпреВрдирддрдо рдЖрд╡рд╢реНрдпрдХ рд╣реИред

awaiting response bug

рд╕рдмрд╕реЗ рдЙрдкрдпреЛрдЧреА рдЯрд┐рдкреНрдкрдгреА

рдРрд╕рд╛ рд▓рдЧрддрд╛ рд╣реИ рдХрд┐ рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХреЗ рд╕рд╛рде рдЪрд░ рдкреНрд░рд╛рд░рдВрдн рдХрд░рдиреЗ рдХрд╛ рд╕рд╣реА рддрд░реАрдХрд╛ tf.train.Scaffold рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╣реЛрдЧрд╛ред рд╕реНрдЯреИрдХ рдУрд╡рд░рдлреНрд▓реЛ рдкрд░ рдЗрд╕рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдХрд╛рд░реА рдпрд╣рд╛рдВ рджреА рдЧрдИ рд╣реИ

рд╕рднреА 3 рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

рдореБрдЭреЗ рд▓рдЧрддрд╛ рд╣реИ рдХрд┐ рдпрд╣ рдЖрдо рддреМрд░ рдкрд░ "рд╕реНрдЯреИрдХ рдУрд╡рд░рдлреНрд▓реЛ рдХреЛ рднреЗрдЬреЗрдВ" (рдиреАрдЪреЗ рд╕рдВрд▓рдЧреНрди рдорд╛рдирдХ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛) рддрд░рд╣ рдХрд╛ рдореБрджреНрджрд╛ рд╣реЛрдЧрд╛, рд▓реЗрдХрд┐рди 2 рдЬреАрдмреА рдХреА рд╕реАрдорд╛ рдРрд╕рд╛ рд▓рдЧрддрд╛ рд╣реИ рдЬреИрд╕реЗ рдпрд╣ рдмрдЧ рдпрд╛ рдлреАрдЪрд░ рдЕрдиреБрд░реЛрдз рдХреА рд╕реАрдорд╛ рдХреЗ рднреАрддрд░ рд╣реИред

@martinwicke @ispirmustafa рдХреЛрдИ рд╕реБрдЭрд╛рд╡?

рдпрд╣ рдкреНрд░рд╢реНрди StackOverflow рдкрд░ рдмреЗрд╣рддрд░ рддрд░реАрдХреЗ рд╕реЗ рдкреВрдЫрд╛ рдЬрд╛рддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдпрд╣ рдмрдЧ рдпрд╛ рдлреАрдЪрд░ рдЕрдиреБрд░реЛрдз рдирд╣реАрдВ рд╣реИред рдПрдХ рдмрдбрд╝рд╛ рд╕рдореБрджрд╛рдп рднреА рд╣реИ рдЬреЛ рд╡рд╣рд╛рдВ рдкреНрд░рд╢реНрди рдкрдврд╝рддрд╛ рд╣реИред рдзрдиреНрдпрд╡рд╛рдж!

рдореБрдЭреЗ рд▓рдЧрддрд╛ рд╣реИ рдХрд┐ рдпрд╣ рдЧреНрд░рд╛рдл рдЖрдХрд╛рд░ рд╕реАрдорд╛ рд╕реЗ рд╕рдВрдмрдВрдзрд┐рдд рд╣реИред рдирд┐рд░рдВрддрд░_рдЗрдирд┐рд╢рд┐рдпрд▓рд╛рдЗрдЬрд╝рд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ GLOVE_MATRIX рдХреЛ рдЧреНрд░рд╛рдлрд╝ рдореЗрдВ рдПрдореНрдмреЗрдб рдХрд░рддрд╛ рд╣реИ рдЬреЛ рдЧреНрд░рд╛рдлрд╝ рдЖрдХрд╛рд░ рдХреЛ рдмрдврд╝рд╛рддрд╛ рд╣реИред
рдХреНрдпрд╛ рдЖрдк рдХреГрдкрдпрд╛ рдЧреИрд░ рдирд┐рд░рдВрддрд░ рдкреНрд░рд╛рд░рдВрднрдХрд░реНрддрд╛ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ?

рдРрд╕рд╛ рд▓рдЧрддрд╛ рд╣реИ рдХрд┐ рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХреЗ рд╕рд╛рде рдЪрд░ рдкреНрд░рд╛рд░рдВрдн рдХрд░рдиреЗ рдХрд╛ рд╕рд╣реА рддрд░реАрдХрд╛ tf.train.Scaffold рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╣реЛрдЧрд╛ред рд╕реНрдЯреИрдХ рдУрд╡рд░рдлреНрд▓реЛ рдкрд░ рдЗрд╕рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдХрд╛рд░реА рдпрд╣рд╛рдВ рджреА рдЧрдИ рд╣реИ

рдХреНрдпрд╛ рдпрд╣ рдкреГрд╖реНрда рдЙрдкрдпреЛрдЧреА рдерд╛?
0 / 5 - 0 рд░реЗрдЯрд┐рдВрдЧреНрд╕

рд╕рдВрдмрдВрдзрд┐рдд рдореБрджреНрджреЛрдВ

3rduncle picture 3rduncle  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

davidbernat picture davidbernat  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

NHDaly picture NHDaly  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

fobus42 picture fobus42  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

ppwwyyxx picture ppwwyyxx  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ