Tensorflow: كيف يمكن تهيئة طبقة التضمينات داخل Estimator API؟

أحاول استخدام عمليات التضمين الحالية في نموذج tensorflow ، وحجم التضمين أكبر من 2 جيجا بايت وهذا يجعل محاولتي الأصلية للقيام بذلك غير ناجحة:

embedding_var = tf.get_variable(
        "embeddings", 
        shape=GLOVE_MATRIX.shape, 
        initializer=tf.constant_initializer(np.array(GLOVE_MATRIX))
)

الذي أعطاني هذا الخطأ:

Cannot create a tensor proto whose content is larger than 2GB.

أنا أستخدم AWS SageMaker ، والتي تستند إلى واجهة API Estimator ، والتشغيل الفعلي للرسم البياني في الجلسة يحدث خلف الكواليس ، لذلك لست متأكدًا من كيفية تهيئة بعض العناصر النائبة للتضمين نظرًا لذلك. سيكون مفيدًا إذا كان شخص ما قادرًا على مشاركة طريقة القيام بهذه التهيئة من خلال EstimatorAPI.

الرجاء الانتقال إلى Stack Overflow للحصول على المساعدة والدعم:

https://stackoverflow.com/questions/tagged/tensorflow

إذا فتحت مشكلة في GitHub ، فإليك سياستنا:

1. يجب أن يكون هناك خطأ أو طلب ميزة.
2. يجب ملء النموذج أدناه.
3. لا ينبغي أن تكون مشكلة في لوحة TensorBoard. هؤلاء يذهبون هنا .

إليك سبب وجود هذه السياسة : يستجيب مطورو TensorFlow للمشكلات. نريد التركيز على العمل الذي يفيد المجتمع بأكمله ، على سبيل المثال ، إصلاح الأخطاء وإضافة الميزات. الدعم يساعد الأفراد فقط. يقوم GitHub أيضًا بإعلام الآلاف من الأشخاص عند إرسال المشكلات. نريدهم أن يراكوا وأنت تتواصل مع مشكلة مثيرة للاهتمام ، بدلاً من إعادة توجيهك إلى Stack Overflow.

معلومات النظام

• هل قمت بكتابة رمز مخصص (على عكس استخدام برنامج نصي لمثال الأسهم متوفر في TensorFlow)
• نظام التشغيل الأساسي والتوزيع (مثل Linux Ubuntu 16.04) :
• تم تثبيت TensorFlow من (المصدر أو الثنائي) :
• إصدار TensorFlow (استخدم الأمر أدناه) :
• نسخة بايثون :
• إصدار Bazel (إذا كان التجميع من المصدر) :
• إصدار GCC / Compiler (في حالة التحويل البرمجي من المصدر) :
• إصدار CUDA / cuDNN :
• طراز GPU والذاكرة :
• الأمر الدقيق لإعادة الإنتاج :

يمكنك جمع بعض هذه المعلومات باستخدام برنامج التقاط البيئة الخاص بنا:

https://github.com/tensorflow/tensorflow/tree/master/tools/tf_env_collect.sh

يمكنك الحصول على إصدار TensorFlow باستخدام ملفات

python -c "استيراد tensorflow كـ tf ؛ طباعة (tf.GIT_VERSION ، tf.VERSION)"

صف المشكلة

صِف المشكلة بوضوح هنا. تأكد من نقل سبب وجود خطأ في TensorFlow أو طلب ميزة هنا.

كود المصدر / السجلات

قم بتضمين أي سجلات أو شفرة مصدر قد تكون مفيدة في تشخيص المشكلة. في حالة تضمين عمليات التتبع ، يرجى تضمين التتبع الكامل. يجب إرفاق السجلات والملفات الكبيرة. حاول توفير حالة اختبار قابلة للتكرار تمثل الحد الأدنى الضروري لتوليد المشكلة.