Terraform-provider-local: जीआरपीसी: अधिकतम से बड़ा संदेश प्राप्त हुआ

हैशिकॉर्प/टेराफॉर्म#21709 में कुछ जांच और चर्चा के बाद, मैंने इसे इस प्रदाता के लिए फ़ाइल आकार सीमा जोड़ने के लिए एक बदलाव का प्रतिनिधित्व करने के लिए यहां स्थानांतरित किया (टेराफॉर्म कोर द्वारा लगाई गई 4 एमबी सीमा से छोटा ताकि उपयोगकर्ता उस सामान्य त्रुटि को कभी भी हिट न करें जब भी काउंटिंग प्रोटोकॉल ओवरहेड) और local_file डेटा स्रोत और local_file संसाधन प्रकार दोनों के लिए उस सीमा का दस्तावेजीकरण करना।

क्या यह अभी भी खुला है? अगर ऐसा है तो मैं इसे उठाना चाहूंगा।
क्या आप अनुरोध को स्पष्ट/पुष्टि कर सकते हैं?

1. एक सत्यापनकर्ता के माध्यम से स्थानीय प्रदाता में 4mb की फ़ाइल आकार सीमा जोड़ें
2. आकार सीमा दर्शाने के लिए दस्तावेज़ अपडेट करें

नमस्ते

क्या आप इस समस्या को ठीक करने की योजना बना रहे हैं? अगर ऐसा हैं तोह कब?

क्या यह अभी भी खुला है? अगर ऐसा है तो मैं इसे उठाना चाहूंगा।
क्या आप अनुरोध को स्पष्ट/पुष्टि कर सकते हैं?

1. Add file size limit of 4mb in the local provider through a validator

2. Update docs to reflect the size limit

मुझे लगता है कि फाइलों का समर्थन करने के लिए सबसे अच्छा फिक्स होगा> 4 एमबी

हाँ, यह समस्या अभी भी बनी हुई है।

हां, मैं इस मुद्दे पर आज स्थानीय_फाइल डेटा स्रोत पर एक संभावित एडब्ल्यूएस लैम्ब्डा संग्रह फ़ाइल की ओर इशारा करते हुए भाग गया।

हैलो, क्या इस मुद्दे पर कोई प्रगति हुई है या इसे पार्क किया गया था? यह एक बड़ा मुद्दा बन सकता है यदि हम कुबेरनेट्स से टेम्पलेट फ़ाइल का उपयोग करते हैं और फ़ाइल को डिस्क पर संग्रहीत करना चाहिए। चूंकि कुबेरनेट्स यमल फाइलें बहुत बड़ी हो सकती हैं।
मेरा काम फ़ाइल को 2 में विभाजित करना है। प्रारंभिक फ़ाइल का आकार 2Mb था, अब मेरे पास 1Mb से थोड़ी कम की 2 फ़ाइलें हैं और यह काम करती है।
धन्यवाद

aws_lambda_function संसाधन का उपयोग करके इसमें भाग लें...

data "local_file" "lambda" {
  filename = "${path.module}/out.zip"
}

resource "aws_s3_bucket_object" "lambda" {
  bucket = var.lambda_bucket
  key    = "${local.name}.zip"
  source = data.local_file.lambda.filename
  etag = filemd5(data.local_file.lambda.filename)
}

resource "aws_lambda_function" "login_api" {
  function_name    = local.name
  role             = aws_iam_role.lambda_role.arn
  handler          = "lambda.handler"
  s3_bucket        = aws_s3_bucket_object.lambda.bucket
  s3_key           = aws_s3_bucket_object.lambda.key
  source_code_hash = filebase64sha256(data.local_file.lambda.filename)

क्या हम आगे कैसे बढ़ सकते हैं, इस पर कोई सहमति है?
4mb से अधिक की फ़ाइलें केवल सुरक्षा जांच की कमी के कारण पहले काम करती थीं (देखें https://github.com/hashicorp/terraform/issues/21709#issuecomment-501497885) इसलिए त्रुटि मान्य है और यह सीमा बदलने की तरह नहीं लगती है टेराफॉर्म कोर में या तो एक विकल्प होगा (पुनः: "बग नहीं, यह एक विशेषता है")।

हम संभवतः प्रदाता के भीतर फ़ाइलों को 4mb विखंडू में विभाजित करके इसे स्थानीय रूप से संभाल सकते हैं, लेकिन मुझे यकीन नहीं है कि क्या यह अपने स्वयं के मुद्दे पैदा करेगा। मैं इसका पीछा कर सकता हूं लेकिन इससे पहले कि मैं समय बर्बाद करूं, क्या यह स्वीकार्य @appparentlymart भी होगा?

टेराफॉर्म 0.12.23 और एडब्ल्यूएस प्रदाता 2.61.0 का उपयोग करना, वही त्रुटि प्राप्त करना Error: rpc error: code = ResourceExhausted desc = grpc: received message larger than max (18182422 vs. 4194304)

ऐसा लगता है कि कोर पैकेज को 64MB की अनुमति देने के लिए अपडेट किया गया है - https://github.com/hashicorp/terraform/pull/20906#

और लैम्ब्डा लिमिट के अनुसार डॉक्स 50MB फाइल्स को अपलोड किया जा सकता है।

क्या सेफ़्टी चेक को 50MB पर सेट करना सबसे अच्छा नहीं होगा?

इस समस्या वाले किसी भी व्यक्ति के लिए एक FYI करें।

यदि आप अपनी ज़िप फ़ाइल को s3 बाल्टी में रखते हैं तो आपको इस समस्या का सामना नहीं करना चाहिए। लेकिन फ़ाइलबेस 64 (पथ) फ़ंक्शन के बजाय aws_s3_bucket_object.lambda_zip.content_base64 का उपयोग करना याद रखें, तो आपके पास यह समस्या नहीं होगी (या कम से कम यह मेरे लिए ठीक था)।

एक अन्य विकल्प बाहरी डेटा स्रोत का उपयोग कर रहा है।

उदाहरण के लिए, चर deployment_package के साथ एक फ़ाइल नाम दिया गया है, निम्नलिखित के साथ बेस 64 हैश उत्पन्न करें:

data "external" "deployment_package" {
  program = ["/bin/bash", "-c", <<EOS
#!/bin/bash
set -e
SHA=$(openssl dgst -sha256 ${var.deployment_package} | cut -d' ' -f2 | base64)
jq -n --arg sha "$SHA" '{"filebase64sha256": $sha }'
EOS
  ]
}

और इसे इस तरह उपयोग करें:

source_code_hash = data.external.deployment_package.result.filebase64sha256

जो आपको देना चाहिए

+ source_code_hash = "ZjRkOTM4MzBlMDk4ODVkNWZmMDIyMTAwMmNkMDhmMTJhYTUxMDUzZmIzOThkMmE4ODQyOTc2MjcwNThmZmE3Nwo="

इस मुद्दे को +1 करें, इससे हमें बहुत दर्द हो रहा है क्योंकि हम जानबूझकर बड़ी फ़ाइलों को टेराफ़ॉर्म में इनलाइन करना चाहते हैं।

मैं देख रहा हूं कि https://github.com/hashicorp/terraform/pull/20906 को एक साल पहले मर्ज कर दिया गया है, लेकिन ऊपर वर्णित लक्षण अभी भी बना हुआ है।

क्या डाउनस्ट्रीम सेवा की अनुमति देने के लिए परियोजना के चारों ओर जीआरपीसी हस्तांतरण की सीमा बढ़ाई जा सकती है जो ऐसे पेलोड को बिना वर्कअराउंड के ठीक से काम करने के लिए स्वीकार कर सकती है?

अभी भी टेराफॉर्म 0.12.24 के साथ हो रहा है। जीआरपीसी सीमा त्रुटि को ठीक करने के लिए कोई उपाय?

एडब्ल्यूएस प्रदाता के संस्करण 3.14.1 का उपयोग करते हुए एपीआई गेटवे (v2) के साथ body का उपयोग करते समय यह अभी भी टेराफॉर्म 0.13.5 के साथ हो रहा है।

अधिक स्पष्टता जोड़ने के लिए, मैं अपने मामले में file फ़ंक्शन का उपयोग कर रहा हूं:

body = file(var.body)

विचाराधीन फ़ाइल 1.5MB आकार की है।

अगर मैं body घोषणा को हटा देता हूं, तो टेराफॉर्म सफलतापूर्वक चलता है।

अद्यतन

मैंने शरीर के आकार को ~500KB तक कम करने और कम करने के लिए jq का उपयोग किया है, और कोई त्रुटि नहीं थी। ऐसा लगता है कि सीमा 4MB, 1MB से कम हो सकती है, शायद?

मेरे पास अभी भी यह मुद्दा है
टेराफॉर्म v0.12.29
प्रदाता.संग्रह v2.0.0
प्रदाता.aws v3.15.0
प्रदाता.टेम्पलेट v2.2.0

फ़ाइल का समर्थन करने के लिए filebase64 की आवश्यकता है> 4mb क्योंकि इसे archive_file के संयोजन में उपयोग करना इसे बेकार बनाने का एकमात्र तरीका है।
ब्रेक के बीच में एक लोकल_फाइल का उपयोग करना ....

data "archive_file" "this" {
  type        = "zip"
  output_path = "${path.module}/test.zip"

  source {
    filename = "test.crt"
    content  = file("${path.module}/archive/test.crt")
  }

  source {
    filename = "binary-file"
    content  = filebase64("${path.module}/archive/binary-file")
  }

  source {
    filename = "config.yml"
    content  = data.template_file.this.rendered
  }
}

मेरे पास यह समस्या आईबीएम क्लाउड पर जंग फ़ंक्शन को तैनात करने का प्रयास कर रही है। इसी तरह @atamgp के लिए, मेरे पास data "archive_file" है जो विफल रहता है

grpc: received message larger than max (11484267 vs. 4194304)

लेकिन भले ही यह सफल हो (या .zip फ़ाइल मैन्युअल रूप से बनाई गई हो), resource "ibm_function_action" अभी भी विफल हो जाएगा

grpc: received message larger than max (7074738 vs. 4194304)

Terraform v0.14.3
+ provider registry.terraform.io/hashicorp/archive v2.0.0
+ provider registry.terraform.io/hashicorp/local v2.0.0
+ provider registry.terraform.io/ibm-cloud/ibm v1.12.0

Kubernetes config map के साथ एक ही समस्या का सामना करना पड़ा

resource "kubernetes_config_map" "nginx" {
  metadata {
    name      = "geoip"
    namespace = "ingress"
  }

  binary_data = {
    "GeoLite2-Country.mmdb" = filebase64("${path.module}/config/GeoLite2-Country.mmdb")
  }
}

Acquiring state lock. This may take a few moments...

Error: rpc error: code = ResourceExhausted desc = grpc: received message larger than max (5248767 vs. 4194304)

Terraform v0.14.4
+ provider registry.terraform.io/hashicorp/kubernetes v1.13.3

मुझे एक ही समस्या का सामना करना पड़ा है - ऐसा लगता है कि संसाधन कोड में कितने वर्ण हैं, इसकी सीमा है।

बाल्टी पर अपलोड की गई फ़ाइल का उपयोग करना (इसे संपीड़ित किए बिना) ने मेरी समस्या को ठीक कर दिया - मैं मान रहा हूं कि इस तथ्य से क्या मदद मिली है, कि .body s3 से आमतौर पर एक धारा है, जो .rendered (जिसे मैं पहले उपयोग कर रहा था) का विरोध करता हूं, जो उत्पन्न करता है संसाधन स्रोत में अधिक वर्ण।

एडब्ल्यूएस प्रदाता के संस्करण 3.14.1 का उपयोग करते हुए एपीआई गेटवे (v2) के साथ body का उपयोग करते समय यह अभी भी टेराफॉर्म 0.13.5 के साथ हो रहा है।

अधिक स्पष्टता जोड़ने के लिए, मैं अपने मामले में file फ़ंक्शन का उपयोग कर रहा हूं:

body = file(var.body)

विचाराधीन फ़ाइल 1.5MB आकार की है।

अगर मैं body घोषणा को हटा देता हूं, तो टेराफॉर्म सफलतापूर्वक चलता है।

अद्यतन

मैंने शरीर के आकार को ~500KB तक कम करने और कम करने के लिए jq का उपयोग किया है, और कोई त्रुटि नहीं थी। ऐसा लगता है कि सीमा 4MB, 1MB से कम हो सकती है, शायद?

@finferflu - एक ही चीज़ मिली है, हम इसमें 1.5mb openapi json फ़ाइल के साथ चल रहे थे। मैं इस धारणा के तहत था कि यह JSON पर वास्तविक फ़ाइल हैंडल नहीं था जो इसका कारण बन रहा था, लेकिन आरईएसटी एपीआई के "बॉडी" में अब यह शामिल है जिसे राज्य में शामिल किया गया है - और शायद बहुत से बचने वाले पात्र हैं और राज्य में अन्य आइटम - इसलिए स्टेटफाइल 4mb से अधिक है। स्वैगर के लिए स्थानीय फ़ाइल से बचने के लिए, हमने S3 पर अपलोड किया और TF में s3 डेटा ऑब्जेक्ट का उपयोग किया और वही समस्या हुई - इसलिए इसका समर्थन करने के लिए एक मजबूत संकेतक।

अभी भी यह समस्या v0.15.4 और टेराफॉर्म क्लाउड के साथ मिल रही है। हमने टेराफॉर्म क्लाउड का उपयोग करते हुए कुछ बुनियादी ढांचे का आयात किया और फिर एक योजना की कोशिश की, लेकिन राज्य की फाइल को बाहर नहीं निकाला जा सका:

मैं
त्रुटि: प्लगइन त्रुटि
मैं
okta_group.user_type_non_service_accounts के साथ,
group.tf लाइन 174 पर, संसाधन "okta_group" "user_type_non_service_accounts" में:
174: संसाधन "okta_group" "user_type_non_service_accounts" {
मैं
प्लगइन ने प्लगइन से एक अनपेक्षित त्रुटि लौटा दी।

मेरी फाइल लगभग 2.4 एमबी की है और मैं आज भी इस समस्या का सामना कर रहा हूं।

resource "local_file" "parse-template" {
  content =  templatefile(local.template-name, {
    var1 = value1
    var2 = value2
  }) 
  filename = "${local.script-name}"
}

कृपया इसके लिए कोई उपाय बताएं?

स्वैगर JSON फ़ाइलों और API गेटवे का उपयोग करते समय हम इस त्रुटि में भाग गए।
हमने JSON swagger फ़ाइल को संपीड़ित करके इस समस्या को अस्थायी रूप से ठीक कर दिया, जो पर्याप्त थी। स्वैगर का आकार 1.4Mb से 950Kb हो गया।

यह एक वास्तविक समाधान नहीं है, लेकिन शायद यह किसी ऐसे व्यक्ति की मदद करता है जो सीमा के करीब भी है।
अजीब तरह से, त्रुटि बनी रही, भले ही हमने किसी भी local.template_file या local.file डेटा/संसाधन का उपयोग नहीं किया (हमने इसके बजाय टेम्पलेटफाइल फ़ंक्शन का उपयोग किया)।

क्या इस पर कृपया अधिक ध्यान दिया जा सकता है?