Terraform-provider-local: grpc: 최대값보다 큰 메시지를 수신했습니다.

hashicor/terraform#21709에서 조사와 토론을 한 후 이 공급자에 파일 크기 제한을 추가하는 변경 사항을 나타내기 위해 이것을 여기로 옮겼습니다(Terraform Core에서 부과한 4MB 제한보다 작아 사용자가 프로토콜 오버헤드 계산) local_file 데이터 소스와 local_file 리소스 유형 모두에 대한 해당 제한을 문서화합니다.

이거 아직 열려있나요? 저라면 이거 뽑고 싶습니다.
요청을 명확히/확인할 수 있습니까?

1. 유효성 검사기를 통해 로컬 공급자의 파일 크기 제한 4MB 추가
2. 크기 제한을 반영하도록 문서 업데이트

안녕하세요

이 문제를 해결할 계획입니까? 그렇다면 언제?

이거 아직 열려있나요? 저라면 이거 뽑고 싶습니다.
요청을 명확히/확인할 수 있습니까?

1. Add file size limit of 4mb in the local provider through a validator

2. Update docs to reflect the size limit

가장 좋은 해결책은 4Mb 이상의 파일을 지원하는 것입니다.

예, 이 문제는 여전히 지속됩니다.

예, 오늘 예상 AWS Lambda 아카이브 파일을 가리키는 local_file 데이터 소스에서 이 문제가 발생했습니다.

안녕하세요, 이 문제에 진전이 있습니까? 아니면 주차되어 있었습니까? Kubernetes의 템플릿 파일을 사용하고 파일을 디스크에 저장해야 하는 경우 이는 더 큰 문제가 될 수 있습니다. kubernetes 이후 Yaml 파일은 꽤 커질 수 있습니다.
내 해결 방법은 파일을 2로 분할하는 것입니다. 초기 파일 크기는 2Mb였습니다. 이제 각각 1Mb보다 약간 작은 2개의 파일이 있고 제대로 작동합니다.
감사 해요

aws_lambda_function 리소스를 사용하여 이 문제에 부딪쳤습니다...

data "local_file" "lambda" {
  filename = "${path.module}/out.zip"
}

resource "aws_s3_bucket_object" "lambda" {
  bucket = var.lambda_bucket
  key    = "${local.name}.zip"
  source = data.local_file.lambda.filename
  etag = filemd5(data.local_file.lambda.filename)
}

resource "aws_lambda_function" "login_api" {
  function_name    = local.name
  role             = aws_iam_role.lambda_role.arn
  handler          = "lambda.handler"
  s3_bucket        = aws_s3_bucket_object.lambda.bucket
  s3_key           = aws_s3_bucket_object.lambda.key
  source_code_hash = filebase64sha256(data.local_file.lambda.filename)

우리가 앞으로 나아갈 수 있는 방법에 대한 합의가 있습니까?
4MB를 초과하는 파일은 이전에 안전 검사가 부족하여 작동했습니다(https://github.com/hashicorp/terraform/issues/21709#issuecomment-501497885 참조). 따라서 오류가 유효하고 제한을 변경하는 것처럼 들리지 않습니다. terraform core에서는 옵션이 될 것입니다(Re: "버그가 아니라 기능입니다").

공급자 내에서 파일을 4MB 청크로 분할하여 로컬에서 처리할 수 있지만 자체 문제가 발생하는지 확실하지 않습니다. 나는 그것을 추구할 수 있지만 내가 시간을 낭비하기 전에 그것이 받아들여질 수 있을까요 @apparentlymart ?

Terraform 0.12.23 및 aws 공급자 2.61.0 사용, 동일한 오류 Error: rpc error: code = ResourceExhausted desc = grpc: received message larger than max (18182422 vs. 4194304) 발생

코어 패키지가 64MB를 허용하도록 업데이트된 것 같습니다 - https://github.com/hashicorp/terraform/pull/20906#

그리고 람다 제한 문서에 따르면 50MB 파일을 업로드할 수 있습니다.

안전 점검을 50MB로 설정하는 것이 가장 좋지 않을까요?

이 문제가 있는 사람을 위한 참고용으로.

zip 파일을 s3 버킷에 넣으면 이 문제가 발생하지 않습니다. 그러나 filebase64(path) 함수 대신 aws_s3_bucket_object.lambda_zip.content_base64 를 사용하는 것을 기억하십시오. 그러면 이 문제가 발생하지 않을 것입니다(또는 적어도 저를 위한 수정 사항이었습니다).

또 다른 옵션은 외부 데이터 소스를 사용하는 것입니다.

예를 들어 deployment_package 변수가 있는 파일 이름이 주어지면 다음을 사용하여 base64 해시를 생성합니다.

data "external" "deployment_package" {
  program = ["/bin/bash", "-c", <<EOS
#!/bin/bash
set -e
SHA=$(openssl dgst -sha256 ${var.deployment_package} | cut -d' ' -f2 | base64)
jq -n --arg sha "$SHA" '{"filebase64sha256": $sha }'
EOS
  ]
}

다음과 같이 사용하십시오.

source_code_hash = data.external.deployment_package.result.filebase64sha256

당신에게 줄 것

+ source_code_hash = "ZjRkOTM4MzBlMDk4ODVkNWZmMDIyMTAwMmNkMDhmMTJhYTUxMDUzZmIzOThkMmE4ODQyOTc2MjcwNThmZmE3Nwo="

+1 이 문제는 더 큰 파일을 테라폼에 의도적으로 인라인하기를 원하므로 많은 고통을 야기합니다.

https://github.com/hashicorp/terraform/pull/20906 이 1년 전에 병합되었지만 위에서 설명한 증상이 여전히 지속되는 것을 알 수 있습니다.

grpc 전송에 대한 제한을 프로젝트 전체에서 늘려 이러한 페이로드를 허용할 수 있는 다운스트림 서비스가 해결 방법 없이 제대로 작동하도록 할 수 있습니까?

Terraform 0.12.24에서 계속 발생합니다. GRPC 제한 오류를 수정하기 위한 해결 방법이 있습니까?

이것은 AWS 공급자의 버전 3.14.1을 사용하여 API Gateway(v2) 와 함께 body 를 사용할 때 Terraform 0.13.5에서 계속 발생합니다.

명확성을 더하기 위해 제 경우에는 file 함수를 사용하고 있습니다.

body = file(var.body)

문제의 파일 크기는 1.5MB입니다.

body 선언을 제거하면 Terraform이 성공적으로 실행됩니다.

업데이트

jq 를 사용하여 본문 크기를 ~500KB로 압축하고 축소했는데 오류가 없었습니다. 임계 값이 4MB, 1MB보다 낮을 수 있습니까?

나는 여전히이 문제가 있습니다
테라폼 v0.12.29
provider.archive v2.0.0
provider.aws v3.15.0
provider.template v2.2.0

archive_file 와 함께 사용하는 것이 멱등성을 만드는 유일한 방법이기 때문에 4mb 이상의 파일을 지원하려면 filebase64 가 필요합니다.
브레이크 사이에 local_file을 사용하여 ....

data "archive_file" "this" {
  type        = "zip"
  output_path = "${path.module}/test.zip"

  source {
    filename = "test.crt"
    content  = file("${path.module}/archive/test.crt")
  }

  source {
    filename = "binary-file"
    content  = filebase64("${path.module}/archive/binary-file")
  }

  source {
    filename = "config.yml"
    content  = data.template_file.this.rendered
  }
}

또한 IBM Cloud에 Rust 기능을 배치하려고 시도하는 중에 이 문제가 있습니다. @atamgp 와 유사하게, 나는 data "archive_file" 로 실패합니다.

grpc: received message larger than max (11484267 vs. 4194304)

그러나 이것이 성공하더라도(또는 .zip 파일이 수동으로 생성됨) resource "ibm_function_action" 는 여전히 실패합니다.

grpc: received message larger than max (7074738 vs. 4194304)

Terraform v0.14.3
+ provider registry.terraform.io/hashicorp/archive v2.0.0
+ provider registry.terraform.io/hashicorp/local v2.0.0
+ provider registry.terraform.io/ibm-cloud/ibm v1.12.0

kubernetes 구성 맵과 동일한 문제에 직면했습니다.

resource "kubernetes_config_map" "nginx" {
  metadata {
    name      = "geoip"
    namespace = "ingress"
  }

  binary_data = {
    "GeoLite2-Country.mmdb" = filebase64("${path.module}/config/GeoLite2-Country.mmdb")
  }
}

Acquiring state lock. This may take a few moments...

Error: rpc error: code = ResourceExhausted desc = grpc: received message larger than max (5248767 vs. 4194304)

Terraform v0.14.4
+ provider registry.terraform.io/hashicorp/kubernetes v1.13.3

동일한 문제가 발생했습니다. 리소스 코드에 있는 문자 수에 제한이 있는 것 같습니다.

버킷에 업로드된 파일을 사용하여(압축하지 않고) 내 문제가 해결되었습니다. 도움이 된 것은 s3의 .body가 일반적으로 .rendered(이전에 사용했던)와 반대되는 스트림이라는 사실입니다. 리소스 소스에 더 많은 문자가 있습니다.

이것은 AWS 공급자의 버전 3.14.1을 사용하여 API Gateway(v2) 와 함께 body 를 사용할 때 Terraform 0.13.5에서 계속 발생합니다.

명확성을 더하기 위해 제 경우에는 file 함수를 사용하고 있습니다.

body = file(var.body)

문제의 파일 크기는 1.5MB입니다.

body 선언을 제거하면 Terraform이 성공적으로 실행됩니다.

업데이트

jq 를 사용하여 본문 크기를 ~500KB로 압축하고 축소했는데 오류가 없었습니다. 임계 값이 4MB, 1MB보다 낮을 수 있습니까?

@finferflu - 같은 것을 찾았습니다. 우리는 1.5mb openapi json 파일로 이것을 실행했습니다. JSON의 실제 파일 핸들이 이 문제의 원인이 아니라는 인상을 받았지만 이제 REST API의 "본문"에 이것이 포함되어 상태에 포함되며 아마도 많은 이스케이프 문자가 있을 수 있습니다. 상태의 다른 항목 - 상태 파일이 4MB를 초과합니다. Swagger에 대한 로컬 파일을 피하기 위해 S3에 업로드하고 TF에서 s3 데이터 객체를 사용했는데 동일한 문제가 발생했습니다. 따라서 이를 지원하는 강력한 지표입니다.

v0.15.4 및 terraform 클라우드에서 여전히 이 문제가 발생합니다. Terraform 클라우드를 사용하는 동안 일부 인프라를 가져온 다음 계획을 시도했지만 상태 파일을 가져올 수 없습니다.

╷
│ 오류: 플러그인 오류
│
│ okta_group.user_type_non_service_accounts,
│ groups.tf 줄 174, "okta_group" "user_type_non_service_accounts" 리소스:
│ 174: 리소스 "okta_group" "user_type_non_service_accounts" {
│
│ 플러그인이 플러그인에서 예기치 않은 오류를 반환했습니다.(*GRPCProvider).UpgradeResourceState: rpc 오류: 코드 = ResourceExhausted desc = grpc: 최대보다 큰 메시지를 수신했습니다(6280527 대 4194304).

내 파일은 약 2.4MB이며 오늘날에도 이 문제에 직면하고 있습니다.

resource "local_file" "parse-template" {
  content =  templatefile(local.template-name, {
    var1 = value1
    var2 = value2
  }) 
  filename = "${local.script-name}"
}

이에 대한 해결 방법이 있습니까?

swagger JSON 파일 및 API 게이트웨이를 사용할 때 이 오류가 발생했습니다.
JSON swagger 파일을 압축하여 파일을 충분하게 축소하여 이 문제를 일시적으로 수정했습니다. swagger 크기가 1.4Mb에서 950Kb로 변경되었습니다.

실제 해결 방법은 아니지만 한계에 근접한 누군가에게 도움이 될 수 있습니다.
이상하게도 local.template_file 또는 local.file 데이터/리소스를 사용하지 않았는데도 오류가 계속 발생했습니다(대신 templatefile 함수를 사용했습니다).

더 많은 관심을 받을 수 있습니까?