Kubernetes: 기존 클러스터를 생성할 yml 파일을 생성하는 방법이 있습니까?

kubectl get po,deployment,rc,rs,ds,no,job -o yaml?

아 물론이죠! 이것은 작동하지만 내가 찾던 것이 아닙니다. 내 질문에 대답하지만 내가 사용한 파일과 일치하는 파일은 제공하지 않습니다.

나는 이 질문에 대한 답이 kubectl이 추가한 'last-applied-configuration' 주석을 읽는 것임을 배웠다. 이것은 구성을 생성하는 데 사용된 파일을 제공합니다.

@dcowden 은 또한 kubectl get --export를 참조하십시오.

아 그게 더 낫다! 감사 해요!

다른 답변을 결합하면 이것이 내가 bash에 대해 생각해 낸 것입니다.

for n in $(kubectl get -o=name pvc,configmap,serviceaccount,secret,ingress,service,deployment,statefulset,hpa,job,cronjob)
do
    mkdir -p $(dirname $n)
    kubectl get -o=yaml --export $n > $n.yaml
done

k8s 1.8

kubectl get all --export=true -o yaml

Google에서 여기에 오는 사람들의 경우 내 테스트 인스턴스에서 마지막 댓글의 all ingress 가 포함되지 않은 것으로 보이며 --all-namespaces 라고 말해야 합니다. 다른 네임스페이스를 덤프합니다.

관련: https://github.com/kubernetes/kubernetes/issues/42885 및 https://github.com/kubernetes/kubernetes/pull/42954#issuecomment -285949856 등

@alahijani에서 제공하는 솔루션의 변형

for n in $(kubectl get -o=name pvc,configmap,ingress,service,secret,deployment,statefulset,hpa,job,cronjob | grep -v 'secret/default-token')
do
    kubectl get -o=yaml --export $n > $(dirname $n)_$(basename $n).yaml
done

이것은 쉬운 kubectl apply -f 에 대한 단일 디렉토리에 모든 yaml 파일을 갖는 것입니다. 내보낼 수 없는 기본 서비스 계정 비밀도 제외됩니다.

다른 버전: 모든 네임스페이스에서 모든 yaml 내보내기. 각 네임스페이스에 대해 디렉토리가 만들어집니다.

• 영구 볼륨 포함!

i=$((0))
for n in $(kubectl get -o=custom-columns=NAMESPACE:.metadata.namespace,KIND:.kind,NAME:.metadata.name pv,pvc,configmap,ingress,service,secret,deployment,statefulset,hpa,job,cronjob --all-namespaces | grep -v 'secrets/default-token')
do
    if (( $i < 1 )); then
        namespace=$n
        i=$(($i+1))
        if [[ "$namespace" == "PersistentVolume" ]]; then
            kind=$n
            i=$(($i+1))
        fi
    elif (( $i < 2 )); then
        kind=$n
        i=$(($i+1))
    elif (( $i < 3 )); then
        name=$n
        i=$((0))
        echo "saving ${namespace} ${kind} ${name}"
        if [[ "$namespace" != "NAMESPACE" ]]; then
            mkdir -p $namespace
            kubectl get $kind -o=yaml --export $name -n $namespace > $namespace/$kind.$name.yaml
        fi
    fi
done

다시 가져오기:

path=$(pwd)
for n in $(ls -d */)
do
    echo "Creating namespace ${n:0:-1}"
    kubectl create namespace ${n:0:-1}

    for yaml in $(ls $path/$n)
    do
        echo -e "\t Importing $yaml"
        kubectl apply -f $path/$n$yaml -n ${n:0:-1}
    done

done

서비스 계정 토큰을 제외하는 또 다른 약간의 조정:

#!/bin/env bash

## https://github.com/kubernetes/kubernetes/issues/24873#issuecomment-416189335

i=$((0))
for n in $(kubectl get -o=custom-columns=NAMESPACE:.metadata.namespace,KIND:.kind,NAME:.metadata.name pv,pvc,configmap,ingress,service,secret,deployment,statefulset,hpa,job,cronjob --all-namespaces | grep -v 'secrets/default-token')
do
    if (( $i < 1 )); then
        namespace=$n
        i=$(($i+1))
        if [[ "$namespace" == "PersistentVolume" ]]; then
            kind=$n
            i=$(($i+1))
        fi
    elif (( $i < 2 )); then
        kind=$n
        i=$(($i+1))
    elif (( $i < 3 )); then
        name=$n
        i=$((0))
        if [[ "$namespace" != "NAMESPACE" ]]; then
            mkdir -p $namespace

            yaml=$((kubectl get $kind -o=yaml $name -n $namespace ) 2>/dev/null)
            if [[ $kind != 'Secret' || $yaml != *"type: kubernetes.io/service-account-token"* ]]; then
                echo "Saving ${namespace}/${kind}.${name}.yaml"
                kubectl get $kind -o=yaml --export $name -n $namespace > $namespace/$kind.$name.yaml
            fi
        fi
    fi
done

Windows Powershell에서 작업하는 사람들을 위해 다음은 한 줄짜리입니다.
Foreach ($i in $(kubectl get -o=name pvc,configmap,ingress,service,secret,deployment,statefulset,hpa,job,cronjob)) {If($i -notmatch "default-token") {kubectl get -o=yaml --export $i | Out-File -filepath $($i.Replace("/", "-") + ".yaml")}}

@mrwulf @acondrat
grep -v 'secrets/default-token' 를 grep -v 'secret/default-token' 로 변경해야 한다고 생각합니다.
secrets 이(가) 작동하지 않았습니다.

다음 버전의 kubectl 및 k8s 클러스터를 사용하고 있습니다.

Client Version: version.Info{Major:"1", Minor:"12", GitVersion:"v1.12.2", GitCommit:"17c77c7898218073f14c8d573582e8d2313dc740", GitTreeState:"clean", BuildDate:"2018-10-24T06:54:59Z", GoVersion:"go1.10.4", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.5", GitCommit:"32ac1c9073b132b8ba18aa830f46b77dcceb0723", GitTreeState:"clean", BuildDate:"2018-06-21T11:34:22Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"linux/amd64"}

@4m3ndy 네 말이 맞아! 감사 해요!

여러분, 네임스페이스별로 각 구성 요소에 필요한 yaml 파일을 내보내기 위해 이 도커 이미지를 만들었습니다. 이러한 백업은 내보낸 다음 비밀번호로 암호화되어 S3 버킷에 업로드됩니다.

누구든지 변경 사항을 적용하거나 의견을 공유하고 싶다면 환영합니다 :+1:
앰비언트 이노베이션/k8s-backup

예: pv yaml을 생성합니다.

kubectl get pv -o yaml --export | sed -e '/resourceVersion: "[0-9]\+"/d' -e '/uid: [a-z0-9-]\+/d' -e '/selfLink: [a-z0-9A-Z/]\+/d' -e '/status:/d' -e '/phase:/d' -e '/creationTimestamp:/d' > pvList.yaml

@xiaoping378
https://github.com/ambient-innovation/k8s-backup/blob/01c1bfe750136648fd91e14dd691ba39bb05f282/k8s-backup.sh#L38

이 스크립트는 각 네임스페이스에 대한 모든 pvc를 생성한 다음 각 pv에 대한 yaml 파일을 내보내야 합니다.

${HOME}/clusterstate/ 폴더를 만들고 다음을 실행합니다.
kubectl cluster-info dump --all-namespaces --output-directory=${HOME}/clusterstate/ -o yaml
모든 엔터티는 네임스페이스에 해당하는 별도의 폴더 구조에 있습니다.
-o yaml 플래그가 yaml 내보내기를 생성하므로 .json 확장(예: deployments.json)은 오해의 소지가 있습니다.

${HOME}/clusterstate/ 폴더를 만들고 다음을 실행합니다.
kubectl cluster-info dump --all-namespaces --output-directory=${HOME}/clusterstate/ -o yaml
모든 엔터티는 네임스페이스에 해당하는 별도의 폴더 구조에 있습니다.
-o yaml 플래그가 yaml 내보내기를 생성하므로 .json 확장(예: deployments.json)은 오해의 소지가 있습니다.

참고로, 대규모 배포에는 상당한 양의 RAM이 필요한 것 같습니다. 제 2GB RAM CLI 점프박스 VM은 이를 처리할 수 없습니다(아마도 4 또는 8이 필요할 것으로 생각합니다).

fatal error: runtime: out of memory

runtime stack:
runtime.throw(0x1ab7c29, 0x16)
        /usr/local/go/src/runtime/panic.go:774 +0x72
runtime.sysMap(0xc068000000, 0x10000000, 0x2da7238)
        /usr/local/go/src/runtime/mem_linux.go:169 +0xc5
runtime.(*mheap).sysAlloc(0x2d8e9a0, 0x10000000, 0x0, 0x0)
        /usr/local/go/src/runtime/malloc.go:701 +0x1cd
runtime.(*mheap).grow(0x2d8e9a0, 0x8000, 0xffffffff)
        /usr/local/go/src/runtime/mheap.go:1255 +0xa3
runtime.(*mheap).allocSpanLocked(0x2d8e9a0, 0x8000, 0x2da7248, 0x42c7bc)
        /usr/local/go/src/runtime/mheap.go:1170 +0x266
runtime.(*mheap).alloc_m(0x2d8e9a0, 0x8000, 0x101, 0xc000103f18)
        /usr/local/go/src/runtime/mheap.go:1022 +0xc2

데스크탑에서 다시 실행하고 kubectl 프로세스 메모리 사용량을 추적했는데 약 4GB에서 정점을 찍었으므로 8GB입니다!

분명히 로그를 포함하는 덤프의 총 출력 크기와 일치하며 일부 포드(그 중 90개)는 크기가 100MB가 넘는 로그를 내보내고 있습니다. 이것은 dump 명령이 디스크에 기록하는 동안에도 RAM에 모든 것을 저장하고 있음을 나타냅니다. 아마도 로그 쓰기가 완료되면 RAM을 지우도록 최적화될 수 있을 것입니다.

누구든지 모든 정보와 함께 클러스터(ns, 배포, svc, secrets, pv pvc, cm yaml 파일만 포함)를 백업하고 새 클러스터에서 복원할 명령이나 스크립트를 알려줄 수 있습니까?
--export 명령으로 시도했지만 서비스에서 서비스의 yaml 파일 이름이 누락되었으며 --export 없이 백업하면 clusterIP IP , nodePort 포트 , loadBalancer IP가 포함되어 새 클러스터에 배포할 수 없습니다. 불변(clusterIP 및 loadBalancer)입니다.
kubernetes 클러스터 버전 1.14 이상 1.15/16/17(GCP gke 또는 AWS eks에서 백업/복원 시도).

kubectl api-resources 덕분에! 다음 bash 스크립트를 사용하여 k8s의 모든 네임스페이스에 있는 모든 리소스의 매니페스트(yaml 파일)를 가져올 수 있었습니다.

#!/usr/bin/env bash

while read -r line
do
    output=$(kubectl get "$line" --all-namespaces -o yaml 2>/dev/null | grep '^items:')
    if ! grep -q "\[\]" <<< $output; then
        echo -e "\n======== "$line" manifests ========\n"
        kubectl get "$line" --all-namespaces -o yaml
    fi
done < <(kubectl api-resources | awk '{print $1}' | grep -v '^NAME')

위의 bash 스크립트는 다음으로 테스트되었습니다.

• k8s v1.16.3
• 우분투 바이오닉 18.04.3 OS
• bash 버전 버전 4.4.20(1)-release (x86_64-pc-linux-gnu)

@vhosakot 스크립트를

다음을 대체할 수 있습니다. kubectl api-resources | awk '{print $1}' | grep -v '^NAME'
함께: kubectl api-resources -o name

#!/usr/bin/env bash

while read -r namespace
do
    echo "scanning namespace '${namespace}'"
    mkdir -p "${HOME}/cluster-backup/${namespace}"
    while read -r resource
    do
        echo "  scanning resource '${resource}'"
        mkdir -p "${HOME}/cluster-backup/${namespace}/${resource}"
        while read -r item
        do
            echo "    exporting item '${item}'"
            kubectl get "$resource" -n "$namespace" "$item" -o yaml > "${HOME}/cluster-backup/${namespace}/${resource}/$item.yaml"
        done < <(kubectl get "$resource" -n "$namespace" 2>&1 | tail -n +2 | awk '{print $1}')
    done < <(kubectl api-resources --namespaced=true 2>/dev/null | tail -n +2 | awk '{print $1}')
done < <(kubectl get namespaces | tail -n +2 | awk '{print $1}')

위의 스크립트를 약간 확장했습니다(속도가 느려졌습니다). 이것은 모든 네임스페이스를 로드하고 모든 네임스페이스의 모든 리소스를 로드한 다음 각 구성을 각 네임스페이스의 각 리소스에 있는 단일 파일로 로드합니다. 장황하고 몇 가지 오류를 보여주지만 최종 결과(덤프)는 깨끗해야 합니다.

#!/usr/bin/env bash
ROOT=${HOME}/clusterstate

while read -r resource
do
    echo "  scanning resource '${resource}'"
    while read -r namespace item x
    do
        mkdir -p "${ROOT}/${namespace}/${resource}"        
        echo "    exporting item '${namespace} ${item}'"
        kubectl get "$resource" -n "$namespace" "$item" -o yaml > "${ROOT}/${namespace}/${resource}/$item.yaml" &
    done < <(kubectl get "$resource" --all-namespaces 2>&1 | tail -n +2)
done < <(kubectl api-resources --namespaced=true 2>/dev/null | tail -n +2 | awk '{print $1}')

wait

@scones에서 영감을

@nathan-c와 동일
오류를 수정하기 위해 리소스 목록에서 events 을 제거

#!/usr/bin/env bash
ROOT=${HOME}/clusterstate
while read -r resource
do
    echo "  scanning resource '${resource}'"
    while read -r namespace item x
    do
        mkdir -p "${ROOT}/${namespace}/${resource}"        
        echo "    exporting item '${namespace} ${item}'"
        kubectl get "$resource" -n "$namespace" "$item" -o yaml > "${ROOT}/${namespace}/${resource}/$item.yaml" &
    done < <(kubectl get "$resource" --all-namespaces 2>&1  | tail -n +2)
done < <(kubectl api-resources --namespaced=true 2>/dev/null | grep -v "events" | tail -n +2 | awk '{print $1}')

wait