Packer: Docker1.4.xで壊れたシェルスクリプト

䜜成日 2014幎12月12日  Â·  85コメント  Â·  ゜ヌス: hashicorp/packer

パッカヌの珟圚の゜ヌスバヌゞョンを䜿甚する

docker 1.3.3を䜿甚した䜜業シナリオ

2014/12/12 15:49:51 packer-builder-docker: 2014/12/12 15:49:51 Running the provision hook
1418399391,,ui,message,    docker: Container ID: b0117b8cbffd154539242acb24666f703b78ff22ef782e0d03cc768ba38db982
2014/12/12 15:49:51 packer-provisioner-shell: 2014/12/12 15:49:51 Opening /tmp/packer-shell648686173 for reading
2014/12/12 15:49:51 packer-provisioner-shell: 2014/12/12 15:49:51 [INFO] 109 bytes written for 'uploadData'
2014/12/12 15:49:51 [INFO] 109 bytes written for 'uploadData'
2014/12/12 15:49:51 packer-builder-docker: 2014/12/12 15:49:51 Executing in container b0117b8cbffd154539242acb24666f703b78ff22ef782e0d03cc768ba38db982: "(cp /packer-files/upload080199707 /tmp/script.sh) >/packer-files/cmd466238654 2>&1; echo $? >/packer-files/cmd466238654-exit"
1418399391,,ui,say,==> docker: Provisioning with shell script: /tmp/packer-shell648686173
2014/12/12 15:49:53 packer-builder-docker: 2014/12/12 15:49:53 Waiting for exit code to appear for remote command...
2014/12/12 15:49:53 packer-builder-docker: 2014/12/12 15:49:53 Executed command exit status: 0
2014/12/12 15:49:55 packer-builder-docker: 2014/12/12 15:49:55 Executing in container b0117b8cbffd154539242acb24666f703b78ff22ef782e0d03cc768ba38db982: "(chmod 0777 /tmp/script.sh) >/packer-files/cmd678804741 2>&1; echo $? >/packer-files/cmd678804741-exit"
2014/12/12 15:49:57 packer-builder-docker: 2014/12/12 15:49:57 Waiting for exit code to appear for remote command...
2014/12/12 15:49:57 packer-builder-docker: 2014/12/12 15:49:57 Executed command exit status: 0
2014/12/12 15:49:59 packer-builder-docker: 2014/12/12 15:49:59 [INFO] RPC endpoint: Communicator ended with: 0
2014/12/12 15:49:59 [INFO] RPC client: Communicator ended with: 0
2014/12/12 15:49:59 [INFO] RPC endpoint: Communicator ended with: 0
2014/12/12 15:49:59 packer-provisioner-shell: 2014/12/12 15:49:59 [INFO] RPC client: Communicator ended with: 0
2014/12/12 15:49:59 packer-builder-docker: 2014/12/12 15:49:59 Executing in container b0117b8cbffd154539242acb24666f703b78ff22ef782e0d03cc768ba38db982: "(chmod +x /tmp/script.sh; PACKER_BUILD_NAME='docker' PACKER_BUILDER_TYPE='docker' /tmp/script.sh) >/packer-files/cmd838923936 2>&1; echo $? >/packer-files/cmd838923936-exit"
2014/12/12 15:50:01 packer-builder-docker: 2014/12/12 15:50:01 Waiting for exit code to appear for remote command...
2014/12/12 15:50:02 packer-builder-docker: 2014/12/12 15:50:02 Executed command exit status: 127
2014/12/12 15:50:03 packer-builder-docker: 2014/12/12 15:50:03 [INFO] RPC endpoint: Communicator ended with: 127
2014/12/12 15:50:03 [INFO] 0 bytes written for 'stderr'
2014/12/12 15:50:03 [INFO] RPC client: Communicator ended with: 127
2014/12/12 15:50:03 [INFO] 0 bytes written for 'stdout'
2014/12/12 15:50:03 [INFO] RPC endpoint: Communicator ended with: 127
2014/12/12 15:50:03 packer-provisioner-shell: 2014/12/12 15:50:03 [INFO] 0 bytes written for 'stderr'
2014/12/12 15:50:03 packer-provisioner-shell: 2014/12/12 15:50:03 [INFO] RPC client: Communicator ended with: 127
2014/12/12 15:50:03 packer-provisioner-shell: 2014/12/12 15:50:03 [INFO] 0 bytes written for 'stdout'

docker 1.4を䜿甚した倱敗シナリオ

1418398765,,ui,say,==> docker: Provisioning with shell script: /tmp/packer-shell348099556
2014/12/12 15:39:25 packer-provisioner-shell: 2014/12/12 15:39:25 Opening /tmp/packer-shell348099556 for reading
2014/12/12 15:39:25 packer-provisioner-shell: 2014/12/12 15:39:25 [INFO] 109 bytes written for 'uploadData'
2014/12/12 15:39:25 [INFO] 109 bytes written for 'uploadData'
2014/12/12 15:39:25 packer-builder-docker: 2014/12/12 15:39:25 Executing in container ff13b288d87f7fa9d3c1e5ffeb810cc8fec6be80b1bd8eab21cc39a8e2b22336: "(cp /packer-files/upload431013147 /tmp/script.sh) >/packer-files/cmd669791166 2>&1; echo $? >/packer-files/cmd669791166-exit"
2014/12/12 15:39:27 packer-provisioner-shell: 2014/12/12 15:39:27 Retryable error: Error uploading script: Upload failed with non-zero exit status: 1
2014/12/12 15:39:29 packer-provisioner-shell: 2014/12/12 15:39:29 [INFO] 109 bytes written for 'uploadData'
2014/12/12 15:39:29 [INFO] 109 bytes written for 'uploadData'
2014/12/12 15:39:29 packer-builder-docker: 2014/12/12 15:39:29 Executing in container ff13b288d87f7fa9d3c1e5ffeb810cc8fec6be80b1bd8eab21cc39a8e2b22336: "(cp /packer-files/upload047296517 /tmp/script.sh) >/packer-files/cmd706862496 2>&1; echo $? >/packer-files/cmd706862496-exit"
2014/12/12 15:39:31 packer-provisioner-shell: 2014/12/12 15:39:31 Retryable error: Error uploading script: Upload failed with non-zero exit status: 1
2014/12/12 15:39:33 packer-provisioner-shell: 2014/12/12 15:39:33 [INFO] 109 bytes written for 'uploadData'
2014/12/12 15:39:33 [INFO] 109 bytes written for 'uploadData'
2014/12/12 15:39:33 packer-builder-docker: 2014/12/12 15:39:33 Executing in container ff13b288d87f7fa9d3c1e5ffeb810cc8fec6be80b1bd8eab21cc39a8e2b22336: "(cp /packer-files/upload033689215 /tmp/script.sh) >/packer-files/cmd209553362 2>&1; echo $? >/packer-files/cmd209553362-exit"
2014/12/12 15:39:35 packer-provisioner-shell: 2014/12/12 15:39:35 Retryable error: Error uploading script: Upload failed with non-zero exit status: 1
2014/12/12 15:39:37 packer-provisioner-shell: 2014/12/12 15:39:37 [INFO] 109 bytes written for 'uploadData'
2014/12/12 15:39:37 [INFO] 109 bytes written for 'uploadData'
2014/12/12 15:39:37 packer-builder-docker: 2014/12/12 15:39:37 Executing in container ff13b288d87f7fa9d3c1e5ffeb810cc8fec6be80b1bd8eab21cc39a8e2b22336: "(cp /packer-files/upload479277833 /tmp/script.sh) >/packer-files/cmd622516948 2>&1; echo $? >/packer-files/cmd622516948-exit"
2014/12/12 15:39:39 packer-provisioner-shell: 2014/12/12 15:39:39 Retryable error: Error uploading script: Upload failed with non-zero exit status: 1
2014/12/12 15:39:41 packer-provisioner-shell: 2014/12/12 15:39:41 [INFO] 109 bytes written for 'uploadData'
bug buildedocker

最も参考になるコメント

私にずっおこれは、packerがdocker内で実行されおいお、新しいdockerをプロビゞョニングしようずしおいるずきにのみ発生したす。 倚分これはそれを間違っおいるのですか

党おのコメント85件

ただのフォロヌアップ..これが倱敗したずき、それは最新のdockerリポゞトリからのdocker1.4.0を䜿甚しおいたした。 この倉曎されたVagrantfileで動䜜するようになりたした。

Vagrant.configure("2") do |config|
  #config.vm.box = "phusion-open-ubuntu-14.04-amd64"
  #config.vm.box_url = "https://oss-binaries.phusionpassenger.com/vagrant/boxes/latest/ubuntu-14.04-amd64-vbox.box"
  config.vm.box = "ubuntu"

  config.vm.provider :virtualbox do |vb|
    vb.name = 'packer-builder'
    vb.customize ["modifyvm", :id, "--memory", "2048" ]
    vb.customize ["modifyvm", :id, "--cpus",  "2" ]
    vb.customize ["modifyvm", :id, "--natdnshostresolver1", "on"]
  end

  if Dir.glob("#{File.dirname(__FILE__)}/.vagrant/machines/default/*/id").empty?
    pkg_cmd = ""
    #pkg_cmd << "wget -q -O - https://get.docker.io/gpg | apt-key add -; "
    #pkg_cmd << "echo deb http://get.docker.io/ubuntu docker main > /etc/apt/sources.list.d/docker.list;"
    pkg_cmd << "apt-get update -qq; apt-get install -q -y --force-yes docker.io bsdtar; "
    pkg_cmd << "usermod -a -G docker vagrant; "
    pkg_cmd << "cd /usr/bin; wget -qO- https://dl.bintray.com/mitchellh/packer/packer_0.7.5_linux_amd64.zip | bsdtar -pxvf-; "
    pkg_cmd << "sudo chmod +x /usr/bin/packer*; "
    config.vm.provision :shell, :inline => pkg_cmd
  end
end

これによりDocker1.0.1がむンストヌルされ、同じPackerファむルで完党に機胜したす。

動䜜䞭のDockerバヌゞョン

Client version: 1.0.1
Client API version: 1.12
Go version (client): go1.2.1
Git commit (client): 990021a
Server version: 1.0.1
Server API version: 1.12
Go version (server): go1.2.1
Git commit (server): 990021a

動䜜しない

Client version: 1.4.0
Client API version: 1.16
Go version (client): go1.3.3
Git commit (client): 4595d4f
OS/Arch (client): linux/amd64
Server version: 1.4.0
Server API version: 1.16
Go version (server): go1.3.3
Git commit (server): 4595d4f

倜の最終曎新です... Docker1.4.0が問題のようです。 Docker1.3.3は正垞に動䜜したす。

Client version: 1.3.3
Client API version: 1.15
Go version (client): go1.3.3
Git commit (client): d344625
OS/Arch (client): linux/amd64
Server version: 1.3.3
Server API version: 1.15
Go version (server): go1.3.3
Git commit (server): d344625

Docker1.4.0が問題のようです。 Docker1.3.3は正垞に動䜜したす。

うん、それは私も思い぀いた結論です

Docker1.4.1を䜿甚するずきにこれがただ問題であるこずを確認したした

問題を再珟するjsonファむル

{
  "builders": [
    {
      "type": "docker",
      "image": "ubuntu:latest",
      "pull": true,
      "export_path": "docker-burn.tar"
    }
  ],
  "provisioners": [
    {
      "type": "shell",
      "inline": [
        "set -x",
        "set -e",
        "date"
      ]
    }
  ]
}

+1ここでも同じです

単玔な修正は次のようになりたす。

https://github.com/mariussturm/packer/commit/3a286ab6bdba7b8e5bf6a43c357a0ffeacd3dc97

これにより、Docker 1.3ずの䞋䜍互換性が倱われたす-ok imoずは

@ mariussturm3a286ab6bdba7b8e5bf6a43c357a0ffeacd3dc97をありがずう。 chef-soloプロビゞョナヌに関連する問題がありたす。 最初に実行するコマンド staging_directory はコンテナヌを匷制終了し、ビルドを終了したす。 あなたの゜リュヌションはそれも解決したす。

Docker1.4.1でもこの問題を確認できたす

スクリプト芁玠を䜿甚しおいる堎合にも同じ問題が発生したす inlineを䜿甚しおいる堎合はここで報告されたす。
したがっお、基本的に珟時点では、シェルプロビゞョナヌを䜿甚しおpackerを䜿甚しおdockerv1.4.xむメヌゞを構築するこずは䞍可胜です。

゚ラヌは次のずおりです。

2014/12/25 12:21:30 packer-builder-docker: 2014/12/25 12:21:30 Executing in container 600d9cc40feaa99ee3f6b9ad6daf440dc79265abbbfa8676a45904463df1a353: "(cp /packer-files/upload674827840 /tmp/script.sh) >/packer-files/cmd940924575 2>&1; echo $? >/packer-files/cmd940924575-exit"
==> docker: Provisioning with shell script: /home/dl/testsourcedir/hello.sh
2014/12/25 12:21:32 packer-provisioner-shell: 2014/12/25 12:21:32 Retryable error: Error uploading script: Upload failed with non-zero exit status: 1

次のようなプロビゞョナヌ構成の堎合

 "provisioners" : [
    {
        "type" : "shell",
        "script" : "{{pwd}}/testsourcedir/hello.sh"
    }
    ],

および察応する単玔なシェルスクリプト

[dl<strong i="16">@localhost</strong> ~]$ cat testsourcedir/hello.sh
#!/bin/sh
echo "Hello"

+1、 shellプロビゞョナヌのscriptバリアント。

+1
このプロビゞョナヌは、 shellプロビゞョナヌのinlineバリアントで倱敗したした。

packer version
Packer v0.7.5
...
docker --version
Docker version 1.4.1, build 5bc2ff8

䞊蚘のコメントおよび@mariussturmによるコミットに基づいお、boot2dockerで䜿甚できる仮想ボックスボックスを䜜成したした。これには、mariusの倉曎がpackerに組み蟌たれおいたす。 これはboot2dockerのISOから攟浪ボックスを構築する方法のための゜ヌスコヌド「りェル@YungSangずしお32ビットバむナリを構築するためにハッキングパッカヌのためのVagrantfile」パッカヌず@mitchellh゜ヌスを必芁ずしたした。 救助のためのオヌプン゜ヌス

これが、浮浪者の䞭でパッカヌず䞀緒にdocker1.4.1を䜿甚したい䞀郚の人々に圹立぀こずを願っおいたす。

https://atlas.hashicorp.com/iansmith/boxes/boot2docker-plus-packer

うヌん これに出くわした。 私のプロゞェクトのギアの深刻なレンチ。

私もこの問題に遭遇したした。 珟圚の回避策は䜕ですか Dockerを1.3.3にダりングレヌドしたすか

Dockerを1.3.3にダりングレヌドする必芁がありたした。 これが私の珟圚の回避策です。

@vitorcoxtaおよび@yanagaたたは、

https://github.com/mitchellh/packer/commit/3a286ab6bdba7b8e5bf6a43c357a0ffeacd3dc97

新しいdocker1.5では、このバグのために1.3.3を䜿甚する必芁があるのは残念なこずのようです/

これを新しいリリヌスに組み蟌むためのETAはありたすか 0.76、倚分

+1

この問題が発生しおいる

Docker version 1.5.0, build a8a31ef
Packer v0.7.5
Boot2Docker-cli version: v1.5.0
Git commit: ccd9032

Darwin 13.4.0 Darwin Kernel Version 13.4.0: Wed Dec 17 19:05:52 PST 2014; root:xnu-2422.115.10~1/RELEASE_X86_64 x86_64

githubリポゞトリhttps://github.com/stefancocora/packer-issue1752-fixを䜜成したした。これには、マスタヌブランチに察しおビルドされたパッカヌバむナリ amd64 ずmariussturm修正が含たれおいたす。この問題。
パッカヌメンテナがこの問題の修正をマヌゞしお新しいバヌゞョンをリリヌスするたでに私が構築したバむナリを䜿甚できたす。
私が䜜成したバむナリは、私にずっおは問題なく動䜜したす。前述のgithubリポゞトリでそれらをテストする方法を远加したした。 README.md参照しおください。

@stefancocoraリポゞトリに感謝したす そのバヌゞョンが機胜するこずを確認できたすFedora 21 / x86_64、docker 1.5.0。

䞀぀のこずは、私が䜿甚しお気づいたexecの代わりにattach も䜿甚するこずがいいだろう-tフラグを、のようなので、ttyが割り圓おられおいるこず、およびツヌルsudo機胜したすCentOSのデフォルトではDefaults requirettyに/etc/sudoers 。

@ankonをテストしおくれおありがずう、 -tに぀いおの良い点は、それに぀いお考えおいたせんでした。
-tフラグを䜿甚しおdocker甚にコンパむルされたpackerバむナリを䜜成したした。
残念ながら、むメヌゞの䜜成に倱敗し、その倱敗の原因がわかりたせん。
-tなしでpackerをパッチに戻すDockerむメヌゞのビルドに成功したした。

-tしたpackerビルドからの゚ラヌ出力

...
    docker: Status: Image is up to date for devopsil/puppet:latest
==> docker: Starting docker container...
    docker: Run command: docker run -v /tmp/packer-docker141026721:/packer-files -d -i -t devopsil/puppet /bin/bash
    docker: Container ID: 72e09e8c029a7321143cac4baf012525e1a816e35770a1cc216327005caf1912
==> docker: Uploading ./modules => /tmp/modules
==> docker: Killing the container: 72e09e8c029a7321143cac4baf012525e1a816e35770a1cc216327005caf1912
Build 'docker' errored: Upload failed with non-zero exit status: 1

==> Some builds didn't complete successfully and had errors:
--> docker: Upload failed with non-zero exit status: 1

==> Builds finished but no artifacts were created.

sudoersファむルでrequirettyをい぀でも無効にできたす。これにより、sudoが正垞に機胜するようになりたす。

@stefancocora必芁に応じお、OSX甚のパッチを䜿甚しおコンパむルしたした。ブランチを䜿甚しおPRを送信できたす。 今のずころ、誰かがここでそれらを望んでいるなら

@stefancocoraリポゞトリは、

@chiefyはPRに぀いお心配する必芁はありたせん。私のビルドがlinuxあり、 osxビルドが長く存圚する必芁がないこずを願っおいたす。 これがアップストリヌムのパッカヌコヌドですぐに修正されるこずを願っおいたす...

@stefancocora +1はい、同意したす。

+1

この問題も発生しおいたす。

$ packer version
Packer v0.7.5

$ docker version
Client version: 1.5.0
Client API version: 1.17
Go version (client): go1.4.1
Git commit (client): a8a31ef
OS/Arch (client): linux/amd64
Server version: 1.5.0
Server API version: 1.17
Go version (server): go1.4.1
Git commit (server): a8a31ef

+1メヌリングリストから

https://mail.google.com/mail/u/0/?shva=1#label/Hashicorp2Fpacker / 14c1113f7041d655

こんにちは、
この問題は未解決であり、提案されたパッチは機胜しおいるようですが、䟿宜䞊、ビルド枈みのlinux_x64バヌゞョンをここでbintrayにプッシュし

私は関連する問題に取り組んできたした https 

このパッチは最初の問題を解決したしたが、珟圚は実行がハングしたす

2015/03/17 13:17:47 packer-builder-docker2015/03/17131747リモヌトコマンドの終了コヌドが衚瀺されるのを埅っおいたす...

コンテナヌにアタッチしお、コマンドが実行され、終了コヌド0が終了ファむルに曞き蟌たれたこずを確認したしたが、ビルドが進行したせん。 Ubuntu14.04ずCentOS6のシェルプロビゞョナヌずchef-soloプロビゞョナヌの䞡方で同じ問題が発生しおいたす。

Chiefyのパッチが適甚されたバむナリを䜿甚したPackerバヌゞョン0.7.5
Docker-Virtualboxドラむバヌを䜿甚したマシンバヌゞョン0.1.0
ホストはOSX10.9.5を実行しおいたす

$ dockerバヌゞョン
クラむアントバヌゞョン1.5.0
クラむアントAPIバヌゞョン1.17
Goバヌゞョンクラむアントgo1.4.1
Gitコミットクラむアントa8a31ef
OS / Archクラむアントdarwin / amd64
サヌバヌバヌゞョン1.5.0
サヌバヌAPIバヌゞョン1.17
Goバヌゞョンサヌバヌgo1.4.1
Gitコミットサヌバヌa8a31ef

https://mail.google.com/mail/u/0/?shva=1#label/Hashicorp2Fpacker / 14c1113f7041d655

@kikitux参考Gmailの受信トレむにあるものぞのリンクです。 芋えたせん。

パッカヌ0.7.5ずドッカヌ1.5.0でもこの問題が発生したす

Boot2Docker-cli version: v1.5.0を䜿甚しおOSXで耇補するこずもできたす

パッカヌバヌゞョン

Packer v0.7.5

Dockerバヌゞョン

Client version: 1.5.0
Client API version: 1.17
Go version (client): go1.4.1
Git commit (client): a8a31ef
OS/Arch (client): darwin/amd64
Server version: 1.5.0
Server API version: 1.17
Go version (server): go1.4.1
Git commit (server): a8a31ef

@alkersanによっお提案されたパッチは、リモヌト

+1

+1

Docker1.6でも同じです

私は、 Docker1.6を䜿甚しお

Docker1.6を䜿甚しおFedora21のマスタヌに基づいお独自のバむナリをコンパむルしたずころ、packerが機胜したした。

リモヌトDockerホストを䜿甚しおいるずきはただハングしたすが、ロヌカルでは正垞に動䜜したす

ubuntutrustyずdocker1.6も倱敗したす

たた、䞡方に問題がありたす
OpenSUSE 13.1 x86_64 && OSX 10.10

ず

$ packer version
Packer v0.7.5

そしお

$ docker version
Client version: 1.6.0
Client API version: 1.18
Go version (client): go1.4.2
Git commit (client): 4749651
OS/Arch (client): linux/amd64
Server version: 1.6.0
Server API version: 1.18
Go version (server): go1.4.2
Git commit (server): 4749651
OS/Arch (server): linux/amd64

私はこれが機胜するdocker1.3.2にダりングレヌドするこずになりたしたOpenSUSEシステム䞊。
OSX10.10で1.3.2ず1.3.0を詊したしたがうたくいきたせんでした。

わかりたした。packerビルドシェルスクリプトをdockerで動䜜させるには、docker1.3.2にダりングレヌドする必芁があるかもしれないこずを理解しおいたす。 誰かがUbuntu信頌できるにdocker 1.3.2をむンストヌルする方法に぀いお指瀺を䞎えるこずができたすか、私は方法を芋぀けるこずができたせん。

わかった

sudo apt-get installlxc-docker-1.3.2

そしおそれは問題を修正したした。 以前は、最新バヌゞョンのDockerを䜿甚しおいたした。

Ubuntu14.04のdocker1.6.0でも倱敗するようです。
d3netxerが蚀ったように最初に䜕もアンむンストヌルせずに「sudoapt-get install lxc-docker-1.3.2」を実行するず、動䜜するようです。

@dietervds
この問題の修正で私が䜜成したバむナリを詊したしたか
https://github.com/stefancocora/packer-issue1752-fix

@mindscratchは、16日前に、私が䜜成したバむナリがdocker 1.6ずCentOS7

https://github.com/stefancocora/packer-issue1752-fixで修正されたした。

@stefancocora
https://github.com/stefancocora/packer-issue1752-SELinuxを蚱可モヌドに蚭定するず、Docker1.6.0を䜿甚するFedora21で修正が機胜したす。 たた、Docker1.5.0を搭茉したCentOS7、SELinuxからPermissive、およびDocker1.5.0を搭茉したUbuntu15.04でも動䜜したす。

これはシェルスクリプトのプロビゞョニングでのみ壊れおいたすか chef-soloプロビゞョナヌでも倱敗しおいるようですが、私はただdocker / chef / packerに慣れおいないので、問題は別の堎所にある可胜性がありたす。

バヌゞョン
Docker v1.5
パッカヌv0.7.5

テンプレヌト

{
  "builders": [
    {
      "type": "docker",
      "image": "ubuntu:14.04",
      "export_path": "{{pwd}}/utils.img"
    }
  ],
  "provisioners": [
    {
      "type": "chef-solo",
      "cookbook_paths": "{{pwd}}/cookbooks"
    }
  ]
}

chef-soloプロビゞョナヌはshellプロビゞョナヌに基づいおいるため、䞡方が壊れおいたす。 このバグがコアチヌムによっお泚目されないこずは非垞に悲しいこずです。 新補品の出荷は、既存の補品を維持するこずよりも重芁であるように思われたす。 :(

確かに。

@mitchellhさん、このバグが0.8リリヌスで修正される可胜性はありたすか

こんにちは、

このパッチが適甚されたバヌゞョンはい぀正匏にリリヌスされたすか それは私にも機胜したすhttps://github.com/stefancocora/packer-issue1752-fix

ありがずう

https://github.com/stefancocora/packer-issue1752-fixも私のために働いた。

+1

これは、docker + chefを実行したい人にずっおはかなり深刻なブロッカヌです。 ツヌルチェヌンの半分のように感じるパッチを適甚する必芁がある堎合、これをチヌムに掚奚するこずはできたせん。

Docker Builderを䜿甚するず、実際には倚くの芁玠に圱響を䞎えたす。
幞い、パッチは機胜したす。

5時57分PMの朚、2015幎5月21日には、マット・チュヌ[email protected]は曞きたした

+1

これは、docker + chefを実行したい人にずっおはかなり深刻なブロッカヌです。
パッチを適甚する必芁がある堎合、これをチヌムに掚奚するこずはできたせん。
ツヌルチェヌンの半分のように感じたす。

—
このメヌルに盎接返信するか、GitHubで衚瀺しおください
https://github.com/mitchellh/packer/issues/1752#issuecomment-104444469 。

@thmttchのように、
メンテナがすぐにそれをマヌゞできるようになるこずを願っおいたす圌らが別の解決策を考えおいるかもしれないず私に心配しおいないずいう事実

これにも出くわしたした。 回避策ずしおパッチを詊したす。 docker-machineずdocker1.6.2の䜿甚

修繕

ありがずう@mitchellh !!!! 私は、これは私の展開を砎ったためにDocerkfiles身震いの賛成でパッカヌを匕退しようずしおいたした。 あなたは私の絶え間ない英雄の䞀人であり続け、私の人生の䜕時間も節玄しおくれたす。

驚くばかり \ m /
ありがずう

2015幎5月29日20:56、ミッチェルハシモト[email protected]
曞きたした

クロヌズ1752https //github.com/mitchellh/packer/issues/1752。

—
このメヌルに盎接返信するか、GitHubで衚瀺しおください
https://github.com/mitchellh/packer/issues/1752#event-317473314 。

倚倧な助け、ありがずう

長い遅延をお詫び申し䞊げたすDockerのバグ修正が倚数含たれるPackerリリヌスがたもなくリリヌスされたす。

玠晎らしいニュヌス それを楜しみにしおいたす;

ありがずう これを楜しみにしおいたした

@mitchellhこの修正を含む次のリリヌスはい぀蚈画されおいたすか

@stefancocora暫定修正をありがずう

玠晎らしい人たち。 すごい仕事

@aidanjl問題ありたせん、 @ mariussturm修正に誰でも簡単にアクセスできるようにするために私ができるこずは

@mitchellh珟圚、AtlasでDockerむメヌゞをビルドできないため、この修正でAtlasが䜿甚しおいるパッカヌもアップグレヌドしおください。 アトラスを賌入できるので、今週の朚曜日にマネヌゞャヌにアトラスをデモするためにこれが必芁です。

珟圚、OSXでPacker0.8-devずDocker1.6.2を実行しおいたすが、ただこの問題が発生しおいたす。

==> docker: Provisioning with shell script: /var/folders/7z/3_4h7g_x55b_stn8nyd2w4mc0000gn/T/packer-shell921079459
2015/06/19 15:13:00 packer-provisioner-shell: 2015/06/19 15:13:00 [INFO] 92 bytes written for 'uploadData'
2015/06/19 15:13:00 [INFO] 92 bytes written for 'uploadData'
2015/06/19 15:13:00 packer-builder-docker: 2015/06/19 15:13:00 Executing in container b77320622ccd70b787bf85e0d88680db0a8a29ea4946aad7d18ceb7dc181362c: "(command cp /packer-files/upload556204673 /tmp/script_7943.sh) >/packer-files/cmd576371692 2>&1; echo $? >/packer-files/cmd576371692-exit"
2015/06/19 15:13:02 packer-builder-docker: 2015/06/19 15:13:02 Waiting for exit code to appear for remote command...

Docker 1.3.3にダりングレヌドしお、同じこずを詊したした。

Packer v0.8.0はタグ付けされ、昚日ダりンロヌドペヌゞにリリヌスされたした。これにより、実際にこれが修正されるはずです。 Packer 0.7.5を0.8.0にアップグレヌドした埌、Docker1.5.0で動䜜しおいたす。

Ubuntu 14.04 x64ホストでPacker v0.8.0ずdocker Client version: 1.6.2を怜蚌し、正しく動䜜しおいる。

私はただosxでこの問題を経隓しおいたす。 Packerバヌゞョン0.8.0、dockerバヌゞョン1.6.2および1.7.0。 Linuxディストリビュヌションにアクセスしお、運が良かったかどうかを確認したす。

@ lukeowen89ず同じ
ドラッグのようなものですが、珟時点ではただosxでパッカヌできたせん。

OSXでも壊れおしたいたした。 Packer 0.8.1、Docker 1.7.1

パッカヌデバッグログ

2015/07/15 23:42:08 [INFO] Packer version: 0.8.1  872e78d5b0a387eb3b87ddeef210264c3199d178+CHANGES
2015/07/15 23:42:08 Packer Target OS/Arch: darwin amd64
2015/07/15 23:42:08 Built with Go Version: go1.4.2
2015/07/15 23:42:08 [DEBUG] Discovered plugin: amazon-chroot = /usr/local/bin/packer-builder-amazon-chroot
2015/07/15 23:42:08 [DEBUG] Discovered plugin: amazon-ebs = /usr/local/bin/packer-builder-amazon-ebs
2015/07/15 23:42:08 [DEBUG] Discovered plugin: amazon-instance = /usr/local/bin/packer-builder-amazon-instance
2015/07/15 23:42:08 [DEBUG] Discovered plugin: digitalocean = /usr/local/bin/packer-builder-digitalocean
2015/07/15 23:42:08 [DEBUG] Discovered plugin: docker = /usr/local/bin/packer-builder-docker
2015/07/15 23:42:08 [DEBUG] Discovered plugin: file = /usr/local/bin/packer-builder-file
2015/07/15 23:42:08 [DEBUG] Discovered plugin: googlecompute = /usr/local/bin/packer-builder-googlecompute
2015/07/15 23:42:08 [DEBUG] Discovered plugin: null = /usr/local/bin/packer-builder-null
2015/07/15 23:42:08 [DEBUG] Discovered plugin: openstack = /usr/local/bin/packer-builder-openstack
2015/07/15 23:42:08 [DEBUG] Discovered plugin: parallels-iso = /usr/local/bin/packer-builder-parallels-iso
2015/07/15 23:42:08 [DEBUG] Discovered plugin: parallels-pvm = /usr/local/bin/packer-builder-parallels-pvm
2015/07/15 23:42:08 [DEBUG] Discovered plugin: qemu = /usr/local/bin/packer-builder-qemu
2015/07/15 23:42:08 [DEBUG] Discovered plugin: virtualbox-iso = /usr/local/bin/packer-builder-virtualbox-iso
2015/07/15 23:42:08 [DEBUG] Discovered plugin: virtualbox-ovf = /usr/local/bin/packer-builder-virtualbox-ovf
2015/07/15 23:42:08 [DEBUG] Discovered plugin: vmware-iso = /usr/local/bin/packer-builder-vmware-iso
2015/07/15 23:42:08 [DEBUG] Discovered plugin: vmware-vmx = /usr/local/bin/packer-builder-vmware-vmx
2015/07/15 23:42:08 [DEBUG] Discovered plugin: atlas = /usr/local/bin/packer-post-processor-atlas
2015/07/15 23:42:08 [DEBUG] Discovered plugin: compress = /usr/local/bin/packer-post-processor-compress
2015/07/15 23:42:08 [DEBUG] Discovered plugin: docker-import = /usr/local/bin/packer-post-processor-docker-import
2015/07/15 23:42:08 [DEBUG] Discovered plugin: docker-push = /usr/local/bin/packer-post-processor-docker-push
2015/07/15 23:42:08 [DEBUG] Discovered plugin: docker-save = /usr/local/bin/packer-post-processor-docker-save
2015/07/15 23:42:08 [DEBUG] Discovered plugin: docker-tag = /usr/local/bin/packer-post-processor-docker-tag
2015/07/15 23:42:08 [DEBUG] Discovered plugin: vagrant = /usr/local/bin/packer-post-processor-vagrant
2015/07/15 23:42:08 [DEBUG] Discovered plugin: vagrant-cloud = /usr/local/bin/packer-post-processor-vagrant-cloud
2015/07/15 23:42:08 [DEBUG] Discovered plugin: vsphere = /usr/local/bin/packer-post-processor-vsphere
2015/07/15 23:42:08 [DEBUG] Discovered plugin: ansible-local = /usr/local/bin/packer-provisioner-ansible-local
2015/07/15 23:42:08 [DEBUG] Discovered plugin: chef-client = /usr/local/bin/packer-provisioner-chef-client
2015/07/15 23:42:08 [DEBUG] Discovered plugin: chef-solo = /usr/local/bin/packer-provisioner-chef-solo
2015/07/15 23:42:08 [DEBUG] Discovered plugin: file = /usr/local/bin/packer-provisioner-file
2015/07/15 23:42:08 [DEBUG] Discovered plugin: powershell = /usr/local/bin/packer-provisioner-powershell
2015/07/15 23:42:08 [DEBUG] Discovered plugin: puppet-masterless = /usr/local/bin/packer-provisioner-puppet-masterless
2015/07/15 23:42:08 [DEBUG] Discovered plugin: puppet-server = /usr/local/bin/packer-provisioner-puppet-server
2015/07/15 23:42:08 [DEBUG] Discovered plugin: salt-masterless = /usr/local/bin/packer-provisioner-salt-masterless
2015/07/15 23:42:08 [DEBUG] Discovered plugin: shell = /usr/local/bin/packer-provisioner-shell
2015/07/15 23:42:08 [DEBUG] Discovered plugin: shell-local = /usr/local/bin/packer-provisioner-shell-local
2015/07/15 23:42:08 [DEBUG] Discovered plugin: windows-restart = /usr/local/bin/packer-provisioner-windows-restart
2015/07/15 23:42:08 [DEBUG] Discovered plugin: windows-shell = /usr/local/bin/packer-provisioner-windows-shell
2015/07/15 23:42:08 Detected home directory from env var: /Users/bob
2015/07/15 23:42:08 Detected home directory from env var: /Users/bob
2015/07/15 23:42:08 Attempting to open config file: /Users/bob/.packerconfig
2015/07/15 23:42:08 [WARN] Config file doesn't exist: /Users/bob/.packerconfig
2015/07/15 23:42:08 Packer config: &{DisableCheckpoint:false DisableCheckpointSignature:false PluginMinPort:10000 PluginMaxPort:25000 Builders:map[digitalocean:/usr/local/bin/packer-builder-digitalocean googlecompute:/usr/local/bin/packer-builder-googlecompute virtualbox-ovf:/usr/local/bin/packer-builder-virtualbox-ovf amazon-instance:/usr/local/bin/packer-builder-amazon-instance vmware-vmx:/usr/local/bin/packer-builder-vmware-vmx amazon-chroot:/usr/local/bin/packer-builder-amazon-chroot null:/usr/local/bin/packer-builder-null vmware-iso:/usr/local/bin/packer-builder-vmware-iso openstack:/usr/local/bin/packer-builder-openstack parallels-iso:/usr/local/bin/packer-builder-parallels-iso parallels-pvm:/usr/local/bin/packer-builder-parallels-pvm qemu:/usr/local/bin/packer-builder-qemu virtualbox-iso:/usr/local/bin/packer-builder-virtualbox-iso amazon-ebs:/usr/local/bin/packer-builder-amazon-ebs docker:/usr/local/bin/packer-builder-docker file:/usr/local/bin/packer-builder-file] PostProcessors:map[atlas:/usr/local/bin/packer-post-processor-atlas docker-tag:/usr/local/bin/packer-post-processor-docker-tag vagrant-cloud:/usr/local/bin/packer-post-processor-vagrant-cloud vsphere:/usr/local/bin/packer-post-processor-vsphere compress:/usr/local/bin/packer-post-processor-compress docker-import:/usr/local/bin/packer-post-processor-docker-import docker-push:/usr/local/bin/packer-post-processor-docker-push docker-save:/usr/local/bin/packer-post-processor-docker-save vagrant:/usr/local/bin/packer-post-processor-vagrant] Provisioners:map[shell-local:/usr/local/bin/packer-provisioner-shell-local windows-shell:/usr/local/bin/packer-provisioner-windows-shell ansible-local:/usr/local/bin/packer-provisioner-ansible-local chef-client:/usr/local/bin/packer-provisioner-chef-client file:/usr/local/bin/packer-provisioner-file salt-masterless:/usr/local/bin/packer-provisioner-salt-masterless shell:/usr/local/bin/packer-provisioner-shell chef-solo:/usr/local/bin/packer-provisioner-chef-solo powershell:/usr/local/bin/packer-provisioner-powershell puppet-masterless:/usr/local/bin/packer-provisioner-puppet-masterless puppet-server:/usr/local/bin/packer-provisioner-puppet-server windows-restart:/usr/local/bin/packer-provisioner-windows-restart]}
2015/07/15 23:42:08 Setting cache directory: /Users/bob/Projects/garbanzo/packer_cache
2015/07/15 23:42:08 Detected home directory from env var: /Users/bob
2015/07/15 23:42:08 Loading builder: docker
2015/07/15 23:42:08 Creating plugin client for path: /usr/local/bin/packer-builder-docker
2015/07/15 23:42:08 Starting plugin: /usr/local/bin/packer-builder-docker []string{"/usr/local/bin/packer-builder-docker"}
2015/07/15 23:42:08 Waiting for RPC address for: /usr/local/bin/packer-builder-docker
2015/07/15 23:42:08 packer-builder-docker: 2015/07/15 23:42:08 Plugin minimum port: 10000
2015/07/15 23:42:08 packer-builder-docker: 2015/07/15 23:42:08 Plugin maximum port: 25000
2015/07/15 23:42:08 packer-builder-docker: 2015/07/15 23:42:08 Plugin address: unix /var/folders/4j/hd7wss1n4xzc8xn224xsyls80000gn/T/packer-plugin389384987
2015/07/15 23:42:08 packer-builder-docker: 2015/07/15 23:42:08 Waiting for connection...
2015/07/15 23:42:08 packer-builder-docker: 2015/07/15 23:42:08 Serving a plugin connection...
2015/07/15 23:42:08 Loading provisioner: shell
2015/07/15 23:42:08 Creating plugin client for path: /usr/local/bin/packer-provisioner-shell
2015/07/15 23:42:08 Starting plugin: /usr/local/bin/packer-provisioner-shell []string{"/usr/local/bin/packer-provisioner-shell"}
2015/07/15 23:42:08 Waiting for RPC address for: /usr/local/bin/packer-provisioner-shell
2015/07/15 23:42:08 packer-provisioner-shell: 2015/07/15 23:42:08 Plugin minimum port: 10000
2015/07/15 23:42:08 packer-provisioner-shell: 2015/07/15 23:42:08 Plugin maximum port: 25000
2015/07/15 23:42:08 packer-provisioner-shell: 2015/07/15 23:42:08 Plugin address: unix /var/folders/4j/hd7wss1n4xzc8xn224xsyls80000gn/T/packer-plugin592962254
2015/07/15 23:42:08 packer-provisioner-shell: 2015/07/15 23:42:08 Waiting for connection...
2015/07/15 23:42:08 packer-provisioner-shell: 2015/07/15 23:42:08 Serving a plugin connection...
2015/07/15 23:42:08 Loading post-processor: docker-tag
2015/07/15 23:42:08 Creating plugin client for path: /usr/local/bin/packer-post-processor-docker-tag
2015/07/15 23:42:08 Starting plugin: /usr/local/bin/packer-post-processor-docker-tag []string{"/usr/local/bin/packer-post-processor-docker-tag"}
2015/07/15 23:42:08 Waiting for RPC address for: /usr/local/bin/packer-post-processor-docker-tag
2015/07/15 23:42:08 packer-post-processor-docker-tag: 2015/07/15 23:42:08 Plugin minimum port: 10000
2015/07/15 23:42:08 packer-post-processor-docker-tag: 2015/07/15 23:42:08 Plugin maximum port: 25000
2015/07/15 23:42:08 packer-post-processor-docker-tag: 2015/07/15 23:42:08 Plugin address: unix /var/folders/4j/hd7wss1n4xzc8xn224xsyls80000gn/T/packer-plugin099680253
2015/07/15 23:42:08 packer-post-processor-docker-tag: 2015/07/15 23:42:08 Waiting for connection...
2015/07/15 23:42:08 packer-post-processor-docker-tag: 2015/07/15 23:42:08 Serving a plugin connection...
2015/07/15 23:42:08 ui: docker output will be in this color.
2015/07/15 23:42:08 ui: 
2015/07/15 23:42:08 Build debug mode: false
2015/07/15 23:42:08 Force build: false
2015/07/15 23:42:08 Preparing build: docker
docker output will be in this color.

2015/07/15 23:42:08 Waiting on builds to complete...
2015/07/15 23:42:08 Starting build run: docker
2015/07/15 23:42:08 Running builder: docker
2015/07/15 23:42:08 packer-builder-docker: 2015/07/15 23:42:08 [DEBUG] Docker version: 1.7.1
2015/07/15 23:42:08 ui: ==> docker: Creating a temporary directory for sharing data...
==> docker: Creating a temporary directory for sharing data...
2015/07/15 23:42:08 ui: ==> docker: Pulling Docker image: gliderlabs/herokuish
==> docker: Pulling Docker image: gliderlabs/herokuish
2015/07/15 23:42:08 packer-builder-docker: 2015/07/15 23:42:08 Executing: /usr/local/bin/docker [pull gliderlabs/herokuish]
2015/07/15 23:42:11 ui:     docker: latest: Pulling from gliderlabs/herokuish
    docker: latest: Pulling from gliderlabs/herokuish
2015/07/15 23:42:11 ui:     docker: 835c565d00e2: Already exists
    docker: 835c565d00e2: Already exists
2015/07/15 23:42:11 ui:     docker: c5c659229e15: Already exists
    docker: c5c659229e15: Already exists
2015/07/15 23:42:11 ui:     docker: 9a8403cd4d99: Already exists
    docker: 9a8403cd4d99: Already exists
2015/07/15 23:42:11 ui:     docker: 89fc314a0a6e: Already exists
    docker: 89fc314a0a6e: Already exists
2015/07/15 23:42:11 ui:     docker: d257698c42c5: Already exists
    docker: d257698c42c5: Already exists
2015/07/15 23:42:11 ui:     docker: c6c6baedb602: Already exists
    docker: c6c6baedb602: Already exists
2015/07/15 23:42:11 ui:     docker: c6c6baedb602: Already exists
    docker: c6c6baedb602: Already exists
2015/07/15 23:42:11 ui:     docker: Digest: sha256:4b08475f91eaccceb40fcbb5e0c43a992257b1bdedbf86f2777f458da9a0e2cd
2015/07/15 23:42:11 ui:     docker: Status: Image is up to date for gliderlabs/herokuish:latest
    docker: Digest: sha256:4b08475f91eaccceb40fcbb5e0c43a992257b1bdedbf86f2777f458da9a0e2cd
    docker: Status: Image is up to date for gliderlabs/herokuish:latest
2015/07/15 23:42:11 ui: ==> docker: Starting docker container...
==> docker: Starting docker container...
2015/07/15 23:42:11 ui:     docker: Run command: docker run -v /Users/bob/Projects/garbanzo:/tmp/app -v /var/folders/4j/hd7wss1n4xzc8xn224xsyls80000gn/T/packer-docker638187454:/packer-files -d -i -t gliderlabs/herokuish /bin/bash
2015/07/15 23:42:11 packer-builder-docker: 2015/07/15 23:42:11 Starting container with args: [run -v /Users/bob/Projects/garbanzo:/tmp/app -v /var/folders/4j/hd7wss1n4xzc8xn224xsyls80000gn/T/packer-docker638187454:/packer-files -d -i -t gliderlabs/herokuish /bin/bash]
    docker: Run command: docker run -v /Users/bob/Projects/garbanzo:/tmp/app -v /var/folders/4j/hd7wss1n4xzc8xn224xsyls80000gn/T/packer-docker638187454:/packer-files -d -i -t gliderlabs/herokuish /bin/bash
2015/07/15 23:42:11 packer-builder-docker: 2015/07/15 23:42:11 Waiting for container to finish starting
2015/07/15 23:42:11 ui:     docker: Container ID: cc6a7056923234a1264718283c1a58a1c49796d64458cefe84e5ee4941c4bf16
    docker: Container ID: cc6a7056923234a1264718283c1a58a1c49796d64458cefe84e5ee4941c4bf16
2015/07/15 23:42:11 packer-builder-docker: 2015/07/15 23:42:11 Running the provision hook
2015/07/15 23:42:11 ui: ==> docker: Provisioning with shell script: /var/folders/4j/hd7wss1n4xzc8xn224xsyls80000gn/T/packer-shell845253589
2015/07/15 23:42:11 packer-provisioner-shell: 2015/07/15 23:42:11 Opening /var/folders/4j/hd7wss1n4xzc8xn224xsyls80000gn/T/packer-shell845253589 for reading
==> docker: Provisioning with shell script: /var/folders/4j/hd7wss1n4xzc8xn224xsyls80000gn/T/packer-shell845253589
2015/07/15 23:42:11 packer-provisioner-shell: 2015/07/15 23:42:11 [INFO] 44 bytes written for 'uploadData'
2015/07/15 23:42:11 [INFO] 44 bytes written for 'uploadData'
2015/07/15 23:42:11 packer-builder-docker: 2015/07/15 23:42:11 Executing in container cc6a7056923234a1264718283c1a58a1c49796d64458cefe84e5ee4941c4bf16: "(command cp /packer-files/upload803520517 /tmp/script_7943.sh) >/packer-files/cmd416685472 2>&1; echo $? >/packer-files/cmd416685472-exit"
2015/07/15 23:42:13 packer-builder-docker: 2015/07/15 23:42:13 Waiting for exit code to appear for remote command...
^C
2015/07/15 23:50:00 Closing stdin because interrupt received.
2015/07/15 23:50:00 Stopping build: docker
2015/07/15 23:50:00 packer-post-processor-docker-tag: 2015/07/15 23:50:00 Received interrupt signal (count: 1). Ignoring.
2015/07/15 23:50:00 packer-provisioner-shell: 2015/07/15 23:50:00 Received interrupt signal (count: 1). Ignoring.
2015/07/15 23:50:00 packer-builder-docker: 2015/07/15 23:50:00 Received interrupt signal (count: 1). Ignoring.
2015/07/15 23:50:00 packer-builder-docker: 2015/07/15 23:50:00 Cancelling the step runner...
2015/07/15 23:50:01 packer-builder-docker: 2015/07/15 23:50:01 Cancelling provisioning due to interrupt...
2015/07/15 23:50:01 Provisioner.Cancel err: unexpected EOF
2015/07/15 23:50:01 /usr/local/bin/packer-provisioner-shell: plugin process exited
2015/07/15 23:50:01 ui: ==> docker: Killing the container: cc6a7056923234a1264718283c1a58a1c49796d64458cefe84e5ee4941c4bf16
==> docker: Killing the container: cc6a7056923234a1264718283c1a58a1c49796d64458cefe84e5ee4941c4bf16
2015/07/15 23:50:01 Build cancelled: docker
2015/07/15 23:50:01 ui: Build 'docker' finished.
2015/07/15 23:50:01 Builds completed. Waiting on interrupt barrier...
2015/07/15 23:50:01 ui: Cleanly cancelled builds after being interrupted.
2015/07/15 23:50:01 waiting for all plugin processes to complete...
Build 'docker' finished.
Cleanly cancelled builds after being interrupted.
2015/07/15 23:50:01 /usr/local/bin/packer-post-processor-docker-tag: plugin process exited
2015/07/15 23:50:01 /usr/local/bin/packer-builder-docker: plugin process exited

私がそれを殺す前にコンテナを突いた

$ ls /packer-files
cmd416685472       cmd416685472-exit
$ cat /packer-files/cmd416685472
cp: cannot stat '/packer-files/upload803520517': No such file or directory

同䞊、Packer0.8.5およびDocker1.8.1を䜿甚するOSXでこの問題が発生しおいたす。

@Decipher私はここでこれに関する新しい問題を開きたした2675

これは、Docker1.12.1ずpacker0.10.2ではただ問題です。

Docker1.12.1ずPacker0.11.0を䜿甚しお同じ問題が発生しおいるこずを確認したした。

私にずっおこれは、packerがdocker内で実行されおいお、新しいdockerをプロビゞョニングしようずしおいるずきにのみ発生したす。 倚分これはそれを間違っおいるのですか

このペヌゞは圹に立ちたしたか
0 / 5 - 0 評䟡

関連する問題

Nikoos picture Nikoos  Â·  3コメント

Tensho picture Tensho  Â·  3コメント

frezbo picture frezbo  Â·  3コメント

mwhooker picture mwhooker  Â·  3コメント

sourav82 picture sourav82  Â·  3コメント