Libelektra: テストは特定の環境（debianパッケージ）で奇妙に動作します

別途ご報告いただきありがとうございます！

副作用としてhttps://build.libelektra.org/jenkins/job/elektra-git-buildpackage-jessie/は昨日から再び機能しているようです...

GPGは、クリアされた環境に問題があるようです。 GNUPGHOME変数を/tmpます。 GPGは、キーチェーンを検索するためにこのディレクトリ（デフォルトは~/.gnupg/ ）に依存しています。 gpg-agent情報もこのディレクトリに保存されていると思います。 すべてのテストで同じディレクトリに設定すると、テストの実行ごとに複数のgpg-agents生成されるというエラーも修正される可能性があります（＃1928を参照）。

はい、失敗したクリプトスポリジウムテストケースは＃1928に関連しているとも思いました。 gpgはTMPDIRの下で.gnupgを使用しているようです。 （少なくとも、 TMPDIR=`pwd`/x ctest --output-on-failure -R fcrypt実行した後に.gnupgが残っているのがわかります）。

失敗したfcryptテストケースは、TMPDIRにも関連する一時ファイルの処理にバグを示している可能性があります。

gpgはTMPDIRの下で.gnupgを使用しているようです

これは間違った仮定です。 gpgはデフォルトとして〜/ .gnupgを使用するため、TMPDIRではなくHOMEに関連しています。

また、すべてのテストでGNUPGHOMEを同じディレクトリに設定すると、並列テストの実行に影響を与える可能性があることに注意してください。

これは間違った仮定です

どのような仮定を意味しますか？ 私は、TMPDIR内に.gnupgフォルダーを取得することだけを言及していました。

mkdir x && env TMPDIR=`pwd`/x ctest --output-on-failure -R fcrypt; find x
Test project /home/markus/Projekte/Elektra/build
    Start 64: testmod_fcrypt
1/1 Test #64: testmod_fcrypt ...................***Failed    0.02 sec
FCRYPT       TESTS
==================

/home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:187: error in test_file_crypto_operations: kdb set failed
/home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:188: error in test_file_crypto_operations: file content did not change during encryption
/home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:191: error in test_file_crypto_operations: kdb get (pregetstorage) failed
/home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:195: error in test_file_crypto_operations: kdb get (postgetstorage) failed
/home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:196: error in test_file_crypto_operations: postgetstorage did not encrypt the file again
/home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:231: error in test_file_signature_operations: kdb set failed
/home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:232: error in test_file_signature_operations: file content did not change during encryption
/home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:235: error in test_file_signature_operations: kdb get failed

fcrypt Results: 39 Tests done — 8 errors.


0% tests passed, 1 tests failed out of 1

Total Test time (real) =   0.03 sec

The following tests FAILED:
         64 - testmod_fcrypt (Failed)
Errors while running CTest
x
x/elektra-test.qPoz5P
x/elektra-test.qPoz5P/.gnupg
x/elektra-test.qPoz5P/.gnupg/random_seed
x/elektra-test.qPoz5P/.gnupg/trustdb.gpg
x/elektra-test.qPoz5P/.gnupg/pubring.kbx~
x/elektra-test.qPoz5P/.gnupg/pubring.kbx

これは、tests（ctest？）の何かが、各テストスイートのホームディレクトリをTMPDIRのtmpdirに設定するためです。
GPGはHOMEにファイルを作成しますが、HOMEはテストスイートによってTMPDIR / randomdir /に設定されます。
したがって、私のポイントは、それがtmpdirの唯一の障害ではなく、デバッグ作業をそれに限定すべきではないということです。

テストごとに別々のホームディレクトリを用意して、相互に影響を与えないようにする（並列化）ことをお勧めします。したがって、gpgディレクトリをオーバーライドして単一のディレクトリを共有することは良い考えではないと思います。

はい私は同意する。

＃1977は意味がありますか？ それとも、 ctestが完全に終了した後に実行する必要がありますか？

または別の質問：gpg-agentは単一のテストスイートの実行に耐えますか、それともすべてのテストスイートに対して再生成されますか？

@ markus2330 ＃2040で述べたように。 Dockerイメージの構築に関する指示に従いました。 私が実行したDockerコンテナ内：

# cmake -DBUILD_DOCUMENTATION=OFF -DCMAKE_C_COMPILER=clang -DCMAKE_CXX_COMPILER=clang++ ..
# make -j16
# mkdir x
# TMPDIR=`pwd`/x ctest -R crypt .
Test project /elektra/build
    Start 46: testmod_crypto_openssl
1/3 Test #46: testmod_crypto_openssl ...........   Passed    1.32 sec
    Start 47: testmod_crypto_gcrypt
2/3 Test #47: testmod_crypto_gcrypt ............   Passed    1.16 sec
    Start 48: testmod_crypto_botan
3/3 Test #48: testmod_crypto_botan .............   Passed    1.52 sec

100% tests passed, 0 tests failed out of 3

Label Time Summary:
memleak    =   1.16 sec (1 test)

Total Test time (real) =   4.01 sec

したがって、問題（の一部）は、テストケースがTMPDIRが存在すると想定していることです。 また、テストを実行する前に常にディレクトリを作成していたため、再現できませんでした：smile：

しかし、私にとっては、xが存在する場合でもfcryptは失敗します（fcryptを実行していません）。 しかし、他のメッセージとともに：

64: FCRYPT       TESTS
64: ==================
64: 
64: /home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:187: error in test_file_crypto_operations: kdb set failed
64: /home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:188: error in test_file_crypto_operations: file content did not change during encryption
64: /home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:191: error in test_file_crypto_operations: kdb get (pregetstorage) failed
64: /home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:195: error in test_file_crypto_operations: kdb get (postgetstorage) failed
64: /home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:196: error in test_file_crypto_operations: postgetstorage did not encrypt the file again
64: /home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:231: error in test_file_signature_operations: kdb set failed
64: /home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:232: error in test_file_signature_operations: file content did not change during encryption
64: /home/markus/Projekte/Elektra/current/src/plugins/fcrypt/testmod_fcrypt.c:235: error in test_file_signature_operations: kdb get failed
64: 
64: fcrypt Results: 39 Tests done — 8 errors.
1/1 Test #64: testmod_fcrypt ...................***Failed    0.02 sec

しかし、それは私のコンテナで機能します（私はその行を削除するのを長い間待っていました：笑い：）...

jenkins<strong i="6">@924c627f07b8</strong>:/elektra/build$ ctest --output-on-failure -R fcrypt
Test project /elektra/build
    Start 59: testmod_fcrypt
1/1 Test #59: testmod_fcrypt ...................   Passed    1.07 sec

100% tests passed, 0 tests failed out of 1

Total Test time (real) =   1.08 sec
jenkins<strong i="7">@924c627f07b8</strong>:/elektra/build$ TMPDIR=`pwd`/x ctest --output-on-failure -R fcrypt
Test project /elektra/build
    Start 59: testmod_fcrypt
1/1 Test #59: testmod_fcrypt ...................***Failed    0.01 sec
FCRYPT       TESTS
==================

/elektra/tests/cframework/tests.c:80: error in init: mkdtemp failed
/elektra/tests/cframework/tests.c:90: error in init: mkstemp failed
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:159: error in test_gpg: failed to install the GPG test key
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:71: error in writeTestFile: can not write to temporary file
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:187: error in test_file_crypto_operations: kdb set failed
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:99: error in isTestFileCorrect: can not read from temporary file
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:191: error in test_file_crypto_operations: kdb get (pregetstorage) failed
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:99: error in isTestFileCorrect: can not read from temporary file
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:192: error in test_file_crypto_operations: file content could not be restored during decryption
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:195: error in test_file_crypto_operations: kdb get (postgetstorage) failed
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:99: error in isTestFileCorrect: can not read from temporary file
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:71: error in writeTestFile: can not write to temporary file
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:231: error in test_file_signature_operations: kdb set failed
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:99: error in isTestFileCorrect: can not read from temporary file
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:235: error in test_file_signature_operations: kdb get failed
/elektra/src/plugins/fcrypt/testmod_fcrypt.c:80: error in writeFaultySignatureFile: can not write to temporary file

fcrypt Results: 32 Tests done — 16 errors.


0% tests passed, 1 tests failed out of 1

Total Test time (real) =   0.02 sec

The following tests FAILED:
        59 - testmod_fcrypt (Failed)
Errors while running CTest
jenkins<strong i="8">@924c627f07b8</strong>:/elektra/build$ mkdir x
jenkins<strong i="9">@924c627f07b8</strong>:/elektra/build$ TMPDIR=`pwd`/x ctest --output-on-failure -R fcrypt
Test project /elektra/build
    Start 59: testmod_fcrypt
1/1 Test #59: testmod_fcrypt ...................   Passed    1.06 sec

100% tests passed, 0 tests failed out of 1

Total Test time (real) =   1.07 sec
jenkins<strong i="10">@924c627f07b8</strong>:/elektra/build$

さらに興味深いもの：

• mkdtempが失敗するのはなぜですか？
• clean_temp_homeは、gnupgのものをクリーンアップするためにすでに作成されているようです。 なぜ機能しないのですか？
  
  
  
  • 名前が変わったようです
  
  
• TMPDIRのディレクトリが存在する場合でも、fcryptが失敗します（他のテストは合格です）
  
  
  
  • TMPDIRfcryptパスを指定しない場合
  
  

さて... tests.cの警告を確認すると、すべてがはるかに明確になります...

私はそれのためにPRを準備していますが、それはいくつかの問題を解決するはずです。

fcryptのどこかにハードパスが指定されていて、テストが失敗する可能性があるかどうかを誰かが知ることができれば、それは素晴らしいことです。

Ìn＃2056生成されたTMPDIRを適切にクリーンアップします。 これにより、長引くgpg-agentの問題が解決されます。
また、mkdtempをアクティブ化しない新しいバージョンのglibcの問題も修正されています。

ただし、TMPDIRを手動で設定するとすぐに、fcryptテストは失敗します。コードのどこかに、実際のバグがある可能性があると思います。

jenkins<strong i="8">@0585a86e6f5f</strong>:~/workspace/build$ pidof gpg-agent
jenkins<strong i="9">@0585a86e6f5f</strong>:~/workspace/build$ TMPDIR=`pwd`/tmp ctest --output-on-failure -R crypt
Test project /home/jenkins/workspace/build
    Start 51: testmod_crypto_openssl
1/4 Test #51: testmod_crypto_openssl ...........   Passed    1.58 sec
    Start 52: testmod_crypto_gcrypt
2/4 Test #52: testmod_crypto_gcrypt ............   Passed    1.34 sec
    Start 53: testmod_crypto_botan
3/4 Test #53: testmod_crypto_botan .............   Passed    1.83 sec
    Start 64: testmod_fcrypt
4/4 Test #64: testmod_fcrypt ...................***Failed    1.17 sec
FCRYPT       TESTS
==================

/home/jenkins/workspace/src/plugins/fcrypt/testmod_fcrypt.c:187: error in test_file_crypto_operations: kdb set failed
/home/jenkins/workspace/src/plugins/fcrypt/testmod_fcrypt.c:188: error in test_file_crypto_operations: file content did not change during encryption
/home/jenkins/workspace/src/plugins/fcrypt/testmod_fcrypt.c:191: error in test_file_crypto_operations: kdb get (pregetstorage) failed
/home/jenkins/workspace/src/plugins/fcrypt/testmod_fcrypt.c:195: error in test_file_crypto_operations: kdb get (postgetstorage) failed
/home/jenkins/workspace/src/plugins/fcrypt/testmod_fcrypt.c:196: error in test_file_crypto_operations: postgetstorage did not encrypt the file again
/home/jenkins/workspace/src/plugins/fcrypt/testmod_fcrypt.c:231: error in test_file_signature_operations: kdb set failed
/home/jenkins/workspace/src/plugins/fcrypt/testmod_fcrypt.c:232: error in test_file_signature_operations: file content did not change during encryption
/home/jenkins/workspace/src/plugins/fcrypt/testmod_fcrypt.c:235: error in test_file_signature_operations: kdb get failed

fcrypt Results: 39 Tests done — 8 errors.


75% tests passed, 1 tests failed out of 4

Label Time Summary:
memleak    =   1.34 sec (1 test)

Total Test time (real) =   5.98 sec

The following tests FAILED:
     64 - testmod_fcrypt (Failed)
Errors while running CTest
jenkins<strong i="10">@0585a86e6f5f</strong>:~/workspace/build$ pidof gpg-agent
jenkins<strong i="11">@0585a86e6f5f</strong>:~/workspace/build$ ls -l tmp
total 0

ただし、TMPDIRを手動で設定するとすぐに、fcryptテストは失敗します。コードのどこかに、実際のバグがある可能性があると思います。

あなたが正しいです！

getTemporaryFileNameでfcrypt.c環境をチェックしません。 したがって、プラグイン構成でtmpdirが指定されていない場合、デフォルトのフォールバックとして/tmpが使用されます。

正しい優先順位は次のようになると思います。

1. プラグイン設定
2. 環境$TMPDIR
3. デフォルトのフォールバック/tmp

同意しますか？

ISO / IEC 9945（POSIX）：リストTMPDIR、TMP、TEMP、TEMPDIRで最初に見つかった環境変数によって提供されるパス。 これらのいずれも見つからない場合は、「/ tmp」。

とにかくmkdtemp（POSIX 2008）を使用しているので、おそらくそれも使用して、いくつかのコードを取り除くことができます。

情報ありがとうございます！ ＃2090で提案された修正により、ビルドサーバーでのfcryptテストの問題が修正されることを確認できましたか？

TMPDIR = dir / that / exits ctest -R fcryptを使用してシステムで機能する場合は、ビルドサーバーでも機能するはずです。

この問題は今すぐ修正する必要があります。

私は同意します

テストにはまだある種の奇妙な点があるようです。 ハイパースレッディングを行わなくなったため、マスターのビルドをいくつか実行して、主にエグゼキューターと並列設定を微調整します。 そして、あるケースでは、同じ「キーをインストールできませんでした」という問題でテストが突然失敗しました。
https://build.libelektra.org/jenkins/blue/organizations/jenkins/libelektra/detail/master/122/pipeline/410

ここに山積みして申し訳ありませんが、私もfailed to install the GPG test keyエラーに遭遇しました。 私はvagrantartful32 vmを使用しており、これらのエラーを一貫して再現できます（マスターブランチ）。

 55/198 Test  #55: testmod_crypto_gcrypt ....................***Failed    0.60 sec
CYPTO        TESTS
==================

/home/jenkins/workspace/elektra-master-full-artful32/src/plugins/crypto/test_internals.h:273: error in test_gpg: failed to install the GPG test key

crypto_gcrypt Results: 65 Tests done — 1 error.

 66/198 Test  #66: testmod_fcrypt ...........................***Failed    0.03 sec
FCRYPT       TESTS
==================

/home/jenkins/workspace/elektra-master-full-artful32/src/plugins/fcrypt/testmod_fcrypt.c:160: error in test_gpg: failed to install the GPG test key
/home/jenkins/workspace/elektra-master-full-artful32/src/plugins/fcrypt/testmod_fcrypt.c:188: error in test_file_crypto_operations: kdb set failed
/home/jenkins/workspace/elektra-master-full-artful32/src/plugins/fcrypt/testmod_fcrypt.c:189: error in test_file_crypto_operations: file content did not change during encryption
/home/jenkins/workspace/elektra-master-full-artful32/src/plugins/fcrypt/testmod_fcrypt.c:192: error in test_file_crypto_operations: kdb get (pregetstorage) failed
/home/jenkins/workspace/elektra-master-full-artful32/src/plugins/fcrypt/testmod_fcrypt.c:196: error in test_file_crypto_operations: kdb get (postgetstorage) failed
/home/jenkins/workspace/elektra-master-full-artful32/src/plugins/fcrypt/testmod_fcrypt.c:197: error in test_file_crypto_operations: postgetstorage did not encrypt the file again
/home/jenkins/workspace/elektra-master-full-artful32/src/plugins/fcrypt/testmod_fcrypt.c:232: error in test_file_signature_operations: kdb set failed
/home/jenkins/workspace/elektra-master-full-artful32/src/plugins/fcrypt/testmod_fcrypt.c:233: error in test_file_signature_operations: file content did not change during encryption
/home/jenkins/workspace/elektra-master-full-artful32/src/plugins/fcrypt/testmod_fcrypt.c:236: error in test_file_signature_operations: kdb get failed

fcrypt Results: 39 Tests done — 9 errors.

エラーの再現に役立つ場合は、PRを介してvagrantfileを提供できます。

報告ありがとうございます！ TMPDIRとHOMEを教えてください。 env -i再現してみてください。

@ petermax2それを見る時間はありますか？

上記のエラーの場合：
TMPDIR：空
ホーム： /home/jenkins/workspace/elektra-master-full-artful32/user

env -i 、もう1つのテストが失敗します。

 54/198 Test  #54: testmod_crypto_openssl ...................***Failed    0.31 sec
CYPTO        TESTS
==================

/home/jenkins/workspace/elektra-master-full-artful32/src/plugins/crypto/test_internals.h:273: error in test_gpg: failed to install the GPG test key

crypto_openssl Results: 65 Tests done — 1 error.

これが偶然かどうかはわかりませんが、このテストが失敗したのはこれが初めてでした。

週末に調査できます。 @mpranjvagrantファイルを送って

@ petermax2 Vagrantfileと再現手順は＃2211にあります。 これが問題のデバッグをより簡単にするのに役立つことを願っています。 多分それは本当にただのENVの問題です。

$HOMEDIRはテストケースの実行後に削除されないため、 gpg-agentは実行を続け、問題が発生します。 GNUPGHOMEが別のディレクトリに設定されている場合、テストケースは再び成功します。

編集： $HOMEDIRは適切に削除されていますが、 gpgagentは期待どおりに終了しません。

v2の編集：

vagrant@ubuntu-artful:~/libelektra/build$ gpg --list-key
gpg: directory '/home/vagrant/.gnupg' created
gpg: new configuration file '/home/vagrant/.gnupg/dirmngr.conf' created
gpg: new configuration file '/home/vagrant/.gnupg/gpg.conf' created
gpg: keybox '/home/vagrant/.gnupg/pubring.kbx' created
gpg: /home/vagrant/.gnupg/trustdb.gpg: trustdb created
vagrant@ubuntu-artful:~/libelektra/build$ pgrep agent
3630
vagrant@ubuntu-artful:~/libelektra/build$ rm -rf /home/vagrant/.gnupg
vagrant@ubuntu-artful:~/libelektra/build$ pgrep agent
3630
vagrant@ubuntu-artful:~/libelektra/build$

調査ありがとうございます！

どのバージョンのenvvarsが何を実行し、ファイルが削除されたときにgpgエージェントが閉じたときからの概要はありますか？

これを修正する最良の方法は何ですか？

遅れて申し訳ありませんが、これまでさらに調査する時間がありませんでした。

どのバージョンのenvvarsが何を実行し、ファイルが削除されたときにgpgエージェントが閉じたときからの概要はありますか？

私が見つけたすべてのドキュメントは

_（GNUPGHOME）「〜/ .gnupg」の代わりにディレクトリを設定した場合。_ [1]

これを修正する最良の方法は何ですか？

私はわかりません。 GnuPGで直面しているすべての問題を解決する単一のソリューションがあるようには見えません。 startetd GnuPGエージェントのPIDを保存しようとしたことがありますが、うまくいきませんでした。

あなたはなにか考えはありますか？

ソース

• [1] [https://www.gnupg.org/documentation/manuals/gnupg/GPG-Configuration.html](https://www.gnupg.org/documentation/manuals/gnupg/GPG-Configuration.html）

考えられるすべての問題を解決しようとするのではなく、gnupgの一部のバージョンのみをサポートする必要があるのではないでしょうか。

ファイルを削除した後、gnupgのどのバージョンが自分自身をクリーンアップしませんか？ それらはまだそれらをサポートするのに十分に関連していますか？ たぶん、単にそれらのテストを無効にしますか？

ファイルを削除した後、gnupgのどのバージョンが自分自身をクリーンアップしませんか？

Ubuntu Artful（17.10）のバージョンのgpgは、これまでのところ、 GNUPGHOME削除した後にエージェントが終了しない唯一のバージョンです。 他のバージョンのgpgではこの動作は見られませんでした。

UbuntuArtfulのGPGは2.1.15です。 Ubuntu 18.04.1では、gpgバージョン2.2.4が使用されます。 最新バージョンは2.2.10です。

gpgバージョン> = 2.2が必要であるという依存関係の注記を追加する場合があります。

リリースノートを正しく理解していれば、終了はgpgバージョン2.1.16に実装されています。 リリースノートを参照してください。

編集：リリースノートには、終了はLinuxにのみ実装されていると記載されています。 つまり、他のOSでも同じ問題が発生するはずです。 FreeBSDでテストします。

FreeBSDでテストします。

はい、 gpg-agent GNUPGHOMEが削除された後も、 gpg-agentはまだ実行されています。

ATM別のソリューションをテストしています。 gpg-connect-agent KILLAGENT実行すると、gpgバージョン2.2.4でエージェントがシャットダウンします。 単体テストの完了後にこのコマンドをexecv 、 gpg-agentはシャットダウンするはずです。 LinuxとFreeBSDでこのソリューションをテストします。 コメントまたはできればPRをお待ちください！

問題が再度発生する場合は、この問題を再度開いてください。